平台架构

智慧校园大数据平台架构-LMLPHP

基础硬件层

基础硬件层是由一组低廉的PC或服务器组合构建而成。基础硬件层主要承载着数据的存储、运算、容错、调度和通信等任务,对基础应用层下达的指令进行执行和反馈。

数据集成

大数据特征表现在实时、交互、海量等方面,并且以半结构化、非结构化数据为主,价值密度低,为了更好地“让数据说话”,并充分发挥大数据价值效应,应坚持“能采尽采”的原则,数据源的涵盖范围要尽量大。

数据计算与分析挖掘

大数据平台涵盖了大数据场景下常用的计算场景,包含离线计算、实时计算、流式计算、数据挖掘与机器学习等。可以更容易、更方便地构建全生命周期的数据湖,使数据的加工、处理、创新过程更加丰富,从而实现数据的更大价值。

数据安全

大数据平台通过一系列的认证授权和资源隔离机制,实现数据资源的安全性、可维护性、可用性、可信性。提供统一认证服务负责对使用者的身份进行验证;提供统一授权服务负责对用户的资源访问权限进行控制;提供统一资源调度负责对用户使用的底层资源进行隔离。

服务器集群

服务器集群是将很多服务器集中起来一起进行同一种服务,集群可以获得更高的计算速度,也可以用作备份,任何一个服务器损坏整个系统都能正常运行。群集化操作可以减少单点故障数量,实现群集化资源的高可用性。

大数据技术标准</

01-17 11:23