高效管理云端物联网大数据系统

在海云协同模型中，海端计算系统针对那些依赖局部感知、本地存储和本地计算并且要求高实时性服务响应的物联网应用给出了解决方案。而云端物联网大数据管理系统的设计则是针对那些依赖全局感知、云端存储和海量复杂计算的物联网应用。

在这些复杂的依赖海量数据和计算的应用中，海量感知数据有可能包括服务于交通流量预测的道路状况数据流；服务于病人状态监控和病情预测的医疗传感数据；服务于物流跟踪和客户兴趣分析的物流和商品零售感知数据流等。

海量的复杂计算则可能包括利用大数据实时流计算技术实时计算出用户请求的最佳导航路径并推送给请求客户端；建立可行的机器学习模型利用大量的历史路况数据作为训练集来预测未来某个时间段的交通流量；利用Apriori算法或FP-Tree算法等数据挖掘方法从大量的电子商务网站交易记录中提取关联规则等。

因此，设计高效的物联网大数据存取组件（如分布式存储系统Amazon S3、Google Big-table和HDFS等），提出新的面向物联网大数据的实时计算技术，提出高效的面向物联网大数据分析和挖掘方法来满足上述实际应用的多样化需求，是设计云端物联网大数据管理系统的核心问题。

近年来，云计算受到了业界的高度关注并且成为分布式计算、资源共享、按需服务获取等问题的通用解决方案。Open Stack是一个提供了基础设施即服务（Infrastructure as a Serv-ice，IaaS）的软件项目，由控制了大量计算、存储和网络资源的一系列相互作用的组件构成。由于HDFS和MapReduce编程模型的功能强大，Hadoop已经成为大规模数据分析问题的首选工具。因此，使用Open Stack和Hadoop计算框架来构建云端物联网大数据管理系统，图6-26为其系统架构。

(www.xing528.com)

图6-26　云端物联网大数据管理系统架构

云端系统实现了一系列旨在处理和响应云端服务请求（云端实时响应服务请求和云端大数据分析与挖掘服务请求）的服务组件。虚拟主机服务组件向终端用户共享了云端系统的硬件和软件资源，从而终端用户可以按需使用云端系统服务集群的计算和存储资源，完成数据和计算密集型大数据处理任务（天气预测等科学计算）；云存储服务组件提供大数据的快速存取服务，这些数据包括路况实时监测数据、交通事故相关数据等实时流数据和海量电子商务网站交易数据、历史天气数据和历史路况数据等，云存储服务组件由Open Stack的分布式对象存储系统Swift实现。

实时计算服务组件执行云端实时服务响应请求所需的计算任务，包括实时路径导航服务请求等。数据分析服务组件使用一系列工具组件（数据集成和清理工具、大数据挖掘和机器学习算法库等）来执行云端大数据分析与挖掘服务请求所需的计算任务，实时计算服务组件和数据分析服务组件都由Hadoop计算框架实现。最后，系统管理服务组件执行与系统管理、服务租用和计费等业务相关的一系列服务。

综上所述，云端系统实现的所有服务组件都是基于Open Stack和Hadoop搭建的，因此，在服务组件集之下是一组获取Open Stack和Hadoop核心服务的访问组件（即Glance API、Nova API、Swift API、Key Stone API以及Hadoop接入组件）。数据访存模块和数据服务组件是一组实现用户认证、数据加密、系统服务计费等功能的系统支持组件。云端系统架构的最底层是Open Stack IaaS的核心组件以及用于用户认证、服务计费等服务的数据库系统。