首页 理论教育 内存云计算与海洋大数据完美结合

内存云计算与海洋大数据完美结合

时间:2023-08-21 理论教育 版权反馈
【摘要】:内存云计算技术是当前大数据分析的有效手段。美国斯坦福大学的研究团队通过大规模普通服务器的内存集群构建“内存云”[1]作为大数据计算的主要平台。相比普通云计算平台,内存云在随机访问、低延迟、可伸缩性、高命中率方面具有无法比拟的优势[2]。面对海洋大数据处理的高效计算需求,内存云为解决海洋大数据快速、实时分析提供了全新的研究方向。

内存云计算与海洋大数据完美结合

海洋大数据分析技术可以为风暴潮预警、赤潮预测、辅助决策、防灾减灾和灾害反演等提供精确、可靠的科学依据。传统数据分析对象多是结构化、单一对象的小数据集,分析挖掘更侧重根据先验知识预先人工建立模型,然后依据既定模型进行分析。多源异构的海洋大数据存在数量庞大、格式不一和强时空关联等特点,传统的分析技术如数据挖掘、机器学习统计分析等要应用于海洋数据面临着分析速度和实时性等方面的挑战。分析速度方面,海洋大数据的分布特点不确定,需要根据处理的数据类型和分析目标,采用适当的算法模型,快速处理数据,对于机器硬件以及算法都有一定的挑战。实时性方面,海洋数据的应用常常具有实时性的特点,例如“雪龙”号在极地极端环境下工作需要天气、海冰、海底、船自身等各类实时信息的综合分析。大量实时数据处理和分析要消耗大量的计算资源,传统的单机或并行计算技术很难保障,需要与云计算相结合,因此对算法的实时性和可扩展性提出了考验。

内存云计算技术是当前大数据分析的有效手段。美国斯坦福大学的研究团队通过大规模普通服务器的内存集群构建“内存云”[1]作为大数据计算的主要平台。相比普通云计算平台,内存云在随机访问、低延迟、可伸缩性、高命中率方面具有无法比拟的优势[2]加利福尼亚大学伯克利分校AMP实验室在内存云的基础上引入弹性分布式数据集RDD[3]作为容错机制,数据驻留内存,无须反复从磁盘读写,有效地解决了迭代计算和交互式计算等在MapReduce框架下的计算性能瓶颈问题。面对海洋大数据处理的高效计算需求,内存云为解决海洋大数据快速、实时分析提供了全新的研究方向。(www.xing528.com)

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈