上海风暴潮数据应用框架助力海洋大数据

当获得足够多的海洋大数据并实现积累后，所获数据的分析方法就成了未来对于决策分析以及服务应用的关键。同时，因为对大规模海洋数据的挖掘与分析，使其能够有机整合从而创造出非常显著的社会效益和研究价值，越来越多的社会人士以及研究人员都非常看好该技术在海洋领域的发展前景。数据的融合价值促使该领域的数据处理及分析人员都纷纷投入到大数据分析中，开发出非常丰富的数据分析产品与服务。

对于使用者而言，最关心的莫过于各种数据分析产品最终所能带来的应用价值。从海洋大数据的系统或平台来讲，其能够提供包括风暴潮数据分析在内的多方位多层次应用。而基于Spark平台海洋大数据管理系统，能够运用云计算的IaaS、PaaS和SaaS三层服务架构，分别独立地从底层硬件系统、中间层Spark平台以及服务层软件处理系统为用户提供服务。在当前海洋大数据的发展阶段，人们对于数据处理以及服务提供的方式与层次如图5-2所示。

海洋大数据平台包含数据层、模型层、接口层以及应用层等主要的应用层次。数据在整个平台当中，从底层向上传输与转变，为各种应用产品服务。

（1）数据层。数据层是整个海洋大数据平台的基础，主要为整个平台的计算分析提供数据服务。其中最主要的数据则是通过各种测绘手段得到的海洋三维资源的数据，包括基础地理空间数据库、矢量数据库、遥感影像数据库以及三维模型库等。数据层整合各类数据资源为模型层提供数据资源服务，实现数据的部署、监控、实时迁移备份管理等功能，从而达到对数据的管理。数据层为用户提供基础设施服务（IaaS）级别的云计算服务。

(www.xing528.com)

图5-2　海洋大数据数据处理与服务提供层次架构

（2）模型层。模型层提供了数据仓库的封装、分布式计算以及建立分布式文件管理系统，通过分布式文件管理系统存储所获得的数据，利用Spark、MapReduce等并行计算平台对海量数据进行高效处理。实现了对于数据层中数据的存储管理，同时能够利用Spark特有的RDD处理各种海洋大数据，从而建立如风暴潮预测模型等的分析模型，为将来的应用层开发提供基础。模型层也具有一定的容错能力，提供了数据备份功能，保证了数据的真实性。

（3）接口层。接口层主要起到承接模型层与应用层的作用。提供了包括SQL、API、Web Service在内的许多接口，可直接在本层的基础上进行二次开发。同时，接口层还支持Spark的流式查询以及复杂查询，能够与Hadoop数据较好地整合，便于与其他平台之间的相互搭建。支持Java、Scala等多语言，便于开发人员的设计与实现。模型层与接口层共同为用户提供了平台服务（PaaS）级别的云计算服务。

（4）应用层。应用层则是在模型层的基础上针对特定需求而开发出来的数据分析产品、服务或者软件。其为可视化用户以及管理员之间提供了云服务接口，实现与用户的交互。应用层主要是调用了模型层中抽象的分析模型，将其进一步具体、可视化分析，形成如上海风暴潮灾难预报分析模型等产品，满足使用者对于产品、服务的需求。应用层为用户提供了软件服务（SaaS）级别的云计算服务。