海洋大数据来源于卫星、航空遥感、海洋观测站、调查船、浮标和海底观测系统等,多源的特点决定了海洋大数据存储结构和类型的复杂性。现有的存储方案中,存在数据存储能力受限和存储模型相对固定等问题。这些问题对海洋大数据存储提出了新的挑战,一方面,海洋大数据的海量性和实时性特征要求存储系统在硬件架构和文件系统上大大高于传统技术,要求数据存储空间具有高扩展性,随着实时观测数据的采集,数据存储空间应具有强大的弹性;另一方面,海洋大数据的多源异构特征要求存储系统的存储模型具有多样性,同时能够实现数据库的高度一致性、可用性和分区容错性。
应对海洋大数据存储挑战的首要选择是混合类型的云存储平台。目前主要的云存储平台有Google的Google Store,Amazon的S3,Microsoft的Azure以及IBM的“蓝云”等。这些系统通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集结起来协同工作,共同对外提供数据存储和业务访问功能。混合类型云存储平台可以把公有云和私有云结合在一起,依据需要配置存储容量,同时依据不同数据用户的需求选择存储模型和存储系统,这种存储方案适应海洋大数据多源、超高维、海量、实时、多类以及敏感的特征,是未来海洋大数据存储的首选方案。(www.xing528.com)
目前,针对海洋大数据的混合类型的云存储技术尚不成熟,还需进行深入研究,其中几个关键研究问题为:①如何依据海洋数据安全密级进行数据划分,这是影响拓展性、负载平衡以及系统性能的关键问题,它影响着数据访问速度以及数据利用效率;②如何建立面向混合类型的云存储平台的海洋大数据索引,以提升超高维海洋数据的查询效率,这是影响整个数据库系统效率的关键;③如何设计高效的数据动态迁移策略,用以应对实时观测数据的持续采集以及数据存储系统数据量的不断累积,保证存储资源的优化利用。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。