海洋大数据：高效离线存储遥感影像

1）海量遥感影像存储面临的问题

尽管海量遥感影像数据的应用越来越广泛，但是如此海量的数据给影像的快速传输、存储、管理和处理等各个方面带来了很大的困难，在数据的存储和使用方面都存在较为突出的问题。

（1）影像数据存储格式不规范。造成数据管理和使用困难的源头是数据种类繁多而且格式迥异，所有的数据没有统一的规范标准，导致数据的存储管理比较烦琐且复杂，影像数据的存储模式不规范在一定程度上加大了海量遥感影像数据综合管理的难度。

（2）数据存储模式不灵活。近些年来，遥感影像数据开始以PB级甚至是TB级增长，大部分遥感影像数据存储系统在设计数据存储模式的时候仅考虑了当时的数据量，缺乏对数据增长速度的科学认识和正确估量，导致后来由于数据剧增需要扩展系统规模的时候缺乏灵活性，很是被动。

（3）数据的查找效率低下。在一个管理海量数据的管理系统当中，大部分寻找数据的操作都是依赖于为数据建立的数据索引，大部分情况下，数据存放索引设计不科学，数据的使用者为了找到需要的数据，往往通过多级索引逐层逐级地查找数据和一定量的操作换算才能找到目标数据，查找目标数据的速度和效率很低。

（4）数据的使用效率低下。对于单幅可达GB大小的遥感影像，即使把计算机软硬件资源进行扩展，对影像数据的传送、加载、处理速度依然比较慢。而且对于大多数的实际应用而言，所需要的并不都是一份完整的影像数据，更多的时候是需要某一幅影像数据的某一部分，单纯的加载和使用一份完整的影像数据是对硬件资源和数据资源的浪费，这些因素都直接影响了影像数据的使用效率。

2）海量遥感影像存储研究

当前解决这些问题比较成功的方法是针对影像数据的特点，进行分级重新采样、切割分块，构建适合遥感影像的存储模型，以期通过牺牲存储空间为代价，换取快速显示的高效性。

常见的数据划分有以下两种模型：

（1）影像金字塔结构（图6-10）。指在同一空间参照标准下，根据实际用户需要将不同分辨率的影像数据进行存储与显示，形成数据量由少到多、分辨率由模糊到清晰的一种关于影像的金字塔结构。影像金字塔结构常用于渐进式图像传输和图像编码，是一种典型的分层数据结构形式，适合用于构建影像数据和栅格数据的多分辨率组织模型［40］(www.xing528.com)

图6-10　影像金字塔结构

（2）全球剖分网格模型（图6-11）。为了从根本上解决传统影像数据模型在全球范围内多尺度、多范围和多层次的局限性进行的研究，如何将地球剖分为形状规则、变形较小的层状面片，以实现在全球范围内的海量数据管理、应用和研究，从而保证全球范围内空间数据的空间表达是全球的、连续的、层次的和动态的模型［40］

图6-11　全球剖分网格模型

随着云计算技术的发展，国内外学者和研究机构开始将云计算与遥感影像等空间数据存储以及管理结合进行研究，取得了一定的研究成果。

罗晓丽在文献［40］中提出RSC-DOM模型管理数据，其核心思想是将海量、多源、异构遥感影像进行处理：数据被统一标准化处理为标准切片数据来保存、计算、使用和显示，遥感影像的归一化处理过程涉及改进的影像金字塔剖分模型，海量的标准切片数据的存储结合了云计算，以提高数据的存储和检索效率。

刘义［41］则利用MapReduce提高海量批量遥感影像瓦片金字塔构建的性能，提高遥感影像的处理和应用效率。基于MapReduce的瓦片金字塔构建算法的并行体现在两个阶段：一是Map阶段基于影像块的瓦片任务并行创建（瓦片）；二是Reduce阶段基于瓦片任务（合并）的并行执行。

浙江大学的康俊峰在分析高分辨率遥感影像特点及其应用的基础之上，结合云的虚拟化、并行化、分布式存储、分布式计算，设计了云计算环境下的高分辨率遥感影像存储模型C-RSM［11］。该模型主要基于Hadoop云平台结合遥感影像数据的共享以及地图服务模式，并且设计了遥感影像数据划分以及存储策略。

陈时远［42］基于分布式文件系统的核心理念MapReduce算法，提出了HDFS文件系统下的四叉树构建方式和构建策略，设计了基于Hbase数据库的遥感空间数据存储模型，使之能够应用于HDFS分布式文件系统当中；针对HDFS只有单个元数据节点NameNode这一情况可能存在的系统稳定性问题，借鉴了目前主流应用系统的机制，采用双机热备的方式来保证系统的容错性，最终解决了海量数据的高效率服务问题。