海量空间信息存储技术方案

（一）海量信息存储的认知

海量空间存储技术是指海量文件的存储方法及存储系统。“海量”有两层含义：一是文件数量巨大；二是文件所需存储容量巨大（GB、TB到PB量级）。存储系统不是简单的存储设备，如磁盘；也不是人们常见的磁盘阵列。简言之，网络存储系统是由多个网络智能化的磁盘阵列和存储控制管理系统构成的。

海量存储技术引入了信息生命周期管理（Information Lifecycle Management，ILM）。ILM是各种过程、策略和技术的融合，这三者将根据用户的策略对信息进行分类，把这些信息存储在一个层次分明的体系结构之中，然后根据这些信息的价值、业务流程需求、用户访问需求以及保留/删除要求，在各层次之间透明地移动。如果部署得当，ILM系统将确保从信息生成到被删除期间，信息随着其价值的变化，在正确的时间移动至正确的地方。

海量空间信息的存储与处理是当前信息处理技术和数字地球的研究热点之一。当前，由于信息数据呈指数级增长，对海量信息数据的存储和处理的研究是当前信息科学急需解决的关键问题之一。

1.空间数据库

（1）空间数据库系统是一个具有空间数据处理能力的通用数据库系统。

（2）空间数据库在数据模型和查询语言中提供空间数据类型（Spatial Data Type，SDT）。SDT是空间数据库的核心，SDT与它们之间的“关系”“属性”和“操作”，提供了空间实体建模的基本抽象。

（3）空间数据库在实现中支持空间数据类型，至少提供空间索引（Spatial index）与高效的空间连接（Spatial join）算法。空间数据数据库必须提供空间索引支持，以保证快速的空间查询操作。

此外，还必须支持高效的连接算法，通过某种空间关系（Spatial relationship）将不同种类的对象连接，而不至于直接对空间对象集合的笛卡尔积（Cartesian product）进行过滤，至少应支持所面向的应用中比较重要的空间关系。

2.可扩展的DBMS空间数据库

目前，空间数据库系统的研究集中于利用可扩展的对象关系数据库技术构建空间数据库系统，基于可扩展的DBMS实现的空间数据库系统是一种集成体系结构，具有以下特点：

（1）标准数据类型（如STRING、INT）与SDT（如POINT、REGION）在概念上没有区别，这也包括它们的操作，如连接两个STRING和求两个REGION的相交区域。系统以同样的方式处理它们。

（2）标准数据类型的二级索引（Secondary index）（如B-tree）与空间数据的二级索引（如R-tree）在概念上没有区别。

（3）标准数据类型与空间数据在排序、连接等方面在概念上没有区别，系统对它们同等对待。

（4）查询优化机制不被划分成空间部分和非空间部分分别进行。

显然，可以根据以上给出的集成体系结构的特点设计并实现一种全新的数据库系统，但其代价是很大的，而基于可扩展的DBMS实现它则会使代价大大减小。同时，基于可扩展的DBMS实现的空间数据库系统本身也是可扩展的，允许用户根据需求灵活定制，包括添加或删减数据类型、索引结构等。这种可扩展、可定制的性质是重要的，因为很难构造出一种能包含各种应用要求（如空间信息系统、CAD等）的空间代数实现的封闭的DBMS系统。典型的可扩展的DBMS在体系结构上应该能够提供一系列的插槽和注册功能，要求能涵盖全部或大部分的扩展需求。

3.多比例尺空间信息系统

多比例尺空间信息系统以一个大比例尺数据库作为基础数据源，信息综合是建立在此数据源基础之上的。面向多比例尺空间信息系统的大比例尺单精度空间数据库技术是多例尺空间信息系统的核心。面向多比例尺空间信息系统的大比例尺单精度空间数据库（Single-Detailed Spatial Database，SDSDB）描述如下：

（1）多比例尺空间信息系统是一个面向空间信息系统的空间数据库系统。

（2）多比例尺空间信息系统在数据模型、系统实现和查询语言中支持数据综合功能，包括支持综合功能的空间数据类型（SDT）和高效的综合算法。

（3）多比例尺空间信息系统只存储单一精度的大比例尺的空间数据，小比例尺数据通过大比例尺数据自动综合生成。(www.xing528.com)

由以上定义可知，SDSDB是支持数据综合功能的、面向空间信息系统的、通用的空间数据库系统。实现SDSDB的技术核心是在空间数据库系统之上集成空间数据的综合功能，由此在空间数据库系统的模型、体系结构、数据组织、存储方式、索引结构和查询等方面都会引起相应的变化。从应用的角度看，SDSDB具有以下主要特点：

第一，SDSDB是一个面向空间信息系统的空间数据库系统，它具备一般空间数据库的全部特性，并支持额外的数据综合功能，主要包括支持综合的空间数据类型和高效的综合算法。

第二，SDSDB只存储单一精度的大比例尺空间数据，而小比例尺数据自动从大比例尺数据综合生成，从而克服了传统空间信息系统为满足不同需求和针对不同应用目的而不得不存储同一地理区域的不同比例尺的空间数据而造成的数据冗余、容易出现数据不一致、难以维护等缺点。

第三，SDSDB支持空间数据和属性数据的一体化存储和管理，克服了传统空间信息系统采用的层次结构或二元结构的存储策略存在的一系列缺点，有利于实现查询的全局优化。

与空间数据库系统实现的两种方法类似：一种方法是根据SDSDB的特点设计并实现一种全新的数据库系统，但代价很大；另一种方法是基于可扩展的DBMS实现SDSDB，其开发代价大大减小。同时，基于可扩展的DBMS实现的SDSDB本身也是可扩展的，允许用户根据需求灵活定制，包括添加或删减数据类型、索引结构和综合算法等。

基于可扩展的DBMS实现SDSDB的核心是实现支持综合功能的空间数据类型和高效的综合算法，其体系结构与空间数据库体系结构类似。

（二）海量信息存储的技术特性与类型

1.海量信息存储的技术特性

（1）可靠性。数据集中到存储系统中，必定对系统设备的可靠性提出更高的要求。同时需要建立数据备份、容灾系统，两者配合，保证数据安全性。

（2）可扩展性。网络时代业务发展的不确定性和数据的高速膨胀，对独立于计算系统之外的存储系统，必定提出高可扩展性的要求。这种扩展性并非简单的容量扩展，同时还必须包括数据处理能力、数据交换带宽和数据治理功能的扩展。

（3）兼容性。固然存储系统已分离于计算机系统之外，但目前主机系统对数据的使用方式，仍然以文件系统、数据库系统为主要手段。存储系统要适应各种主机系统的数据I/O要求，就必须能够兼容各种操纵系统、文件系统、数据库系统等各种传统数据治理手段。

（4）可治理性。支持各种主流的治理协议和治理架构，能够与网络、计算机等各种设备同一治理和集中治理。

（5）机能。能够根据不同应用类型要求提供带宽、10PS（10 Per Second，每秒10操纵数）、OPS（Operations Per Second，每秒并发操纵数）、ORT（Overall Response Time，总响应时间）等不同指标侧重点的机能服务。

（6）功能。各种数据迁移、数据分发、数据版本治理、数据复制、在线扩容等数据治理功能。

2.海量信息存储的方式

随着高清视频的推广应用，基于IP的视频录像海量存储解决方案也逐渐浮出水面。针对视频监控海量存储的方式主要有以下模式：

（1）分布式存储集中治理。对于大规模的城市联网监控系统，通常采用多个层次型的监控中央体系，每个基层监控中央治理其辖区内的监控资源并进行存储，因此会采用分布式存储集中治理的模式进行构建，这种模式有助于减轻网络的压力，同时将设备资源分发下沉，有助于战略部分掌握更多的资源和信息。一级监控中央同一治理所有的视频资源和录像文件，二级、三级监控中央可以分发和浏览视频。

（2）集中存储分布式治理。对于只有一个集中治理中央的中小规模联网监控系统，如县/地级市、某大城市公安分局、某大型工矿企业，数据一般集中存储在一级监控中央，其他的基层监控中央安装系统平台的分控客户端进行浏览和治理部门前端。在这种情况下，存储服务器集中放置在一级监控中央，通过虚拟卷和网格存储技术，形成一个无穷容量的虚拟存储池，使存储扩展对用户透明。

（3）大型混合型存储。所谓混合型存储解决方案是将前面两种方式结合，以分布式存储作为基础，同时在一级监控中央设置网络存储服务器。短期的数据临时存放在基层监控中央的网络存储服务器内，长期的数据存储于上传一级监控中央的网络存储服务器中。重要监控点位的视频资料不仅存储在基层监控中央的网络存储服务器，也实时地传输到一级监控中央的网络存储服务器中作为备份。在基层监控中央建立备份计划，采用定时自动备份的方式，将超过划定时间的视频文件备份到网络存储服务器相对应的目录中。