首页 理论教育 数字城市数据存储技术:4D数据库的关键

数字城市数据存储技术:4D数据库的关键

更新时间:2025-01-16 工作计划 版权反馈
【摘要】:数字城市获取的数据是海量的,有遥感的非遥感的如遥测与其他方法获取的数据,据统计美国航天局每天就产生1000G字节的数据,信息量还在不断增长,显然数据存储技术是关键技术之一。在4维数据库实现对其连续动态的表达是智能化技术的重要方面。对海量数据进行快速、高效地存取、运算和传输的技术,它是实现“数字城市”的重要基础,也是支撑“数字城市”的关键技术之一。

数字城市获取的数据是海量的,有遥感的非遥感的如遥测与其他方法获取的数据,据统计美国航天局每天就产生1000G字节的数据,信息量还在不断增长,显然数据存储技术是关键技术之一。

(一)卫星遥感数据的智能化存取技术

为解决遥感海量数据的快速存取与检验需要的技术,包括4个方面:①包括不同区域、不同时间、不同空间分辨率、不同光谱分辨率的遥感数据的存储模型、数据库及其管理模型等,包括数据按地理坐标进行组织与管理,以及各种数据的集成与融合等;②建立四维数据的存取模型,4维即空间加时间(时相),将静态数据库研究转为动态数据库及其管理技术的研究;③基于高速互联网的多机分布处理系统,实现用户的海量数据联机处理,存储介质与拓扑关系规划是关键性技术;④高分辨率的4维数据的快速高精度的表达技术。在4维数据库实现对其连续动态的表达是智能化技术的重要方面。

(二)多媒体海量数据压缩与复原技术

“数字城市”涉及的数据巨大而浩瀚,它不仅有空间数据,而且有非空间数据,这些数据来源广泛、种类繁多、形式各异、结构复杂并且数量十分庞大,其数据量至少要以Tb级来计算,因此,人们把如此大量的数据比喻作海量数据。对海量数据进行快速、高效地存取、运算和传输的技术,它是实现“数字城市”的重要基础,也是支撑“数字城市”的关键技术之一。直接针对海量数据处理的技术解决方案有两种:一种是硬件的解决方案,它是采用高性能的并行计算机,通过多个CPU的并行计算来提高数据处理的速度;另一种是软件的解决方案,通过对数据的高效压缩与解压来提高数据处理的效能。这要求有高压缩比、高压缩效率、高复原质量,以达到编码、解码时间满足数字城市应用的需求以及数据压缩的无损性。主要有分形编码与解码技术、基于小波变换的编码压缩技术。目前,针对海量数据处理的技术解决方案也有两种:一种是数据组织的解决方案,它是采用分布式存储管理,通过将集中式数据存取化为分散式数据存取来提高数据存取的效率;另一种是通信网络的解决方案,它是采用超高速光纤网,通过大幅度增加通信信道的带宽来提高数据传输的速率。

(三)空间数据仓库

1.数据仓库的概念

数据仓库是20世纪90年代发展起来的数据存储、管理和处理的技术。是数据库的集合,是网络数据库的管理系统及其应用系统。主要研究有空间数据结构、多源数据的集成、多源数据的管理、空间数据挖掘等。

2.数据仓库的特征数据仓库的功能特征

(1)面向主题。主题是在较高层次上归类数据,具有是知识性与综合性,每一个主题都对应着一个分析领域,如土地部门数据仓库的主题可以是土地利用变化趋势。传统的数据库是面向应用的,只能回答较专业的、片面的问题。如土地部门数据库可进行地籍管理和适宜性评价,但不能进行预测与决策,这就要数据仓库技术。

(2)集成性。以各种面向应用的数据库为基础,通过元数据刻画的抽取和聚集规则将其集成起来,从中得到各种有用的数据。

(3)数据变换。数据仓库的数据来源于不同的数据库,由于数据的冗余和标准和格式的差异,不能把这些数据库原封不动地搬入数据仓库,需要对数据进行抽取、清理和变换。如语义映射、集运算、坐标的统一、比例尺的变换、数据结构与格式的转换等。

(4)时间序列的历史数据。自然界的实体是随时间变化的,因此描述其他的数据是随着时间的变化的,数据是具有时间标志的。数据仓库的每一个数据具有时间概念。(www.xing528.com)

(5)空间序列的方位数据。实体有自己的存在空间(位置与形态),彼此间存在着空间关系,因此是具有空间标志。一般数据仓库没有空间数据,空间数据仓库具有空间数据、能做空间分析与模拟预测空间变化。

3.数据仓库的组成

数据仓库主要由数据源、数据仓库数据库、元数据、数据仓库管理和操作工具五大部分组成。

(1)数据源是数据仓库的数据来源,它由通过网络链接的外部分布式数据库构成,并由它向数据仓库提供原始数据。

(2)数据仓库数据库是数据仓库的基本组成部分,它是数据仓库的内部数据库,用来存放对多个异构的数据源经过结构上重组的数据处理结果。

(3)元数据是数据仓库的重要组成部分,它是关于数据仓库的数据,用于描述数据仓库中原始数据的内容、质量、特征及转换规则等。

(4)数据仓库管理是数据仓库的核心组成部分,负责数据仓库的用户与安全管理、数据存储与更新管理以及数据归档、备份和恢复等维护管理。

(5)操作工具是实现数据仓库其数据集成与分析功能的系列应用软件,它一般包括数据抽取工具、查询检索工具、报表工具、统计分析工具、数据挖掘工具及其他应用工具。

4.数据仓库的任务

数据仓库的主要任务是:将分布在不同地点、不同单位的数据库中的内容不同、类型不同、结构不同、格式不同的原始数据,首先进行标准化、过滤与匹配、净化、标明时间和确认数据质量的处理;然后根据任务的需要,再对这些数据进行集成与分割、概括与聚集、预测与推导、翻译与格式化、转换与再影像的处理;最后进行数据仓库的建模、数据的概括、数据的聚集、数据的调整与确认、建立结构化查询和创建词汇表。数据仓库对于“数字城市”的建设具有十分重要的支撑作用,因为它是“数字城市”整合信息资源的重要载体,也是“数字城市”实现信息共享的基础平台。

(四)空间数据交换中心

空间数据交换中心是网上的虚拟数据仓库。它不是一个存储数据集的中心仓库,而是连接分布式数据库的网络管理中心。其主要工作是在互联网上搜索地学空间数据。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈