数据仓库是近年来信息领域中迅速发展起来的数据库新技术。数据仓库是一个面向主题、集成的、相对稳定的、反映历史变化的数据集合,主要用于支持管理决策过程。数据仓库不同于操作型数据库,它用于支持决策,面向分析型数据处理。而且,数据仓库是对多个异构的数据源的有效集成,集成后按照主题进行了重组,并包含历史数据,且存放在数据仓库的数据一般不再修改。
建立数据仓库能充分利用已存在的数据资源,获得有用的信息,并藉此创造出效益。目前越来越多的企业、行政、事业单位开始认识到数据仓库应用所带来的好处。
传统的数据库是以数据库为中心,进行事务处理、批处理和决策分析等各种类型的数据处理工作。不同类型的数据处理有着不同的处理特点,以单一的数据组织方式进行组织的数据库并不能反映这种差异,满足不了数据处理的多样化要求。随着数据库应用的普及,人们发现,对数据处理除了操作型处理外还有分析型处理,而且分析型处理会带来更好的效益。
所谓操作型处理(或事务处理),是指对数据库进行联机的日常操作,如对一个或一组记录的查询或修改等,主要是为特定应用服务的,操作人员比较注重响应时间、数据安全性和完整性等问题。而分析型处理则主要由管理人员处理,处理结果往往会影响其决策行为,这种操作经常要访问大量的历史数据,与操作型数据之间有很大的差异。
数据仓库是以已有的业务系统和大量的业务数据积累为基础的,数据仓库不适静态的概念。把信息加以整理、归纳和重组,并及时提供给相应的管理决策人员,是数据仓库的根本任务。
1.数据仓库的特点
与传统的数据库相比较,数据仓库具有面向主题、集成的、相对稳定、反映历史变化等4个特点。
(1)面向主题。与传统数据库面向事务处理应用去进行数据组织的特点相对应,数据仓库中的数据是面向主题进行组织的。
主题是一个抽象的概念,是指用户使用数据仓库进行决策时所关心的重点方面,是在较高层次上将用户信息系统中的数据综合、归类并进行分析利用的抽象,一个主题通常与多个操作型信息系统相关。在逻辑意义上,它对应用户中某一宏观分析领域所涉及的分析对象。所谓较高层次是相对于面向应用的数据组织方式而言的,是指按照主题进行数据组织的方式具有更高的数据抽象级别。“主题”在数据仓库中是由一系列表实现的。一个主题下表的划分可以按数据的综合、数据所属时间段进行划分。基于一个主题的所有表都包含有一个称为公共码键的属性作为主码的一部分。公共码键将一个主题的各个表联系起来。由于数据仓库中的数据都使用某一时刻联系在一起的,所以除了其公共码键之外,还必须包括时间成分作为起码键的一部分。
数据仓库中的数据按照一定的主题域进行组织,同一主题的表不一定存储在相同的介质中,而可以根据被关心的程度,分别存储在磁盘、磁带、光盘等不同的介质中。一般而言,查询频率低的数据存储在廉价慢速设备(如磁带)上,而查询频率高的数据则保存在磁盘上。
(2)集成的。面向事务处理的操作型数据库通常与其某些特定的应用相关,数据库之间相互独立,并且往往是异构的。而数据仓库中的数据是在对原有的分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到,故必须消除源数据中的不一致性,以保证数据仓库内的信息是关于整个用户的一致的全局信息。(www.xing528.com)
由于操作型处理与分析型处理之间的差别,数据仓库的数据是从原有的分散的数据库数据中抽取来的,在数据进入数据仓库之前,需要经过加工、统一、综合等集成处理。数据集成是数据仓库建设的最关键、最复杂的一步。
(3)相对稳定。操作型数据库终的数据通常需要实时更新,数据根据需要及时发生变化。数据仓库的数据主要供政府决策分析之用,所涉及的数据操作主要是数据查询,一旦某个数据进行数据仓库以后,一般情况下将被长期保留,也就是数据仓库存储的是相当长一段时间内的历史数据,是不同时刻数据库快照的集合,以及基于这些快照进行统计、综合和重组的导出数据,不是联机处理的数据。因此,数据一经集成进入数据库后是极少或根本不更新的、是稳定的。
(4)反映历史变化。操作型数据库主要关心当前某一个时间段内的数据,而数据仓库中的数据通常包含历史信息,系统记录了用户从过去某一时点到目前的各个阶段的信息,通过这些信息,可以对其的发展历程和未来的趋势作出定量分析和预测。数据仓库中的数据的相对稳定,是指数据仓库的用户进行分析处理时可能是不进行数据更新操作的。但并不是说,在数据仓库的整个生命周期中数据集合是不变的。事实上,数据仓库的数据是随时间变化而不断变化的。这一特征表现在以下三方面:数据仓库随时间变化不断增加新的数据内容;数据仓库随时间变化不断删除旧的数据内容;数据仓库中的综合数据需要随着时间的变化不断地进行重新总和。
2.水文数据仓库的分类
国家水文数据库对水文观测的原始数据进行存放前,进行了加工整理即资料整编,但是,这些加工和整理主要还是面向应用,甚至是为了方便存储,层次较低,主题不明,难以用于联机分析处理(OLAP)和决策(DS)处理。因此,需要对国家水文数据库所存数据进行分类、提取、加工,构成面向某一主题的数据仓库。
(1)以防汛抗旱决策支持为主题的水文数据仓库。为了解决洪水或旱情的分析和预测问题,迅速完成当前汛旱情与历史情况的对照分析;由历史和实时信息对大江大河未来汛、枯等情势进行预测和判断,需要建立以防汛抗旱决策支持为主题的水文数据仓库。其库存主要有历史典型降水、洪水关联过程,历史典型枯水、干旱关联过程,历史不同时段水文要素极值及频率分布、空间分布,上下游水文要素关系,各种流域水文模型等信息。其中,防汛水文数据仓库还必须包括信息提取、加工、入库子系统,数据仓库管理子系统,高效的OLAP查询分析、DS分析预测,数据挖掘等子系统。
(2)以水工程规划设计为主题的水文数据仓库。它主要解决水工程规划和水工程设计的决策支持问题。把水工程规划和水工程设计所需的信息从水文数据库中提取出来,经过加工,如洪水频率分析、设计暴雨与设计洪水过程、多年平均及不同保证率的来水等,存入工程水文数据仓库,在专门的OLAP、DS工具的支持下,为水工程规划和水工程设计决策支持提供全面的优质服务。
(3)以水资源调度、管理为主题的水文数据仓库。它主要解决水资源调度、管理决策支持问题。水资源管理决策所需要的信息主要是宏观尺度的、区域性的水资源量分布、来水用水量平衡、年际年内变化,流域水资源模型等。同时还需要相应的分析预测工具。
除此之外,国防、交通、能源等主题也可以建立相应的水文数据库,以满足这些主题的决策需要。
国家水文数据库是由各种专门水文数据库构成的数据库群,它至少包括地表水、地下水、水体化学、河流动力及河道演变、实时水情等数据库。因为水文数据仓库是为高层次的决策支持服务的多维数据系统,信息涉及范围广。故构成某一主题的水文数据仓库,除需要国家水文数据库群的数据外,还需要从水工程运行情况数据库、地理类信息数据库群中提取信息,才能比较完善。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。