实时数据库关键技术优化方案

（1）关系数据库的基本概念

关系数据库是建立在关系数据库模型基础上的数据库，借助集合代数等数学概念和方法来处理数据库中的数据。传统的调控系统一般采用Oracle、达梦数据库等通用数据库管理系统作为其数据库支撑，其处理性能无法支撑记录全部电网变化细节的能力。例如，采用达梦数据库作为存储数据库的D5000历史采样周期均设置为1分钟，这就意味着电网的全过程信息无法全部得到保存。

（2）实时数据库的技术

①实时高速吞吐技术

实时数据库具有实时高速吞吐技术，其高速运行的关键是处理好客户端请求，并与磁盘文件交互。为了达到高速处理的要求，实时数据库采用线程池技术实现并行处理数据写入请求，充分协调网络通信和报文处理，使得多个CPU（多核）可以并行处理来自一个TCP连接上的多个请求报文，也就是将一个TCP连接上的报文处理任务并行化，从而达到高效处理的目标。并行化处理技术在写入数据时可有效地提升服务端数据处理的速度，经过实际测试，使用单个客户端（单线程）向服务端提交数据，数据处理的速度可以达到百万事件每秒。

②高速磁盘缓存技术

系统实时数据库管理着TB级别的海量数据文件，因此高效处理文件磁盘I/O也是提高效率的关键。在实现高效率文件处理上，实时数据库系统使用统一的磁盘缓存管理技术，采用分块内存映射文件技术，多个工作线程并发地将数据文件需要的部分进行映射，以达到高速存取数据的要求。(www.xing528.com)

实时数据库系统通过索引确定需要从文件系统中加载某块数据时，统一的磁盘缓存管理技术负责将数据从物理文件加载到高速缓存区，并按照LRU（近期最少使用算法）策略对高速缓存区进行统一管理。在实现高速磁盘缓存技术上，将高速缓存区分为数据、索引两类，并设置专门的读取缓存。通过测试，分块内存映射文件技术可以实现30Mb/s的磁盘读写速度。

③多级缓存技术

操作系统已经进入64位时代，可以支持更大的地址空间，内存容量也在不断提高。为了充分利用大内存资源，实时数据库采用多级缓存技术，极大地提高了数据库的访问能力与吞吐量。多级缓存技术仿照介于中央处理器和主存储器之间的高速缓冲存储器，除了拥有实时一级缓冲区外，还增加了可配大小的二级缓冲区，对一级缓冲区做再次整合、压缩，更大地提高了数据压缩比以及写值查询效率，同时也节省了大量的磁盘空间。在历史数据缓存区方面，多级缓存技术将多个断面形式补交的历史值缓存之后一并提交，极大地提高了历史数据的存储效率。

④独特的压缩混合算法

常规的压缩算法主要分为两类：有损压缩和无损压缩。无损压缩满足了应用对数据压缩精度的需求，而有损压缩满足了数据存储空间较小的要求。实时数据库采用了独特的混合压缩算法，有机地整合了有损和无损两类主流压缩算法，支持两者的混合使用，在常规情况下压缩比达到50∶1，而混合压缩的选择也大大增强了应用选择的灵活性。