大数据应用技术优化探讨

大数据应用技术可以分为大数据平台下的智能电网业务应用研究、基于海量信息挖掘技术的分析与决策支持研究和绿色数据中心管理体系与关键技术研究3个方面[12]。

1.智能电网业务应用研究

智能电网业务应用研究是利用目前较为成熟和广为业界接受使用的大数据存储和计算技术与平台，替代现有的传统数据存储管理和计算平台，研究开发相应的关键技术和系统，进而研究开发基于大数据平台的新型业务应用解决方案，全面实现业务系统和分析系统的升级换代。其支撑技术如下：

1）研究设计基于大数据技术的数据质量监控系统解决方案。包括硬件平台设计、软件平台选择和设计、数据存储管理方案、数据校验和分析统计并行化计算方案，并构建系统开发环境和平台。

2）研究基于大数据技术的数据质量监控系统及数据存储管理技术、实时/准实时数据质量校验并行化处理算法、数据流分析挖掘算法及数据分析统计并行化计算技术。

3）研究基于不完善数据的大数据处理平台。采用高效处理技术应对缺失值数据（Missing Values）、噪声数据（Noisy Data）、偏见数据（Bias Data）、分布不均数据（Imbalanced-distributed Data）、概念偏移数据（Concept-drift Data）等常见的不完善大数据。

4）选取营配数据质量指标的低压用户一致性率作为本次研究的示范应用目标，设计并编程实现基于大数据技术的数据质量监控示范系统，实现实时/准实时数据质量校验、数据指标计算与结果查询、数据快报生成与浏览、演示性消息发布功能，并进行系统演示和测试运行。

2.基于海量信息挖掘技术的分析与决策支持研究

海量数据挖掘是通过对数据库、数据仓库中的数据进行分析，获得有用知识和信息的一系列方法和技术。在国外，数据挖掘技术已迅速发展起来，逐渐成为决策支持的新手段。决策支持系统应用计算机技术将人类的洞察力、分析和解决问题的方法及经验加以逻辑化、数字化，并编成逻辑判断程序送入计算机。这套程序软件就构成了决策支持系统，其支撑技术如下：

1）研究更加复杂、更大规模的分析和挖掘技术。在大数据新型计算模式上实现更加复杂和更大规模的分析和挖掘是大数据未来发展的必然趋势。例如需要进行更细粒度的仿真、时间序列分析、大规模图分析和大规模社会计算等。另一方面，在大数据上进行复杂的分析和挖掘，需要灵活的开发、调试、管理等工具的支持。(www.xing528.com)

2）研究大数据的实时分析和挖掘技术。面对大数据，分析和挖掘的效率成为此类大数据应用的巨大挑战。尽管可以利用大规模集群并行计算，以Map Re-duce为代表的并行计算模型并不适合高性能地处理结构化数据的复杂查询分析。在数十TB以上的数据规模上，分析和发掘的实时性受到了严峻的挑战，是目前尚未彻底解决的问题。而查询和分析的实时处理能力，对于人们及时获得决策信息，做出有效反应是非常关键的前提。

3）研究大数据分析和挖掘的基准测试。各种大数据分析和挖掘系统各有所长，其在不同类型分析挖掘下，会表现出非常不同的性能差异。目前迫切需要通过基准测试，了解各种大数据分析和挖掘系统的优缺点，以明确能够有效支持大数据实时分析和挖掘的关键技术，从而有针对地进行深入研究。

4）提出适合于主要电力设备多维特征参量关联状态的分析方法。基于电力设备多维状态信息数据模型的研究，提出适合于主要电力设备（变压器、GIS、输电线路）多维特征参量关联状态的分析方法，建立关键电力设备多参量变化趋势预测模型和多因子关联关系模型。基于电力设备状态监测信息和数据，结合预防性试验、运行巡检和带电检测等其他状态信息数据，利用多元统计分析、关联分析等信息融合技术对各类数据进行信息融合处理和关联分析，采用数理统计、趋势分析等技术挖掘表征不同输变电设备运行状态的特征信息，研究各因素的作用及相互关系。深入分析各类典型缺陷的严重程度与局部放电、油中气体组分、分解气体组分、温度、介质损耗等现有各种监测量以及运行工况、环境、过电压等信息的表征关系，通过数据处理算法挖掘提炼出真正能够表征设备潜在缺陷与发展过程的有效参量及其组合。利用神经网络、模糊数学、证据推理等人工智能方法进行协同分析，建立合理的设备状态预测和预警模型，能够综合分析不同结构，不同电压等级以及不同类设备的状态数据变化及演变规律。

5）开发分析输变电设备状态数据的软件包。开发出基于信息融合分析的输变电设备状态数据挖掘和分析处理核心算法模型软件包，包含多源数据自动清洗、多因子关联分析、统计分析、趋势预测等功能，为电力设备的状态评估和缺陷诊断提供智能决策支撑。

3.绿色数据中心管理体系与关键技术研究

绿色数据中心是数据中心发展的必然。总的来说，可以从建筑节能、运营管理、能源效率等方面来衡量一个数据中心是否为“绿色”。绿色数据中心的“绿色”具体体现在整体的设计规划以及机房空调、UPS、服务器等IT设备、管理软件应用上，要具备节能环保、高可靠可用性和合理性。研究以云计算为核心的服务管理层，为整个云服务体系提供监控、运维、配、容灾等管理能力，通过智能化技术建立“智能、高效、可靠、绿色”的数据中心管理体系。其支撑技术如下：

1）智能机房巡检技术。由轨道、摄像头、传感器、射频枪、RFID识别码和后台系统组成。技术支撑体系包括先进的通信、信息和控制等技术。其中，关键信息技术研究内容主要包括信息资产台账管理，信息机房无人巡检和缺陷管理故障检修。

2）3D机房移动巡检系统。通过3D渲染技术，结合IT运维系统的设备关联分析及IT集中监控的事件关联分析，在移动端实现机房设备的仿真展示，机房环境（温度、湿度、压力）的模拟展示以及网络拓扑结构关联分析。为运维人员在巡检过程中快速处理异常情况提供更直接、更清晰的指导意见和决策帮助。主要包括①基于移动3D渲染技术的机房设备展现；②环境数据“等值算法”研究，利用“等值算法”进行环境数据图形化展现；③设备信息、事件信息进行实时消息推送的研究。

3）数据中心能效检测技术。针对云计算系统或云计算服务中心的能耗指标PUE（Power Usage Effectiveness，电源使用效率）评测需求，对云计算系统或云计算服务中心的关键节点进行分布式自动化能耗信息采集，通过自动化手段进行“采集-分析-诊断-决策”，设计符合云计算技术特点，包含前端数据采集、中间数据传输以及最终云计算服务平台的分析决策优化。