能源大数据分析平台技术及处理方法

8.3.4.1　能源行业中大数据技术的需求

以下将从电力大数据的应用前景以及电力大数据面临的挑战两个方面详细介绍电力行业对大数据分析处理技术的迫切需求。

8.3.4.1.1　能源大数据应用前景

电力系统将产生大量的数据，但是电力行业在进化的过程中面临的问题并不是简单的数据量的问题，它是整个行业面临重塑的机遇和挑战，即如何从海量的数据中识别可用的数据，评估潜在的价值，进而促进整个行业的转型发展。电力大数据分析处理平台可以为电力行业的发展带来巨大的推动多用，主要体现在以下几个方面：

1）社会和政府部门

电力行业作为国家基础性能源设施，为国民经济发展提供动力支撑，与社会发展和人民生活息息相关，是国民经济健康稳定持续快速发展的重要条件。社会和政府部门可以依据电力大数据的分析处理结果，对社会经济状况进行分析和预测，对相关政策的制定进行效果分析，对风电、光伏、储能设备技术进行性能分析。

2）面向电力用户服务

电力生产销售的实时性，使得电力行业不得不靠基础设施的过度建设来满足电力供应的冗余性和稳定性。这种过度建设带来的发展方式是机械的，也是不经济的。为了满足电力行业经济性的可持续发展理念，可以通过对电力大数据的分析处理在电力用户方面进行节能改进。对电力大数据的应用方面包括：用户能效分析、客户服务质量分析与优化、业扩报装等营销业务辅助分析、供电服务舆情监测预警分析等。

3）支持公司运营和发展

针对公司运行和发展，电力大数据的分析处理在以下方面可以起到关键性的指导作用：电力系统暂态稳定性分析和控制、基于电网设备在线监测数据的故障诊断与状态检修、短期/超短期负荷预测、配电网故障定位、防窃电管理、电网设备资产管理、储能技术应用、风电功率预测、城市电网规划等。

4）电力生产

基于电力大数据的分析处理结果，在发电环节可以进一步深化推广风电和太阳能等新能源发电功率预测和运行智能控制技术，提升新能源接入和分布式储能的能力，促进大规模风电和光伏等可再生能源的科学合理利用，减少能量损失，优化发电侧运行效率，解决能源利用率低的问题；在输电环节可以开展分析评估诊断与决策技术研究，实现输电侧态势评估的实时化和智能化，并可以结合外部数据，开展输电侧设施智能防灾研究，实现线路问题元器件的快速恢复，提高输电侧的自愈能力；在变电环节可以提升变电站的智能化管理水平，通过全网、全区域实时信息共享和分析实现变电侧的实时控制和智能调节，实现变电设备信息和运行维护策略与电力调度的智慧互动；在配电环节可以实现对用户负荷和用电情况的深入了解，提高对客户用电需求和负荷模式的认知水平，优化配网规划和供电计划，同时可以提高配网监测、保护和控制水平以及事故的响应程度，另外可以优化配网运行管理水平，提升供电可靠率；在用电环节可以建立面向经营与管理的科学营销决策支持平台，实现市场运营、营销及客户服务、设备全寿命周期管理等各类主题的分析及预测，提高营销服务的综合分析预测能力，并同时实现客户用电管理优化、用能实时分析和预测等高级应用，提供用电增值服务；在调度环节可以建设以数据驱动的智能调度体系，实现运行信息全景化、数据传输网络化、安全评估动态化、调度决策精细化、运行控制自动化、机网协调最优化，提升调度驾驭电网能力、资源优化配置能力、科学决策管理能力和灵活高效调控能力。

8.3.4.1.2　能源大数据面临的挑战

能源大数据往往含有噪声，具有动态异构性，是相互关联和不可信的。尽管还有噪声，大数据往往比小样本数据更有价值，这是因为从频繁模式和相关性得到的一般统计量通常会克服个体的波动，会发现更多可靠的隐藏的模式和知识。另一方面，互相连接的电力大数据此乃过程异构的智能电网，通过智能电网，冗余的信息可以用于弥补数据缺失所带来的损失，可用于交叉核对数据的不一致性，进一步验证数据间的可信关系，并发现数据中隐藏的关系和模型。数据挖掘需要集成的、经过清洗的、可信的、可高效访问的数据，需要描述性查询和挖掘界面，需要可扩展的挖掘算法以及大数据计算环境。与此同时，数据挖掘本身也可以用来提高数据质量和可信度，帮助理解数据的语义，提供智能的查询功能。只有能够高鲁棒性地进行大数据分析，大数据的价值才能发挥出来。目前能源大数据主要面临着以下几个问题：

1）数据量的膨胀

随着数据生成的自动化以及数据生成速度的加快，数据分析需要处理的数据量急剧膨胀。一种处理能源大数据的方法是采样技术，通过采样将数据的规模变小，以便利用现有的技术手段进行数据管理和分析。但是采样技术最大的缺点是会造成信息的缺失，在能源行业中对于要求数据精准度的应用此方法并不适用，因此需要在明细数据上进行分析，随着数据量的急剧增长，如何对TB级的数据进行分析处理面临着巨大挑战。

2）数据质量较低

数据质量的高低、数据管控能力的强弱直接影响了数据分析的准确性和实时性。目前，能源行业数据在可获取的颗粒程度，数据获取的及时性、完整性、一致性等方面均存在很大欠缺，数据源的唯一性、及时性和准确性急需提升，行业中企业缺乏完整的数据管控策略、组织以及管控流程。

3）数据共享程度低

数据共享不畅，数据集成程度不够。大数据技术的本质是从关联复杂的数据中挖掘知识，提升数据价值，单一业务、类型的数据即使体量再大，缺乏共享集成，其价值就会大大降低。目前能源行业缺乏行业层面的数据模型定义与主数据管理，各单位数据口径不一致。行业中存在较为严重的数据壁垒，业务链条间也尚未实现充分的数据共享，数据重复存储且不一致的现象较为突出。

4）数据深度分析需求增加

为了从数据中发现知识并加以利用进而指导能源行业的决策，必须对能源大数据进行深入的分析，而不是仅仅生成简单的报表，这些复杂的分析必须依赖于复杂的分析模型，很难用SQL来进行表达，这种分析称为深度分析。在能源行业中不仅需要通过数据了解当前已发生的事情，更需要利用数据对将要发生的事情进行预测，以便在行动上做出一些主动的准备。

5）自动化、可视化分析需求的出现

能源行业中数据量不断增加，为提高分析效率，分析过程需要按照完全自动化的方式进行。因此要求计算机能够理解数据在结构上的差异和数据所要表达的语义，然后机械的进行分析。另外在能源业务中数据的展现不仅仅只是报表的形式，其需要更加形象和生动可视化平台去支持能源行业的决策。自动化和可视化的强烈需求已成为能源行业一个亟需解决的问题。(www.xing528.com)

8.3.4.2　虚拟环境下大数据分析处理平台

为进一步掌握能源行业未来的发展趋势，对能源数据的分析需求已由传统的常规分析转入到深度分析。

传统的分析处理平台已经无法满足能源大数据的需求，为突破平台的性能瓶颈，新的平台不断出现，并且基于虚拟环境的实现，不仅提升了平台的扩展性、容错性以及资源利用率，而且其维护成本也大大降低。

目前能源行业业务应用主要包括集约化、大规划、大建设、大运营、大检修、大营销、调度中心、客服中心、运监中心等。为高效执行业务应用，能源行业基于大数据技术，不仅对原有能源信息化系统进行了改进，而且不断开发新的满足能源大数据需求的信息化系统。其信息化系统主要包括能量管理系统EMS、配电网管理系统DMS和电力系统调度自动化三个方面，并且可以进一步细化为以下系统。

1）数据采集和监控系统（SCADA）

SCADA系统是以计算机为基础的分布式控制系统DCS与电力自动化监控系统，可以对现场的运行设备进行监视和控制，以实现数据采集、设备控制、测量、参数调节以及各类信号报警等各项功能。SCADA系统是电力系统自动化的实时数据源，为EMS系统提供大量的实时数据。

2）自动发电控制（AGC）

利用调度监控计算机、通道、远方终端、执行（分配）装置、发电机组自动化装置等组成的闭环控制系统，监测、调整电力系统的频率，以控制发电机出力。自动发电控制着重解决电力系统在运行中的频率调节和负荷分配问题，以及与相邻电力系统间按计划进行功率交换。

系统电源的总输出功率与包括电力负荷在内的功率消耗相平衡时，供电频率保持恒定；若总输出功率与总功率消耗之间失去平衡时，频率就发生波动，严重时会出现频率崩溃。电力系统的负荷是不断变化的，这种变化有时会引起系统功率不平衡，导致频率波动。要保证电能的质量，就必须对电力系统频率进行监视和调整。当频率偏离额定值后，调节发电机的出力以使电力系统的有功功率达到新的平衡，从而使频率能维持在允许范围之内。所以，自动发电控制是通过对供电频率的监测、调整实现的。

3）电力系统状态估计（state estimator）

根据电力系统的各种量测信息，估计出电力系统当前的运行状态。电力系统状态是大部分在线应用的高级软件的基础。如果电力系统状态估计结果不准确，后续的任何分析计算将不可能得到准确的结果。电力系统状态估计的基本任务包括根据遥信结果，确定网络拓扑，即节点-支路的连接关系；根据遥测结果，估计系统的潮流分布，即节点电压、支路功率等，其结果符合电路定律。

4）调度员模拟培训系统（DTS）

DTS是一套计算机系统，它按被仿真的实际电力系统的数学模型，模拟各种调度操作和故障后的系统工况，并将这些信息送到电力系统控制中心的模型内，为调度员提供一个仿真的培训环境，以达到既不影响实际电力系统的运行而又培训调度员的目的，培训了调度员在正常状态下的操作能力和事故状态下的快速反应能力，也可用做电网调度运行人员分析电网运行的工具。

5）配电自动化系统（DAS）

DAS是一种可以使配电企业在远方以实时方式监视、协调和操作配电设备的自动化系统。

6）地理信息系统（GIS）

GIS是一种特定的十分重要的空间信息系统。它是在计算机硬、软件系统支持下，对整个或部分地球表层（包括大气层）空间中的有关地理分布数据进行采集、储存、管理、运算、分析、显示和描述的技术系统。

7）管理信息系统（MIS）

MIS是一个以人为主导，利用计算机硬件、软件、网络通信设备以及其他办公设备，进行信息的收集、传输、加工、储存、更新和维护，以企业战略竞优、提高效益和效率为目的，支持企业的高层决策、中层控制、基层运作的集成化的人机系统。

8）变电站综合自动化系统

变电站综合自动化系统是利用先进的计算机技术、现代电子技术、通信技术和信息处理技术等实现对变电站二次设备的功能进行重新组合、优化设计，对变电站全部设备的运行情况执行监视、测量、控制和协调的一种综合性的自动化系统。

基于对电力行业业务类型划分以及对电力行业信息化系统的详细分析，可将当前电力行业的应用类型划分为：批处理、流处理、内存计算、图计算、查询分析等。