能源大数据采集技术优化方案

8.3.1.1　能源数据的采集

1）数据采集

随着用能企业业务的不断转型与升级，对信息化服务商的要求日益提高。用能行业的全面解决方案应包括众多方面。例如：

（1）财务管理解决方案。主要包括用以满足销售侧、需求侧和辅业三大领域企业、以财务资源管控为核心的企业集团管控财务软件；适用于农村电网、电力多经等细分领域的通用型财务软件。

（2）电力行业专业软件解决方案。主要包括设备资产管理、电力供应链管理（例如：燃料、物资）、电力安全管理、电力企业班组管理，能够与财务资源管控软件实现无缝集成、业务财务一体化，用以减少电力行业客户的重复投资，并降低项目的风险。

（3）基础业务平台。由流程引擎、规则引擎、行为引擎、单据引擎、业务组件仓库、业务建模工具、客户化开发工具、业务模式数据库（电力行业管理对象、管理业务、管理关系）等引擎、规则、工具组成，用于支撑电力行业财务管理解决方案和业务解决方案一体化开发、运行与维护。

（4）系统集成服务。随着高端定制化项目增多，信息化系统应该可以对组成系统的各个部件或子系统进行综合集成服务，并具有较高的项目管理能力、成熟的集成产品提供能力、集成开发服务能力、现场集成实施及测试能力等。

用能行业的众多解决方案，导致能源数据的采集很难形成一个统一的接口和标准，针对目前电力行业信息化发展的情况，可以从以下三个方面对电力数据进行采集：

（1）能源管理中心的管理平台。从重点用电单位管理平台采集用能企业的能源数据，包括定期和不定期的能源消耗、指标完成、能源利用状况报表、能源审计报告、产品限额自查报告，以及节能技改、节能整改方案等。

（2）企业能源管理中心。对于已建有能源管理中心的企业，可通过相关数据对接协议，从这些企业的能源管理中心中直接获取原始的能源消耗、生产状况等实时数据。

（3）软件客户端。企业通过产品用能限额、能源状况利用等客户端软件将数据录入，或通过在线监测系统直接将数据与平台对接，之后，数据经过管理人员的后台审核，剔除异常数据后，数据进入数据库。

以上三种数据采集方式获取的数据包含结构化数据、半结构化和非结构化数据三种。其中结构化数据主要是能源管理平台采集到的相关报表数据，如企业能源利用状况报表、温室气体排放报表、节能月报等。这些报表由企业电能管理负责人根据事先设计好的表格，将所要求的数据填入，因此采集到的数据格式和类型基本固定，属于结构化数据；半结构化和非结构化数据主要是能源管理中心的管理平台采集到的相关文字报告数据，如企业能源审计报告、产品限额自查报告等。这些报告还有大量文字和数据信息，没有固定的内容格式，因此这些报告属于半结构化或者非结构化的数据。同时，软件客户端采集的数据来自企业计量仪表，此采集方式，首先通过企业的计量网络、能源拓普结构图等技术来采集相关计量仪表的数据，然后客户端软件将采集到的部分半结构化或非结构化数据转化为结构化数据，基本形成了客户端软件和企业中心管理平台的数据分布式处理架构。

2）数据脱敏

能源行业的发展对国家的经济建设起到重大作用，采集到的能源数据对能源行业的发展更是起到决定性的指导，因此能源数据的保密和安全至关重要。能源行业为进一步降低数据泄漏的风险，已经将数据脱敏技术引入能源行业信息化管理系统。

数据脱敏，在保存数据原始特征的同时改变它的数值，从而保护敏感数据免于未经授权的访问，同时又可以进行相关的数据处理。用户可以在保留数据意义和有效性的同时保持数据的安全性并遵从数据隐私规范。借助数据脱敏，信息依旧可以被使用并与业务相关联，不会违反相关规定，而且也避免了数据泄露的风险。数据脱敏分为两种：

（1）动态数据脱敏。动态数据脱敏是在个体用户层面对数据进行独特屏蔽、加密、隐藏、审计或封锁访问途径的流程。动态数据脱敏解决方案是一个代理软件，安装在作为业务应用程序、报表和开发工具及数据库枢纽的单一服务器内。当应用程序请求通过动态数据脱敏层面时，该解决方案对其进行实时筛选，并依据用户角色、职责和其他IT定义规则屏蔽敏感数据。它还能运用横向或纵向的安全等级，同时限制响应一个查询所返回的行数。动态数据脱敏以这种方式确保业务用户、外部用户、兼职雇员、业务合作伙伴、IT团队及外包顾问能够根据其工作所需和安全等级，恰如其分地访问敏感数据。(www.xing528.com)

（2）静态数据脱敏或持久数据脱敏。静态数据脱敏在数据来源处永久修改数据。它主要用于处理静止的数据，例如，当把数据从一个生产数据库拷贝到另一个非生产数据库时，需要提前对这些数据进行脱敏，这种脱敏称为静态数据脱敏。静态数据脱敏方案是一种高度可扩展的高性能静态数据脱敏软件，可帮助IT组织管理敏感数据的访问。该软件通过创建可在内部和外部实现数据安全共享，但无法识别数据的归属，进而防止了机密数据意外泄露。

8.3.1.2　能源数据采集技术的挑战及发展趋势

目前，能源数据采集面临的挑战主要有以下几个方面：

1）数据质量低、可用性差

能源大数据是多源的，其形式是多模态的，多源和多模态的不确定性和多样性，导致数据的质量存在很大差异，直接影响了数据的可用性。

2）数据管控能力弱

数据管控能力的强弱直接影响了数据分析的准确性和实时性。目前，能源行业数据在可获取颗粒，数据的及时性、完整性、一致性等方面均比较差，数据源的唯一性、及时性和准确性急需提升，部分数据尚需手动输入，采集效率和准确度还有所欠缺，行业中企业缺乏完整的数据管控策略、组织以及管控流程。

3）数据共享程度低

由于网络技术、信息化技术等多方面的因素，能源信息采集系统获取的数据在智能电网中并未达到完全共享，数据在各自的系统中形成了很多信息孤岛。

针对上述能源数据采集技术所面临的挑战，在其发展趋势下，能源数据采集技术所包括的关键技术为：

（1）数据源的选择和高质量原始数据的采集方法；

（2）多源数据的实体识别和解析方法；

（3）数据清洗和自动修复方法；

（4）高质量的数据整合方法；

（5）数据演化的溯源管理。