关键技术解析：能源大数据公共服务平台建设

11.2.3.1 能源大数据采集、脱敏技术

1)AMI计量体系

结合国内外AMI技术的研究进展,需要进一步加深多功能智能电表的研制,促进用户参与需求响应和电力市场;进一步建立统一共享的数据平台,积极开展AMI组网方式和通信技术的研究。电能测量结构的量值溯源是实现智能电网AMI系统功能的保障,而AMI系统的构建要求也推动智能技术在电能计量领域的应用,从而进一步促进计量装置的更新换代。

能源大数据在能源生产和使用过程中产生,数据来源涉及能源生产使用的各个环节。能源大数据蕴藏着巨大的商业价值和社会价值,挖掘能源大数据的价值面临巨大机遇。基于能源数据和能源的同步传输,促进能源与信息技术的深度融合,逐渐形成以能源、数据为运行体系支撑下的坚强可靠、清洁环保、友好互动的能源管理网络。能源大数据在经济、能源、民生等方面展现出巨大的综合价值,从生活、生产及运行等各领域全面支撑智慧城市建设。从能源管理角度讲,数据就是能源。通过延伸到企业、楼宇的广泛覆盖的数据采集网络和深度的能源大数据挖掘,实现智能用电管理,使用户实时掌握用电性能、在线互动能耗数据、实时响应电价,实现能源梯次循环及高效利用,大幅提升能效管理水平,为节能改造提供依据,为政府政策制定、节能减排管理、宏观经济运行等提供智能决策,为城市经济的绿色发展提供坚实保障。

2)分布式控制系统

分布式控制系统(distributed control system,DCS)是综合了计算机技术、通信技术、控制技术和CRT显示技术的一种新型控制技术,实现了对生产过程的集中监视、操作、管理和分散控制,同时具备分散的仪表控制系统和集中式计算机控制系统的特点。

近年来,发电行业进一步提高了电厂综合自动化水平,注重并加强了信息化的投入,很多火电厂提出需要分布式控制系统为基础的厂级监控信息系统以提高生产安全及生产效率。

在大型火电厂,分布式控制系统是计算机系统与发电机组控制模式结合的控制系统,与传统控制系统有本质区别。分布式控制系统具有通用性强、系统组态灵活、控制功能完善、数据处理方便、显示操作集中、调试方便、运行安全可靠等特点,在大型火力发电厂的生产过程中,能提高发电技术的自动化水平,减少不必要的人员浪费,增强系统的安全系数。

3)数据发布与挖掘中的隐私保护技术

数据发布中隐私保护技术的研究最早源于统计泄露控制(statistical disclosure control, SDC)领域。SDC中隐私保护研究的目的是在保护隐私的同时尽量保留数据的统计特性,其实现隐私保护的方法主要有微聚集、样本化、随机化、添加噪声等。自1998年K-匿名模型提出以来,数据发布中的隐私保护(privacy preserving in data publishing,PPDP)问题便开始受到计算机科学领域学者的广泛关注,成为数据库与信息安全领域的一个研究热点。与其相平行的另一个研究分支是数据挖掘中的隐私保护(privacy preserving in data mining,PPDM),PPDM这一概念是Rakesh Agrawal于2000年在ACM SIGMOD上正式提出,主要针对数据挖掘过程中可能产生的隐私泄露形式。PPDM在实现隐私保护的过程中需要结合具体的数据挖掘方法来解决问题,主要采用修改原始数据和隐藏敏感知识(即数据库中的知识隐藏,简称KHD)的方法。PPDP的概念是2007年由Benjamin Fung正式提出的,目的在于研究通用的、能保护隐私的数据发布方法和工具,即使是不具备统计分析、数据挖掘等领域专业知识的普通数据使用者也可以使用。而PPDM中的方法则要求使用该方法的用户具有数据挖掘等方面的专业知识,并且还要考虑数据发布后的具体应用。

目前,PPDP研究中已有多种隐私保护方法提出,根据实现方法的不同可以分为数据转换方法、数据匿名化方法、安全多方计算方法以及混合方法。其中,匿名化方法以其安全和有效性,成为目前隐私保护方法研究中的一大热点。

4)数据采集系统建设

数据采集系统建设包括机房的基础设施建设、软硬件建设以及数据通信建设。数据采集系统采用传感、通信等物联网技术,覆盖能源数据的实时、在线采集系统等,可以将工业、建筑、交通等领域用能企业的电力、天然气、煤等能耗数据进行在线采集,从而为平台后面的监测、仿真、预警预测、分析诊断、共享及查询等功能的实现提供基础。

各层级之间的数据通信包括企业分布式中心子系统和数据在线采集系统内部通信,以及企业分布式中心和能源大数据公共服务平台的通信等。其中数据实时、在线采集系统内部通信应符合国家相关数据传输技术导则。

数据采集网关与能源大数据公共服务平台之间的网络通信,在子系统管理服务器与能源大数据公共服务平台通信服务器之间进行。可灵活选用ADSL、LAN、GPRS/CDMA无线等方式进行数据传输,并通过配套的证书认证和虚拟专用网加密传输双层保障,以确保数据传输安全性。

数据通信的安全,符合下列规定:

(1)双方数据交互前进行身份认证,算法和密钥的安全性符合要求。

(2)在通信数据传输过程中,使用数字证书加密或使用VPN隧道进行安全传输,以保证数据传输的完整性和机密性。

(3)重要数据报文进行数字签名。能源大数据公共服务平台是企业能源计量数据监测网络上的数据结点,负责各企业能源计量数据的分类汇总、统计分析、上报等工作。能源大数据公共服务平台自动接收并存储来自企业能源管理管控中心子系统上报的或者直接来自计量装置能源资源实时、在线采集的监测数据,并按监管体系要求统计汇总、分析本辖区内各类能耗监测数据,生成各类统计报表及分析报告,并将能源资源计量数据定时上传到上一级平台。

能源大数据公共服务平台采集并存储企业的能源数据,并对本区域内的能源数据进行处理、分析、可视化。能源大数据公共服务平台将各种数据进行分类汇总。实时采集数据频率根据能源品种不同而不同,其中电力数据最短可达15min一次。

软件系统的主要子系统包括数据采集子系统、数据处理子系统、数据上报子系统、数据分析子系统、数据可视化子系统、数据报表生成等。

现场采集子系统由数据计量仪表装置、能源数据通信网络系统组成。能源数据采集器支持同时对不同用能种类的计量装置进行数据采集,包括电能表、水表、燃气表、热量表等。计量装置到能源数据网关之间的通信方式,主要包括RS-485有线方式、载波方式、ZigBee无线方式。

通信网络是整个系统的联系纽带,覆盖范围可以到达各企业的厂区各处。在能源管理系统中,随着管理企业数量的增多以及系统功能的增强,往往需要多种通信方式组合使用,如光纤网、以太网、GPRS等,根据具体情况选用。

11.2.3.2 能源大数据平台存储技术

大数据需要新的处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据既包含结构化数据,也包括非结构化数据,而且是以数量巨大、变化率高的形式存在。相比于传统数据以数据库存储,大数据存储则主要以数据仓库的形式存储,数据仓库主要构建一个面向主题的、集成的、相对稳定、反映历史变化的数据集成,用于支持管理决策和信息的全局共享,其不同点见表11-1。传统数据库基本能够应对日常的管理事务,但随着用户提出更高的功能需求时,如决策分析、规律研究、产业规划等,传统数据库显然无法满足这样的功能需求,因此为满足用户的业务需要,就需在传统数据库的基础上产生适应业务的数据环境。

表11-1 传统数据库和数据仓库的不同点

构建能源流大数据仓库有利于对最原始的数据进行综合、集成、加工和提炼,形成结构相对灵活、可直接调用的数据分析源,其具体流程如下:首先处理前的数据来自不同的数据源,比如能源利用情况、设备情况、淘汰情况、单位产品能源消耗限额等,这些数据源经过ETL等数据转换软件对数据源进行去噪、清理、抽取、转换、提炼等,将数据存储在数据仓库中,未来根据业务需求直接在数据仓库中进行数据的查询、调用、分析和处理,进行类似OLAP的联机分析处理,并生成报表,使数据信息以可靠和安全的方式呈现给用户,深入洞察企业的运营情况。

11.2.3.3 研制企业能源流建模与分析软件

从系统化、层次化角度对企业能源使用情况进行全面合理分析及优化是实现企业节能减排的重要方面。首先,研究分析行业内不同企业生产经营活动的共性特征,围绕企业能源介质(电、天然气、蒸汽等)结构、来源、去向和能源转换消耗情况,从企业生产工艺、生产工序、组织结构和数据等多个视角,构建行业内通用的企业能源流模型,将企业的能源流、工序流和成本流进行全面关联与集成,以形成对企业能耗多角度全方位的综合认识。其次,基于企业能源流模型,结合企业实际生产和能耗数据,对企业能源结构、能源现状和能源需求进行深入分析和科学预测,为改进能源管理、实行节能改造、提高企业能源利用率和进行企业用能评价提供科学依据。主要功能如下:

(1)能耗监测。对企业用能数据及相关参量进行在线监测,实时反映企业不同视角能源流的情况和变化趋势,并对企业异常能耗、设备异常用能状态等进行在线预警,为企业安全用能、设备安全运行及设备运维等提供保障和依据。

(2)能耗报表。根据各政府机构能源统计与节能监察需求以及企业自身能源管理的需求,对各类能耗数据进行梳理和统计分析,自动生成符合要求的能耗统计报表,实现企业能源数据上报、能源数据管理的数字化和自动化。

(3)能效分析。对企业的生产工艺能效、产品产值能效和设备能效等进行综合分析,帮助企业了解自身能源利用水平;并通过能效对标分析,了解企业在该区域该行业的平均用能水平和用能排名情况,为企业制定节能策略、提升能效指明方向。

(4)节能分析。帮助企业了解自身节能潜力,核算企业实施节能改造措施后的节能效果(如节能量和经济效益等),并为企业节能方向提出合理化建议(如工艺节能改造、产品节能改造等)。

(5)能耗预测。依据企业实际生产数据,按照能源仿真算法,预测企业内各种能源介质的需求量与需求结构、设备运行情况,为合理调度各种能源介质、优化控制提供依据。

11.2.3.4 构架能源大数据平台,向企业提供服务

通过对上海市工业能效大数据分析研究与应用平台的建设,可以建立起一种全新的面向工业用能企业、节能服务企业及政府的服务模式,见表11-2。

表11-2 能源大数据平台与服务(www.xing528.com)

在平台层方面,通过数据采集层的数据采集、在线监测、生成报表、数据传输、数据分析等多种手段将大量的企业能耗数据进行整合,并上传至云平台,该云平台将包含指标库、专家库、技术库,便于对企业的用能情况进行有效的大数据分析。

能源大数据应用平台主要将服务于工业用能企业、节能服务企业及政府。在对工业用能企业的服务方面,一是通过能效对标等方式有效提升企业能效水平。通过能效对标、智慧能源管控、能效提升专家系统切实提升企业能效。提供主要装置、工序、通用设备、产品单耗等方面的对标标杆数据,由数据处理与分析模块和能效提升专家系统模块自动找出差距,分析原因,并提供详细的技术可行性方案、经济性分析等企业关心的潜在能效项目方案,起到实时能源审计和专家现场诊断的作用,便于企业实施能效项目和优化用能管理。二是有效优化企业自身的用能管理。工业能效大数据平台建设同时所开发的企业用能管理软件,可有效地帮助企业进行用能管理。为增强分布式智慧能源系统的针对性,还将针对不同的行业开发不同的版本,便于企业依据自身情况进行针对性管理,并发现自身在用能管理中的不足,发掘自身节能潜力,基于此,企业自身的用能管理水平将得到较大的优化。三是方便企业对接政府。企业可依据此管理软件,快速地生成相关报告、报表,简化了企业的人力管理,对于企业对接政府,提供了极大的便利。

节能服务企业的发展对于推广合同能源管理机制,通过市场化手段推进全社会实现节能化发展具有重要的意义。该平台的建设在对节能服务企业的服务方面,一是有助于节能服务企业对服务对象的发掘。大数据分析可以及时发掘出能效水平较低、亟待进行节能技术改造的一批用能企业,大数据的分析结果对节能服务企业与工业用能企业的对接起到了极好的媒介作用。二是对节能服务企业所服务的行业进行有效导向。通过对企业的用能情况分行业进行大数据分析,可以及时发掘出能效水平较低、亟待提升能效的相关行业,节能服务企业可有针对性地研究发展对于这些行业的节能技术改造方案,并大力推广,使得工业用能企业和节能服务企业在此过程中获得双赢。三是有助于节能技术的推广。该平台还将收集汇总一批节能改造技术方案,通过该平台分享、发布,对节能服务企业的节能改造工作及先进节能技术的推广具有极好的推动作用。

能源大数据应用平台的建设对政府的工作开展也可起到很好的服务成效,通过该平台收集、整合的工业用能数据,对于政府分析不同行业能效数据趋势,为政府部门主导的碳排放,经济形势预测,节能目标分解、考核、预警、预测,节能政策制定等提供了有力的支撑。

11.2.3.5 信息安全保障技术

1)物理层安全

保证计算机信息系统各种设备的物理安全是整个计算机信息系统安全的前提。物理安全是保护计算机网络设备、设施以及其他媒体免遭地震、水灾、火灾等环境事故以及人为操作失误或错误及各种计算机犯罪行为导致的破坏过程。它主要包括以下三个方面:

(1)环境安全。对系统所在环境的安全保护,如区域保护和灾难保护(参见GB 50174—2008《电子信息系统机房设计规范》、GB/T 2887—2011《计算站场地通用规范》、GB/T 9361—2011《计算机场地安全要求》)。

(2)设备安全。主要包括设备的防盗、防毁、防电磁信息辐射泄漏、防止线路截获、抗电磁干扰及电源保护等。

(3)媒体安全。包括媒体数据的安全及媒体本身的安全。

(4)设备冗余。主要是针对网络中的那些重要单元(如中心交换机、服务器、存储系统、重要的通信线路等),采用冗余备份措施。

2)应用级安全

应用级安全主要目的是在应用层保证各种应用系统的信息访问合法性,确保用户根据授权合法地访问数据。应用层的安全防护是面向用户和应用程序的,采用身份认证和授权管理系统作为安全防护手段,实现应用级的安全防护。

可将系统数据信息分类和系统用户分类来有效地实现应用级的安全。比如可以将数据信息分为特级机密信息、机密信息、公共信息。相应地将用户分为特级用户(可以访问所有的信息)、一级用户(可以访问机密信息和公共信息)、普通用户(只能访问公共信息)。不同权限的用户登录到应用系统,只能在其权限范围内进行操作。

应用级安全主要从两个层次加以实现:一方面利用各个应用子系统自身专有的安全机制;另一方面则是利用数据库自身的安全机制。

应用系统安全机制主要是指在开发应用系统时建立相关的安全机制,并与相关数据库平台安全机制和相应消息传递平台的安全机制紧密、有机结合。主要包括以下几点:①自定义的用户安全策略;②应用系统用户身份认证;③访问控制授权;④数据加密传输;⑤审计监督。

(1)口令保护、身份认证。为了防止非法用户不合法地存取信息,可对用户的存取资格和权限进行检查。在系统中口令选择足够的码长,一般性用户口令的字符长度至少有8位,而且要经常更换。保密性很强的高级用户采用一次性口令(one-time-password),涉及有关信息和用户,采用数字安全证书等措施。

(2)存取控制。在网络设计时通过对数据重要性、保密性、公开性及使用者的分析,把网络分为不同的网段,或划分为不同的工作组;通过信息系统的管理人员对工作组和用户不同操作的授权,可以控制用户对信息源不同级别操作,防止对信息非法地访问、修改、删除,保证数据的安全与保密。

(3)审计管理。系统软件和应用软件应具有强大的日志能力,对于任何被保护的数据资源的存取、删除、修改等操作的时间、操作的用户等信息都有详细记录,提供审计功能。

(4)信息的加密。传输数据的加密采用数据链路加密和端端加密。其中数据链路加密是对两个结点间的单独通信线路上的数据进行加密;端 端加密为网络提供从源头到目的地的传输加密保护。存储数据加密保护是针对记录媒体的信息进行密码化保护,只有获得正确密钥的用户才有权共享文件。加密的目的主要是防止偷读、冒充其他用户存取、非法复制等。

3)数据级安全

数据级安全主要从数据传输和数据存储两个方面进行设计。

(1)数据传输安全。数据传输安全设计中涉及数据传输加密技术、数据完整性鉴别技术及防抵赖技术。

①数据传输加密技术。目的是对传输中的数据流加密,以防止通信线路上的窃听、泄露、篡改和破坏。一般常用的是链路加密和端端加密方式。

②数据完整性鉴别技术。许多协议为了确保动态传输信息的完整性,大多采用收错重传、丢弃后续包的方法,因而,应采取有效的措施来进行完整性控制,主要技术有报文鉴别、加密校验、消息完整性编码等。

③防抵赖技术。它包括对源和目的地双方的证明,常用方法是数字签名。

(2)数据存储安全。在信息系统中存储的信息主要包括纯粹的数据信息和各种功能文件信息两大类。对纯粹数据信息的安全保护,主要是保护数据库信息;而对各种功能文件的保护,应用终端的数据存储安全也很重要。

①数据库安全。提供多级数据库的安全机制,并能支持数据加密存储和传输及冗余控制。对数据库系统所管理的数据和资源提供安全保护,一般包括以下几点:物理完整性,即数据能够免于物理方面破坏的问题,如掉电等;逻辑完整性,能够保持数据库的结构,如对一个字段的修改不至于影响其他字段;元素完整性,包括在每个元素中的数据是准确的;用户鉴别,确保每个用户被正确识别,避免非法用户入侵;可获得性,指用户一般可访问数据库和所有授权访问的数据。

②应用终端的数据存储安全。主要解决微机信息的安全保护问题,一般的安全功能有以下几种:基于口令或(和)密码算法的身份验证,防止非法使用机器;自主和强制存取控制,防止非法访问文件;多级权限管理,防止越权操作;存储设备安全管理,防止非法软盘复制和硬盘启动;数据和程序代码加密存储,防止信息被窃;预防病毒,防止病毒侵袭;严格的审计跟踪,便于追查责任事故。建议可以采用智能钥匙(USB接口)实现应用终端的数据存储安全。

③安全管理制度。信息系统在建成并投入运行后,为保证其安全,除了技术上的措施外,在管理方面,必须在内部建立一整套完善而且严密的安全制度,并切实遵照执行,才能从根本上确保系统的安全。加强内部人员的安全教育,明确各用户的系统使用权限,严格机房等重要场所的管理,加强内部的安全管理。

内部安全管理必须坚持以下基本原则:分离与制约、有限授权、预防为主和可审计原则。内部安全管理的内容主要包括制定以下管理制度:机构与人员安全管理制度,系统运行环境安全管理制度,硬设施安全管理制度,软设施安全管理制度,网络安全管理制度,数据安全管理制度,技术文档安全管理制度,应用系统运行安全管理制度,操作安全管理制度,应用系统开发安全管理制度,应急安全管理制度。

④数据备份防范制度。随着信息系统数据量的增长、历史数据对业务的重要性不断增强,建立和采用全面、可靠、安全和多层次的数据备份以保证在灾难突发时的系统及业务的有效恢复。

不同用户对灾难发生后数据的恢复程度有着不同的要求,通常要求越严格,花费也越高,一般是按照威胁半径、数据更新要求、恢复时间要求和对丢失数据的容忍程度来评价对灾难恢复的要求程度。在能源大数据平台中,对各主要系统及其相关数据进行定时、自动备份,对数据量大、更新较少的数据采用差分备份,对数据量小、更新较多的数据采用完成备份。

⑤计算机病毒防范。计算机病毒的防范应采用技术手段和管理手段相结合的办法,进行综合防范。技术手段主要是形成一套严密的多级跨平台防病毒系统。对系统实行全面统一的防病毒保护,杜绝病毒在网络系统中的传播,实时监测包括软盘、Internet下载、E-mail、网络、共享文件、CD-ROM和在线服务等的各种病毒源,使系统免遭各种病毒的侵害。它甚至还能扫描各种流行的压缩文件和内容,使病毒无处藏身。多级跨平台防病毒系统主要包括以下几个主要方面:

A.桌面防毒。提供桌面全面、有效的安全保护,包括防止病毒、防止和Internet相连时一些恶意Java和ActiveX小程序等Web攻击和电子邮件入侵。

B.服务器防毒。提供应用于文件及应用程序服务器的防毒,提供综合的基于服务器的病毒防护,帮助在网络上的关键服务器控制点防止病毒传播,保护被网上其他人访问的服务器文件、共享文件夹和服务器上的任何重要数据。能够实时地检测所有上传或传出服务器的感染了病毒的文件,并对检测出的病毒进行清除、删除甚至隔离以备将来分析和追踪根源。

C.群件防毒。阻止消息传递平台即群件环境内病毒。安装在服务器上的防毒软件采用扫描技术,扫描出被感染的文件,并防止病毒扩散到客户机。