矿业大数据平台的设计与实现

（一）设计思路

矿业大数据平台要实现对矿产行业海量数据进行存储、管理、分析，并尝试对将会造成的环境污染、可能发生的安全事故和矿业经济发展趋势进行预测，必须采用技术较为先进、成熟的大数据软件平台，例如Hadoop。Hadoop是Apache开源组织的一个能对海量数据进行分布式处理的软件程序框架，它是一个开源的软件平台，具有可靠性、可伸缩性、高效性。Hadoop为应用程序提供高可靠性的透明的接口，Hadoop 运行在计算集群上，应用程序可以运行在廉价的大型集群硬件设备上，运行成本比较低，可以根据需要，随时添加或删除Hadoop集群中的服务器。Hadoop 提供了分布式数据存储和并行处理数据的方式，可以高效地实现对海量数据进行分布式存储和处理。在运用Hadoop框架进行开发的时候，HDFS分布式文件系统存储群集节点上的文件，MapReduce编程系统对海量的数据进行高效且可靠的分析处理运算，HBase是面向列的分布式数据库，可用于实时的随机读/写超大规模数据集。^[2]矿业大数据平台由大数据技术软件平台和一套管理系统构成，大数据技术软件程序框架负责实现数据存储、分析等功能，配套管理系统用于国土资源部门工作人员对矿业经济信息的日常管理。

（二）平台功能

矿业大数据平台功能有四个方面基本需求：一是数据采集管理趋于自动化，实现生产数据、业务数据、管理数据的全面、多结构自动采集；二是数据整合管理趋于流程化，通过整合数据资源以优化业务流程；三是数据存储管理趋于实时化，利用云计算技术，搭建“知觉云”平台，实现海量数据的存储和交互；四是数据分析、利用管理趋于科学化，系统分析数据，建立模型，挖掘有用价值，推动管理升级，预测未来发展趋势。^[3]依照这四个方面基本需求，可以将矿业大数据平台功能分为：收集、管理、核查、报表、分析、预警、预测七个部分。（1）收集功能分为政府采集和矿产企业上报两部分，政府采集由市县一级国土资源部门采集然后录入管理系统再上传到省厅一级国土资源部门数据库；矿产企业上报是由矿产企业通过专用接口接入矿业大数据平台，并向平台提交原始数据。（2）管理功能指的是对在库数据、报表及分析预测报告等进行查询、修改、删除等基本操作，此外管理功能还要实现对平台数据标准的录入、修改、删除功能。（3）核查功能主要指平台根据工作人员录入的数据标准对政府采集的数据和矿产企业上报的数据进行核查。（4）报表功能是由专门的报表管理系统根据设定好的规格、模版生成报表，并具有对报表的修改、删除功能。（5）分析功能是指对在库数据进行分析并得出分析报告，此功能需要由大数据技术软件实现。（6）预警功能主要由市县一级国土资源部门通过管理系统实现，其作用是依照上级国土资源部门所设定的统一标准对比矿产企业相关数据的分析结果，对可能将会超标的环境保护、安全生产情况进行预警。（7）预测功能是指省厅一级国土资源部门根据对在库数据进行分析所得的工作报告，运用大数据技术软件对省内矿业经济发展趋势进行预测。

（三）系统组成

矿业大数据平台根据国土资源部门实际需要做出需求分析，并采用面向对象的方法开发管理系统，整体系统分为七个子系统：数据库管理子系统、报表管理子系统、标准管理子系统、中枢管理子系统、矿业环境监管子系统、安全生产监管子系统、信息公开子系统。子系统关系如图9-1所示。

图9-1　子系统关系图

（1）数据库管理子系统。主要工作是对库存数据进行日常操作管理，其包含对数据的输入输出、查询、删除、修改、存储基本功能（数据库管理子系统由Hive实现）。(www.xing528.com)

（2）报表管理子系统。主要负责从数据库获取数据后按照设定好的格式生成报表，并包含报表输出和对报表的修改、删除、存储功能。

（3）标准管理系统。主要功能是供工作人员通过该系统输入并制定统一标准，再由标准管理系统输出到中枢管理子系统，标准管理系统还具有对标准进行修改、删除的日常管理功能。

（4）中枢管理子系统。作为连接其他六个系统的枢纽，中枢管理子系统是七个子系统中最为重要的一个子系统，其功能如图9-2所示。中枢管理子系统接收来自各个子系统的数据并且还包含传输、核查、分析、预测功能。传输功能主要是实现将标准管理系统所上传的标准传输到矿业环境监管子系统和安全生产监管子系统，将核查结果传输到矿业环境监管子系统和安全生产监管子系统，将可以公开和需要公开的数据、报表、分析结果和预测结果传输到信息公开系统。核查功能主要是实现利用标准管理子系统所上传的标准对矿业环境监管子系统和安全生产监管子系统所上传的数据进行核查。分析功能主要是负责对在库数据和已存报表进行大数据分析，而预测功能是根据数据分析结果进行预测（分析功能和预测功能由Hadoop平台实现）。

图9-2　中枢管理子系统功能图

（5）矿业环境监管子系统。主要是由各级县市国土局以及矿产企业实现其功能，各级县市国土局收集辖区数据后输入该系统，各个矿产企业将自己的日常数据输入该系统后再由该系统将原始数据上传到中枢管理系统。矿业环境监管子系统还具有对所收集的数据进行分析从而得出合格，或超过规范标准，或可能超过规范标准的判断。预警功能就是将分析结果中可能超过规范标准的信息反馈给相关矿产企业，并在本级系统中显示预警提示，同时将可能超过规范标准的信息上传到中枢管理子系统。

（6）安全生产监管子系统。主要是由各级县市安监局以及矿产企业实现其功能，各级县市安监局收集辖区数据后输入该系统，各个矿产企业将自己的日常数据输入该系统后，再由该系统将原始数据上传到中枢管理系统。安全生产监督子系统还具有对所收集的数据进行分析从而得出合格，或超过规范标准，或可能超过规范标准的判断。预警功能就是将分析结果中可能超过规范标准的信息反馈给相关矿产企业，并在本级系统中显示预警提示，同时将可能超过规范标准的信息上传到中枢管理子系统。

（7）信息公开子系统。是专门对需要向社会公开的数据、报表、分析结果进行管理的子系统。该系统从中枢系统接收可公开、需要公开的数据、报表、分析结果，并直接连接国土厅政务公开页面，通过该页面向社会公开、提供下载。