科技馆与科普信息化：大数据的产生和价值

随着“云计算”“互联网”“物联网”的快速发展，计算产生的数据量越来越大且维度广泛，大数据逐渐也吸引了越来越多的科学研究人员的关注。大约从2009年前后开始，“大数据”就成为互联网上信息技术行业的流行词语，麦肯锡的研究报告发布以后，大数据迅速成了计算机行业争相传诵的热门概念，麦肯锡在咨询报告中提出，数据已经渗透到各行各业及其业务领域，大数据要处理的数据非常巨大，就现如今的信息技术发展趋势而言，大数据技术的发展如火如荼。

数据本身就是一种资产，和有形资产同样重要，基于这种观点的看法，在计算机行业已经认识一致，各大公司越来越重视数据的价值。如果说云计算的出现为数据资产提供了保管、访问的场所和渠道，那么如何盘活数据资产，使其为国家治理、企业决策乃至个人生活服务，则是大数据研究的核心议题，也是云计算内在的灵魂和必然的升级方向。

近年来，紧跟着互联网、人工智能、物联网、云计算等技术的推动，全球数据量正在无限制地扩展和快速增长。图10-1是大数据产生的渠道和应用场景。根据国际权威数据统计机构Statista的研究和预测，全球数据量在2019年约达到41ZB。国际数据咨询公司互联网数据中心研究报告表明，全球近90%的数据将在这几年内产生，预计到2025年，全球数据量将比2016年的16.1ZB增加十倍，达到163ZB，如图10-2所示。

图10-1　大数据的产生

图10-2　2016—2025年全球数据产生量统计及增长前景预测

根据互联网数据中心最新发布的统计数据，中国的数据产生量占比约为总数据产生量的23%，美国的数据产生量占比约为总数据产生量的21%，EMEA（欧洲、中东地区、非洲）的数据产生量占比约为总数据产生量的30%，APJxC（日本和亚洲太平洋地区）数据产生量占比约为总数据产生量的18%，而全球其他地区数据产生量占比约为总数据产生量的8%，如图10-3所示。

图10-3　2018年全球数据产生量地区分布情况

大数据正以磅礴的力量，推动技术变革，大数据与当代同样具有革命意义的最新科技进步一起，揭开人类伟大创新的序幕。可以简单地说，以往人类社会基本处于蒙昧状态中的不发展阶段，即自然发展阶段。(www.xing528.com)

随着信息时代的快速发展，人们逐渐意识到数据的重要价值，并且逐渐研究、学习使用大数据改变人类生产活动和丰富人们的日常生活。从技术层面分析，大数据与云计算的关系就像手心手背一样不能彼此失去对方。没有云的话，大数据就是个分散的手工作坊。大数据一定不能通过运用独立的单台计算机进行分析加工处理，所以不得不采用分布式网络计算架构。它的特色在于快速对海量数据的挖掘，但它必须依托云计算的分布式处理、分布式数据库存储以及虚拟化技术。大数据有4大特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值），简称“大数据4V特点”。大数据是新资源、新技术和新理念的有机混合体。从资源视角来看，大数据是新资源，体现了一种全新的资源观。

对于地球上每一个人而言，大数据到底有什么应用价值呢？只要看看你周边正在发生的一切事件，包括人民的生活和创新，你就会明白，大数据技术对人们的重要性不亚于人类开始使用火种。大数据让人类对事物的认识回归本源，大数据影响着人们的经济生活、社会管理、文化教育、科学研究、医疗保健、休闲娱乐以及政治博弈等，也就是说，大数据影响着每个人的生活。

大数据的应用赋予了客观实在新的意义，一方面，大数据是“数据驱动”的，即生产经营管理决策可以自下而上地由数据来驱动，甚至像实时竞价广告等场景中那样，可以由机器根据数据直接决策；另一方面，大数据是“数据闭环”，观察互联网行业大数据案例，它们通常能够构造起包括数据获取、数据建模分析、分析效果评估到结果反馈错误修正各个环节在内的完整“数据闭环”，从而能够不断地自我升级，螺旋上升。

在应用实践研究方面，体现为数据获取、数据加工、数据存储管理、数据挖掘分析和数据应用集成。其中，数据管理主要用于大型互联网数据库和新型数据储存模型与集成系统中，而数据搜索分析则多用于用户上网行为分析研究中，数据集成则通过将不同渠道来源不同作用的数据进行整合，从而开发出数据库新的功能，目前数据集成正处于研究发展的初始阶段。在数据的安全研究方面，大数据技术研究中对用户隐私保护和数据质量问题是当前数据安全研究工作的重点。一方面，大数据技术背景下，网络用户的隐私和个性更容易被采集获取，隐私信息被窃取或无意泄露风险更大；另一方面，大数据由于在数据的准确性、数据冗余性、数据完整性等方面存在的偏差，数据质量存在天然的缺陷，亟须提升大数据算法，开发应用相应的数据自动检测修复系统。

在可预见的未来几年内，大数据将成为企业和国家的重要战略资源。大数据将不断成为各类研究机构，尤其成为数据企业的重要资产，成为提升企业竞争力的基础资源。企业不得不将更加钟情于用户数据，充分利用客户与其在线产品或服务交互产生的数据，并从中获取价值。此外，在市场影响方面，大数据也将扮演重要角色——影响着广告、产品推销和消费者行为。

大数据处理无法离开云计算技术的支撑，云计算技术为大数据应用提供弹性无限扩展的基础设施支撑环境以及数据服务的高效服务模式，大数据则为云计算增加了新的商业价值。总体而言，云计算、物联网、移动互联网等新兴计算形态，既是产生大数据的地方，也是大数据分析研究和新技术新方法的应用领域。

就像信息技术和互联网的快速发展一样，大数据技术将出现一系列重大变革，大数据很可能会发展引领新一波的技术革命。基于大数据的数据挖掘、机器学习和人工智能可能会改变数据里的很多算法和基础理论，这方面很可能会产生信息技术理论级别的突破。

大数据的持续增加，数据不断扩大，这就对数据存储的物理安全性的要求提出新要求，必须保证存储数据的安全性，防止数据丢失，从而对数据的多个副本与容灾机制提出更高的安全性、可靠性要求。大数据的保护越来越重要，网络应用和数字化生活使得犯罪分子更容易获得用户的隐私信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。

以数据为中心的解决方案与应用兴起，世界范围内已经不再将程序应用本身作为独有的优势，相反数据则能够带来在B2B、B2C和C2C领域内确立独特优势的关键点。在数据管理中，以数据为中心的模式将会取代传统以程序应用为中心的模式。

2015年，国务院发布的《促进大数据发展行动纲要》将大数据发展确立为国家战略。党的十八届五中全会明确提出，实施“互联网+”行动计划，实施国家大数据战略，大力发展工业大数据和新兴产业大数据，利用大数据技术大力推动信息化和工业化深度融合发展，从而推动工业互联网与智能化向前发展，大数据正成为工业领域的发展热点。工业领域是大数据产生的主体，工业大数据的价值在于大数据应用为工业产业链各环节提供增值服务，有力提升工业生产的附加值。工业大数据的最终作用是为工业的发展、工业企业的转型升级提供有价值的服务。