国内外大数据发展探究

一、国内大数据发展研究

未来的企业一定是数字化的。当企业把业务从线下搬到了线上，和客户的连接已经开始了数字化的旅程，所有的沟通过程都会被记录，使得企业对用户的了解前所未有的细致和全面。从商业上说，企业可以通过对海量的用户数据分析来完善产品或服务。未来的竞争一定是面向数据的竞争，数据累计得越多，对用户越了解，业务就越具有独特性，别人难以复制。未来的政府也一定是数字化的。政府层面对大数据分析应用可以完善公共服务。例如，如果一个地区的地方政府可以确定新生儿的数量、新生儿身处的区域和将来的入学需求，则可以预测当地教育资源（如学校）的供应是否满足未来几年的需求。政府大数据部门能为人们提供预警，并将大数据用于社会治理，更好地为当地居民服务。

近年来，大数据理念在国内已经深入人心，人们对大数据的认识也更加具体化，“用数据说话”已经成为国内很多人的共识，大数据分析和大数据建设被各行各业所重视，数据成为堪比石油的战略资源。对应石油产业中的油田、冶炼和消费三个环节，数据产业主要包括数据源、加工以及应用三大类。今天的大数据生态就是想让数据来源更丰富，让数据加工更高效，让数据应用市场更广阔。大数据实践逐渐落地，国内的大数据产业政策日渐完善，技术、应用和产业都取得了非常明显的进展。

（一）政策的逐渐完善

从国家政策方面来看，中华人民共和国国务院在发布的《促进大数据发展行动纲要》中对国内大数据的应用做出了总体部署，主要涉及以下三方面：一是共享和公开政府数据；二是产业发展；三是大数据的安全。除此之外，还出台了一系列相关的政策。例如，《政务信息资源共享管理暂行办法》介绍了关于数据共享和开放的内容；《大数据产业发展规划（2016—2020年）》介绍了关于产业发展的内容；《中华人民共和国网络安全法》介绍了数据安全方面的内容。不仅如此，卫计、环境保护和税务等多个部门都相继发布了针对自身领域在大数据发展中所需的具体政策。在全国范围内，有17个省市都发布了适合自身省份的大数据发展规划。此外，成立了多个大数据管理局、大数据综合测试中心、国家工程实验室。可以说，大数据的发展正处在良好的政策环境下。

广东省大数据管理局是最早在国内建立的大数据管理局。大数据管理局中级别最高的应该是贵州省大数据发展管理局，因为他直接属于省政府，所以级别最高。除此之外，阿里巴巴公司杭州市数据资源管理局也受到人们的极大关注。各地设立的大数据部门的名称各不相同，有些叫大数据管理局，比如广东省的大数据部门叫大数据管理局；贵州省的大数据部门叫大数据发展管理局；除此之外，还有一些地方叫数据资源局，比如杭州市和合肥市；还有一些地方比如佛山南海区叫大数据统筹局；江门市叫网络信息统筹局；铜陵市叫信息化管理办公室。因为不同的省市地区对大数据职责要求不同，所以大数据部门的名称，各不相同。不仅如此，级别、隶属关系也不相同，有的隶属于工信委、经信委，有的隶属于政府或者直接隶属于省市，一般来说，隶属于经信委、工信委的部门大数据工作更加侧重于产业；隶属于省市政府的部门，会更加侧重于政府数据工作或者社会治理大数据工作。

（二）技术与应用逐步落实

开源为国内大数据行业提供了立足之地，使其可以不断缩小与国际大数据技术之间的差距。无论是对于数据的存储、硬件体系的建构，还是数据的计算监视和节点通信的把控等方面，国内拥有一定技术的企业不在少数。同时，凭借越来越牢固的底层技术，具有国产化特色的商业大数据平台产品也在逐渐增加。

大数据应用程序是增量实现的。在金融行业，商业银行已经全面构建了大数据基础架构。五家主要的国有银行、合资银行、城市商业银行和农村商业银行已逐步开始转型，正在经历从传统数据仓库架构到大数据平台架构的过渡。在大数据风险管理的基础上，“秒贷”业务越来越受大家欢迎，这不仅提高了借贷效率，而且扩大了普惠金融在群体中的覆盖范围。在电信行业，中国电信的大数据平台的扩展也正在逐渐加大，已经有31个省份被覆盖，该平台整合了来自全国各地的基础数据，形成了“天翼大数据”的服务功能。除此之外，中国联通的数据整合能力也非常优秀，其大数据产品系统具有信用报告，索引和营销等不同类型的产品。总而言之，与数据创建、聚合、处理、应用、管理和控制相关的产业生态系统正在逐渐完善，并发展壮大。

（三）数据产生价值难度增加

数据产生价值链条长。很多政府部门和企业不知道数据怎么用，或者没有支撑的数据平台。对于它们而言，把数据变成价值的链条是非常长的。从采集、整合到分析，整个链条涉及的部门比较多。涉及业务部门、数据平台部门、数据分析与数据产品部门，而后又回到业务部门，这个链条非常长。这决定了要让数据产生价值很困难。关于数据变现，只要合理地使用数据，就可以把“数据产生价值链条长”的问题简化，合理的数据平台有助于缩短这个链条，让数据为企业产生价值。

（四）大数据问题与机遇并存(www.xing528.com)

从数据的产生端到数据价值链条顶端的决策行动支持，要经过整合、管理、分析、洞察这些关键步骤，在当前国内的大数据生态中，大数据价值实现的难点和重点在于数据的有效融合和深度分析。

（l）对数据管理应该加强。分析数据时，往往过多将时间和精力花费在收集和处理数据上，这一项的花费占比高达80%。这样的工作分配不仅会导致获取的数据质量不够，还会大大降低数据分析效果，从而导致分析结果出错。在许多组织中，大数据的应用效果并不明显，大多数问题都出现在数据管理流程。大家普遍都认为可以将数据视为资产，并希望能在未来将数据计人资产负债表中。但是，与实物资产相比，人们的数据资产管理还处于初期。人们通常不知道数据资产的数量和具体内容，以及数据质量与安全性。更加不清楚关于像数据资产评估、数据资产交换交易这样的精确管理。

（2）将数据孤岛打破。当前的数据情况是每个人想要在不分享自身数据的前提下，获得其他人的数据。在过去，信息系统的建设是作为一个单独的部分开始的，不同的数据之间缺乏相应的技术互通，这是大数据必须解决的第一大问题。从国家到企业，情况相似。大数据在许多领域获得的结果都达不到预期，一个非常重要的原因是数据碎片化。尽管近年来已加强了促进公开和共享数据的政策措施，但效果仍远未达到预期。在这一点上，还需要先进的技术处理方法来解决这一问题。

（3）加强不同领域中大数据的应用。尽管在实际应用中，大数据取得了一些进展，已经在Internet、电信、金融、交通等不同领域带来了实际利益，旅游、环境保护、公共安全、医疗保健和工业也在加快对大数据的应用。但是，从总体上来看，大数据的发展仍然相对缓慢。一种类型是“平行替代”，例如在金融和电信行业会使用Hadoop对原数据仓库重建，而另一种类型是“补课”，例如在政府事务，医疗保健、工业、环境保护和其他领域中，正在执行的操作是除了业务系统之外，建立很早以前就应该建立的数据平台。显然，这些大数据应用尚未满足要求，还只是在逐量进行累计，并没有产生质变的影响，但这都是大数据发展必须要经历的过程。随着“平行替代”或“补课”在实际应用中的不断深人，在未来，各个领域的业务和大数据的融合会越来越深人，并且会出现越来越多的新数据驱动模型，这都非常值得期待。通过这样的方法，才能真正做到数据强国。

二、国外大数据发展研究

对大数据的研究，国外大致可分为三类：

首先，大数据技术的进步影响着人类对事物的理解。例如，英国学者Victor Meyer Schönberger在《大数据时代：生活、工作与思维的大变革》中指出，大数据的出现改变了人们的思维方式，人们希望更多地了解事物是什么，但是却不再注重对事物成因的追求，也不再管它有多重要。大数据推动了时代的巨大变化，在本书中，作者认为大数据技术更着重于事物之间的联系，这项研究能促进人们对事物的了解、对事物的理解和人们的思考方式。

其次，大数据技术也在不同程度影响着人们的生活方式和社会的商业模式。例如，研究美国复杂网络的Albert Bambas在《爆发：大数据时代预见未来的新思维》中建议，可以通过人们在使用智能设备或者网络工具中留下来的数据预测人们的行为。通过合并和量化这些数据信息，预测人群的覆盖范围可以高达93%。该预测功能可为相关企业或组织带来高回报，因此公司可以应用大数据技术来更改其利润驱动的业务模型。人们受大数据技术影响，将改变自己的生活方式，以阻止其权益受到大数据技术的侵犯。日本的政府委员城田真琴在他的《大数据的冲击：野村综研大数据专家权威解析》中对大数据进行了专业解读，并对大数据与传统技术进行了区别论述，还讨论了大数据环境中人们的隐私保护、法律框架、业务策略、人才培训等等，通过一些鲜明的例子在阐述了大数据对社会不同层面产生的影响。

最后，大数据技术对社会道德的影响。例如，美国预测分析专家Eric Siegel在他的《大数据预测》中指出，大数据的预测功能是关键应用。与传统的小数据集相比，大数据能够将困难的预测问题通过数量、图形等的方式相对简单地描述出来。这项功能有助于企业的商业决策和相应计划，以达成更好的营销效果。纽约大学的冯启思教授在《数据统治世界》中解释了数据如何影响人们的工作和生活，并列举了现实世界中的例子，指出应该在商业、公共卫生、金融，和刑事侦查时使用大数据，借助大数据大优势来解决出现的问题。除此之外，其他外国学者也对大数据在法律和道德领域方面进行了研究。

总之，海外大数据研究比国内起步更早，对大数据技术及其与人的关系的研究占主导地位。