大数据技术的发展历程

当前，学术界对于大数据概念还没有一个完整统一的定义。全球知名咨询公司麦肯锡在《大数据：创新、竞争和生产力的下一个新领域》报告中认为，大数据是一种数据集，它的数据量超越了传统数据库技术的采集、存储、管理和分析能力。权威咨询公司则认为，大数据指的是一种新的数据资产，是高数据、高容量、种类繁多的信息价值，这种数据资产需要由新的处理模式来应对，以便优化处理和正确判断。信息专家涂子沛在其著作《大数据》中认为，大数据之大绝不只是指容量之大，更在于通过对大量数据的分析而发现新知识，从而创造新的价值，获得大发展。尽管目前学界和产业界对大数据概念尚缺乏统一的定义，但对大数据的基本特征还是达成了一定共识，即大数据具有5个基本特征：数据规模大、种类多、速度快、真实性和数据价值密度稀疏。大数据技术的兴起虽然是近年的事情，但追本溯源则是从20世纪发端的1989年，首次提出商业智能，它是一种能够把数据转化为信息与知识从而帮助企业进行决策从而提升企业竞争力的工具，其核心就在于对大量数据的处理。随着20世纪互联网的飞速发展，数据量越来越大，复杂性越来越高，对此，传统的数据技术已经不能满足当前处理海量数据的需要，因而对海量数据的收集和处理的技术变得尤为重要，“大数据”这一概念诞生。1997年，考克斯和埃尔斯沃思在第八届美国电气和电子工程师协会学术年会上发表了《为外存模型可视化而应用控制程序请求页面调度》的文章，提出了大数据问题，这是在美国计算机学会的数字图书馆中第一篇使用“大数据”这一术语的文章。2008年，随着互联网产业的迅速发展，雅虎、谷歌等大型互联网或数据处理公司发现传统的数据处理技术不能解决问题时，大数据的思考理念和技术标准被首先应用于实际。2010年2月，肯尼斯·库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据，无所不在的数据》，认为从经济界到科学界，从政府到平民，“大数据”概念广为人知。微博、微信等社交网络兴起将人类带入了自媒体时代；智能手机的普及，移动互联网时代的到来，这一时期里，大数据技术逐渐得到空前重视。2011年，麦肯锡战略咨询公司的全球研究院发布了名为《大数据：创新、竞争和生产力的下一个新领域》研究报告，认为大数据从技术领域进入商业领域的时机已经到来，大数据的运用将融入政治、经济、社会等领域的各个方面。2014年4月，世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告》，认为在未来几年中针对各种信息通信技术的政策甚至会显得更加重要，各国政府逐渐认识到大数据在推动经济发展、改善公共服务、增进人民的福祉，乃至保障国家安全方面的重大意义。在国内外大数据技术的发展日新月异，对大数据技术研究的需要也日益重要。虽然当前学界对大数据技术概念的定义尚未统一，不同机构、公司、企业都对大数据技术有着自身的认识和看法，但对大数据技术的基本内涵还是可以通过研究和分析而达到一个基本的共识和标准，而对大数据技术的内涵、内容、特点等基本问题做出研究和界定，又有利于大数据技术与其研究的进一步发展。(www.xing528.com)