数据量迅猛增长—不可否认的事实

如今的问题不再是数据缺乏,而是如何优化、获取和实时利用海量数据为企业创造最大价值。因此,人们都看到了挑战,并努力使数据获取能更深入,速度更快。例如,硅谷一家企业及数据库提供商Mark Logic公司的首席营销官(CMO)Joe Dalton说:“如果你对30年前处理的信息和今天需要处理的信息抓拍快照,你会发现,今天的信息格式多样、更复杂,并且来源多,包括企业内外信息。”

有分析表明,近年来,数据增长速度为800%,这些数据中非结构化数据占80%(这是一个更难处理的问题)。仅仅在2009年产生的数据量已经超过之前5 000年的数据量之和。另外,一份来自互联网数据中心(IDC)的预测表明,数据量每年增长50%,每两年就翻倍。数字内容的量在2012年暴增到2.7 ZB(1 ZB相当于1万亿吉字节),较2011年增长48%,这相当于世界上每个人每天接受2.15亿次高分辨率核磁共振成像所产生的数据,或者装满575亿个32 GB苹果iPad的数据量,这么多的iPad可以建造一个4 005英里(1英里=1.61 km)长,61英尺(1英尺=0.304 8 m)高的iPad墙,从阿拉斯加的安克雷奇一直延伸到佛罗里达的迈阿密。同样以某省份电信公司2008年的客户记录为例,该省份电信公司的总客户数为800万～850万(在我国一个不大的省份)。一年内客户数的上下浮动幅度不大,因此,估算每月客户的记录数为800万～850万条,则一年内客户的记录数为9 600万～1亿条。1页A4纸用五号字体,每行8组数据,每页59行(为了计算方便按60行算),可记录8×60=480组数据。客户表每条记录的长度为200～300字节,即每条记录约为200～300字,所以每页A4纸记录2～3条,即1亿条记录约需要5 000 万页纸,1 页A4 纸的尺寸是21 cm×30 cm,50 000 000×30 cm=1 500 000 000 cm=15 000 000 m=15 000 km,5年内的客户记录数对应的A4纸的总长应为15 000 km×5=75 000 km,而地球的赤道周长为40 075.02 km。在过去的几十年里,可供分析的数据量增长迅猛,简直到惊人的地步。(www.xing528.com)

在此之前,直觉或者本能曾被视为经营管理最有价值的特质,驱动着很多企业领导的决策。而现在生活的各个方面几乎都能以不同方式进行跟踪,如网络行为数据、移动电话使用模式、实物店购物行为、公共监测视频、GPS跟踪数据、汽车驾驶模式、身体健康数据、社交媒体数据、卫星图像、视频流数据、汽车远程信息数据等。作为结果,数据成为企业的当前“时尚”。现在的企业都乐于说自己是“数据驱动”的,只依靠定量方式进行业务决策,同时企业被其面前的数据淹没。但是我们应该清楚:数据原本是要解决商业挑战问题的,不是供企业“赶时髦”的。