首页 理论教育 深入探讨大数据的概念和特征

深入探讨大数据的概念和特征

时间:2023-06-26 理论教育 版权反馈
【摘要】:实时采集和广泛应用导致了物联网每时每刻都会产生海量的信息,这些信息即是我们通常所说的大数据。物联网的发展对于大数据的发展有重要的影响。大数据究竟要多大呢?起始计量单位只有达到PB的数据才可以被称之为大数据。大数据多样性是指种类和来源的多样性。随着互联网和无线通信技术的发展,丰富了大数据对数据的采集和获取的方式。大数据规模巨大,数据价值密度较低。通过大数据的分析处理,最后能够解释结果和预测未来。

深入探讨大数据的概念和特征

随着物联网技术和信息技术的飞速发展,巨量数据的实时产生和采集已经完全渗透到我们的生活中。物联网是物物相连的互联网,它利用识别和感知技术(二维码、RFID、传感器等),实时采集任何需要监控、连接、互动的物体或过程,采集其各种需要的信息,实现信息化和远程管理控制。实时采集和广泛应用导致了物联网每时每刻都会产生海量的信息,这些信息即是我们通常所说的大数据。物联网的发展对于大数据的发展有重要的影响。

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。具有大量性、高速性、多样性、真实性、低价值密度等五个特性。

(1)大量性(Volume)。

大数据究竟要多大呢?起始计量单位只有达到PB的数据才可以被称之为大数据。

正常的计算机处理4g数据需要4分钟的时间,处理1TB需要3个小时的时间,而达到1PB的数据需要4个月零3天的时间。沃尔玛是当今最早开始投资和部署大数据应用的传统企业巨头之一,每小时约有100万笔交易,大数据生态系统每天处理TB级的新数据,和PB级的历史数据,还需要分析数以百万计的产品数据、数以亿计的客户和搜索关键词。

(2)高速性(Velocity)。

通常,数据具有时效性,超过了一定时间的数据是失效的。比如新闻查询的实效性,验证码校验的实时性。目前物联网中信息产生的数据流速度很快,用传统的技术手段无法对此类实时快速增长的数据进行有效的分析。如今社交媒体是增长最快的大数据源,像微博、Twitter这类的社交媒体产生的数据,具有很强的时效性。需要通过大规模的服务器集群对此类数据进行高速的实时处理。(www.xing528.com)

(3)多样性(Variety)。

大数据多样性是指种类和来源的多样性。随着互联网和无线通信技术的发展,丰富了大数据对数据的采集和获取的方式。用户可以上传、分享自己的原创信息,网络数据量呈现出了爆炸式的增长。网络中数据类型呈现多样化,例如,音频、图片、视频、网页和社交媒体数据等。

(4)低价值密度(Value)。

大数据规模巨大,数据价值密度较低。随着物联网的广泛应用和数据采集技术的发展,无处不在地实时感知和采集到海量数据,有价值的信息蕴藏在海量数据之中,如何通过大数据处理人工智能技术,从海量数据中挖掘有价值的数据,也是大数据时代迫切需要解决的问题。

(5)真实性(Veracity)。

要保证数据的准确性和可信赖度。通过大数据的分析处理,最后能够解释结果和预测未来。但是前提是提取的数据要足够的准确性。例如:电商利用用户的社交关系和历史行为信息,分析用户独特的需求和喜好,能够预测出用户下一步动作,并向用户行动推送用户倾向的信息。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈