首页 理论教育 初识大数据技术|信息技术任务驱动教程

初识大数据技术|信息技术任务驱动教程

时间:2023-11-03 理论教育 版权反馈
【摘要】:大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。大数据需要特殊的技术,以有效地处理大量的数据。实践是大数据的最终价值体现。任务实施1.任务单——制作大数据相关技术汇报材料(见活页)2.任务解析——制作大数据相关技术汇报材料

初识大数据技术|信息技术任务驱动教程

知识准备

1.大数据技术概述

对于大数据,研究机构Gartner给出了这样的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

麦肯锡全球研究所给出的定义是:一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和低的价值密度四大特征。

大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。换而言之,如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。

随着云时代的来临,大数据也吸引了越来越多的关注。分析师认为,大数据通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时,会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百甚至数千的电脑分配工作。

大数据需要特殊的技术,以有效地处理大量的数据。适用于大数据的技术,包括大规模并行处理(MPP)数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

2.大数据技术的特征

容量(Volume):数据的大小决定所考虑的数据的价值和潜在的信息。

种类(Variety):数据类型的多样性。

速度(Velocity):获得数据的速度。

可变性(Variability):妨碍了处理和有效地管理数据的过程。

真实性(Veracity):数据的质量。

价值(Value):合理运用大数据,以低成本创造高价值。

3.大数据技术的结构(www.xing528.com)

大数据包括结构化、半结构化和非结构化数据,非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示:企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%。大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术的衬托下,这些原本看起来很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

想要系统地认识大数据,必须要全面而细致地分解它,可以从三个层面来展开:

第一层面是理论。理论是认知的必经途径,也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈

第二层面是技术。技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践。实践是大数据的最终价值体现。在这里分别从互联网的大数据、政府的大数据、企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

4.大数据技术的应用

洛杉矶警察局和加利福尼亚大学合作利用大数据预测犯罪的发生。

②Google流感趋势利用搜索关键词预测禽流感的散布。

③统计学家内特·西尔弗利用大数据预测2012年美国选举结果。

④麻省理工学院利用手机定位数据和交通数据建立城市规划

⑤梅西百货根据需求和库存的情况,基于SAS的系统对多达7300万种货品进行实时调价。

医疗行业早就遇到了海量数据和非结构化数据的挑战,而近年来很多国家都在积极推进医疗信息化发展,这使得很多医疗机构有资金来做大数据分析。

任务实施

1.任务单——制作大数据相关技术汇报材料(见活页)

2.任务解析——制作大数据相关技术汇报材料

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈