大数据技术概述：应用领域、核心技术及挖掘方法

大数据技术是互联网、移动应用、社交网络和物联网等技术发展的必然趋势。大数据应用已成为当前最为热门的信息技术应用领域，是数据分析的前沿技术，是从各种各样类型的数据中，快速获得有价值信息的能力。在电子商务活动中，对大量消费者提供产品或服务的企业可以利用大数据进行精准营销。大数据具有数据体量巨大、数据类型繁多、价值密度低、处理速度快等特点。大数据处理的关键技术包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘等技术。

1.大数据采集技术

大数据采集重点要突破分布式高速高可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术，一般分为大数据智能感知层：主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等；基础支撑层：提供大数据服务平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。

2.大数据预处理技术

主要完成对已接收数据的辨析、抽取、清洗等操作。

（1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以将复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。(www.xing528.com)

（2）清洗：大数据并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数据则是完全错误的干扰项，因此要对数据过滤“去噪”，从而提取出有效数据。

3.大数据存储及管理技术

大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数据库缓存系统。开发大数据安全技术，改进数据销毁、透明加解密、分布式访问控制、数据审计等技术；突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。

4.大数据分析及挖掘技术

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。大数据分析技术应改进已有数据挖掘和机器学习技术，开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术，突破基于对象的数据连接、相似性连接等大数据融合技术，突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。