数据采集技术：新能源汽车大数据分析

数据采集是大数据应用流程中的第一个环节，它通过RFID射频、传感器、社交网络、移动互联网等方式获得各种类型的结构化、半结构化及非结构化的海量数据。因此可能有成千上万的用户同时进行访问和操作（并发工作），所以必须采用专门针对大数据的采集方法，主要包括以下三种：

1.系统日志采集方法

许多公司的业务平台每天都会产生大量的日志数据。日志收集系统的任务就是收集业务日志数据供离线和在线的分析系统使用。高可用性、可靠性、可扩展性是日志收集系统所具有的基本特征。目前常用的开源日志收集系统有Flume、Scribe等。Flume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输系统，目前是Apache的一个子项目。Scribe是Facebook开源日志收集系统，它为日志的分布式收集、统一处理提供一个可扩展的、高容错的解决方案。

2.网络数据采集方法(www.xing528.com)

网络数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息的过程。这样可将非结构化数据、半结构化数据从网页中提取出来，并以结构化的方式将其存储为统一的本地数据文件。它支持图片、音频、视频等文件的采集，且附件与正文可自动关联。对于网络流量的采集，则可使用DPI或DFI等带宽管理技术进行处理。

3.其他数据采集方法

对于企业生产经营数据或科学研究数据等保密性要求较高的数据，可以通过与企业或研究机构合作，使用特定系统窗口等相关方式采集数据。