数据分析技术优化方案

目前，大数据领域每年都会产生很多新的技术，这些技术为大数据获取、存储、处理分析或可视化提供了有效的手段。其中，大数据分析技术能够将大规模数据中隐藏的价值信息挖掘出来，为社会经济活动提供依据，提高各个领域的运行效率。

大数据分析处理的基本流程和传统的数据处理流程的主要差别在于：大数据要处理大量的、非结构化的数据。所以，为了保证数据处理的速度，需要在并行的分布式系统中处理数据。目前，Hadoop、MapReduce 和Spark 等分布式处理方式已经成为大数据处理过程中普遍使用的技术。

Hadoop 生态圈中提供了很多解决大数据问题的组件，如图1-1 所示，这些组件包括数据存储、数据集成、数据处理和数据分析。例如，Hadoop 生态圈中的HDFS 分布式存储系统是一个数据管理系统，其作为数据分析的源头，汇集了结构化和非结构化的数据，这些数据可以来源于传统行业或者互联网行业。Hadoop 生态圈中的MapReduce 是一个大规模并行的数据计算框架，拥有很强的分布式计算能力。用户可以使用这些组件在Hadoop 上开发和运行处理海量数据的应用程序，以满足大数据处理中的各种场景需要。

(www.xing528.com)

图1-1　Hadoop 生态圈

低成本、高可靠、高扩展、高容错等特性让Hadoop 成为流行的大数据分析系统，然而，Hadoop 生态圈中的MapReduce 组件只能处理批次数据，也就是只适用于离线数据处理，在要求实时性处理的场景下毫无用处，因此，各种工具应运而生。例如，基于业务的实时性需求，有支持在线处理数据的Storm、Cloudar Impala 及支持迭代计算的Spark 等。同时，为了减少管理成本，提升资源的利用率，与数据分析技术一同产生的还有资源统一管理调度系统，例如，Apache Mesos、Hadoop 生态圈中的Apache Yarn 等。

另外，基于性能、兼容性、数据类型等方面的原因，大数据分析技术不断更新，除了上面提到的各种数据处理工具之外，还有Phoenix、Apache Accumulo、Apache Drill 等其他开源解决方案，预计未来相当长的一段时间内，主流的Hadoop 平台将与各种新的计算模式和系统共存，并相互兼容融合，形成新一代的大数据处理系统和平台。