大数据技术架构: 构建高效数据处理体系

各种各样的大数据应用迫切需要新的工具和技术来存储、管理和实现商业价值。新的工具、流程和方法支撑起了新的技术架构，使企业能够建立、操作和管理这些超大规模的数据集和数据存储环境。

企业逐渐认识到必须在数据驻留的位置进行分析，提升计算能力，以便为分析工具提供实时响应。考虑到数据速度和数据量。来回移动数据进行处理是不现实的。相反，计算和分析工具可以移到数据附近。因此，云计算模式对大数据的成功至关重要。

云模型在从大数据中提取商业价值的同时也在驯服它。这种交付模型能为企业提供一种灵活的选择，以实现大数据分析所需的效率、可扩展性、数据便携性和经济性，但仅存储和提供数据还不够，必须以新方式合成、分析和关联数据，才能提供商业价值。部分大数据方法要求处理未经建模的数据，因此，可以用毫不相干的数据源比较不同类型的数据和进行模式匹配，从而使大数据的分析能以新视角挖掘企业传统数据，并带来传统上未曾分析过的数据洞察力。基于上述考虑，一般可以构建适合大数据的四层堆栈式技术架构，如图9-5所示。

1）基础层

第一层作为整个大数据技术架构基础的最底层，也是基础层。要实现大数据规模的应用，企业需要一个高度自动化的、可横向扩展的存储和计算平台。这个基础设施需要从以前的存储孤岛发展为具有共享能力的高容量存储池。容量、性能和吞吐量必须可以线性扩展。

云模型鼓励访问数据并通过提供弹性资源池来应对大规模问题，解决了如何存储大量数据及如何积聚所需的计算资源来操作数据的问题。在云中，数据跨多个结点调配和分布，使数据更接近需要它的用户，从而缩短响应时间，提高效率。

(www.xing528.com)

图9-5　四层堆栈式技术架构

2）管理层

大数据要支持在多源数据上做深层次的分析，在技术架构中需要一个管理平台，即管理层使结构化和非结构化数据管理为一体，具备实时传送和查询、计算功能。本层既包括数据的存储和管理，也涉及数据的计算。并行化和分布式是大数据管理平台所必须考虑的要素。

3）分析层

大数据应用需要大数据分析。分析层提供基于统计学的数据挖掘和机器学习算法，用于分析和解释数据集，帮助企业获得深入的数据价值领悟。可扩展性强、使用灵活的大数据分析平台更可能成为数据科学家的利器，起到事半功倍的效果。

4）应用层

大数据的价值体现在帮助企业进行决策和为终端用户提供服务的应用上。不同的新型商业需求驱动了大数据的应用。反之，大数据应用为企业提供的竞争优势使企业更加重视大数据的价值。新型大数据应用不断对大数据技术提出新的要求，大数据技术也因此在不断的发展变化中更趋成熟。