大数据技术融合的发展趋势

根据中国信通院发布的《大数据白皮书（2019）》显示，当前，大数据技术呈现六大融合趋势：

一是算力融合，多样性算力提升整体效率。随着大数据应用的逐步深入，场景愈发丰富，数据平台开始承载人工智能、物联网、复杂分析、高性能计算等多样性的任务负载。同时，数据复杂度不断提升，以高维矩阵运算为代表的新型计算范式具有粒度更细、并行更强、高内存占用、高带宽需求、低延迟高时效等特点。以CPU为底层硬件的传统大数据技术无法有效满足新业务的需求，出现性能瓶颈。图形处理器（GPU）、专用集成电路（ASIC）等为代表的计算加速单元成为行业热点。要融合不同的硬件体系，需要解决开发工具相互独立、编程语言及接口体系不同、软硬件协同缺失等问题。为此，产业界试图从统一软件开发平台和开发工具的层面来实现对不同硬件底层的兼容。

二是流批融合，平衡计算性价比的最优方案。流处理能够有效处理即时变化的信息，从而反映出信息热点的实时动态变化。而离线批处理则更能够体现历史数据的累加反馈。随着技术架构的演进，流批融合计算正在成为趋势，并不断向更实时更高效的计算推进，以支撑更丰富的大数据处理需求。

三是TA融合，混合事务/分析支撑即时决策。TA融合指的是事务（Transaction）与分析（Analysis）的融合机制。分析和业务是强关联的，但由于这两类数据库在数据模型、行列存储模式和响应效率等方面的区别，通常会造成数据的重复存储。事务系统中的业务数据库只能通过定时任务同步导入分析系统，导致数据时效性不足，无法实时地进行决策分析。而混合事务/分析处理的设计理念就是为了打破事务和分析之间的“墙”，实现在单一的数据源不加区分地处理事务和分析任务。这种架构可以避免数据搬运操作给系统带来的额外负担，减少数据重复存储带来的成本，从而对业务操作产生的数据进行即时分析决策。(www.xing528.com)

四是模块融合，一站式数据能力复用平台。大数据的工具和技术栈已经相对成熟，大公司在实战经验中围绕工具与数据的生产链条、数据的管理和应用等逐渐形成了能力集合，来统一数据资产的视图和标准，提供通用数据的加工、管理和分析能力。数据能力集成的趋势将打破原有企业内的复杂数据结构，使数据和业务更贴近，并能更快使用数据驱动决策，有针对性地解决三个问题：一是提高数据获取的效率；二是打通数据共享的通道；三是提供统一的数据开发能力。阿里巴巴提出的“中台”概念和华为公司提出的“数据基础设施”概念都是模块融合趋势的应用。

五是云数融合，云化趋势降低技术使用门槛。大数据基础设施向云上迁移是一个重要的趋势，各大云厂商均已开始提供各类大数据产品来满足用户需求，纷纷构建自己的云上数据产品。早期的云产品大部分是对已有大数据产品的云化改造，而将来越来越多的大数据产品从设计之初就会遵循“云原生”的概念进行开发，生于云长于云，更适应云上生态。向云化解决方案演进的最大优势是用户不用再操心如何维护底层硬件和网络，能够更专注于数据和业务逻辑，在很大程度上降低大数据技术的学习成本和使用门槛。

六是数智融合，数据与智能多方位深度融合。大数据与人工智能的融合已成为大数据领域最受关注的趋势之一，这种融合主要体现在大数据平台的智能化与数据治理的智能化。在智能平台方面，用智能化的手段来分析数据是释放数据价值高阶之路，但用户往往不希望在两个平台间不断搬运数据，这促成了大数据平台和机器学习平台深度整合的趋势。大数据平台在支持机器学习算法之外，还将支持更多的人工智能应用。2019年底，阿里巴巴基于Flink开发了机器学习算法平台的Alink，并已在阿里巴巴搜索、推荐、广告等核心实时在线业务中有了广泛实践。另一方面，数据治理与人工智能相辅相成，数据治理为人工智能的应用提供高质量的合规数据，而人工智能可以优化数据治理。