大数据的应用：挖掘价值与决策实践

大数据技术的实际意义并不在于其拥有大量的数据信息，而在于对这些含有意义的数据进行挖掘、处理、应用而产生的价值。换而言之，如果把大数据比作企业，那么企业要想实现盈利，就要提高其对数据的加工处理能力，通过技术的加工实现数据的价值变现，进而实现企业的盈利。

大数据需要特殊的技术，才能有效地处理大量、复杂和不断变化的数据。这些技术主要包括大规模并行处理、数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台等。简言之，数据挖掘就是从大量的数据中提取有价值信息的过程。这个对数据进行各种处理和归类的过程，需要掌握正确的数据挖掘分析思维和数据挖掘技术。目前，数据分析思维已经成为一种被广泛倡导的科学素养和实践方法论。以下介绍的就是常用的数据挖掘分析思维模式（如图2-1所示）。

图2-1　数据挖掘分析思维模式

首先是数据的抽象和概括思维。在数据挖掘和机器学习的过程中，大家都习惯于在小的数据集上了解用户的需求，弄清楚问题的性质，首先对小数据进行实验和验证，然后把这些方式方法应用到大数据集中，但最终目的是让数据的整体支撑我们的逻辑、分析和验证，支撑我们的实际应用。但是，小数据和大数据之间是有显著差别的，很多情况下，小数据的性质与大数据的性质并不一致，而且小数据和大数据的处理手段一般来说也不相同。通过小数据有可能掌握基本趋势和规律，但如果在实践中应用，个性化处理能力就不强，甚至完全不能提供个性化处理和服务。因此，我们就需要具备数据的抽象和概括思维。

其次是数据的领域变换思维。离开了应用领域，大数据及数据挖掘就没有任何生命力。统计学和数据挖掘都可以分为两个方面讲：一是如何在领域中定义一个数据分析的问题，以及如何把分析结果应用到领域中创造价值；二是分析的手段，也就是我们通常所说的“挖掘”技术。在数据挖掘学习过程中，我们发现大部分人热衷于对分析手段的学习和研究，而对于前者并不关心。为此，需要我们具备迅速发现领域需求和通过数据挖掘技术真正解决领域需求的能力，这样才能真正掌握数据挖掘。

再次是使用和制造数据分析工具的思维。对于海量数据、大数据，肉眼观察已经无法理解、掌握和分析数据，难以发现数据中的规律，以及无法应用数据规律解决实际问题的业务脉络，所以必须借助于分析和展现工具软件，需要具备合理利用工具的思维方式和能力。所有的分析挖掘工作全部借助于已有的软件包，如果没有合适的软件包，或者软件包如果不具备相应的功能，则分析工作无法继续进行。

最后是数据的计算思维。所有的数据挖掘问题最终都要落实到一个计算问题。一方面，在大数据量场景下，对计算的效率要求越来越高，这导致在小数据量场景下完美运行的许多挖掘过程在大数据量场景下不具有可行性；另一方面，由于从一开始要考虑到数据量的大小，为了使挖掘过程对数据具有可扩展性，我们会把注意力和精力放在对数据量的考虑和处理上。这两方面都会严重制约数据挖掘过程的顺利实施和有效应用。^[1]

基于这些数据挖掘分析思维模式，现在普遍应用的数据挖掘技术主要为以下五种（如图2-2所示）。

图2-2　五种数据挖掘技术

（1）关联规则

关联规则使用两个或多个项之间的关联来确定它们之间的模式，关联通常用于销售点系统，以确定产品之间的共同趋势。例如，超市可以确定顾客在买草莓时也常买鲜奶油，反之亦然。这是一个非常简单的方法，它可以提供许多企业的日常使用的信息，来提高效率和增加收入，应用领域还包括物品的实物摆放组织、市场营销和产品的交叉销售与上销等。

（2）分类

将大量数据根据其特点进行划分，将具有不同特质的数据划分为不同种类，从而将数据库中具有的数据根据其特点放置到特定的、规定的类型之中，利用时再进行分类调取。目前，淘宝店店主常使用这种方法通过用户的购买记录对用户进行分类，从而向用户推荐合适的商品来提高店铺的销量。分类法一般应用的数据都具有一定的规律，这类数据容易进行分类，采用分类法进行数据挖掘效果好。^[2]

（3）聚类

聚类是将数据记录组合在一起的方法，这样做通常是为了让最终用户对数据库中发生的事情有一个高层次的认识，查看对象分组情况可以帮助市场细分领域的企业。举个例子，可以使用聚类将市场细分为客户子集，然后每个子集可以根据簇的属性制定特定的营销策略，如在一个簇中与另一个簇中的客户的购买模式的对比。(www.xing528.com)

（4）决策树

决策树用于分类或预测数据。决策树从一个简单的问题开始，它有两个或多个答案，每个答案将会引出进一步的问题，该问题又可被用于分类或识别可被进一步分类的数据，或者可以基于每个答案进行预测。例如，应用决策树图分析手机供应商如何分类流失的客户，或不更新手机的客户。

（5）序列模式

序列模式识别相似事件的趋势或通常情况发生的可能，这种数据挖掘技术经常被用来预测用户购买行为。许多零售商通过数据和序列模式来决定其用于展示的产品。在购物篮应用中，可以使用这些信息自动地根据浏览频率和过去的购买历史记录预测某些商品是否会被添加到购物篮中。

大数据时代，数据的处理与传统的处理方式有着显著的不同，数据挖掘更注重对全体数据的挖掘，而非抽样样本的数据、更注重处理的是效率而非绝对精度。应用数据挖掘技术的流程，可以概括为以下四个流程（如图2-3所示）。

图2-3　数据挖掘流程

首先是数据采集。大数据的采集是指运营端接收来自客户端的数据，然后用户可以对这些数据进行简单的查询和处理工作。在大数据的采集过程中，由于同时可能会有成千上万的用户进行访问和操作，所以数据采集面临着并发数高的挑战。例如，天猫“双11”大促和春运期间12306的火车票售票网站，用户们同时的访问量在高峰值时可能达到上百万，甚至会出现服务器系统失灵等现象，所以就需要在采集端提前部署大量数据库信息才能够避免这种情况的发生。代表工具包括Flume、Kafka等。

其次是数据存储。互联网数据以“大”为其最基本的特点，所以存储起来需要一定的模式和处理系统。目前，除了互联网企业外，数据处理领域主要还是传统数据库管理系统，随着移动互联网的出现和快速发展，再加上数码设备的大规模应用，目前数据的来源主要是通过设备、服务器产生的。机器产生的数据正以几何级数增长，如基因数据、定位数据、图片、医疗数据等，这些数据以非结构化、半结构化为主。近年来，通过扩展和封装Hadoop来实现对互联网大数据存储和分析，对于非结构、半结构化数据处理、复杂的数据挖掘和计算模型，大数据的内容是多样的。代表工具包括HDFS文件系统、HBase列数据库等。

再次是数据分析与挖掘。大数据的数据挖掘与传统的数据挖掘方法也存在一定的差别：第一，在大数据平台下，数据的大体量在进行挖掘时需要更高的时效性；第二，数据的多样性的特征对模型的绝对计算精度要求会降低，所以可以通过相对计算精度的提升在全样数据上获得更高的计算精度；第三，大数据平台下的数据挖掘可以没有什么预先设定好的主题，主要是在现有数据中进行基于各种算法的计算，从而起到预测的效果，实现一些高级别数据分析的需求。常用的工具包括Mahout、MLlib等数据挖掘和机器学习工具。

最后是数据的可视化。对于数据挖掘最困难的一步就是数据展示和解读数据之间的关系，清晰有效地传达并且沟通数据信息。大数据可视化旨在利用计算机自动化分析能力的同时，充分挖掘人对于可视化信息认知能力的优势，将人、机各自的强项有机地结合，借助人机交互式分析方法和交互技术，辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧。

基于以上对大数据挖掘思维和数据挖掘技术的基本介绍，接下来将从这个角度切入，分析企业如何利用大数据挖掘技术进行精准决策。

通过了解以上的数据挖掘流程可以看到，大数据不仅能够激发人们对于数据新认识与新应用的热情，也引发了人类对经济发展、社会运行和生产生活的重新审视。因此，企业只有从思想观念上加强对大数据的认识和重视，并且准确把握其思想内涵和精神实质，能够灵活运用数据挖掘的思维和技术，并且积极地探索“精准”决策的新经验并加以实践，才能有效打破数据壁垒和数字鸿沟，畅通数据双向交互的渠道，进而提升公众获取公共数据资源的效能，同时提高精准决策的效度。

百度率先运用了大数据挖掘思维和技术进行了科学精准的决策。百度与深圳市家具行业协会合作，率先在行业首发《中国家具消费需求大数据》，依托百度旗下的百度搜索、百度百科、百度地图、百度新闻、百度电商等信息平台，掌控了亿万量级的消费者信息，多维度分析消费群体的搜索趋势、搜索行为、兴趣偏好等，帮助行业实时了解消费者热点需求、把握行业动态，从而帮助企业应对市场变化。

换句话说，当企业导入百度大数据，百度信息平台就能给企业提供所需的消费人群分析、消费行为分析、品牌偏好分析及风格趋势分析等，从而精准掌握消费者及市场动态，为企业研发设计、品牌推广等提供决策依据，从产品材质、设计到营销渠道、活动策略、品牌推广，精准地服务于目标群体。

同时，百度大数据将市场终端消费信息接入企业管理平台，这样不仅提高了决策效率和成功率，而且大大降低了机会成本，还可以结合市场发展大趋势找到企业改革与突破的方向，取长补短，持续提高企业竞争力。

可见，不管是企业还是行业，未来发展方向都要以终端信息为依据。百度作为最重要的战略平台，依托百度大数据，能精准掌控市场和行业发展方向，进而为企业转型升级指引战略方向。