国内数据挖掘研究现状及精准营销

图2-10　带权重的Wxy神经元网络

神经网络的每个节点都可表示成预测变量的值或者值的组合。注意节点6的值已经不再是节点1,2的线性组合,因为数据在隐含层中传递时使用了活动函数。调整节点间连接的权重就是在建立神经网络时要做的工作。

③传统统计分析

统计分析是数据挖掘算法中最为基础的部分。许多数据挖掘技术都利用了广泛被接受的统计技术。这类技术包括相关分析、回归分析及因子分析等。多元统计分析包括因子分析、聚类分析等。统计预测方法包括回归分析、时间序列分析等。例如:抽样技术——面对的是大量的数据,对所有的数据进行分析是不可能的,也是没有必要的,因此就要在理论的指导下进行合理的抽样。在这些分析过程中,一般先由用户提供假设,再由系统利用数据进行验证。此外,统计分析在辨别分析和回归建模方面有着自己独特的长处。辨别分析在对于客户价值细分方面很有作用。在回归建模方面,广泛地用于预测客户将来的行为,例如预测客户的潜在价值和未来的购买愿望等。

④关联规则分析

挖掘关联规则就是发现存在于大数据集中的关联性或相关性,一般的关联规则分析都是基于“支持度—置信度”构架的。支持度定义为事物集中包含X和Y的事务数与所有事务数之比;置信度定义为其包含X和Y的事务数与包含X的事务数之比。此外,另外两个维度为期望可信度和影响度。

关联规则是交易数据库中不同商品之间的联系,通过这些规则找出客户购买行为模式,如购买某一商品对其他商品的影响,发现这样的规则可以应用于商品货架设计、存货安排以及根据购买模式对客户进行分类。

⑤遗传算法

遗传算法是一种基于生物进化论和分子遗传学的搜索优化算法。它首先将问题可能的解按照某种形式进行编码,编码后的解被称为染色体;随机选取N个染色体作为初始种群,再根据预定的评价函数对每个染色体计算适应值,性能较好的染色体有较高的适应值;选择适应值较高的染色体进行复制,并通过遗传算子,产生一群新的更适应环境的染色体,形成新的种群,直至最后收敛到一个最适应环境的个体,得到问题的最优化解。

⑥可视化技术

可视化技术是指基于网络化的视像传输、交互和提供多媒体视像服务的技术。交互性、动态性和可操作性是可视化技术最鲜明的特点。数据与结果被转化和表达成可视化形式,拓宽了传统的图表功能,使用户对数据的剖析更清楚。数据的可视化是一种多学科、多种技术综合的应用技术,但是,目前可视化技术面对的一个难题就是如何对高维数据进行可视化。

2.2 国外研究现状

2.2.1 CRM研究现状

在国际范围内,涉及CRM问题的研究非常广泛[76][77]。其中主要的研究问题有以下几个方面:

(1)CRM总体架构技术研究

乔(Joe Peppard)等提出了一种集成电子商务活动、渠道管理、关系管理和前后台办公相集成的以客户为中心策略的架构[78],宋(Sung Ho Ha)等提出了基于数据挖掘和监控代理的动态CRM模型,可以随时从客户数据中抽取纵向知识[79]。

(2)CRM中具体的技术经济模式和管理模式研究

里内特(Lynete Ryals)研究了客户对零售商具有的价值[80]。评估了根据概率来计算客户价值的不同方法,据此提出了用客户经济价值和反映风险测定客户价值的方法,并讨论了最大化关系收益的策略。瓦格纳(Wagner A.Kamakura)通过研究指出,客户关系市场的一个新的重要倾向是把客户事务数据库用于新的产品和服务的交叉营销中去,创造附加价值也是客户关系管理的一个重要方面。

(3)商业智能在CRM中的应用研究

研究工作主要集中在数据挖掘算法在CRM中的应用方面(在2.2.2节阐述)。

(4)客户价值的研究

国外学者从不同角度,使用不同方法对客户价值进行了研究(在2.2.3节阐述)。

2.2.2 数据挖掘理论研究现状

实施CRM的基础就是客户数据,没有较多的信息资源,CRM就成了无源之水、无本之木,数据仓库是目前国际上解决此项问题的比较成熟、应用较为广泛的技术。在CRM中,数据仓库的目标就是决策支持,数据仓库技术在改善交易系统数据方面取得了显著成效。

有关数据挖掘的理论基础研究还没有成熟,坚实的和系统的理论基础对于数据挖掘非常重要,因为它给数据挖掘技术的开发、评价和实践提供了一个一致的框架。数据挖掘的理论基础可以从不同角度进行研究,马格萨仁(Mangasarian)[81]在文献中给出了数据挖掘理论的研究综述。数据挖掘的数据归约(data reduction)理论基础是减少数据的描述。数据挖掘的数据压缩(data compression)问题可采用最小描述长度(MDL)原理描述,[82]数据挖掘的模式发现(pattern discovery)理论主要取自机器学习理论,模式发现的方法包括了决策树、神经网络、关联挖掘、序列模式挖掘、聚类等。数据挖掘的概率理论(probability theory)主要基于统计理论,数据挖掘的基础是发现随机变量的联合概率分布。而文献[83]提出了一种数据挖掘的微观经济学(microeconomic view)理论,把数据挖掘看成为一种优化问题。文献[84]提出了把数据挖掘作为归纳数据库(inductive database)查询的观点。

(1)数据挖掘在CRM中的应用研究现状(www.xing528.com)

克里斯(Chris Todman)认为,采用个性化的销售方法,必须尽可能地了解有关客户详情和行为的信息,而只有通过提取、转换、装载(ETL)等程序建立起来的以CRM为中心的数据仓库才能满足这一需求。

随着数据仓库技术的应用,越来越多的企业拥有了大量的客户数据,当这些数据的规模成为“海量”数据时,数据挖掘技术在CRM中的应用就成为必然。

目前,面向CRM的数据挖掘应用研究是数据挖掘应用领域研究的一个重要课题[85]。帕德马纳班(Padmanabhan B.)和图(Tuzhilin A.)对在基于Web的CRM(eCRM)中的数据挖掘优化问题进行了总结,提出在最大化客户生命周期价值(LTV,Life Time Value),涉及点击数据流预处理与客户特征的客户分析,以及基于网站设计和个性化问题的客户交互方法方面,可以采用数据挖掘和优化的整合技术以提高数据分析能力[86]。阿利斯(Alis O.F.)提出采用决策树、神经网络和径向基函数等方法进行客户细分和客户关系的评价。IBM Almaden研究中心的勒凯什(Rakesh Agrawal,1993)等提出的Apriori算法是关联规则的经典算法,经常用于超级市场的购物篮分析等交叉销售分析中。

(2)从客户生命周期角度考虑

客户关系的各个阶段定义为客户生命周期。客户生命周期包括三个阶段:获得客户;保持效益客户;提高客户的价值。如果将数据挖掘结合在CRM中或者作为一个独立的应用程序来实施,数据挖掘可以在每一个阶段都提高企业的收益[87]。

①通过数据挖掘获取新客户:在CRM中的第一步是识别潜在客户,然后将他们转变成真正的客户,数据挖掘可以辅助进行客户细分,识别潜在客户[88]。

②客户保持:包括客户忠诚度分析和客户流失警示分析。通过数据挖掘,对客户历史交易行为的分析,警示客户异常行为,并提出相应的对策建议[89]。

③提高客户价值:a.数据挖掘支持客户盈利能力分析,预测客户盈利能力变动以增强客户盈利能力;b.支持客户购买行为模式分析,进行客户细分,从而提供更具针对性的个性化服务[90];c.有效进行交叉营销,向现有的客户提供新的产品和服务,实现购买推荐和提升销售。

(3)从行业角度考虑

CRM中数据挖掘应用的深度和广度针对行业的不同而有所不同,特别是针对与客户交流频繁、客户支持要求高的行业,如银行、证券、保险、电信、税务、零售、旅游、航空、医疗保健等[91]。下面列举零售业、电信业、金融业CRM中数据挖掘的应用。

①零售业CRM中的数据挖掘:零售业CRM是数据挖掘的主要应用领域,特别是由于日益增长的Web或电子商务方式的兴起[92],零售数据挖掘可有助于识别客户购买行为,发现客户购买模式和趋势,改进服务质量,取得更好的客户保持力和满意度,提高货品销量比率,设计更好的货品运输与分销策略,减少商业成本[93]。

②电信业CRM中的数据挖掘:电信业已经迅速地从单纯提供市话服务演变为提供综合电信服务。电信网、因特网和各种其他方式的通信和计算的融合是目前的大势所趋。利用数据挖掘技术可帮助理解商业行为、确定电信模式、捕捉盗用行为、更好地利用资源和提高服务质量。

③金融业CRM中的数据挖掘:大部分银行和金融机构都提供丰富多样的储蓄服务、信用服务、投资服务,还提供保险服务和股票投资服务。在银行和金融机构中产生的金融数据通常相对比较完整、可靠,这大大方便了系统化的数据分析和数据挖掘。

然而,将这些现有的数据挖掘技术直接应用于客户价值还存在着一些问题和不足。本书将针对客户价值问题的特点,探索新的数据挖掘技术和方法,以弥补现有数据挖掘方法存在的缺点和不足。

2.2.3 客户价值总体研究情况说明

客户价值(Customer Value)作为一个新的管理理念受到了越来越多的学者和管理者的关注。美国《商业周刊》把客户价值称作“新的营销狂热”(Business Week,1991),有的学者把客户价值看作新的竞争优势来源(Woodruff,1997),还有的管理大师提倡把客户价值管理作为公司管理层的首要任务(盖尔,Gale,1994;翠缇和威尔斯玛,Treaty and Wiersema,1995)。客户价值的研究近年来也得到了一些中国管理学者的关注。这些研究无疑为我们深入地理解客户价值理论及其与企业竞争优势的关系做出了贡献。但是,其中多数研究的不足之处在于它们多停留在抽象的概念层面或逻辑层面,其中许多的理论也只能被看作是一些假设,有待进一步的实证检验。

有的研究人员认为:客户价值是一个基于客户感知的概念。它是指客户从购买的产品或服务中所获得的全部感知利益(perceived benefits)与为获得该产品或服务所付出的全部感知成本(perceived costs)之间的对比。如果感知利益等于感知成本,则是“物有所值”;如果感知利益高于感知成本,则是“物超所值”;如果感知利益低于感知成本,则是“物有不值”。因为客户是企业产品和服务的最终购买者,他们的感知对于企业来说就是一切。无论产品或服务实际情况如何,只要客户感觉好就是好。所以,从客户价值的角度出发,如果客户感到一个企业的产品价值高,那么这个企业的产品就有竞争力。因为在每一个行业,客户都有许多产品可以选择,一个企业要获得可持续的竞争优势,就必须向客户提供相对于其他竞争对手更高的客户价值。企业可以通过提高感知利益或降低感知成本来实现客户价值的提高。

早在1954年,德鲁克(Drucker)就指出:客户购买和消费的绝不是产品,而是价值。尽管学者们都使用了客户价值这一概念,却没有对其进行详细的描述与解释。

齐萨姆(Zaithaml)在1988年首先从客户角度提出了客户感知价值理论,她将客户感知价值定义为:客户所能感知到的利得与其在获取产品或服务中所付出的成本进行权衡后对产品或服务效用的整体评价。

在此后的客户价值研究中,不同的学者从不同的角度对客户价值进行了定义:(1)从单个情景的角度,安德森、简、钦塔葛塔和门罗(Anderson、Jain、Chintagunta、Monroe)都认为:客户价值是基于感知利得与感知利失的权衡或对产品效用的综合评价;(2)从关系角度出发,罗华德和格罗路斯(Ravald and Gronroos)重点强调关系对客户价值的影响,将客户价值定义为:整个过程的价值=(单个情景的利得+关系的利得)/(单个情景的利失+关系的利失),认为利得和利失之间的权衡不能仅仅局限在单个情景(episode)上,而应该扩展到对整个关系持续过程的价值(total episode value)衡量。此外,布提斯和古德斯汀(Butz and Good-Stein)也强调客户价值的产生来源于购买和使用产品后发现产品的额外价值,从而与供应商之间建立起感情纽带。

在众多的客户价值定义中,大多数学者都比较认同伍德拉夫(Woodruff)对客户价值的定义,并在其定义基础上进行了很多相关研究。伍德拉夫(Woodruff)通过对客户如何看待价值的实证研究,提出客户价值是客户对特定使用情景下有助于(有碍于)实现自己目标和目的的产品属性,这些属性的实效以及使用的结果所感知的偏好与评价。该定义强调客户价值来源于客户通过学习得到的感知、偏好和评价,并将产品、使用情景和目标导向的客户所经历的相关结果相联系。

同时,很多学者都从不同角度对客户价值进行了分类。谢斯(Sheth)等人把客户价值分为五类:功能性价值、社会性价值、情感性价值、认知价值(epistemic)和条件价值。伯恩斯(Burns)结合客户评价过程,把客户价值分为产品价值、使用价值、占有价值和全部价值。伍德拉夫和弗林特(Woodruff and Flint)则将其分为:实受价值和期望价值。

通过以上分析不难看出,虽然学者们对客户价值的理解有很多,但都是从交换的角度来看待价值并认同感知价值的核心是感知利得与感知利失之间的权衡。从客户价值的概念中,我们不难总结出客户价值的几个基本特征:(1)客户价值是客户对产品或服务的一种感知,是与产品和服务相挂钩的,它基于客户的个人主观判断;(2)客户感知价值的核心是客户所获得的感知利益与因获得和享用该产品或服务而付出的感知代价之间的权衡(trade-off),即利得与利失之间的权衡;(3)客户价值是从产品属性、属性效用到期望的结果,再到客户所期望的目标,具有层次性。我们可以通过图2-11客户价值确定过程中的影响因素来对目前的主要研究情况、关注的要点作一个系统的梳理。

2.2.4 客户价值研究整理说明

关于价值的含义,人们的理解千差万别。营销对于价值的关注始终与客户相联系。早在实物交换的时代,买卖双方都会仔细衡量交易物品的得失,只有在感觉公平或更佳的价值基础上买卖才会成交。因此,价值从营销意义上说就是在获得、拥有、使用的总体成本最低情况下客户要求的满意与满足。现代营销对价值的思考已有数十年,营销长期被界定为“在不问人们或组织之间促进价值交换。这里交换的价值不仅仅是物品、服务和金钱,还包括时间、精力以及情感”(科特勒, Kotler,1972)。在营销学“扩展的产品概念”中,价值是核心产品的附加内容如包装服务、客户指导、付款政策、储运等(莱维特,Levitt, 1969)。作为管理学的一个独特分支,营销学主要研究处于竞争中的企业与客户之间的关系,营销学中的价值主要是指客户价值。在20世纪80年代初,德鲁克提出:“营销的真正意义在于了解对客户来说什么是有价值的。”在此之后,特别是20世纪80年代末、90年代初以来,随着竞争的不断加剧,越来越多的企业将视角转移至客户价值,考虑通过价值分析,扩大企业所能够提供的客户价值[94]。