“水晶球”就在您手中——数据挖掘的商业应用

古希腊传说中的“水晶球”，可以预言未来，分毫不差。美丽的传说，吸引看无数企业思考这样的问题：如何我也能拥有这个有魔力的“水晶球”，去帮助我洞察未来，使我的企业在当今动态的业务环境中，能对不断交化的市场做出快速反应，从而立于不败之地?  “尿布和啤酒”，这一数据挖掘(data mining)的经典例子，告诉我们，面对混沌的未来，我们不是完全束手无策，我们是可以有所为的。其实，只要我们了解所有商业运作的各种因素，进一步监控这些因素并向有关决策者们及时地提供相应信息，我们一样可以预知未来。这样的信息提取过程，就是我们大家所熟知的商业智能(Business Intelligence)，数据挖掘则是商业智能中发掘信息的钥匙。   

数据挖掘给企业带来的潜在的投资回报是巨大的。

1．什么是数据挖掘?   

不同的人对数据挖掘的定义不同。有人认为，数据挖掘，是在“数据矿山”中找到蕴藏的“知识金矿”，帮助企业减少不必要的投资、提高资金回报率。也有人认为，数据挖掘是“一个利用各种分析工具在海量数据中发现模型和数据间关系的过程”。IBM将数据挖掘定义为：“一个对大型数据库／数据仓库，提取隐台在其中的、先前未知的、正确的、易懂的信息，并将其使用在制订战略及业务操作决策的过程”。由此可见，一个企业能否有效利用数据挖掘，取决于三个紧密相关方面：一是该企业是否已经拥有一个大型的数据库或数据仓库，数据库中数据是否有足够的完整性、准确性；二是该企业是否有足够的技能、合适的方法和合适的工具从已有的数据中提取有用的信息；三是企业能否将提取出来的信息及时、正确地应用到其战略和具体的业务决策中去。概括一句话，数据是基础，挖掘是关键，而应用才是真讳。同时我们也应注意到，以上三个方面中，每一个方面的实现都不可能是一蹴而就的，是一个长期积累的过程，并且与企业的整体策略、运营方式等有很大的关系。

2．数据挖掘的流程 

一般来说，通用的数据挖掘方法，包含7个步骤。这7个步骤分别是： 

1)确定业务需求； 
2)定义数据模型和数据需求； 
3)寻找数据并准备数据； 
4)评估数据质量； 
5)选择数据挖掘方法并运行此挖掘方法；   
6)解析结果并验证新信息；   
7)在业务决策中应用所获的结果。   

每一个数据挖掘项目的成功都需要企业的业务部门、IT部门以及数据挖掘部门在各个步骤的紧密合作，任何一个环节的疏忽或臆断都将可能导致错误的结果，成为“垃圾进，垃圾出”。

3．数据挖掘方法   

总的来说，数据挖掘方法分为两类：探索型数据挖掘和预测型数据挖掘。   

“探索型数据挖掘”包括一系列在预先未知任何现有模式的情况下，在数据内查找模型的技术，具体的方法有：   

1)聚类分析(Clustering)   
聚类分析是把整个数据分成不同的群组。它的目的是确保群与群之间差别很明确，而同一个群之间的数据尽量相似。用聚类分析可以帮助企业了解客户的特征，典型的结果是将客户分成新客户、忠诚客户、流失客户、无规律购买客户、新赢回的客户等。于是企业可以对不同群体的特征，设计出不同的策略，更大程度满足消费害个性化的需求，带来更高的客户满意度，从而带来更多的经济效益。   

2)关联分析(Association)   
关联分析是寻找数据中事件的相关性。两种常用的技术是关联规则和序列模式。关联规则是寻找在同一个事件中出现的不同项的相关性，“尿布和啤酒”就是此类技术的典型应用。序列模式与此类似，用于寻找事件之间时间上的相关性，典型的例子有：2年前购买Ford汽车的客户很有可能今年采取以旧贴新的购车行动；当客户在购买了电脑之后又购买了电脑游戏的情况下，1年后有30％的可能性额外买内存。利用关联分析的结果，可以寻找潜在购买群体，实现交叉销售。   

“预测型数据挖掘”包括一系列在数据中查找特定的变量(目标变量)与其他变量之间的关系的技术，预测型数据挖掘分两种：   

1)分类(Classification)：预测一个特定的客户或事件属于哪一类；分类技术要解决的问题是为一个事件或对象归类。在使用上，既可以用此模型分析已有的数据，也可以用它来预测未来的数据。典型例子如信用卡积分，定向邮购客户的分类等。   

2)回归(Regression)：用于预测一个变量的值。如股票的价值、客户流失的趋势。

4．如何利用数据挖掘技术为商业服务   

目前，很多中国企业已经实施或正准备实施“商业智能”解决方案，以期达到提升自身的竞争力的目的。可是，我们不禁要问，这种“洋来品”，其商业效果如何呢?在中国的商业环境中是否会“水土不服”呢?有没有中国版的“尿布啤酒”呢?    答案是肯定的。   

举例来说，在市场营销领域，很多企业都会花很多的钱做各种各样的市场活动，如展会、研讨会等，只不过规模不同而已。任何市场活动的终极目标都是将企业所需传播的产品或其他的信息，在合适的时间(RIGHT time)，通过合适的渠道(RIGHT channeI)，传播给合适的群体(RIGHT peopIe)。到了执行的层面，问题就演绎为：   

1)是否有足够的人员参加市场活动。因为活动场地空间的限制，太多或太少的人参加都会对市场活动的效果大打折扣。   

2)参加市场活动的人是否是企业所期望的合适的群体。如果大部分参加活动的人员都不是企业所期望的，同样地，市场活动就不能达到顶期的效果。   

让我们看看，某跨国公司的中国公司在组织此类活动时是如何取得成功的。该公司利用预测型数据挖掘，对其目标群体“参加其举办的某活动”的可能性进行预测并打分，然后根据每个群体的分数可以得出提升图(Lift Chart)，如下图所示，图中横轴表示所有的目标群体(假设是10,000人)，纵轴则表示传统情况下，所有的目标群体能够参加“活动”的总体，即所有的参加会议害(假设是500人)。很明显，用常规的方法，即传统方法，因某种原因(如经费有限)，不能对所有的群体10，000中的20％(2，000人)发出邀请，最后结果只能有100人参加会议，是原来所有的参加会议害别人中的20％。同样，如果只能对所有群体10，000人的40％发出邀请，则只能得到原来所有的参加会议害别人中40％参加。另外两条线表示经过使用数据挖掘后，同样对总体的10％的客户进行市场活动，则可以得到350人参加会议，是原来所有的参加会议害别人中的70％。如果期望会议的参加人数是350人的话，只需要对用数据挖掘分析出的客户群的前10％，即1，000人投资就可以达到传统方法需要对7，000人规模的投资才能得到的结果。

依照此固，他们不但可以很好地知道谁是好的客户群体，也可以决定到底是对所有的目标群体还是只针对好的客户群体，然后可以预测出参加会议的总人数。另外，他们还用数据挖掘中的预测技术来预测目标群体对公司的未来的价值，以解决了第二个问题，即“参加市场活动的人是否是企业所期望的合适的群体”。基于这两个预测的值，对目标群体进行进一步的细分，并对不同的细分市场采取不同的市场策略。实践结果表明，利用数据挖掘技术，该公司降低了49％的直邮数量(与以前的传统的方法比)，但是目标群体的反应率却提高了68％。同时高价值的客户也带来了更多的价值。   

当然，不光“市场营销”中可以利用数据挖掘技术，其他很多领域，如金融、电信、互联网、生物、政府等，都也可以利用数据挖掘技术，在国外已有成功案例。   

就拿金融业来说，大家知道，银行的竞争已经变的越来越激烈，以银行业信用卡业务为例，业内人士有句很通俗的说法，“我们要像卖菜一样卖信用卡”，也有人说“我们要像卖保险一样卖信用卡”。无论用何种手段、何种方式推销信用卡，问题是，“你可以把牛拉到河边，但喝不喝水还要取决于牛”。如果用商业的眼光看，其实中国银行业所面临的问题是，追求信用卡发行的数量(客户的数量)还是追求信用卡使用者的数量(客户的质量)。很多人都认为这是一个两难的选择，无法找到平衡点。于是，我们看到很多银行真的“像卖菜一样卖信用卡”，结果信用卡的发行量是达到了预期的目标，可是，这些持有信用卡的人又有多少会使用信用卡?有多少是“死卡”?信用卡的盈利目标如何实现?反之，如果坚持走“客户质量”路线，却又担心丢失巨大的潜在市场。这个“两难的选择”与我们在市场活动中遇到的问题是何等相似?银行完全可以借助“数据挖掘”这个“水晶球”，找到最有可能使用信用卡的潜在客户，吸引他们成为信用卡的用户。   

随着金融业信息系统“大集中”工作的进行，“数据挖掘”在金融业的应用也成为可能，因此，从集中后的海量数据中挖掘到有用的信息，为企业决策提供服务，是企业取得竞争优势的重要的手段之一。其实，不光在信用卡业务上，金融业的其他业务同样可以借助“数据挖掘”技术。借助“数据挖掘”技术，可以预测客户流失，从而使得企业能够主动采取行动，预防客户流失，特别是重要客户的流失。又如，借助“数据挖掘”对信贷进行风险评级，以降低风险；对已有的客户进行交叉销售，如对大额存款用户推销“个人理财”产品，对“个人理财”产品用户推销“外汇服务”等。   

同样，电信业可以借助数据挖掘技术对不同类别用户的电话使用行为判别及其效益分析；长话类别分析、资费套餐效益分析；用户流失分析与满意度研究；欠费用户行为分析、模式建立与自动判别监测报警等等。而零售业可以借助数据挖掘技术分析商品最佳经营组合模式；超市购物篮分析；消费者群的分布及演变趋势分析等。

5．数据挖掘的前景   

数据挖掘，前期主要集中在银行、证券、保险、电信、零售、交通、航空等领域，近来随着计算机普及和数据的大量积累，数据挖掘已经在电子商务、服务咨询行业得到广泛应用，如在社会科学的研究领域如语言文字，在美国NBA比赛中查询运动员资料和指导换人排阵，犯罪地域及犯罪类别的预测以减少犯罪的发生等。