成功实施数据挖掘的因素分析(By AMT 朱静 编译)

成功实施数据挖掘的因素分析

By AMT 朱静 编译

  数据库技术的迅速发展，人们对于数据仓库和数据挖掘的概念已经不再陌生，但就实施数据挖掘来看，比方说CRM，成功的例子并不多。人们迫切希望从激增的数据背后发现隐藏着的重要信息，发现数据中存在的关系和规则，并根据现有的数据预测未来的发展趋势。特别是对于企业来说，希望能够对其相关数据进行更高层次的分析，帮助企业找出现存的问题或是挖掘潜在市场等。因此，研究影响数据挖掘实施成功的因素就十分必要。本文将从数据挖掘的概念和数据挖掘的过程出发，来探讨这一问题。

数据挖掘，也可以称为数据库中的知识发现(Knowledge Discover Database，KDD)，是从数据集中识别出有效的、新颖的、潜在有用的以及最终可理解模式的高级处理过程。

数据库中的知识发现是一个多步骤的处理过程，它包括以下步骤：

1.     问题定义
了解相关领域的有关情况，熟悉背景知识，弄清用户要求。
2.     数据准备
选择相关的数据、消除噪音及冗余数据、推算缺失数据、数据之间的相互转换以及数据缩减等。
3.     数据挖掘
运用选定的知识发现算法，从数据中提取出用户所需要的知识。采用较多的技术有决策树、分类、聚类、粗糙集、关联规则、神经网络、遗传算法等。
4.     评估、解释模式模型
评估，确定哪些是有效的、有用的模式，并把模式以易于理解的方式呈现给用户。
5.     巩固、运用知识
用户理解的、并被认为是符合实际和有价值的模式模型形成了知识。利用知识本身所描述的关系或结果对决策提供支持，或者对新的数据运用知识。同时还要注意对知识做一致性检查，解决与以前得到的知识互相冲突、矛盾的地方，使知识得到巩固。

KDD过程可能需要多次的循环反复，每一个步骤一旦与预期目标不符，都要回到前面的步骤，重新调整，重新执行。

数据挖掘是提取有用信息的"数据产生"过程，是从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的知识和规则，并能够根据已有的信息对未发生行为做出结果预测，为企业经营决策、市场策划提供依据。如果企业能够成功实施数据挖掘，将给企业带来巨大的好处。

根据数据挖掘的定义以及挖掘的过程我们从挖掘的对象、系统实施的过程以及模式映射的有效性来分析数据挖掘成功的因素。

Ⅰ．挖掘的对象：数据

数据挖掘的实现是以大容量数据库为前提的。企业通过对数据库中庞大的历史经营数据的挖掘，来反映即时的业务情况，揭示未来业务发展趋势，预测未知业务结果，以达到增加收入、降低成本，增强企业自身竞争力的目的。因此数据的可靠性、完整性、有效性就显得至关重要，是数据挖掘成功最基本的保障。

另外，数据准备是否做好也将影响到数据挖掘的效率和准确度以及最终模式的有效性。这些数据一般存储在数据库系统中，是长期积累的结果，往往不适合直接在这些数据上面进行知识挖掘，需要做数据准备工作，一般包括数据的选择、净化、推测、转换（离散值数据与连续值数据之间的相互转换，数据值的分组分类，数据项之间的计算组合等）、数据缩减（减少数据量）。如果KDD的对象是数据仓库，那么这些工作往往在生成数据仓库时已经准备妥当。

Ⅱ．系统实施的过程

数据挖掘成功的关键主要在系统的实施上，以目前数据挖掘的一个主要应用——CRM（客户关系管理）来看，影响实施成功的几个关键因素包括：组织的支持、项目的管理、技术的支撑这三个方面。

1．组织支持

实施数据挖掘项目中最艰难的不是技术，而是管理控制企业内部的阻力。管理层是否支持，业务部门是否参与过程中，是成功实施数据挖掘的保障。

a. 高层领导的支持
一个项目的成功首先需要决策层及管理层的支持，企业管理者对于数据挖掘的了解和认知程度直接影响开展数据挖掘项目的力度。CRM的成功实施需要公司领导在如下三方面的支持。首先，为数据挖掘设定明确的目标。其次，作为CRM的推动者，向CRM项目提供为达到设定目标所需的所有条件。最后，要确保企业上下认识到这样一个项目的重要性。当项目出现问题时，他需要激励员工解决问题。

b.   业务部门的参与
数据挖掘的实施不仅仅是IT部门的事，而是涉及到整个企业的。IT部门主要完成功能的技术实现；而企业的需求分析，挖掘一些怎样的信息，必须要让全员来参与。在实施CRM项目中，必须首先让公司全体员工意识到客户关系管理是一种旨在改善企业与客户之间关系的新型管理机制，并了解这种新的机制将对自己所在的部门以及自己的工作会有怎样的影响。

2．项目的管理

a．项目规划
一个项目规划就是项目组的蓝图，在项目规划阶段，首先要定义数据挖掘的成功标准。有了成功的标准，才会有成功的项目实施。然后需要定义数据挖掘的需求、评估数据挖掘成本的合理性。最后，根据挖掘出来的知识设计新的流程。
b．项目控制
软件系统的质量跟开发的过程有着十分紧密的联系，现在研究比较热的软件成熟度模型（CMM）就是基于过程的。在数据挖掘的项目中，也有系统实现的部分，其项目过程的控制也不容忽视。其内容包括安排进度和进度分析，费用的估算、预算和费用分析，项目情况分析，项目档案管理和报告编写，任务分配以及实施控制等。
c．组织管理
数据挖掘项目的实施由于涉及到管理学知识、统计学知识、计算机系统知识以及业务方面的内容，因此其项目的开发需要一个多学科的小组，而负责这个项目的领导者必须有相关的背景或类似的经验，并且小组成员间能够进行有效的沟通，能相互协作。开发团队如果组建不善，将会导致整个项目的失败。

3．技术支撑

在成功的数据挖掘项目中，要根据业务流程中存在的问题来选择合适的技术，而不是调整流程来适应技术要求。特别开发工具的选择会影响到系统与其他系统的集成，以及系统以后的升级，更会影响到整个项目的功能实现程度和推进时间。选择一个满足自己需要的数据挖掘工具，需要从以下几个方面来考虑：
（1）可产生的模式种类的多少
（2）解决复杂问题的能力
（3）易操作性怎样，是否有图形化的界面
（4）数据存取能力，是否可以使用SQL 语句直接从DBMS中读取数据
（5）与其他产品的接口，是否可以利用别的工具帮助用户理解数据，理解结果。

Ⅲ．模式映射的有效性

数据挖掘的任务是从数据中发现模式。在实际应用中，主要的模式有6种：分类模式、回归模式、时间序列模式、聚类模式、关联模式、序列模式。怎样将这些模式同客户所预期的结果紧密结合起来，怎样帮助使用者通过数据挖掘的方式找出内在的联系，使企业能够发掘潜在的市场，形成新的业务流程，则是数据挖掘充分运用的关键；要达到业务上的目的和利润上的目标，要积极创新，能够为客户提供价值，这才是数据挖掘有效性的真正体现。

以CRM为例，企业发展CRM一方面帮助营销人员管理好自己的销售过程，公司日常所有的营销业务都可以流程化和自动化地管理起来。更重要的一方面是从客户数据分析中挖掘服务发展方向，主要运用有客户特征多维分析、客户行为分析、客户关注点分析、客户忠诚度分析、销售分析与销售预测等。

例如对客户的行为分析首先要根据客户行为的不同划分为不同的群体，各个群体有着明显的行为特征。通过分组，可以更好地理解客户，发现群体客户的行为规律。然后将客户在行为上的共性与已知资料结合起来，对客户进行具体分析：哪些客户具有这样的购买行为？客户分布地区？此类客户给企业带来多少利润？忠诚如何？客户拥有企业的哪些产品？客户购买高峰期？完成了这些客户理解，将为企业在确定市场活动的时间、地点、对象等方面提供确凿的依据。另外还要考虑到同一客户属于两个不同行为分组的情况，可能一个分组对企业的收益影响大，而另一个分组对企业的收益影响小。我们需要充分分析哪些客户能够从一个行为分组跃进到另一个行为分组中；行为分组之间的主要差别；客户从一个对企业价值较小的组上升到对企业有较大价值的组的条件是什么？这些分析可以帮助企业准确地制定市场策略，获得更多的利润。

再如发现潜在客户可以首先从数据仓库中收集与客户有关的所有信息。包括客户个人信息（年龄、收入）、交易记录（最近的收支情况、消费次数和信用等级）……然后进行建模，用数据挖掘的一些算法（如统计回归、逻辑回归、决策数、神经网络等）对数据进行分析，产生一些数学公式，用来对客户将来的行为进行预测分析。最后对数据进行评分，评分过程就是计算数学模型的结果。根据分析的结果，企业可以更准确地制定市场策略和策划市场活动。

 综上所述，要成功的实施数据挖掘，要从数据、系统实施过程以及模式映射的有效性三个方面去把握，注重数据的可靠性、组织支持的力度、项目实施的管理、技术的强大支撑、所建立的模式能够正确地反映客户的需求，才能应用好数据挖掘，真正为企业的战略服务。

作者联系方式: juji@mail.dhu.edu.cn