金融行业知识管理——知识管理技术

随着数据库技术的成熟和数据应用的普及，人类积累的数据量正在以指数速度迅速增长。进入九十年代，伴随着因特网（Internet）的出现和发展，以及随之而来的企业内部网（Intranet）和企业外部网（Extranet）以及虚拟私有网（VPN Virtual Private network）的产生和应用，将整个世界联成一个小小的地球村，人们可以跨越时空地在网上交换数据信息和协同工作。这样，展现在人们面前的已不是局限于本部门，本单位和本行业的庞大数据库，而是浩瀚无垠的信息海洋,数据洪水正向人们滚滚涌来。当数据量极度增长时,如果没有有效的方法,由计算机及信息技术来提取有用信息和知识，人们也会感到面对信息海洋像大海捞针一样束手无策。据估计，一个大型企业数据库中数据，只有百分之七得到很好应用。这样，相对于“数据过剩”和“信息爆炸”,人们又感到“信息贫乏”（Information poor）和“数据关在牢笼中”(data in jail)，奈斯伯特(John Naisbett)惊呼“We are drowning in information，but starving for knowledge”（人类正被数据淹没，却饥渴于知识）。

面临浩渺无际的数据，人们呼唤从数据汪洋中来一个去粗存精、去伪存真的技术。从数据库中发现知识(KDD)的各项技术便应运而生了。

知识管理技术就是指能够协助人们生产、分享、应用以及创新知识的基于计算机的现代信息技术。从知识管理技术的定义来看，知识管理技术并不是一项技术，而是一个技术体系，包括的技术内容异常繁多，覆盖了知识生产、分享、应用以及创新的各个环节。它同时又是多种信息技术的集成，这些技术结合起来形成了整体的知识管理系统，为企业提供知识管理服务。知识管理技术是实现有效知识管理的基础，是协助人们识别、获取、存储、分解、利用、传递和扩展知识的一种技术体系。它包括的技术内容非常繁多（如图1），其中最重要的是文档管理技术、数据挖掘、企业知识门户技术等，这里将予以重点介绍。

图1 知识管理技术3.5.1文档管理及检索技术

文档管理技术

知识管理技术中的文档管理不是信息技术里的文件管理，更类似于档案管理。它具有分类归档、外部特征管理、关键词管理等功能。分类归档功能用于把各种体裁的文档纳入知识管理系统的文档管理系统中，包括新闻稿、产品说明书、设计资料、演示文档、工作报告等企业运营中产生的各种文档，同时系统还能将上述文档在目录中列出、打开和编辑。外部特征管理功能，能自动提取文档的外部特征，并允许按文档外部特征进行检索。关键词管理功能允许使用者给出文档的关键词以便检索。文档管理最重要的价值在于将原先要由不同系统处理的各类文档集中在一个平台下统一管理。

知识管理技术的最大瓶颈是如何在海量的非结构化文档中又快、又准、又全地找到用户所需的文档。毫无疑问，检索是知识管理的核心技术，检索的效率和质量决定了知识管理解决方案的优劣。

检索技术通常采取两种方案：一是将文档归入一个有序的结构，再按结构规则提取文档(检索)，这种方法也被称为文本挖掘(text mining)；另一种方案是不建立结构，在检索时，用户自由地输入检索词或短语，由系统进行匹配，并将匹配到的文档按检索词出现频率的统计规则提供给用户，即全文检索。

结构化方案本身又可分为两种：一是由机器根据文档特征，按一定算法自动建立有序的结构，并将文档归入该结构；其二是人工建立结构，再人工将文档归入结构。第一种方法的代表产品是IBM的Text Miner，其主要功能是特征抽取、文档聚集、文档分类和检索。Text Miner的特征抽取器能从文档中抽取人名、组织名和地名以及由多个字组成的复合词。此外，特征抽取器还能抽取表达数字的词汇，例如，“钱”、“百分比”、“时间”等。抽取完特征以后，有相似特征的文档就被自动聚集成一个集合。利用这一功能，知识管理系统可以从大量文档中找到相关文档。Text Miner还可以对文档进行自动分类。第二种方法通常采用的结构是树状分类表，文档内容按分类表归入某一个最终子类，检索时可按树状结构一层一层地找到文档。除分类表外，还有另一种方法——主题词表。它将本领域的主要概念(主题词)收集在一起，按文档内容所涉及的主题，从主题词表中选出若干个概念，作为该文档的标识，并存入数据库。以后，只要从主题词表中选出合适的主题词，就可以提取文档

数据挖掘

当今数据库的容量已经达到上万亿的水平（T）――1,000,000,000,000个字节。在这些大量数据的背后隐藏了很多具有决策意义的信息，那么怎么得到这些“知识”呢？也就是怎样通过一颗颗的树木了解到整个森林的情况？计算机科学对这个问题给出的最新回答就是：数据挖掘――从大量数据中(数据库、数据仓库等)提取或者“挖掘”有趣的知识。在“数据矿山”中找到蕴藏的“知识金块”，帮助企业减少不必要投资的同时提高资金回报。数据挖掘给企业带来的潜在的投资回报几乎是无止境的。世界范围内具有创新性的公司都开始采用数据挖掘技术来判断哪些是他们的最有价值客户、重新制定他们的产品推广策略（把产品推广给最需要他们的人），以用最小的花费得到最好的销售。

由于数据挖掘是一门受到来自各种不同领域的研究者关注的交叉性学科，因此导致了很多不同的术语名称。其中，最常用的术语是“知识发现”和“数据挖掘”。相对来讲，数据挖掘主要流行于统计界（最早出现于统计文献中）、数据分析、数据库和管理信息系统界；而知识发现则主要流行于人工智能和机器学习界。

数据挖掘可粗略地理解为三部曲：数据准备（data preparation）、数据挖掘，以及结果的表示评估（interpretation and evaluation），图2是一个简单的数据挖掘图示过程。

图2 数据挖掘

根据数据挖掘的任务分，有如下几种：概念描述、分类和预测、数据聚类、挖掘关联规则、序列模式发现、依赖关系或依赖模型发现、异常和趋势发现等等。

根据数据挖掘的对象分，有如下若干种数据源：关系数据库、面向对象数据库、空间数据库、时态数据库、文本数据源、多媒体数据、异质数据库、遗产（legacy）数据库，以及Web数据源。

根据数据挖掘的方法分，可粗分为：统计方法、机器学习方法、神经网络方法和数据库方法。统计方法中，可细分为：回归分析（多元回归、自回归等）、判别分析（贝叶斯判别、费歇尔判别、非参数判别等）、聚类分析（系统聚类、动态聚类等）、探索性分析（主元分析法、相关分析法等）、以及模糊集、粗糙集、支持向量机等。机器学习中，可细分为：归纳学习方法（决策树、规则归纳等）、基于范例的推理CBR、遗传算法、贝叶斯信念网络等。神经网络方法，可细分为：前向神经网络（BP算法等）、自组织神经网络（自组织特征映射、竞争学习等）等。数据库方法主要是基于可视化的多维数据分析或OLAP方法，另外还有面向属性的归纳方法。

在国外，数据挖掘已经有不少成功案例。尽管数据挖掘的好处已经引起国内许多企业的重视，但实施的并不多，更多的企业是在观望和考虑。目前国内企业实现数据挖掘的困难在于缺少数据积累、难于构建业务模型、各类人员之间的沟通存在障碍、缺少有经验的实施者、初期资金投入较大。而在国外，数据挖掘首先在金融、证券、电信、零售业等数据密集型行业实施，因为这些行业信息化程度比较高，数据库中已经保留了大量数据资源。

目前提供数据挖掘产品的厂商非常多，如著名的产品有SAS Enterprise Miner、NCR Teradata Warehouse Miner、SPSS Clementine 7.0、IBM DB2 Intelligent Mine、SQL Server 2000数据挖掘组件、Oracle9i Data Mining、CA CleverPath Predictive Analysis Server、德门软件DMiner等。这些产品各有特色：NCR、IBM、ORACLE等数据挖掘工具可以直接在数据库上进行挖掘；SAS提供了数据获取、取样、筛选、转换工具来构造要挖掘的数据集；SPSS针对具体应用领域推出了多个应用模版，以简化应用开发过程。

有数据表明，进入二十世纪90年代，人类积累的数据量以每月高于15%的速度增加，如果不借助强有力的挖掘工具，仅依靠人的能力来理解这些数据是不可能的。 数据挖掘的前景被人们普遍看好。国际知名调查机构Gartner Group在高级技术调查报告中，将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术”之首，还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。Gartner的调查报告预计：到2010年，数据挖掘在相关市场的应用将从目前少于5%增加到超过80%。美国银行家协会预测数据仓库和数据挖掘技术在美国商业银行的应用增长率是14.9％。

新一代的金融企业首先是以信息来驱动业务链的。其次，它是以客户为中心，而且它的市场触觉也很敏感。在金融企业来说，存在着大量的结构化、能够以二维表的形式表达的数据，包括人事、财务、销售、管理、交易等等相关的数据。对于客户的分析和挖掘是金融行业一个应用的重点。它要知道哪20％的客户为提供了80％的利润，即对客户构成进行分析。同样还要知道，哪些客户对什么样的产品感兴趣，对客户兴趣度进行分析。还有要知道，哪些最有价值的客户正在流失，这是客户忠诚度分析。除此之外，包括交易分析和销售分析，销售分析需要分区域、分季节、分产品、分产品类等深入分析，提供数据挖掘的内容。

在金融业客户关系管理方面，数据挖掘应用在银行卡业务管理中，可以通过系统中统一完整的客户交易预期记录判别优质客户、劣质客户；应用于客户价值分析中，能发现重点客户和潜在的价值客户。在欺诈分析时，能够对有欺诈行为的客户进行预计，对信用卡的透支消费的限额进行相关的调整，同时还可以进行客户流失分析等。

企业竞争情报系统，将成为金融行业数据挖掘应用的一个新的趋势。企业竞争情报系统，简单的说，就是一种计算机系统工具，它是企业对于竞争对手、竞争环境、以及企业自身的信息进行合法的采集、选择、评价分析和综合，并对其相关的趋势做出预测，形成增值的、秘密的、对抗性的信息，对企业的战略和战术决策提供重要的依据。

数据挖掘在金融行业知识创新中，也将发挥重要作用。信息的分析和管理，在整个信息的获取和信息的使用之间，搭建了一个有效的渠道。通过对于海量原数据的抽取、转化和加载，可以向金融企业用户提供统计报表、多维分析、决策支持等相关的信息和知识。

数据挖掘的研究方兴未艾，应用领域也非常广泛。将数据挖掘用于金融行业的知识管理，虽然目前面临着很大的挑战和许多亟待解决的问题，但是我们可以预见这些问题将随着各应用领域的信息化进程逐步得到解决，在不久的将来，结合了数据挖掘的决策系统将为我国金融业发展起到不可替代的关键作用。

3 企业知识门户技术

企业知识门户现在已经成为知识管理系统的标准配置。对用户来说，企业门户是信息系统的唯一界面，日常工作的一切事务都可在企业门户中完成。例如，在企业门户中可以打开各类文档进行编辑、访问数据库、访问Internet和Intranet、收发邮件、进入工作流操作等。企业门户还可以按不同需求定制。总之，企业门户试图将日益复杂的应用集成到一个统一的平台上。通过这一“总的门户”，任何员工都能实时地与工作团队中的其他成员取得联系、寻找到能够提供帮助的专家或者快速连接到相关的门户，也就是说，企业知识门户为企业员工提供了一个单一的入口。

门户产品是指企业门户软件系统中提供门户功能的软件产品，即常说的“门户服务器”。由于在“企业知识门户”的概念提出之前，“门户”的概念早已经深入人心，如原来的“门户网站”，到后来的“企业门户”（应用门户与信息门户），所以市场上的门户产品早已经令人眼花缭乱。纵观这些厂商，主要有如下几类：

纯粹的门户供应商，如 Epicentric、Plumtree和Viador；基础软件供应商，如IBM、Oracle、BEA、Sybase以及微软等；搜索/分类方案供应商，如autonomy、arisem和Verity等，已经开发了门户方案来集成他们相应的搜索/分类/索引方案；内容管理的供应商，如 Documentum、Interwoven、 iManage、InStranet和OpenText等，也加入到门户市场上来；CRM和ERP软件的供应商，如BroadVision、Vignette、SAP和PeopleSoft同样会在门户市场上扮演一个重要的角色，门户必须和他们的应用系统能够集成，以满足那些使用了这些应用的企业的需求；EAI（企业应用集成）方案供应商，如Tibco等也提供门户方案。

从上面可以很明显地看出，很多门户产品是为建设企业应用门户或企业信息门户而提供的（这是因为当时还没有“企业知识门户”这个概念），利用这些传统的门户产品虽然也可以建设企业知识门户，但并没有体现知识管理的特点。

目前，已经有一些一直从事知识管理软件开发的公司分别推出了特别适用于企业知识门户的门户产品，简单介绍如下：

1、IBM Lotus的K-station：可以很好地完成知识管理、业务协作等功能，可以与Lotus系列的知识管理和OA产品实现无缝集成，而且开发工作量很小。该产品已经整合到IBM的Websphere Portal家族，以实现更强大的功能；

2、Microsoft公司的Sharepoint：可以与Microsoft自身知识管理产品相配套，但是与主流的企业应用软件不易集成；

3、SAP的Portal产品：其本身虽然不提供应用系统的功能，但是却可以很好地与主流应用系统集成，如 SAP、Oracle、Siebel等，而且现在也可以与一些主流的办公自动化、知识管理产品集成；