信息质量管理精要（上）（by AMT 胡鹏）

摘要：信息质量（IQ）和数据质量（DQ）正日益成为热点话题，许多机构都正在开展某种形式的IQ或DQ项目，或与数据仓库有关，或与CRM有关，或与电子商务有关。

信息质量管理精要（上）

by AMT 胡鹏

信息质量（IQ）和数据质量（DQ）正日益成为热点话题，许多机构都正在开展某种形式的IQ或DQ项目，或与数据仓库有关，或与CRM有关，或与电子商务有关。同时，软件提供商迅速开发新的数据质量产品，咨询机构也纷纷开始提供IQ或DQ服务。

但是，在这中间有一个问题必须予以注意，有许多号称“数据质量”或“信息质量”的实施实际上并不是质量管理。有一些实施只不过是对无用的或冗余的信息进行自动化和制度化；有一些质量“评估”的实施不能为数据精确性的测度提供一个真正有用的方法；有一些号称“数据质量”的实施实际上是在故意制造新的数据质量问题；有一些所谓的数据质量的“成熟模型”实际上只是一种分类法，与Philip Crosby所描述的真正的质量成熟模型根本不是一回事。

“质量”一词不是随便可以乱用的，在实施质量管理软件或数据和流程的质检时，要将“质量”一词用于信息或数据质量管理的“方法学”中，首先必须真正了解质量的含义及必备条件。

本文的目的就是要帮助那些探索实施信息或数据质量管理功能的人，使他们了解这些功能的基本要素，以使这些功能成为真正的信息“质量”管理功能和有效的业务管理工具。下面列出了信息或数据质量管理的十个基本要点：

1、信息质量不仅是一个系统问题而且是一个业务问题，不仅经以系统处理方式而且要以业务处理方式来解决。

信息质量管理的目标并不是要改善数据仓库或源数据库中的东西，而应该是：通过去掉非质量信息的成本来提高业务功效，以及增加高质量信息资产的价值。信息质量所产生的问题并不会损害系统，而是使业务处理遭受失败。意外数据可能导致应用程序非正常终止，但所导致的结果实际上是业务处理流程的失败、作废和返工。

信息质量解决方案并不是系统解决方案，而是业务解决方案，包括业务流程、应用程序、数据库、企业员工以及工作环境，任何只解决了这其中某些部分的所谓“解决方案”都是不完备的，都只能达到局部最优化。

系统人员经常建议使用信息质量软件，以便通过“分析”或“净化”数据来解决IQ问题，他们没有认识到问题的根本原因是非质量数据，因而“解决方案”最终总是失败。很多原因会引起IQ问题，包括：有问题的处理流程，不直观或误导性的表格设计，未经训练的信息制作员工，伤害性的员工表现衡量方法以及有缺陷的数据设计等。如果问题的根源在处理流程、培训或环境等方面，就算在源应用程序中投入大量精力进行编辑，或在数据源实施防错IQ软件也仍然不能完全杜绝信息质量问题。

例如：当订货部发现某位客户已去世时，就在其姓名一栏填入“已故”，这是订货部表示注销的代码，这看上去不会有什么问题，然而在此之后，也许销售部会寄出一封信件给“亲爱的已故”。数据编辑工作可以防止“已故”被插入到姓名一栏，但这并没有消除根本原因：没有认识到数据更新是怎样影响下游的知识工作者的。

2、不仅要关注数据，还要关注信息客户和供应商。

当开始一个质量项目时比较容易将注意力集中到数据方面，毕竟，这是问题所在，质量项目的目标不就是提高产品质量吗？

“Kaizen”（不断改善之意）质量方法的创始者Masaaki Imai说，“谈到‘质量’，首先容易令人联想起产品质量，这是毫无疑问的。在总质量控制（TQC）中，首先和最先考虑的应该是人员质量……，一个拥有高质量员工的企业在制造高质量产品的道路上已经成功了一半。”Imai进一步说明，在总质量控制中，只有当业务的“人件”已经解决之后，才应考虑业务的硬件和软件方面。

为什么数据对一个组织来说是必需的？正是因为知识工作者需要用它来执行业务流程。质量方法必须关注信息“客户”，以了解他们有效及高效执行流程时对质量的需求。在W. Edwards Deming关于质量的14点论述中，第一点就说明这是对于客户的一个永不停止的任务，因为“消费者是产品线上最重要的一环”。在信息质量管理中，这意味着“这个对于知识工作者的任务”永不停止，因为他们是信息价值链中最重要的一环。信息客户包括企业中需要信息来完成工作任务的所有人员，以及所有依赖信息的外部伙伴，包括最终用户和股东。信息质量管理的客户很重要，要求我们重新考虑应该怎样看待信息“客户”以及其它相关因素。

总质量控制方法的创始者Armand Feigenbaum说，“对质量起决定作用的是客户，而不是工程师、销售或常规管理，……，是以客户在产品和服务方面的经验为基础的，衡量的标准也是针对于客户的需求——明确的或不明确的、有意识的或仅仅凭感觉的、技术性操作的或纯粹主观的”。由于知识工作者需要信息以完成工作，因此定义信息质量（通过信息和信息服务来一致地满足所有知识工作者和最终用户的需求）时应对他们的需求予以重视。

信息必须能够满足所有知识工作者的需求，而不能仅限于某一业务领域。产品价格并不是仅被订单处理部门需要的一个信息，它同时还要用来进行帐目计算以给客户开账单，会计部门用以决定销售成本，营销人员用以促进产品竞争力，产品开发部门用以分析产品性能和产品设计等。信息质量不仅要适用于其中一个目的，而且应该对于所有目的都是“高质量”。

因此，一个真正的质量方法必须对信息价值链中的信息生产者予以高度重视，信息生产者必须了解所有下游知识工作者客户以及外部最终用户的需求。如今许多信息质量问题的产生都是因为数据只能适用于一个狭小的用户需求范围（仅限于本部门），信息质量方法必须对信息生产者进行装备，使他们能捕捉满足所有知识工作者需求的高质量信息。

信息生产经理们也必须拥有能使他们的员工生产高质量信息的资源，而且他们还得具有生产各自领域的高质量信息的责任心，这是信息工作中一个最重要的角色，但同时也是最容易被忽视的。

3、关注所有的信息成分，包括定义、内容和表达。

作为一个业务问题，信息质量不仅与数据库有关，还与所有形式的信息有关，包括电子的、纸上的、口头的、图形的和符号的等等。信息质量方法必须解决质量的定义、内容和表达等问题，并不仅是数据库中的数据丢失或不准确时会导致处理失败，当数据没有精确定义或者信息生产者想当然地制造信息时也会导致处理失败。数据定义并不是一个普通文件那么简单，“数据定义和信息架构对于数据（内容）来说，相当于制造产品时的产品规格说明书的作用”。

在《保健数据元素词典中》收纳了一系列的医疗保健行业指定的数据元素名词，其中“Payment Date”一词被定义为“付款的日期”！这不仅违反了基本的词典定义规则（不要用词语本身来定义词语），而且也充分说明了数据定义对于是信息内容质量的妨碍是多么严重：“付款的日期”是什么意思？是审定的付款日期，或是提交付款要求的日期，或是支票划拨日期，或是支票邮出的日期，或是接收方收到付款的日期，还是付款进入系统的日期？对于这样一个不充分的定义，上述任何一个或所有的意思都可以应用。有人声辩说这提供了灵活性，但这不是灵活性，这是一个非质量的定义，将导致非质量的数据和沟通问题。

当信息表达模棱两可时也会导致处理失败，不论是以报告方式、计算机屏幕方式还是纸张方式，屏幕或报告的标签可能是误导性的。一份抵押贷款报告有一栏的名称是“利息”，当问及其意义时，得知这是贷款到期时应付的利息，由于很少有贷款会到期的，因此这个报告带有误导性质。不论管理人员是否知道数据的真正意义，栏名“利息”和它的定义是不一致的，任何不了解这个对“利息”定义的人都可能会作出灾难性的决策。

4、不仅要测量数据合法性，测量数据精确性。

数据的合法并不能保证数据的精确，在一次信息质量提高研讨会上，一位来自IQ评估软件开发公司的员工说，在对数据和相应实物或事件记录进行比较以进行测量时，她从没想到过“精确性”是一个必不可少的指标。不幸的是，一些IQ工具提供商只注重能被他们的工具测量和支持的质量指标，精确性、及时性、可访问性和表达直观性是知识工作者所需要的质量特性，这些特性却不能被IQ分析或评估软件进行测量。

我们可以从制造质量管理中借鉴如何进行信息质量处理，日本早期的质量管理专家Ishikawa描述了制造产品的质量管理流程，你可以抽出一个产品样本，然后对其物理特性和产品数据（产品规格）进行比较，以测量其质量，看看产品的各项测量值是否符合规格。这样做的前提，当然是假设产品规格是精确代表客户期望的，因此要测量制造商品的的质量，就将其实物与数据进行比较即可。

那么，怎样测量信息质量的精确性呢？由于数据是实物或事件的电子表示形式，就得将数据与实物或是事件的观测值、记录值进行比较。

有效的IQ评估方法必须能对合法性和精确性区分开来，并给出恰当的报告。合法性是对数据的合法值域及业务规则的适用程度进行测量的方法，精确性是指数据对实物或所描述事件反映的精确程度。

曾经有一个公司在测量“婚姻状况”的合法性时，他们没发现任何非法数据；然而，当他们进行精确性评估时，却发现23.3%的合法数据是不正确的。只测量合法性而不测量精确性时，可能会对知识工作者造成欺骗，带来一种虚假的“质量”安全感。

未完待续

浏览：信息质量管理精要（下）