建立统一的数据仓库

建立统一的数据仓库

－－Sybase助力南京市地方税务局

汪蔚

由于业务的开展，南京市地方税务局积累的数据随着时间而不断膨胀。随着业务的变化、OLTP系统的升级和更新换代，数据具有多种存储形式，表达方式不统一；由于数据量大，查询响应时间无法得到保证；由于数据分散，地方税务局的管理者和决策者很难以一个统一的视图来获得整个地税局的全局信息。

面对众多的问题和查询访问人员的抱怨，在2001年下半年，南京市地方税务局对数据仓库系统进行了选型，通过对数据仓库解决方案的对比、测试和论证，最终选择了Sybase的产品和Sybase专业化的咨询服务。

南京地税数据仓库系统组成

南京市地方税务局数据仓库系统的目标是：一方面通过数据仓库系统的建设过程，实现南京市地税局历史数据和异构系统数据的清洗、转换和整合；另一方面，由于原有的多个OLTP系统中，或多或少都带有一些决策支持功能，通过建立数据仓库，缓解现有OLTP系统中的决策支持查询、报表的压力；最终实现企业级数据仓库的多维分析功能，为地税局领导决策提供理论基础；同时在数据仓库的运行过程中，能够对进入数据仓库的数据移动、安全和元数据进行管理。

数据仓库系统组成

源数据部分。现有业务系统数据库，包括Sybase Adaptive Server Enterprise、MS SQL Server。

数据集中服务。通过Sybase Replication Server完成源数据到数据集中区的数据增量复制。Sybase Replication Server具有异构数据库环境的数据集中能力，可以实现数据的实时增量复制功能。

数据集中区。用Sybase Adaptive Server Enterprise管理通过Sybase Replication Server复制过来的数据，包括首次集中的业务系统的全部数据以及业务变化所生成的增量数据。

ETL部分。通过PowerMart将数据从数据集中区经过处理以后加载到数据仓库存储环境中。由ETL服务器和开发环境组成，完成数据的转换、清洗、转换及加载。

数据仓库存储。使用Sybase Adaptive Server IQ（Sybase ASIQ），实现数据仓库中数据的存储和管理。Sybase ASIQ是专门为数据仓库的高性能数据分析而设计的数据存储引擎，具有专利的查询处理技术，使IQ具有100倍于传统RDBMS的即席查询能力。

数据展现。使用Business Objects的产品，实现数据的展现和分析。Business Objects提供基于WWW服务器/浏览器的配置方式及基于客户/服务器形式的配置方式，本系统中将以WWW服务器/浏览器的方式为主。

元数据管理。在数据从源数据系统到数据仓库到数据展现的过程中，都会伴随着元数据的管理。通过Sybase Warehouse Control Center负责本系统中的元数据的管理和维护。

数据仓库系统配置

在系统配置上，由于数据抽取是采用Sybase Replication Server实时增量进行的，数据量相对较少，因此12个CPU的Sun 6500作数据仓库服务器的同时也兼作Sybase Replication Server和数据集中服务器。同时，用一台NT Server就可以完成增量数据的ETL功能。对于前端展现服务器，Business Objects具有Cluster的能力，可以根据用户访问数量的增加，动态地增加NT Server的数量，通过多台NT Server均衡负载，来支持更多用户访问。

通过建立数据仓库系统，南京地税局的管理者和决策者可以通过浏览器，以统一的视图访问地税局的全局信息。由于进入数据仓库中的数据经过了清洗、转换，从而保证了数据的正确性、一致性和完整性。同时，可以让信息访问者以更快的查询返回速度、更友好的界面、更丰富的图形和图表方式实现即席查询、动态报表和多维分析，来达到预期的目标。使用浏览器方式，使信息的访问者可以在网络的任意位置进行查询、分析，实现了零客户端维护。通过本项目的开发，为南京市地税局今后对数据仓库系统的维护和进一步完善积累了经验。

本文原载于中国计算机报