适合数据库的存储技术

2002-12-27 9:41:03【作者】 畅享网 【进入论坛】
广告

适合数据库的存储技术

陈莉 李平 

企业数据库中数据的完整性决定着企业的生存能力,因此,对数据库的维护、数据添加和数据保护便成为IT服务的关键任务。设计数据库网络存储的最佳方法是什么呢?

要回答这个问题,我们不得不先讨论一个老生常谈的话题——数据库的存储到底应该是使用网络附加存储(NAS)?还是存储区域网(SAN)?许多人认为数据库存储就是SAN,事实上,把NAS用于数据库存储也是完全可以的,甚至在某些应用下,还可能发挥得更好。因为NAS系统提供了一个与集成管理工具之间的现成文件系统接口,从而使得它很有理由适用于数据库存储。

裸分区与文件系统

数据库管理员和存储管理员都知道,进行数据库数据存储有2种选择: 一种是通过数据库自己提供的文件管理系统(又称为裸分区),一种是使用文件系统的文件管理功能。因为裸分区工作于存储级,使用块I/O命令和SCSI等协议,所以采用第一种方式,软件系统开销最低,许多用户更倾向于选择它。

数据库最重要的不是性能,而是数据的可用性和可恢复性。毫无疑问,采用易于定位存储的数据库设计及文件系统对象,为数据库数据的保护和恢复提供了比黑盒子裸分区更多的选择。作为一名存储管理员或数据库管理员,您可以在数据库存储上使用文件系统。

在使用文件系统时,数据库会向文件系统发出以字节范围为格式的I/O请求,而文件系统会管理那些在文件中的以字节范围表示的块的位置,并进行与数据库的I/O特性相匹配的系统配置。如果数据库以字节范围为格式的I/O的大小与文件系统块的大小相同,那么基于字节范围格式的数据库文件I/O请求就与文件系统块对存储的I/O请求达到高效的1:1关系。通常,配置文件系统块是在文件系统首次安装时完成的,因此在规划过程中,用户应确定要使用的数据库I/O大小和文件系统支持的文件系统块大小。根据经验,如果不能确定匹配的比例,那么您可以使用稍大一些的文件系统块。

当文件系统与数据库系统位于同一个系统上时,用户无须考虑网络通信问题,当文件系统位于NAS系统或文件服务器上时,则需要准确地了解系统间的通信方式。NFS(网络文件系统)和CIFS(通用网络文件系统)都可以用于传送数据库数据。如果您使用的是NFS,就必须使用TCP作为传输协议,而不能使用UDP(用户数据报协议)。一方面,TCP适合NFS。TCP是将整个信息划分为若干数据包进行传送,但UDP不把信息化分为数据包传输,然后再在终端组合,而是支持信息独立地从数据源行走到终点;同时,它也不提供数据到达时数据包的排序功能。这就意味着使用UDP的应用程序必须承担确保整个报文已经到达并保持顺序正确的工作。另一方面,TCP具有数据的出错校验、重新排序和重新传输功能,使得数据传送更安全,更易实现。

当然,在使用NFS或CIFS支持数据库时,应确保网络设备能够正常运行,并且经过合格测试。相信每一个用户都不希望看到由于TCP/IP开关或路由器过载而导致数据库I/O中断。虽然TCP可以对数据进行重新排序,但是用户仍希望避免这种情况出现,必竟它会消耗一定系统资源。如果数据库系统以及文件系统所在的系统可以通过同一开关连接起来,那么系统整体性能就会提高。其中,使用子网络或虚拟网络把数据库流量与其他流量隔离开来就是一种很好的做法。

另一种好办法是: 把裸分区的性能和文件系统的管理结合起来,比如我们可利用Veritas Quick I/O,它能够让使用裸分区块I/O的数据库在Veritas文件系统内建立数据文件。换句话说,Quick I/O文件是数据库所用文件系统内的虚拟裸分区。


把表空间映射到存储系统

数据库的大小和所需的生存时间可以决定使用哪种存储方法和恢复方法。随着数据库的扩充与增长,数据库的备份窗口按比例减小。许多数据库都不可能实现冷备份而只能进行热备份,为确保数据可用和数据库系统的正常运行,需要应用许多支持技术。比如,发电厂要24小时全天候记录生产线的数据,数据库数据的流动不能被停顿下来。像这样的企业,每次备份时都不能保证备份下来的数据是最新的、最完整的数据库文件。实际上数据库中也有一种功能叫做快照,即每次对当前的数据库进行快速记录时,只备份部分数据库文件,而在备份期间可能会有新的数据进入数据库,这时的数据就只能等到下次做备份时才能被保存下来。数据库具有对这些快速保存下来的记录重新组合的能力,并且许多硬件存储设备(像NetApp)都有这种快照功能,主要是为了保证在数据库出现错误时,最大限度地降低损失率。

备份与冷备份

备份是就是要备份完整的数据,冷备份就是把系统与数据库的连接暂时切断,保证没有新的数据添加,这样才能把数据备份下来。在现实工作中,许多企业不可能做到数据库24小时不间断备份。

数据库系统往往被逻辑性地组织成一个表空间,表空间是数据库保存信息的逻辑空间。我们可以通过存储管理工具把表空间映射到惟一的存储位置或某SAN地址,也可以通过建立无须涉及数据库复杂内部结构的执行过程来实现,彻底消除将数据库“大卸八块”分散存储的弊端。

使用裸分区存储或文件系统存储都可以把表空间直接映射到LUN(如附图所示)。当使用文件系统把表空间映射到LUN时,即使该文件系统中只有一个文件,也必须创建该文件系统,以管理LUN的地址空间。这样,如果数据库中的各表空间都占用自己的专用LUN,那么就可以使用备份、镜像等块级存储管理工具创建表空间的冗余副本,而不会影响数据库中其他表空间的性能或操作。

一般来说,最好为表空间的增长保留足够的可用存储空间。即使是这样,有时也会出现数据库表空间存储容量不足而必须增加空间的情况。使用支持许多LUN的较大存储子系统能够改善这种情况。如果使用了较大的子系统,那么只需通过SAN中的一个已有连接确立新LUN的地址就可以分配附加容量。如果您没有在已有子系统端口添加LUN的能力,那么您就必须使用另外的开关和子系统端口。因此,最好在您的开关中为容量扩展保留端口。

在解决了网络编址和连接问题之后,新的存储空间可以通过2种方法与数据库结合:第一种方法是先虚拟化存储(通过不断增加存储容量来实现),然后再增大文件系统的大小; 第二种方法是创建一个更大的新的空裸分区或文件系统,并把所有数据都复制到这个新裸分区或文件系统中,完成后关闭老分区或文件系统。

使用日志文件管理数据库存储

无论数据库是否使用文件系统,都将在一个文件系统中进行日志文件的读写。当数据库没有经过正确的系统关闭过程而突然停止时,数据库管理员可以使用这些日志文件重新组装数据库。日志文件也用于通过回放内容来更新数据库的远程副本。关键是确保日志文件中包含自上个版本结束以来发生的所有变化,并保证安全地保存所有日志文件,以备不时之需。

日志有一定保存期,而日志文件还需占用一定空间,如果采用定期轮换使用多个日志文件的方法,可以达到节省空间和保存信息的双重目的。即当第一个日志文件写满后开始写下一个日志文件,在这个日志文件写满后再开始写下一个日志文件……最终完成一个循环,之后,如果继续再写,就需要覆盖第一个日志文件了。使用这种方法可以让管理员有足够的时间来定期备份和复制日志文件。

由于日志文件中包含数据库的完整更新信息,而这些信息会在很多方面被使用到,因此应该特别注意保护日志文件。一种方法是给日志文件分配一个专用LUN,这样可以方便地查找日志文件的数据,还可以应用包括特别备份进程和镜像在内的专门文件与存储管理技术。例如,可以把日志文件镜像到一个远程位置,在那里将其应用到数据库的远程副本中。如果镜像进程失败,还可以从备份磁带中或通过另一个进程把日志文件复制到远程位置。

关键是:只要一贯地复制日志文件而不产生错误,就不必镜像详细的表空间I/O了。否则将给远程镜像操作带来巨大的影响,因为镜像所有表空间操作所占用的时间会严重影响数据库的性能,而镜像和复制日志文件则可以大幅度降低通信成本和保持预期的性能水平。

现在,您清楚了吧,除SAN外,NAS也是比较适合数据库存储应用的。

“存储”携手“安全”

在近日北京举办的网络安全技术展上,记者发现存储的一个新动向,即在存储设备上“嵌入”安全技术,给数据保护加上双层保险。

我们知道NAS虽采用内嵌的自有操作系统和独有的固化存储软件,但大量具有网络蠕虫行为特征的病毒正严重威胁着它。然而,现有的防毒产品无法通过安装到NAS设备中来保护数据,只能依赖客户端的防毒设置,从而大大降低数据的安全性。

针对这一空白,趋势科技公司率先推出一个二合一方案。它专门服务于NAS设备的防毒,该方案由NetApp Filer F85和TServer Protect for Netapp组合而成。其中Server Protect for Netapp使用iCAP协议,在趋势科技防毒服务器与Network Appliance的Filer设备之间建立信任关系,当Filer在接收到客户的存储请求时,会主动将数据推送到趋势防毒服务器上进行过滤,只有被检查并标记为安全的数据才会真正被写入Filer的存储设备中。

也许,这仅仅是个开头,因为“存储”携手“安全”的好戏还未隆重上演呢。

本文原载于计算机世界

如果您希望与本文章的作者或其所在机构,进一步交流,请联系:畅享网 姜小姐
jill.jiang@amteam.org | 021-51096826-112 | 在线联系
老孙的IT运维管理之道[原创]用户的BSM用户的IT业务管..

从企业实际的IT运营角度来看,BSM是推动IT与业务融合,实现、改善WCNG司IT管理和治理的最佳实践之一。

吕建伟 专栏和CIO问答软件项目实施管理

现实中很少能按照正规流程来的,所以只能把流程中的各个环节拆开,个个击破,以后就可以见招拆招了。

节能与优化IT 企业CIO过冬良策

当前金融危机的影响还在继续漫延,很多企业都在苦寻过冬的良策,在这种情况下,节能与优化技术与产品无疑成为CIO们关注的首要对象,本次选题就是针对节能与优化IT来为CIO们提供过冬的良……

观08软件并购风潮 议09巨头何处生花

2008,似乎注定是不平静的一年。有人说2008是并购年。业内人士表示,在全球软件行业,并购一直是大企业谋求做大做强的捷径之一,包括甲骨文、SAP,微软等全球软件巨头都为了扩大自己……