存储似是故人来

2002-10-7 14:40:26【作者】 畅享网 【进入论坛】
本文关键字 理论探讨
广告

存储似是故人来

张崇峰

“9.11”过去一年,存储行业日新月异,灾难所带给人们的记忆总是能让人们在感慨之余加倍努力,而存储果然不负众望,发展速度有目共睹。但它存在的问题也是不容忽视的!怎样通过应用实施来完善整个市场的环境,仍然是人们关注的重点。而明年,存储行业市场发展速度还会高过今年么?基于IP的SAN以及管理软件会有多么重要呢?种种疑问都有待时间来告诉我们。

——从“2002年网络存储与数据挖掘技术应用论坛”谈网络存储现状与发展

今年,存储的话题很多,它们围绕着进一步发展与成熟的主题,在众多的应用中变着花样;今年,9.11过去一年,一些事情还能够在相关的人记忆中掀些波澜。总之就是这样,谈到发展,话题总是最多,谈到灾难,人们总能够记忆尤新,时间在人们记忆中的轮回总是带着一些的感慨和回味。细数存储一年来的话题,数据一年来的增长,让我们不由得坐下来想一想,对于数据,我们还需要什么;对于数据,什么还做得不够!

日前,由中国计算机学会主办的“2002年网络存储与数据挖掘技术应用论坛”在北京圆满结束了。此次论坛是国内首次专业集中探讨网络存储与数据挖掘应用技术的论坛,以之在企业中的应用为主题,以向企业、政府提供数据信息服务的厂商,以及为金融、证券、电信、保险、邮政、交通、航空、石化、能源等众多行业建立起相互交流的平台为主旨,在三天的时间里共同探讨数据的网络存储和挖掘应用。这是一年来针对存储和数据的第几次会议呢?我们也许不记得了,也许我们更关心的是,这次会议或者叫做论坛,能给我们带来什么? 围绕着这次会议的话题,不难引发我们再次对目前网络存储发展和数据管理、挖掘的推动仔细地思考一下。

技术走向融合

随着数据存储量的爆炸性增长,企业的存储需求正在以每年超过100%的速度增长着,在应用日益成熟的阶段,以SAN、NAS等为代表的先进存储技术正越来越广泛地被应用。SAN以其良好的可靠性、可用性、可扩展性、快速数据访问能力、分布式存储架构、高速备份等优势迅速占领存储市场。据Gartner预测,SAN存储的市场份额将从2000年的16.5%迅速上升到2005年的52.9%。也许因此我们可以肯定,SAN将是未来企业存储的主流技术。

SAN的优势是什么呢?SAN技术带来了全新的存储结构与存储理念,它的最大特点在于,SAN是独立于应用服务器网络系统之外的存储专用网络,它拥有几乎无限的存储能力和可扩展性,采用高速的光纤通道FC(光纤通道,Fibre Channel)作为传输媒介,实现了真正高速的共享存储。但与其它技术相比,SAN目前面临的问题是如何降低其成本,使其具有更高的性价比。

在SAN的领域内,iSCSI和FC是不可缺少的两个部分,虽然有人认为FC的实现受到成本投资的限制,而iSCSI只是FC真正实施前的过渡,但是事实证明,iSCSI的发展是遵循着自己的方向,有着独到的特点和可应用前景。在全球范围内,IP协议在局域网和广域网中普遍使用,而数据又在不断激增,iSCSI就是连接存储与IP协议的桥梁。而iSCSI是基于SCSI和IP协议这两个非常成熟的技术。其次也许我们可以看看iSCSI的传输效率。目前多数iSCSI的网络传输带宽为千兆即1Gbit,如果实现全双工能够达到2Gbit,第二代产品能够达到2Gbit带宽,而Adaptec公司已经研发出来的第三代达到了10Gbit的带宽。可以看到从数据传输的角度,采用iSCSI建筑远程异地容灾系统没有任何问题。可以说其发展速度应当是惊人的,实现起来仍能够利用企业现有的网络资源,有着相当的发展潜力。

 

  图一“2002年网络存储与数据挖掘技术应用论坛”现场

我们知道,SAN作为存储的新方式已经在全球范围内开始应用,与其他早期的存储产品的不同点在于SAN对网络更加有依赖性。因为SAN需要独立与局域网之外的存储网络。而作为网络产品和技术则是SAN实现的关键所在,这就是为什么FC和iSCSI会成为众多厂商关心的焦点。FC虽然具有先天的技术优势,但是随着iSCSI技术的提升,两者之间的差距有所缩短。反之,iSCSI在价格和远程数据交换上有着明显的优势。我们知道,iSCSI是基于IP协议的,它能够容纳所有IP协议网中的部件,如果将FC转换成IP协议下的数据,这些数据就可以通过传统IP协议网中传输,解决了远程传输的问题,而到达另一端的时候在将IP协议的数据转换给当地的基于FC的存储网络,这样通过iSCSI使两个光纤网络能够在低成本投入的前提下连接起来。

此外,逐渐成熟并且得到重视的虚拟存储技术无疑将是未来网络存储的主角。虚拟存储化能够将存储管理的级别从普通的手工操作水平提升到自动化与智能化的管理方式上,提高应用效率的同时,也减轻了应用程序服务器对本地物理存储设备的管理工作,将各种异构的存储系统整合为能够作为单一资源,同时方便管理的存储池;与此同时,根据不同用户和应用的需求,还可以配置和实现基于用户定制的数据应用和系统管理。使用虚拟存储技术,使得原有设备不必取消的前提下,扩充现有存储网络,从而减少总体拥有成本,增加投资回报。由此可见,虚拟存储必将成为企业存储应用系统的宠儿,应用前景广阔。

今天你备份了么?

企业越来越关注对存储设备的投入和应用已经是不争的事实,但有时候我们难免会想一下,单单的存储就可以了么,也许我们应该把眼光放得再远一些。当我们可以拓宽自己的视野时,我们不难发现,国内用户体现出来的对数据存储备份重要性的认识不足,使得行业隐患也因此凸显出来。如此我们可以知道,在国内开展数据备份工作,特别是在数据中心、资料密集地区,甚至重要档案存放处推广备份工作已经成为当务之急。

 

图二 论坛中各厂商在展位上颇下了些工夫

我们必须注意到,备份数据也是一种重要的资源。而在主应用服务器过载时,利用备份数据提供相同的应用服务以减少主服务器的负载也是将来备份软件应该考虑的问题。仅强调存储而忽略备份是不应该的。

当前磁带库、磁盘系统、磁光盘系统等存储介质的性能和容量都有了很大提高。较好的商用磁带库压缩后的顺序传输率已达到60~80MB/s,容量/价格比逐年倍增。与此同时,通道技术(如UltraSCSI320和光纤通道)的发展使得存储带宽也不断提升。PCI-X、3GIO等总线技术的发展解决了系统总线作为整个存储系统的瓶颈问题。处理器的运算速度也遵循摩尔定律而不断提高。这一切为备份系统整体性能的提升和备份系统的迅速普及打下坚实的物质基础。随着计算机技术渗透到社会生活的各个方面,数据的重要性为越来越多的企业所认识,需要备份的数据以及备份的形式也越来越多,必须有相应的备份软件来帮助人们完成这一日趋复杂的工作。此外,可管理性是备份中一个很重要的因素,因为可管理性与备份的可靠性紧密相关。最佳的可管理性当然就是自动化备份方案。如果一种技术不能提供这种自动化方案,那么它就不能算是最好的备份技术。

 

  图三“论坛”为EMC代表发送纪念品

以后,备份软件大都是基于存储网络的,通过备份源代理和备份目标代理程序屏蔽底层各种千差万别的存储设备,并提供各种不同的数据备份手段(如各种灵活的热备份技术),在此基础上提供更加安全、智能、用户友善的备份系统。在提供专业化备份服务的基础上,把备份系统的管理和维护成本降至最低。目前,以HP、IBM、EMC为代表的传统存储设备提供商在不断推出新的备份系统和备份软件同时,以Veritas、CA、FalconStor等为代表的纯软件公司也提供了很好的备份软件。

标准又是什么?

伴随着异构存储网络的发展,客户最关心的问题已经由最初的存储器性能,转变为系统的可管理性和互操作性。任何事物向着融合与开放的方向发展,都不会让我们感到惊讶,存储的发展正在遵循着这个规律走向成熟。

 

  图四 威达电定位在个人用户的无线路由功能网络存储器是论坛中的一个亮点

但是,这就引发了一个不可忽视的问题,融合和开放的界限在哪里?怎么来遵循和高效地进行开放性管理?而标准又是什么?有了开放性的标准,会怎样呢?通过消除管理互操作性的瓶颈,标准接口可以让客户根据各自解决关键性业务问题的能力,选择最好的管理解决方案,而不用考虑是否能够与某种特定产品兼容。目前,存储网络业协会(SNIA)推出了存储管理计划(SMI),SMI是在机构范围内实施的计划,以开发、标准化和推动基于Bluefin(描述增强型公用信息模式/基于Web的企业管理——CIM/WBEM——的接口,是SMI标准的基础。)草案规范的开放存储管理接口的应用。通过提供标准的存储接口,SMI将简化多厂商存储区域网络的存储管理。

 

  图五 SPECTRA LOGIC部门级磁带库SPECTRA2000是国内存储市场中的新面孔

也许存储网络业协会的协议并不能使所有的厂商接受,但他的努力和所指明的方向是显而易见的。而且我们仍然相信,在应用的过程中,会有更好、更适合于国内存储环境的标准产生,这也是事物的发展规律。
  
数据挖掘技术在发展中

多年的IT实践已经在计算机的存储设备中积累了大量的数据,但似乎它并不能帮助人们进行有效的分析和决策。存放在数据库中的数据是为了OLTP系统设计的,特别是关系数据库中的E-R设计方法给Transaction——业务处理带来了高效率。但是在分析数据时,却由于数据过于分散,难以进行有效的分析。数据仓库就是对原有数据库中的内容按照决策支持的需要,按分析主题的进行重组。帮助用户借助计算机信息系统进行分析、思考创造了一个良好的基础和前提。我们知道,建立数据仓库不是目的,它是为你分析、挖掘创造的可能性。通过分析和数据挖掘,找出事物发生、发展、运行的规律性。你的决策就有了坚实、可靠的基础。事实上,你的成败得失都在你的运作数据中记录在案了。从你个性化数据中挖掘出来的规律性,可能比经营管理畅销书中的论述,对你来说更加有效。

可以说目前数据挖掘技术在国内的应用还不是十分广泛, 包括Cognos公司在内的众多厂商仍然在不懈地推广着这项“生产力”十足的应用,它在众多如医疗、气象、军事等领域中已经取得了可喜的成绩。在技术上和战略上的不断发展,使得我们不难看到数据挖掘的未来也是一片光明。

本文原载于中国计算机报

如果您希望与本文章的作者或其所在机构,进一步交流,请联系:畅享网 姜小姐
jill.jiang@amt.com.cn | 021-51096826-112 | 在线联系
罗永辉呼吸BI[原创]商业智能:感性到理性 完..

  2007年是商业智能从感性回归理性的一年,也是从完善到提升承前启后的一年。 回顾篇 认识层面 2007年,国内国外普遍加深了对BI的理解。Gart……

TTNN-BI观点TTNN-BI观点十月刊——湖光山色

2007,国际权威重新定义了BI。从当前实践看来,这种定义符合实际,毕竟BI要落地,要能给企业带来真正的收益。当然,如何落地,自然必须有技术的支撑和管理策略及相……