虚拟磁带库(Virtual Tape Library,VTL),是近年来兴起的众多磁盘备份(Backup to Disk)解决方案中,最受瞩目的一项,虽然VTL问世的时间不过两年多,在国外却是相当热门的产品。
虚拟磁带库的概念非常简单,它本质上是磁盘阵列硬件设备,但是在软件功能上模拟磁带备份的形式,因此对于存储管理员来讲,它就是一个磁带库,对它的管理如同管理一个物理磁带库一模一样。
可以说,虚拟磁带库已经成为当今存储界最为热门的话题之一,VTL的崛起,正在深刻地改变着传统的备份市场格局和用户的数据保护模式。进入2005年,传统机械磁带库厂家以及主要的存储设备厂家纷纷推出虚拟磁带库作为高端产品系列,而国内厂家也视虚拟磁带库为民族工业崛起的机会,开始开发虚拟磁带库产品,VTL成为市场主流的趋势已非常明显。
一、入门篇:虚拟磁带库综述
虚拟磁带库就是在备份服务器或网络端上体现为传统磁带库的磁盘或磁盘阵列。我们将用磁盘为备份介质来存储数据,并且本身能够仿真成物理磁带库的产品,称之为虚拟磁带库。
真正的虚拟磁带库,其使用方式与传统磁带库几乎相同,但由于采用磁盘作为存储介质,备份和恢复速度可达100MB/s以上,远远高于目前最快的磁带机。同时,磁盘阵列的RAID保护技术使虚拟磁带库系统的可用性、可靠性均比普通磁带库高出若干量级。
虚拟磁带库的概念早在10余年前即已被IBM,StorageTek等著名存储厂商所采用。然而,受限于磁盘和虚拟磁带技术的发展,以及厂家为了保护其既有模拟磁带库市场的考量,长期以来虚拟磁带库以价格高昂著称,使其通常作为大型磁带库的前端缓存使用,且依附于特定的主机系统(“封闭系统”),市场认知度一直很低。而在近些年,磁盘技术快速发展,出现了多种类型磁盘(SCSI、FC、ATA、SATA),使单位容量磁盘存储的价格急剧下降,进而使磁盘阵列作为备份设备的应用也愈加广泛。
传统磁带库用户面临的困扰
几年前,越来越多的用户意识到数据保护的重要性,纷纷采购磁带库和数据备份管理软件来搭建自己的数据备份系统。通过磁带库、用户可以进行复杂周密的介质管理,并利用备份软件实现高度的自动化。磁带介质还十分便于离线保存,可以定期从磁带库中取出,人工转移到另一点,实现异地容灾。但现在,这些用户逐渐痛苦的意识到,自动化的数据备份虽然提供了帮助,但也带来了很多新的问题,而这些问题正在严重威胁到原来设计备份方案的可行性。
让用户头疼的问题
1、可靠性
2、性能
3、可扩展性
4、投资回报率
最终,用户会发现,用于数据保护的投资往往超出预算,最终的结果依旧不能让人满意或者不可预期;而备份系统本身反而增加了系统维护的工作量。这已经成为目前很多单位非常现实的问题。
5、虚拟磁带库:系统可用性较磁带库提高若干量级
虚拟磁带库中,一般采用磁盘阵列作为后端存储设备。磁盘阵列采用的RAID技术能够保证当盘阵中某一块磁盘出现故障时,盘阵上的数据仍然可以正常读写。用户可以在线更换损坏的磁盘,然后对盘阵逻辑卷进行动重建。用户亦可设置在线热备盘,在出现一块磁盘(RAID6可以同时出现两块磁盘)损坏时,RAID控制器可以自动隔离故障盘,并立即开始逻辑卷自动重建,实现自动在线热恢复。保持了设备的连续可用性。
而磁带库的机械手、磁带驱动器和磁带均为非封闭的精密部件,也不具备容错能力,很容易受灰尘、潮湿等环境因素的影响而导致故障。多个部件组合后整体系统的可用性将更低。
可用性低也就使维护成本提高。据统计,2002 年在美国磁带库的平均年维护成本高达磁带库采购成本的10~15%,尤其令用户烦恼的是,磁带库修复必须由专业人员进行。维修反应时间长,常造成日常运营混乱。用户常因此而被迫购买冗余磁带驱动器 - 而驱动器恰恰是模拟磁带库中的主要昂贵部件,进一步加大了用户的总体拥有成本。
6、虚拟磁带库:备份可靠性较传统模拟磁带库提高若干量级
备份本身不是目的,必须能够保障数据恢复,备份才有意义。而备份介质的可靠性决定了备份数据的可靠性。磁盘是密封结构,而磁带则暴露在空气中,易受粉尘、湿度、磁粉、粘连、霉点等因素的影响,出现读写错误。所以磁盘的MTBF(平均无故障间隔)一般为磁带的5倍以上。显而易见,采用受RAID保护的磁盘阵列系统存放备份数据,比只用单盘磁带存放数据的可靠性要高得多。
为了提高磁带存储的可靠性,很多用户采用磁带复制方式,实现数据双备份,这样不仅费时费力,同时将造成额外的运营成本。
二、趋势篇:未来属于IHPV
1、虚拟磁带库的三种主要实现方式
目前市场上的虚拟磁带库依照架构不同,大概可以分为三种类型:备份软件型(D2D)、应用服务器型(VTL Appliance)、智能化专用型(Intelligent High Preformance VTL)
将磁带库模拟软件直接安装在备份服务器上,把备份服务器的某些文件系统分区模拟成磁带库,从而使备份软件以磁带库方式使用磁盘文件系统。
此类方案下的备份磁盘暴露于主机的操作系统,本质上依然“在线” 。在用户看来,依然在线的数据一定是不安全的。举例来说,如果备份服务器不幸被病毒感染,该病毒完全可能在损毁在线磁盘上数据的同时,损毁备份盘阵上的数据。
另外,此类方案占用主机资源,性能受限。
这种方案多由备份管理软件作为一个功能模块提供,价格比较低廉。但由于受制于文件系统,使其应用场合、I/O性能及数据安全性具有一定局限。
因此,此类方案主要用于备份缓存 - 也即先备份到磁盘,然后在服务器不忙时再将备份转移到物理磁带库上。
该方案实际上是另外一种虚拟磁带库的软件实现方案:通过把虚拟磁带库管理软件安装在一台独立的专用服务器(一般是PC服务器)内,而将该服务器及所连接的磁盘存储设备模拟成磁带库。
这种方式下,备份服务器或其它应用主机通过FC或SCSI与专用的服务器连接,此时专用服务器及所连接的磁盘存储系统一起体现为虚拟磁带库(虚拟磁带库)。
与备份软件型虚拟磁带库方案不同点是,备份服务器或应用服务器把专用服务器及其磁盘阵列当作了一台磁带库设备,实现了虚拟磁带库设备与主机设备的物理和逻辑上的分离。主机对这种方案下的虚拟磁带库的读写方式是数据块级(Block-Level)读写,比备份软件类型的读写速度快,并且不会从主机方对备份数据产生误删除操作,主机上的病毒也不会影响备份数据。
此类方案下,虚拟磁带介质 ?C 磁盘逻辑卷, 不再是操作系统格式化的扇区,而是和磁带一样的裸介质(“raw disk”);其上备份数据也是按顺序Byte to Byte存放的,在物理层上实现了磁盘读写的线性化,避免了文件系统的碎块问题,充分利用了磁盘设备的高速I/O性能。
这种方案的不足是需要利用一台具有一定扩充能力的PC服务器作为虚拟磁带库管理器,系统优化性略低,另外控制器部分采用PC服务器结构,不够精简,另外PC服务器以及其连接的磁盘阵列管理不统一,不是一体化结构,还容易产生PC服务器和后端存储的不兼容问题。
小知识:ARM(Advanced RISC Machines)嵌入式处理器是一种高性能、低功耗的RISC芯片。它由英国ARM公司设计,世界上几乎所有的主要半导体厂商都生产给予ARM体系结构的通用芯片,或者在其专用芯片中嵌入ARM的相关技术。
目前,采用ARM技术知识产权(IP)核的微处理器,即我们通常说的ARM微处理器,已遍及工业控制、消费类电子产品、通信系统、网络系统、无线系统等各类产品市场,基于ARM技术的微处理器应用约占据了32位RISC微处理器75%以上的市场份额,ARM技术正在逐步渗入到我们生活的各方面。
ARM公司是专门从事基于RISC技术晶片设计开发的公司,作为知识产权供应商,本身不直接从事晶片生产,靠转让设计许可由合作公司生产各具特色的晶片,世界各大半导体生产商从ARM公司购买其设计的ARM微处理器核,根据各自不同的应用领域,加入适当的外围电路,从而形成自己的ARM微处理器晶片进入市场。目前,全世界有几十家大的半导体公司都使用ARM公司的授权,因此既使得ARM技术获得更多的第三方工具、制造、软件的支持,又使整个系统成本降低,使产品更容易进入市场被消费者所接受,更具有竞争力
就存储市场而言:我们熟知的主流的磁盘阵列就是采用ARM结构、嵌入式实时系统作为核心的,最早的磁盘阵列形态是PC服务器+JBOD磁盘柜,随着市场和技术的不断发展,这种老式的设备在可靠性、性能上都无法与采用ARM结构的主流磁盘阵列相比,因此,市场上已经很难看到这种早期形态的磁盘阵列产品了。
就虚拟磁带库这种应用来说,它的发展趋势肯定也会和磁盘阵列一样,因此,基于ARM结构的嵌入式系统,统一化管理,成为智能化专用型虚拟磁带库IHPV(Intelligent High Preformance VTL)的基本特征,它将磁带库模拟管理软件固化在特别设计的ARM结构、嵌入式实时系统中,就形成了专用的虚拟磁带库设备,这种设备可以配置一定数量和类型的主机接口和后端存储磁盘阵列接口,有的专用虚拟磁带库设备还配置了归档磁带库接口。专用的虚拟磁带库设备硬件结构与不同于PC服务器,其性能、可靠性比第Ⅱ代应用服务器型虚拟磁带库有了非常大的提升。在设计上采用了精简的硬件模块和精简的操作系统内核(一般为Linux内核),并且充分考虑了与主机及存储设备的连接能力。
专用的虚拟磁带库设备标志着虚拟磁带库技术终于突破了操作系统和PC服务器架构的限制,使虚拟磁带库真正成为了一种独立的外设,并且真正将虚拟磁带库控制系统和磁盘存储阵列统一管理起来,的其使用方式也更接近普通磁带库,而其优越性能也体现得更加充分。
专用虚拟磁带库设备方案具有如下特点:
IHPV:Intelligent High Preformance Virtual Tape Library 智能化的高性能虚拟磁带库
更高性能、更安全、更智能
◆ 通过全中文GUI界面对VTL设备进行独立、统一的管理;
虚拟磁带库是一个独立、统一的设备,对设备统一的管理是最基本的需求;
中文界面提高了易用性,大大节省管理成本;
◆ 具备专业化的VTL控制引擎,采用ARM结构、嵌入式实时系统,非PC服务器架构;
使用专用的IO处理器,具有优秀的数据处理能力;
设备精简、更稳定、更可靠;
故障点少,易维护;
◆ 配置2~4Gb/s 光纤通道、Ultra160/320 SCSI或iSCSI主机接口和2~4Gb/s光纤通道;
提供快速、灵活的部署;
◆ 提供硬件压缩实现方式,并提供数据加密:
极大提高了备份系统的性能和可靠性;
保护企业核心机密的安全;
◆ 可随时恢复并查看备份数据:
掌握备份数据的可用性,提前预知灾难;
◆ 提供设备利旧的接口:
可接入用户原有的磁盘系统,使其继续发挥效能;
◆ 按需自动归档:
离线管理方便,节省存储空间,节省购买备份软件对归档磁带库的支持权限;
◆ 无限的磁带槽和驱动器扩充能力,容量可扩展百TB以上:
应对未来需求的挑战;
◆ 支持企业级光纤磁盘阵列的Multipath功能,可实现多路径冗余及负载均衡:
追求高性能,满足企业级高端客户需求;
三、技术篇:虚拟磁带库的疑惑
误区1:磁盘阵列做备份设备(D2D)比虚拟磁带库好吗?
解答:虚拟磁带库≠磁盘阵列+备份软件
利用磁盘进行备份(D2D)
出于以上提到的问题,有些用户的咨询专家开始倾向使用磁盘阵列作为备份设备。随着SATA技术的兴起,大容量磁盘的价格进一步下降,性能价格比更好,使很多人开始关注这种做法。利用磁盘作为备份设备的解决方案应运而生,这个解决方案目前有几种流行的实现方式:
这一类解决方案的特点是:利用磁盘作为存储设备,磁盘被格式化成文件系统。这种方式相对于磁带库来说解决了很多问题:
而且,通常看起来投资比较低,用户只需要购买一台磁盘阵列就可以了。
然而,在实际应用中,用户逐渐发现,这种最简单的基于磁盘阵列的解决方案并不是完美的。
让用户头疼的问题
1、共享
如果在一个有多台服务器的环境中要实现LAN-FREE备份,配置的复杂性和成本都会迅速提高。
一般来说,实现备份到磁盘,都要在这台磁盘阵列上建立一个文件系统,才能够被备份软件识别。而一般的文件系统都不能被多服务器共享,只有磁带库可以实现共享。
这就是说,如果想像使用传统磁带库一样,通过SAN实现多服务器共同使用一个磁盘阵列,必须要在磁盘阵列上建立多个逻辑设备,然后将每个逻辑设备分配给每抬服务器。
这就带来了管理上的一系列问题:
2、安全性
这种简单的基于磁盘阵列的存储设备是以文件系统的方式出现的服务器上的,这个文件系统可以由任意工具来操作,也可以被任何人访问。一个有意无意的“DEL“就可以毁掉所有备份数据。总之,和文件系统上的其他文件一样脆弱,这意味着很多危险:
3、性能
首先,文件系统本身就可能是性能瓶颈,尤其在多任务、多进程的时候,文件系统很有可能成为整个备份系统的瓶颈。
文件系统难以解决磁盘碎片的问题,磁盘碎片会导致文件系统的性能逐渐下降,而且,当数据量比较大的时候,磁盘碎片的问题很难以解决。
4、功能
备份管理软件是设计为磁带库使用的,虽然目前绝大部分备份软件都支持使用文件系统作为备份设备,但与使用磁带时的功能有一些差别。这些差别会导致一些严重的问题:
根据以上的分析,这种简单的利用磁盘阵列直接当备份设备的做法,虽然解决了来自磁带库的问题,但也产生了磁带库设备没有的新问题,而且难以解决。因为,到目前为止,很少有人采用这种办法进行备份。
误区2:虚拟磁带库类型都差不多,只要不是D2D就好?
解答:虚拟磁带库≠磁盘阵列+VTL应用服务器+VTL管理软件
IT市场的发展趋势告诉我们:功能比较专一的设备,正向专用化、一体化、精简化、独立化迈进。拿我们熟知的存储市场来看,当前主流的磁盘阵列是采用ARM结构、嵌入式实时系统作为核心的独立、统一、一体化的专用存储设备,这种主流的设备形态,也是在存储市场不断的发展演化中形成的,其实最早的磁盘阵列形态是PC服务器+JBOD磁盘柜,这种技术甚至在2000年前占据了相当大的存储市场。而在今天,这种老式的设备在可靠性、性能上都无法与采用ARM结构的主流磁盘阵列相比,众多的存储厂商也认识到了这个问题,纷纷推出基于ARM结构的、独立服务器管理、一体化的磁盘阵列产品,因此,市场上已经很难看到这种早期形态的磁盘阵列产品了。
再看IT其他领域:硬盘录象机、网络安全设备等等,几乎在市场刚开始有需求的时候,能见到的产品全是PC服务器+应用软件,以达到某项专用功能的目的,随着市场与技术的深入发展,几年之后,专用型的独立设备替代了以前的应用服务器方式,成为主流的设备形态。
由此可见:统一化管理、独立的、一体化的专用设备形态,是在市场与技术发展的背景下的大趋势,VTL也不例外,市场发展趋势导致一种精简结构的、基于ARM嵌入式实时系统的高性能VTL设备会成为主流,这是毋庸质疑的。
那么从用户使用角度看呢:用户购买VTL就是为了得到更安全的数据保护,如果设备本身有安全隐患,那与用户建立备份系统的目的是背道而弛了。备份系统往往是整个安全系统中最后一道防线,一旦数据丢失则是不可逆的。而事实证明,相当多的案例中,就是因为采购了设计上存在一定缺陷的设备,系统出现了不可挽回的损失。
那么,有人就要问:既然用户需要统一化管理、独立的、一体化的专用设备,在市场发展看这也会是一种主流设备,为什么,在市场需求形成的初级阶段,大多数厂家提供的都是应用服务器级别的产品呢?像VTL这样应用在数据保护领域的设备,似乎不应该由大量的初级产品充斥市场啊。
一个专用VTL产品的研发,要经过软件和硬件2大难关,没有足够的时间、资金和技术实力,加上相当长时间对存储备份核心技术的理解与经验的积累。是很难推出一款真正满足主流用户需求的,经的起市场考验的产品的。
如上原因:目前许多VTL的厂商,都是采用拿来主义,将多家厂商的设备拼凑在一起,组成VTL产品。VTL设备的核心是VTL管理单元的控制板,单独设计研发专用的嵌入式控制板的门槛很高,涉及到资金、工期、技术实力、工厂等许多环节,从实验室到市场要走很长的路。因此大部分VTL厂商是采用一款PC服务器做为VTL管理控制单元,其主板是X86架构的,由于PC服务器几乎没做任何改动,里面的总线布局杂乱,甚至光驱和软驱还在,各种各样的电子元气件不够简化。直接影响到VTL的性能,不仅容易产生磁盘碎片,更会使VTL的稳定性变的很差。因为大家都知道:多余的部件越多,引发VTL当机的几率就越大。
专业化的产品应该有专业的控制核心,现在没有人会接受PC服务器+JBOD构成磁盘阵列,为什么要接受PC服务器+磁盘阵列构成VTL呢?大家都知道用PC服务器+软件+磁盘阵列构成的产品形态是比较初级的产品,肯定会过时的,难道我们一定要先走一段弯路吗?
举例说明,某VTL产品的组成部分可能包括:
VTL= 应用服务器+磁盘阵列+软件
应用服务器=VTL主机机箱+ PC架构主板 + CPU + 硬盘 + 光驱 + 软驱 + 内存 + HBA卡+ RAID卡。。。。
除此之外,还有很多部件非VTL专用,而像这种VTL产品的组合,首先是性能低、其次是可靠性低,然后是管理成本高。非专业的电路设计以及复杂的电子元气件,使VTL变的不稳定,而且可维护性大大降低,一旦发生硬件故障,管理员很难在短期内判断究竟是哪里出的问题。查找并排除硬件故障变的像维护PC那样的枯燥和没有章法。
四、应用篇:虚拟磁带库提供数据保护与灾难恢复
某重型车辆制造厂,作为国家重点扶持的特型车辆生产研制机构,每年承担着大量的设计以及生产任务。IT信息系统如业务数据库、生产链数据库、图形图象设计内容、ERP服务器、CRM服务器、Web服务器,邮件服务器等存放有大量重要的信息数据,这些信息数据被企业视为生命。一旦遭到破坏而丢失,会严重影响生产力,造成无法挽回的后果。目前企业内部采用物理磁带库作为备份设备,每天进行自动备份预防灾难的发生,但随着企业业务迅速增长,过快的信息量增长已经是数据中心的备份系统不堪重负。因此,要求数据中心尽快升级存储备份系统,以适应企业发展需要。
数据中心的应用环境
(1)3套小型机
Sun 890(Solaris):核心业务Oracle数据库(3套)
(2)2套应用服务器 (SGI图形图象处理)
(3)7套Windows2K服务器 (邮件服务器、WEB服务器)
备份服务器:Windows2K系统
备份系统示意图
备份方案及特点:
主要存储备份设备和软件推荐如下:
采用此方案的优势:
五、选购篇:IHPV不一定曲高和寡
虚拟磁带库产品的采购建议
虚拟磁带库在中国市场上销售的时间虽然不长,产品种类却相当的多,有意添加虚拟磁带库设备VTL的企业,应从备份数据量、产品性能、厂家服务水平、自身人力资源、投资预算等多方面加以考虑。
备份数据量在10TB以上并在未来持续增长的大型企业,应以技术力量雄厚的厂商为首选,以高性能的IHPV引擎,配上高阶的光纤磁盘阵列作为后端存储,虽然价格较高,但是效能和可靠度相当高,容量的延展性也比较大,而且管理还是统一化的。如果备份数据量在2TB以上,建议采用一体化的IHPV解决方案,这类型产品的价格约在10万至30万元之间,传输接口除了光纤信道之外,也支持SCSI或iSCSI接口,方便快速、灵活的部署,设备统一化管理也提高了易用性,降低了管理维护成本。
文章评论(0条评论)
登录后参与讨论