不同磁带库间的数据交换和共享
2010-09-02 论坛
随着客户应用系统需求的不断增加,需要备份的数据不断的增多,数据安全性要求也不断提高,作为数据备份所用的磁带库的容量也不断的增加,有时还有可能增加第二个磁带库,甚至更多的磁带库。基于资源共享的目的,不同存储系统之间的数据在特定时间需要进行数据交换和共享。
有的用户在进行系统方案设计时提议多个磁带库系统采用相同磁带库和磁带,相同的数据存储格式,希望通过磁带离线的方式来实现数据的交换或共享问题。这个想法乍一听好象很有道理,有一定的可行性,但只要详细分析一下磁带库在业务系统中的具体应用流程,就会发现要想实现这个想法将面临很多问题。
多个磁带库能否通过离线磁带来进行数据的交换或共享问题
第一, 磁带库物理设备的兼容
即两个磁带库使用相同的磁带和磁带机。只有磁带和磁带机兼容,磁带才能被磁带机正常的装载,磁带才能MOUNT进磁带机里。
第二,数据迁移或备份软件系统兼容
大型磁带库系统会采用分步式的迁移或备份软件来进行数据库迁移和备份。分布式备份软件都有一个数据库,这个数据库中记录着每一盘磁带的VOLUME、FORMAT信息、文件名称、文件大小,写入时间、源文件路径等相关的元数据信息。在进行文件恢复或回迁时,迁移或备份软件会按照数据库中记录的文件的元数据信息,将文件恢复到源路径下。如果数据库中没有文件的元数据信息,即使磁带中有数据,备份软件也不可能正常的对文件进行备份和恢复。另外,为保证数据库中的记录信息和磁带中数据的同步和一致性,备份软件会默认为每一个初次放入带库的磁带是一个空白带,没有任何数据,因此在第一次写入数据前都会进行一个Relable的操作,相当于硬盘的格式化。当然可以手动地向数据库中引入文件的元数据库,但这只是在理论上可行,在实际的操作中会遇到相当大的困难。
注:在概念上一定要把迁移或备份的执行者ACTOR与备份请求的发起者initiator 区分开来,迁移或备份软件是数据迁移和备份操作的执行者,负责从源存储池(在线盘阵/磁带库)读取文件,写入到目的存储池(磁带库/在线盘阵);发起者(initiator)只是按照制定的迁移或备份策略,向执行者发送请求,由执行者来完成数据的迁移和恢复操作。在实际的应用中,有时执行者并不是一个单独的软件,而是由操作系统来担任的。
第三,应用软件系统的兼容
针对不同应用和系统要求,磁带库在存储系统中所起的作用也不相同。对于银行和电讯等行业,存储系统中的磁带库是整个的备份设备,负责备份数据库中的数据,每次需要备份的数据文件在几M到几十个G之间。由于备份一般采用全备份或差异性备份等方式,备份的数据文件之间有一定的关系。本次对数据文件进行备份后,可能几天之前备份的数据文件就不需要,或不重要了。
从存储系统的运行情况来看,磁带库中的文件只是作为在线盘阵中的文件的冗余备份,所有文件会同时存在于在线盘阵和磁带库中,也就是说在在整个系统中每个需要进行备份的文件都是双份的。在正常的情况下,磁带库中的数据文件不参与应用,只有当在线盘阵中数据发生损坏或丢失时,才手动或自动会恢复到在线盘阵中,保证存储系统的正常运行。
对于数据库系统备份,数据文件路径等相关信息都通过备份软件进行设置,并保存在备份软件中,磁带中记录的只是数据文件本身,并不需要记录与数据文件相关的元数据,或只记录很少的元数据。在进行数据恢复时,备份软件会将磁带中的数据文件恢复到一个单一的、特定的路径下,或手工指定一个恢复路径,数据库系统就可以对恢复后的文件进行读写。
针对这种应用方式,只要两个磁带库系统,采用相同的备份软件,就可以读取另一种磁带库,两个磁带库就可以通过互换磁带的方式进行数据共享。也就是说两个磁带库之的数据可以兼容。
而对于进行非线性视频编辑的广电行业,磁带库的作用是海量的文件存储,而不是数据的备份,只是区别于其它应用的最大特点。整个存储系统中的绝大多数文件只有单独的一份,磁带库作为盘阵容量的一种变形扩充,即近线存储,其所存储的数据要直接参与整个系统的业务运行流程。当需要对一个文件进行迁移或回迁时,应用系统的策略迁移或备份模块,即发起者initiator会发送一个迁移或回迁指令,迁移或备份软件,即执行者ACTOR控制磁带库的进带和磁带的读写,将在线盘阵上的文件写入到磁带上,或将从磁带上的文件读取到在线盘阵上。
需要进行迁移或回迁的文件,也就是非线编辑专业所说的素材在应用系统中并不是一个单独和孤立的文件,它与多个高低质量视音文件、字幕文件、图标、文字等相互对应,它们之间的对应关系将会记录在媒体资产管理系统的数据库。该数据库中还记录着有上百项与该素材文件一一对应的其它信息,如存储池信息、路径信息、访问权限和策略信息、编目信息等,这些信息还有可能与另外的上百个信息对应。
当把一个其它磁带库系统中的磁带放入另一个磁带库时,即使我们可以手工修改迁移或备份软件的数据库,将磁带上的素材文件引入到存储系统中,但由于媒体资产管理系统的数据库没有与该素材文件相对应的元数据信息,应用系统还是无法正常的识别和使用该文件。一个无法使用的文件实际是垃圾文件。当然我们可以通过修改素材的元数据来使其在应用系统中可用,但这种操作是一个繁琐的过程,在实际应用中是不可取的,对于大型的、每天有成千上万个素材文件要进行迁移或备份的媒体资产管理系统来讲,也是不可行的。
通过以上分析可知:对非线编辑网络系统来讲,只有两个磁带库系统之间的硬件设备相同,迁移或备份软件相同、应用系统也完全相同,两个磁带库才有可能通过互换离线磁带的方式和进行数据交换和共享。而在实际的应用中,由于系统的业务和流程不同、用户不同、系统设置不同、即使是同一家公司所搭建的同种用途的系统不可能做这三个方面都完全相同。
虽然这样说,但并不表示两个磁带库中的数据就无法进行交换和共享。从目前的技术发展来看,要实现不同磁带库之间的数据共享,就必须通过一个专用的数据转换软件,这个数据转换软件可以同时访问两个应用系统的数据库来获得与素材文件相关的元数据信息,再通过共用的API接口,调用和控制磁带库的读写,来达到数据交换和共享的目的。