重复数据删除技术应避免存储黑洞

　　企业信息系统选型宝典存储备份漫长的等待时间，和瞬间海量数据的增长，对于CIO来说都是一个痛苦的过程。他们眼看着宝贵的存储资源在慢慢被耗尽，又束手无策。数据备份和恢复，是保证企业信息安全的必由之路，但如何有效地利用存储资源，从而缓解存储压力，重复数据删除技术给CIO们提供了一个不错的选择。

　　机遇 OPPORTUNITY

　　Gartner认为，在未来18个月内，重复数据删除技术(DataDe-duplication)将扮演重要的角色，以帮助企业得以自如地控制日益堆积如山的数据，以达到企业对数据进行存储、保护和监管的目的。重复数据删除技术的英文原文是DataDe-duplication，其实更为准确的表达应该是删除数据的副本。它是数据压缩的一种形式，以前在企业之中并没有得到广泛应用，而现在尤其是在欧美等IT应用更为深入的企业之中，重复数据删除技术已经成为存储领域中的一个关键工具。

　　在众多IT供应商所提供的产品中，重复数据删除技术已经演变成企业的存储管理平台。现在，它已做好准备，在数据安全和备份恢复方面变换方式，进而改变企业传统的存储管理方法。这项技术是以一个功能性的硬件和软件为基础的存储管理平台。

　　据Gartner的调查数据显示，重复数据删除技术在全球性企业的数据备份市场中占据了10%的份额。在未来的5年内，有75%的企业希望它能够与现有数据存储系统整合。Gartner分析师DavidRussell说：“在我与存储打交道的18年中，重复数据删除技术是我见过的增长最快的技术。”企业为了保护数据必须定期执行数据备份，虽然磁盘备份快速吃掉了存储空间，但企业也绝不会因此而减少备份的次数。通过增加备份周期以换取存储空间只是个舍本逐末的作法。事实上，不只是数据备份，每个企业都希望保存自身营运的历史记录，藉此作为企业决策分析的依据。基于企业的不同业务数据类型和备份模式，企业在备份过程中，通常会保存大量的不需要的冗余的数据，重复数据删除可以删除这部分冗余的数据，从而大幅度降低企业数据存储和备份对存储空间的需求。在未来，数据累积的速度绝对是不断提高的。

　　对于解决上述问题而言，重复数据删除是目前看来最为行之有效的手段。以重复性最高的数据备份来说，如果每个备份档的差异只有30%，也就是说有 70%的空间白白浪费掉。反言之，使用技术手段解决的话，用户就能凭空多出70%的存储空间，这无疑是用户乐于见到的情形。备份技术专家建议，任何拥有大量数据的企业都应该应用、或者至少尝试一下重复数据删除。

　　这项技术背后的强劲推动力就在于，企业取得对不断增长的数据存储需求的控制权。这项技术在帮助企业减轻硬件投资的同时，还能实现备份功能。另外它还有助于部署更多的灵活性灾难恢复策略，而且在成本预算上是企业可以负担得起的。在早期采纳该技术的使用者，只是从公司节约成本的角度来考虑的。在 Rust咨询公司的IT部门员工，有一个共同的感受，当他们尝试处理如同洪水般的数据需求时，管理员感觉就像被钉在了墙上，只能坐以待毙。系统分析师 TimHoltan说，“备份窗口”(完成一次给定备份所需的时间)，常常会变成IT的黑洞。它们通常会持续很长的时间并且狼吞虎咽般地侵蚀大量的数据，而且缺乏正确的备份。在低效的灾难备份面前，数据恢复常常需要超过24小时。Holton很想在备份过程中占据主导，而不是只有选择去等待，他希望提升数据重建的效率，希望能将他的时间效率从10%提升到75%。

　　在几近绝望和缺少可行性办法的时候，Rust公司转而采用重复数据删除技术，“我们感觉到我们自己的手又能自由活动了。”Holtan说，“我们在3年里业务增长了40%，突然间我们跃上了一个新台阶，有些事情需要快速地转变。”

　　去年，Rust采用了Quantum的DXi5500 磁盘备份和复制应用，其中就有重复数据删除技术，从多方面来提升数据的使用效率和灾难恢复时间。尽管Rust的重复数据删除技术还处在起步阶段，但是，公司已经减少了近90%的磁盘占用空间，数据备份时间也下降了30个小时，他们还使用磁带对数据进行长期保存。Holtan认为，重复数据删除就像一件听起来不错的东西，但是事实上它比你想象的还要好。

　　KeIThMattox是一家地板制造商的高级人员。他所在的公司是Symantec(Veritas)的NetBackup长期客户，但是他们日益感觉到数据存储带来的重负。他们备份数据花费的时间已经达到了36个小时。Shaw开始使用VeritasNetBackupPureDisk重复数据删除软件，并且看到备份的时间下降了整整一天，小于13小时。

　　“我不认为我们是被迫这样来做的，但是情况听起来不错，我们值得试试。”Mattox说：“我们在性能反应时间上看到了非常明显的提升，很明显，这是一款非常强大的产品。

　　策略 STRATEGY

　　面对一些企业迅速升级存储的要求，重复数据删除技术是目前惟一可行的替代办法，可用以替代一些昂贵的硬件投资，如常规磁带库等。虚拟磁带库通过创建重复数据删除功能，可以将压缩比率提升到10：1，针对一些文件和档案，该技术的数据压缩方式更为多样化，文件和Email平台将提供两到三倍的数据压缩。多个供应商提供了越来越多的重复数据删除产品，为IT经理提供了应对复杂技术和昂贵产品的替代品。

　　Magnum半导体公司要设计一款特殊的音频和视频芯片，因此设计者们提出了一些独特的数据要求，而这些要求，对于IT部门管理人员来说，意味着该公司将增加一倍的数据量——未来两三年内，现有的20TB数据量将翻番。单单依赖低功率的磁带备份系统，公司已经无法做到完全的备份了。

　　2007年年底，JohnWunder作为IT主管进入到公司董事会时，就遇到如何降低“备份窗口”的挑战。

　　他们在Quatrio驱动阵列上使用了Diligent公司的重复数据删除引擎以及Quantumi500磁带库，Magnum公司所构建的新的存储解决方案只花费了70万美元。这项新方案使得公司每个月只需要添置120盘磁带就够了。在使用了重复数据删除技术后的两个月内，Magnum公司的数据压缩比达到10：1，而在大多数的音频、视频文件上的压缩比是3：1，并且能支持24小时全部完成数据备份过程。

　　一项整合虚拟化和重复数据删除的技术，允许Virginia信用卡联盟的CIO—— ChristopherSaneda更快地满足公司日益增长的需求。当这个联盟中的一个客户告诉他，他们需要100个虚拟的WindoWSXP平台为一家远程分支机构做培训课程时，Saneda只能选择接受客户这样的请求，但是他并不知道他从哪里找到额外的2TB存储空间来存放这些需求。

　　答案来自NetworkAppliance公司的A-SIS重复数据删除软件，它们帮助信用卡联盟做到了，虚拟设备可以在存储方面降低80%的需求。Saneda说，“21世纪的数据中心就是虚拟的数据中心，但是如果相关联的数据、备份和恢复无法满足要求时，虚拟化将是空头支票。”

　　实施 IMPLEMENTATION

　　在DuaneMorris法律事务所中，过去几年随着业务的上升，存储的需求也不断上升。在2006年，这家公司的数据需求达到了135TB，他们开始寻找常规的存储平台之外的存储方式。CIOJohnSroka也希望能增加基于磁带的备份方式，用以提升企业的灾难恢复平台。

　　“我们的确没有考虑重复数据删除技术。”Sroka说，“我们寻找一种有效地转移数据从A点到B点的方式，它要能保证数据的完整性。” Sroka一开始是为Avamar公司工作的，那是一家早期的开发重复数据删除技术的公司，在2006年被EMC收购。DuaneMorris在 Philadelphia总部使用Avamar的Axion备份和恢复平台，这家公司在基于文件的数据集合中获得了大约10：1的数据压缩比率，允许它完成每晚恢复该公司在Chicago灾难恢复中心的任务。

　　Sroka甚至希望能够每个小时都进行备份，“它的确可以支持我们的灾难恢复能力。”他说，“文件是法律公司的命脉所在，如果这里一旦出现什么灾难，我们当然需要尽我们最快的速度及时进行文档的恢复。我真的不太看重投资回报率，尤其是面对不可预知的灾难时，备份是一个值得拥有的保险政策。