实现高效存储:两大原则催生五项技术前沿技术

2010-10-19    来源:ZDNET    
【转载】 2010年10月18日 09:58 [暂无评论] 经过十几年的快速发展,互联网已经渗透到我们生活的每一个角落,并正在将整个地球联结为一个整体。这是件好事,但也对存储技术提出了重大

  经过十几年的快速发展,互联网已经渗透到我们生活的每一个角落,并正在将整个地球联结为一个整体。这是件好事,但也对存储技术提出了重大的挑战。IDC今年公布的“数字宇宙”调查指出:预计全球的数据年增长率高达50-100%;对新存储的需求在过去十年增长了69倍;到2011年,50%的数字宇宙(地球上创建、捕捉、传送或复制的信息总和)就将超过可用的存储。

  许多公司每年需要增加多达40%的存储容量,而它们的IT预算仍保持不变,有些情况下甚至会减少。显然,随着这个世界变得日益物联化、互联化和智能化,企业需要更高效的存储解决方案。

  如何实现高效存储?一方面,去除不必要的冗余数据和空间占用,尽可能地减少所需的存储容量;另一方面,在保证性能要求的前提下,降低保存数据所需的成本(包括能耗等因素)。

  本着上述两大基本原则,已有五项提高存储效率的技术,为业界所公认:

  数据压缩

  以往,提到数据压缩,我们往往会首先想到磁带技术。如今,随着CPU处理能力的飞速提高,在主存储中应用实时压缩技术来节省数据所占用的空间,已经成为可能。

  实时压缩是一项能够获得存储效率的关键技术,因为它缩减了活跃数据,从而减少文件和数据库的空间占用。

  借助实时压缩技术,企业可以在不降低性能的情况下,将存储需求最多降低80%。主数据在首次写入时已被缩减,可帮助企业控制杂乱无序的存储情形,并降低电力、冷却和管理成本。

  该技术还可在数据写入到存储系统之前压缩数据,这有助于为存储系统中的磁盘和缓存提高性能和效率。

  重复数据删除

  重复数据删除的工作原理是:删除大量数据中不必要的冗余数据,只留下有待存储的一个数据副本。

  爆炸性的数据增长并非都来自于新数据的贡献,至少在数据保护的环节,每周一次的全备份,产生了大量的重复数据,而重复数据删除技术可以帮助我们只保留一份物理拷贝,去掉其他不必要的冗余。适当地应用支持重复数据删除技术的产品,典型备份用户可以获得25:1的重复数据删除率,也就是说,用1TB的存储容量保存25TB的数据。不仅如此,在进行远程复制的时候,传输的只是新的数据,可以成比例地降低对带宽的需求,进一步节省用户的开支。

  在重复数据删除技术的两种实现方式中,在线(in-line)比后处理(post-processing)有更好的发展前景,因为它在数据流入时即实施重复数据删除,不需要占用大量的临时存储空间。不过,这也意味着系统必须有足够优秀的算法和强大的处理能力,以保证用户获得高性能。

  自动精简配置

  传统的手工容量分配方法预先分配分配资源,导致多数物理存储资源闲置,造成很大的浪费。自动精简配置只在需要存储资源时,才自动分配。因此,企业能为将来的数据增长作好更有效的规划,提高效率、可用性和生产力,同时降低成本。

  自动精简配置技术为应用分配其真正需要的数据存储容量,只有在应用写入数据的时候才会消耗实际的存储空间,而在数据被删除之后亦可回收原来占用的存储空间,避免了传统存储空间分配方式的浪费现象,能够成倍地提高存储容量的利用率,缓解可用存储容量不足的问题。

  有了自动精简配置,企业还能够仅在写入数据时才分配和使用物理磁盘,因而企业可以少购买存储容量、降低运营成本。

  自动分层

  自动分层是一项为优化布置数据提供出众效率的关键存储技术。

  固态盘(SSD)相对于传统机械硬盘驱动器(HDD)的性能优势众所周知,但是其高昂的价格和偏低的容量成为了扩大用户接受度的障碍。依照“好钢用在刀刃上”的古训,把最需要高I/O性能的数据(如数据库的日志文件)放在SSD上,可以最小的投入换取最大的产出,不过也需要用户具有很强的存储规划和管理能力。因此,应用子卷级的自动分层存储技术,让存储系统根据数据的访问频度和性能要求,自动地将需要高IOPS的数据迁移到SSD上,而无须用户的干预。有数据表明,在子卷级自动分层存储技术的帮助下,传统的高端存储系统可以用大约10%的SSD,获得300%的性能提升。

  自动分层允许数据动态地自动转移到相应的存储层,这有助于确保最活跃的数据在需要时被分配到性能最高的固态硬盘。这项功能可以让企业大幅提高存储基础设施的效率,同时降低数据中心的能耗。

  存储虚拟化

  存储虚拟化也是一项必要技术,这项技术把存储系统的物理特性在应用程序面前掩盖起来,从而增强灵活性和响应能力。存储虚拟化技术可管理及虚拟化内部存储系统和现有的异构存储系统,这有助于将磁盘利用率最多提高30%,将管理员的工作效率最多提高2倍。

  这项技术还能够在不同类型的存储系统之间实时转移数据,可以消除输入/输出热点,提供负载均衡功能,并优化存储成本,以适合业务需求。

  小结

  并非每一个具体的存储产品都需要同时具备以上五项技术,但对于一个企业整体的存储解决方案来说,它们都是必须考虑的因素。

1
3