IBM GPFS应对大数据和云时代存储与灾备

2010-12-01    来源:网络    
在近日的Supercomputing 2010大会上,IBM为一款新的存储架构揭开神秘面纱。据IBM称,该架构对于大数据和云的分析处理速度提高了一倍。 由IBM Research科学家Almaden创建的这个名为General Para

  在近日的Supercomputing 2010大会上,IBM为一款新的存储架构揭开神秘面纱。据IBM称,该架构对于大数据和云的分析处理速度提高了一倍。

  由IBM Research科学家Almaden创建的这个名为General Parallel File System-Shared Nothing Cluster (GPFS-SNC)的新架构是搭建在IBM并行文件系统集群(GPFS)之上的,融合Hadoop Distributed File System (HDFS)通过集群技术提供高可用性、动态文件系统管理和高级数据复制技术。

  在一个分布式计算架构中没有共享集群,其中每个节点都是“自给自足”的。GPFS-SNC在独立节点之间分割任务,无需等待其他节点。

  据IBM称,GPFS-SNC可以将“TB容量的纯信息转换成可操作的分析结果,其速度是之前的两倍之多”。

  此外,GPFS-SNC设计赢得了Supercomputing 2010 Storage Challeng奖项。Storage Challenge的评价系统是基于性能、可扩展性和存储子系统利用率,以此来决定高性能计算中最具创新型和效率的设计。

  IBM ResearchAlmaden将GPFS-SNC描述成一种通用的文件系统,让IBM能够在“所有领域”竞争,不管是针对Google的MapReduce框架,在传统数据仓库环境下针对Oracle的Exadata Database Machine和EMC的Greenplum Data Computing Appliance,或是在云领域。

  Sarkar表示,GPFS-SNC的性能是竞争架构的两倍,支持POSIX具备向后兼容性,包括缓存、复制、备份和回复、针对灾难恢复的广域复制等高级存储特性。

  Sarkar表示:“这个世界充斥着PB到EB级的大量数据,我们面临有效保存这些数据以便在任何时候快速访问的挑战。这种新的存储分区方式这条道路上向前迈出的一步,因为它可以帮助企业更快速地洞察一切,无需关注传统存储的局限性。”

  IBM的GPFS目前被作为IBM Scale Out Network Attached Storage (SONAS)平台的基础,该平台可以在容量和性能方面进行扩展,同时提供对数据的并行访问,以及一个可以管理数十亿份文件和多达14.4PB容量的全局命名空间。此外,它还被用于IBM Information Archive和IBM Smart Business Compute Cloud中。

  Sarkar并没有透露GPFS-SNC存储技术何时以何种方式被用于IBM的商用产品组合中。不过,GPFS-SNC确定被用于IBM最近公布的VISION Cloud项目中,该项目旨在开发一种云存储的新方式,其中数据以一种智能目标的形式呈现,包括描述数据内容、目标被处理、复制或者保留方式的信息。

  IBM在前段时间公布了VISION项目,与15家欧洲合作伙伴联合开发了一种所谓的“智能云存储架构”。该项目旨在通过更好地了解数据以便在云中交付存储服务。

  VISION Cloud存储云架构理念包括:一种丰富对象数据模型;在接近存储内容的地方执行计算操作;以内容为中心的访问;充分的数据互操作性。

  IBM位于以色列海法的科学家率先提出VISION Cloud项目,并获得了包括AP AG、Siemens Corporate Technology、Engineering and ITRicity、Telefónica Investigación y Desarrollo、Orange Labs and Telenor、RAI and Deutche Welle以及SNIA Europe标准机构的支持。

1
3