你所不知道的弹性存储

　　全世界只需要三台计算机

　　稀缺是由什么引起的？许多人会回答说，生产力的匮乏是稀缺性产生的关键因素；那么我们来看一个例子，60年前，许多著名的科学家和思想家认为一旦有高速计算机出现，全球的计算能力问题便可以由三台计算机解决；但是今天，全球的计算机数量已经超过了几十亿台，而人们的计算能力却远远没有得到完全满足。生产力的提升会促进人们对更多资源的需求，稀缺性是永恒的难解难题与进步的动力。

　　同样在今天，磁盘从1962年IBM实验室中诞生时所拥有的28MB已经发展至TB级的存储容量，但是数据存储仍然是信息生产力跟上需求增长过程中的一项瓶颈。泛在化移动终端、数字传感器与全新的信息存储模式在存储信息化技术出现之前是无法想象和预见的，而这些因素促使着数据在近年来不断呈现指数级的增长模式，无论从海量数据存储，或是数据访问角度看，现有的存储体系架构是难以支撑起这种海量非结构化数据的上层应用的。

　　所谓弹性存储就是为了应对这种全新数据模型而产生的存储体系架构方式，当然你也能将其称为云存储、大数据、软件定义存储、软件定义数据中心……这些频繁地出现在各种IT相关的报刊杂志上的术语对于每个IT经理人而言都不会陌生。

　　弹性存储最早出现在1998年，为了给当时全球最快速的超级计算机集群（代号米拉）提供可靠而高效的基础架构带宽。米拉超算集群当时位于阿尔贡国家实验室，由768,000颗IBM蓝色基因内核集群构成。其中弹性存储架构支持各类科学研究、气象分析、地震预测和计算化学。当时的弹性存储就具备了存储虚拟化、高可用性、自动存储分层和高效管理大规模超大尺寸文件的能力。

　　弹性存储使得大量计算机并发通过存储区域网络（SAN）、IP网或混合网络访问同一组文件数据。计算机可以运行AIX这样的专属操作系统，或是Linux、Microsoft Windows等开放式操作系统。弹性存储的额外功能包括存储管理、信息生命周期管理、集中化监控以及全局化命名空间内的共享文件系统。在设计之初，弹性存储支持高性能工作负载环境。而在今天，其普遍安装运用于大规模并发计算，支持包括气象模型到飓风仿真、非关系型数据库中的大数据商业智能分析、基因排序、数字媒体与可扩展性文档服务等领域。这些高性能运算应用普遍服务于科研、金融、零售、数字媒体与政府管理等行业。

　　在扩展性方面，弹性存储没有任何限制，其可以跨越地域限制，连接起一个日不落的存储帝国。当然弹性存储也可以是只有单个存储节点的分层存储解决方案；两个节点所组成的数据库高可用性存储平台；抑或是上千节点构成的大规模计算应用，例如天气预测模型。迄今为止最大的弹性存储配置仍是米拉超算集群，由百万计的计算内核和存储节点构成。

　　日不落帝国的基础：文件系统与应用程序接口

　　弹性存储的文件系统构筑在包含文件系统与元数据的存储设备之上。文件系统可以基于单块磁盘或者存储PB级数据的数千块磁盘上。每个文件系统可以被集群内的所有节点存取访问，因此从理论角度看，每一种文件系统都是没有容量限制的。

　　应用程序则通过标准化的文件系统，例如POSIX接口存取文件。由于所有的存储节点可以访问所有的数据文件，集群内的任意节点可以并发读取或更新同一组文件——从而使得应用程序可以便捷地快速扩展。弹性存储使用字节范围锁、分布锁以及日志方式确保文件系统的数据一致性。这意味着支持标准化文件系统的应用程序不需修改就可以直接运行在弹性存储的体系架构内。除了标准化接口，弹性存储提供的扩展接口可以提供额外的应用程序功能，例如判断文件在存储池中的具体位置、创建文件克隆并管理空间分配。

　　无可比拟的性能、扩展性与管理控制

　　弹性存储在性能方面的最大优势在于其给非结构化数据带来了空前的I/O提升。这其中包括（1）信息的条带化处理，将数据分布于不同节点的不同磁盘上；（2）不同文件系统中的数据块大小来匹配I/O性能所需；（3）利用特定算法与缓存来改善预读与延后写入操作；

　　在创建弹性文件系统过程中，原始存储设备被预分配诸如NSD之类的文件系统，然后所有弹性存储体系架构内的节点都可以通过TCP/IP或Infiniband存取该磁盘，进行数据迁移。弹性存储中的智能软件可以进一步提升存储架构的整体性能，其功能通常包括I/O优化、自动识别顺序、逆序以及随机I/O的存取模式。

　　弹性存储的管理控制模式需要易于使用并和标准的文件系统管理方式一致，这样才能对存储体系架构的管理扩展至整个集群网络。除了主要的集群监控外，管理控制还需要包括标准文件系统、使用量、快照等管理控制。

　　弹性存储的管理工具能够简化集群的工作任务。通过任意节点中发出一条简单指令便可在整个集群范围内执行相应的文件系统操作。或者在更常见的方式下，客户可以指定单独的管理控制节点群，甚至单一授权登陆来对整个集群环境进行管理控制，从而提升整体存储环境的安全性，防止产生误操作。

　　同样重要的是集群环境中的单台节点在升级时需要保证整个文件系统在线状态。目前的弹性存储大多可以支持滚动升级，举例来说，你可以在新的弹性存储软件版本发布时进行在线升级。

　　容量管理可以帮助管理员控制每个用户或用户组对集群文件系统的用量，并通过通常会附带其中的报告系统产生用量报告，这对于需要计算单个用户运营成本的应用环境会十分重要。而在更细颗粒度的单一文件系统中，管理员往往可以定义用户或用户组的文件系统树形结构。

　　最后，简单网络管理协议（SNMP）接口可以使得整个系统通过网络管理工具进行监控。SNMP协议提供了弹性存储架构中每个节点状态信息，并且在意外事件发生后采取相应策略。例如当有新的文件系统装载、节点发生故障或者某个文件系统的可用容量低于阈值。SNMP插件可以运行在跨平台环境下，并且监控整个异构环境。

　　永恒的数据存储

　　弹性存储体系架构能够交付最苛刻环境对存储可用性的要求。集群特性以及支持同步异步数据复制使得弹性存储拥有无与伦比的容错特性，在某个集群节点，甚至某个区域的存储系统出现物理故障时，仍能够保证持续数据访问。

　　在弹性存储集群内部，所有的节点都能够访问所有数据；在没有限定数据私密性的前提下，所有集群的所有类型操作均可以经由集群内的任意节点完成；当然也可以通过策略、集群配置与许可证方式控制某些特定节点的操作类型。同时，集群存储会持续监控文件系统组件的健康程度，例如自动化监测并释放死锁、对网络状况的监控，以及修复元文件、保证数据一致性等。

　　对于人为错误，弹性存储通过快照方式保护文件系统中的内容。快照可以用于在线备份，防止例如错误文件删除、病毒侵入等所造成的文件丢失。并且在快照中，新的数据块只有在文件系统数据被删除或修改时才会被创建，这样可以节省大量的存储空间。最后，快照会自动进行，数据会被直接存储于现有的存储池中，进一步简化管理员的工作，并优化存储利用率。

　　海纳百川，数据存储的未来

　　自1998年发展至今，弹性存储已经被运用于全球3,000多家企业，包括金融交易、生命科学、研究设计等各个领域。

　　弹性存储的宗旨在于跨越传统存储厂商在存储系统架构领域的限制，通过快速、自动且智能地扩展其存储需求，支持完全异构的存储系统，允许跨多个位置的企业存储系统访问任何类型的数据。相信在未来，存储市场将不再是那些传统厂商在封闭的系统控制器上的角逐，因为弹性存储将如同海纳百川那样，联接汇聚独立的存储系统，形成数据存储的“大一统”。