FCoE彻底颠覆存储网络架构格局

　　FCoE的出现在存储领域中引起了不小的轰动。为了让其健康快速的向前发展，在09年6月出台了FCoE标准，这也就预示着这一技术将会更加成熟的向数据中心存储传输协议主导地位这一目标而前进。像以往众多新技术初现时一样，对FCoE，有人积极，有人观望，也有人不屑一顾。不过，大多数人还是对FCoE充满了期待，只是它想成为主流还有待时日。

　　2009年6月，T11技术委员会终于将FCoE(Fibre Channel over Ethernet)标准作为一项ANSI标准正式提交给了INCITS(国际信息技术标准委员会)审核，并有望在近期得到批准。尽管FCoE离成为最终标准还差最后一步，但已基本没有悬念。

　　FCoE的出现一直被业界看好，被认为是将彻底颠覆存储网络架构目前的格局，成为未来主导的存储传输协议。由于FCoE协议是在以太网上传输FC封装的协议，因此，增强型以太网(Converged Enhanced Ethernet，CEE)是其中最重要的相关部分。CEE是采用FC特性的以太网，可传输FCoE存储数据、数据中心应用系统和集群。CEE是一种无损以太网(Lossless Ethernet)，其能够无损地传输FCoE数据。据介绍，目前，CEE使用三个优先级组，包括IPC、LAN和WAN。

　　以太网和光纤通道的有机结合

　　FCoE的出现源自人们希望将目前大规模应用的以太网和光纤通道相结合的想法。两者的结合将给数据中心带来减少设备数量、充分利用光纤通道、存储集中化等好处。FCoE给大型企业数据中心带来的好处则非常明显，因为大型企业每年都投资数十亿美元用于光纤通道存储，因此，能够在10Gbps的增强以太网中充分利用光纤通道是一个非常诱人的想法。应该说，将以太网和光纤通道结合是伟大的、令人激动的。

　　FCoE还能够帮助完成光纤SAN在高速短距网络中的应用，比如在数据中心外围中常见的刀片式服务器背板和虚拟化服务器。

　　FCoE的概念很简单，就是将光纤通道架构运行于10Gbps增强型以太网(CEE)上，从而形成融合网络，其特点包括: FC数据帧依旧，没有任何改变，并使用相同的名称; 以太网需要更大的数据帧(Jumbo Frames)，应大于1500 bytes; 以太网必须变成无丢失的、保证传输完整的存储数据。FCoE是比iSCSI包头少但比FC要多的一种封装协议，封装协议并不替换存储接口，比如FC或SCSI。FCoE可减少服务器和交换机端口数，减少线缆和电力消耗，增加链路使用效率。同时，由于使用10Gbps的CEE，其传输速度高。

　　FCoE并不适用于所有情况，通常一个小规模的、只使用以太网的存储环境不需要FCoE所带来的连通性能的提升。但对于使用光纤通道的用户来说，FCoE能够使光纤通道存储渗透到数据中心的每个角落。

　　达到这种应用水平需要两个相关的协议: 首先是FCoE本身，一种令本地光纤通道架构运行在以太网上的传输标准; 第二个是增强型以太网(CEE)，FCoE需要通过以太网来传输光纤通道。

　　FCoE标准使光纤通道通过数据链路层桥域运行在多个增强型以太局域网段之间，通过保持跨越10Gbps增强型以太网段的多个逻辑光纤通道SAN，从而支持SAN管理域。FCoE标准不会造成光纤通道的任何性能损失，也不会改变其架构。

　　增强型以太网，又称为融合增强型以太网(CEE)、数据中心以太网(Data Center Ethernet)或数据中心桥(Data Center Bridging，DCB)，用本地数据链路层以太网取代了TCP/IP网络层协议。传统的以太网经常有网络阻塞、延迟和丢帧现象，不适合在光纤通道传输中使用，但10Gbps增强型以太网通过放弃了TCP/IP达到了“无损(lossless)”网络的目的。

　　“无损”的网络环境是优先级流量控制(Priority Flow Control)、日程调度(ETS)和FCoE协议应用的前提(同时也是阻塞管理的前提，虽然也很诱人，但对于FCoE不是必要的)。而这些则是使光纤通道架构直接在10Gbps以太网段上运行，同时不损失任何性能的必要条件。

　　FCoE与数据中心

　　目前融合网络适配器(Converged Network Adapters，CNA)还处在企业内部测试状态。客户对FCoE最大的希望是缓解数据中心越来越紧张的计算环境，将其与SAN相连接。FCoE将可能在数据中心计算环境中扩展和平衡现有的光纤通道资源。

　　与CEE一起，FCoE能够为数据中心管理员提供以下方便:

　　● 使用现有的集中式存储替代直连存储(DAS);

　　● 平衡光纤通道资源，这样管理员就不再需要购买单独的iSCSI SAN;

　　● 为高性能环境提供10Gbps速度的CEE。

　　某些高性能环境面临的某些问题正好FCoE和CEE可以解决。这些问题包括需要在集中存储中部署iSCSI SAN以消除直连存储，以及大量复杂电缆和多余设备带来的能耗。

　　这也是目前大部分FCoE相关研究的目标，在2009年，FCoE仍应用于上述外围环境。随着FCoE被证明越来越稳定并形成正式标准，我们相信未来几年内FCoE将会出现在数据中心的关键性应用上。而在少量企业率先使用以后，FCoE将会在一两年里成为主流。2009年已出现了FCoE部署测试，预计2010年商业FCoE将会出现在数据中心的外围应用中。

　　虽然会有很多组织上和预算上的挑战，但是我们仍然相信在现有光纤通道SAN上进行集中化存储的回报将大于付出。

　　1. 在密集的服务器环境中使用集中化存储

　　过去，位于数据中心外围的刀片服务器和虚拟服务器一般使用DAS方式存储数据; 而基于CEE和FCoE的集中以太网结构能够带来更大的带宽、更高的速度以及连接光纤通道SAN的能力。将现有光纤存储扩展到这些I/O密集的高性能环境中，能够摒弃效率低下的DAS存储，还能平衡现有的光纤存储SAN，而无需购买iSCSI SAN。CEE还能够改善I/O密集的环境，因为它能够提供更大的带宽和速度。

　　2. 通过整合服务器降低设备复杂度和数据中心的改扩建

　　FCoE的另一个早期应用是帮助服务器和网络整合。数据中心中典型的服务器集群通常有5～7个为其他网络和冗余设备准备的I/O接口。FCoE和CEE能够通过多协议切换和基于主机的CAN将端口统一起来，这样大大减少网络设备的数量、服务器到网络的接口、以及连接不同集群的电缆。举个例子来说，接口数量将可能降低至两个10GbE端口、两条电缆、两个交换接口。

　　整合的另一个好处在于支持FCoE的CNA能够提供光纤SAN连接的标准化方法，这将简化物理架构及其支持。对于I/O互连性来说，整合以后将不再需要安装光纤通道服务，因为所有的数据中心服务器都拥有了CNA，于是IT部门或者其他政策性部门可以随时随地使用光纤通道服务。

　　3. 帮助提高数据中心能源效率

　　在数据中心中，整合和网络统一还会减少与网络和存储相关的能源消耗。一般来说，网络没有存储消耗的能源多。集中化结构减少了电缆数量、接口数量和冗余服务器数量，从而达到节省能源的目的。但通过使用FCoE扩展更多数据中心服务器的光纤通道存储，减少了额外磁盘阵列的能耗，而这部分能耗相当可观。用SAN集中化存储取代多个DAS存储和iSCSI阵列，能够显著地减少阵列对能源、空间及冷却的需求。

　　4. 一致的SAN连通

　　CNA使动态光纤通道SAN能够在以太网服务中部署。这样就无需在服务器上配置额外的光纤通道端口建立连接了。光纤通道的连通也能够代替效率低下的DAS方式，简化物理架构及其支持，减少为不同结构互相连接配备的大量复杂的设备，还可以使存储管理员获得高效的存储资源管理方式，即光纤通道方式代替光纤通道+iSCSI和/或DAS方式。

　　虽然FCoE和CEE还没有正式成为标准，但已经拥有了众多厂商的支持和认可。不过标准也非常重要，这是深入整合和协同的关键。建立标准会令管理员们不仅在数据中心外围的虚拟化和刀片服务器上信任FCoE和CEE，更能够在数据中心核心环境中相信其能力。虽然标准还未正式制定，但已经吸引了足够多的厂商和企业将商业产品带给各位尝鲜者，预计2010年FCoE和CEE将成为主流产品。目前市场上的FCoE设备供应商包括Brocade、Cisco、Emulex和QLogic，除此之外，大部分存储和以太网厂商都参与了它的开发和集成。

　　与此同时，InfiniBand厂商还看到了基于高性能计算(HPC)的扩展机会。虽然仅有少数厂商参与，然而修改InfiniBand将更加容易得到审批，并且InfiniBand已经提供了很多CEE在未来将提供的无损环境。

　　何时部署FCoE

　　想要知道何时FCoE才能被广泛采用，关键在于理解数据中心经理们决策的方式。“改变”意味着设备的投资和安装、管理及其他操作需要的预算。设备升级通常基于两种情况: 第一种情况是服务水平跟不上需求，第二种是旧设备的操作运行成本比新设备要高。因此，总的来说，采用新技术只能在旧技术的机会成本和管理成本比改造成新技术的成本更高的情况下才能发生。

　　这样一来，几乎所有新技术从提出到采用都经历了相对漫长的过程。实用主义和预算的影响超过了专家们对项目的乐观预测。作为参考，可以翻阅过去专家们对某些技术的预测。InfiniBand、iSCSI甚至10Gbps以太网都经过了比一开始预计更长的时间才达到一定数量的市场渗透率。有些技术从来都达不到50%的渗透率; iSCSI和InfiniBand维持不到50%的市场渗透率已经超过6年了，10GbE则经历了7年50%以下的市场渗透率。

　　技术的采用率根据企业的规模和产业特点而有所不同。对于每年在存储上花费超过100万美元的企业来说，新技术的采用率要高得多，因为它会带来性能的提高。而对于每年在存储上花费少于10万美元的机构来说，对易用性的需求是它们较多采用iSCSI和NAS的主要原因。对于中小企业，光纤通道的采用率还不到50%。

　　也有技术采用率增幅很快的例子，但是即使是速度较快的案例，比如光纤通道，也同样经历了若干年才成为主流连接技术。光纤通道的高速增长主要是因为现有存储网络技术的弊端超过了使用新技术带来的部署问题和成本。然而就是在这样的理想环境下，光纤通道还是用了4年才成为主流技术。

　　FCoE主要依靠两个基础。一个是将光纤通道架构置于以太网架构中的新标准，该标准已经在2009年6月通过T11技术委员会正式发布。另一个是一个新的标准，能够提供FCoE指定的可靠的以太网传输。这一部分仍在推进中，正在快速向正式的标准迈进。

　　FCoE要求使用的CEE，早期的术语“数据中心以太网”(Data-Center Ethernet，DCE)是思科的专利术语。新的10Gbps CEE不再需要TCP来保证包的传输，而是使用以太网的数据链路层，这更像是光纤通道的数据链路层安全传输。

　　对于某些人来说，使用CEE意味着将存储协议转移到LAN上，但是这次不一样。新的CEE网络拥有全部的存储网络特征，包括虚拟通道、优先级和质量服务、安全传输以及透明容错的冗余连接。

　　另外一个要求CEE的可能原因是传统以太网使用TCP/IP会带来安全问题。与CEE不同，以太网始终处于非路由数据传输层。有了CNA和CEE后，连通的SAN和LAN将共享同一个物理管线，但是在逻辑上仍然是分开的，服务质量依然受到保护。

　　虽然使用同样的传输方式，iSCSI和FCoE之间仍有很多不同，iSCSI的价值在于低成本和易用性，但它无法提供与光纤通道相同的性能。这其中的原因有很多，与TCP脱离太远就是其中原因之一。

　　数据中心经理们目前都有这样的疑问，那就是未来FCoE是否会变得很重要。这个问题很简单，答案当然是肯定的。不过难回答的问题是: “FCoE将在何时代替标准光纤通道?”或者说“FCoE会代替光纤通道和iSCSI存储吗?”这些问题的答案需要由几个因素决定，包括企业的规模和IT预算的数目。就像图2所示，光纤通道存储逐渐会被FCoE和iSCSI代替。

　　推广初期，FCoE将适用于大型组织，因为这些组织需要10Gbps的速度，能够承受持续的基建投资，并且拥有解决部署问题的IT专家。而iSCSI存储主要应用于小型组织和不要求最高存储性能的特殊领域。未来随着时间的推移，FCoE成本将下降，部署难题也将解决，并开始进军主流市场。在CEE和10Gbps的帮助下，iSCSI将克服性能的不足，从而在大型企业中找到适合的市场。

　　最终，CEE的部署将使FCoE成为可能，同时iSCSI和NAS存储性能也将得到提高。于是，在不久的将来，CEE将成为兼容所有LAN和SAN协议的主流传输方式。

　　FCoE的出现对企业设备性能提出了新的需求，那就是网络速度要求10Gbps。因此，正在升级光纤通道到8Gbps的企业很可能不会在近期部署FCoE。但是，仍然使用4Gbps甚至2Gbps设备的企业应该会很快升级到10Gbps。

　　记得当FCoE首次发布时，曾有很多怀疑的声音，因为当时IT环境惟一需要的是一种新的传输方式和协议。而目前已经有两种比较完善的网络，即光纤通道SAN存储和以太网LAN存储。另外，虽然InfiniBand最近获得了广泛关注，但它看起来不像是能够代替以太网作为LAN和SAN的通用数据传输方式。

　　FCoE市场

　　虽然步入FCoE的过程将不会像从100Mbps以太网到1Gbps以太网和从4Gbps光纤通道到8Gbps光纤通道那样容易，但厂商们仍在不断地开发CEE和FCoE的配套产品。因为将SAN和LAN融合到公共架构上还需要对现有以太网硬件进行升级，这需要新型的低延迟以太网设备。

　　增加虚拟I/O层也将推动CNA代替HBA的步伐。虚拟化曾是动态IT、信息生命周期管理、云计算以及许多其他成就的关键催化剂。但是，现有的LAN和SAN协议并不支持端口虚拟化。因此，增加虚拟I/O将使CEE数据传输发挥更大的支持作用，也会帮助虚拟I/O脱离融合主机适配器。

　　许多厂商已经开始推出或正在计划推出CEE和FCoE的配套产品(虽然现在还没有任何本地FCoE存储需求)。像JDS Uniphase一类的厂商已经推出了FCoE测试设备(JDS Uniphase最近刚刚收购了Finisar的网络工具事业部)。

　　FCoE市场的繁荣也许也是其成功的原因之一。传统的光纤通道厂商也已经开始发布FCoE产品，而以太网厂商甚至InfiniBand厂商也都开始提供CEE设备。举个例子，InfiniBand厂商Voltaire和Mellanox均发布了10Gbps的CEE设备，与Cisco和Brocade展开竞争。CEE设备目前的市场价约为每端口1000美元，几乎是标准10Gbps以太网端口的2倍。

　　谁是FCoE的受益者?

　　FCoE的受益者包括大型企业和中小企业。大型IT组织将可以使服务器I/O传输整合为柔性的、虚拟的数据传输方式，以节省空间、能耗以及电缆。另外，由于带宽增加，大型企业也将会获得更高的连接速度。这是因为FCoE对现有光纤通道网络的向后兼容和新型高速网络对其他存储协议数据的兼容。

　　对于中小型企业来说，在FCoE中获益的原因是这些企业未来几乎不需要对传输方式进行选择。因为无论怎么样，结果都是使用以太网。这也就是说，中小型企业目前可以在标准以太网上部署NAS和iSCSI存储。未来如果对光纤通道存储有需要，仍然可以利用FCoE充分发挥NAS和iSCSI存储的功能。而这只需要对现有以太网进行一次简单的升级。

　　许多存储厂商支持FCoE的原因是FCoE为融合型数据传输开创了一条道路，并且还能够充分利用企业过去在I/O技术上的投资。厂商们需要的是用最少的投资将物理和数据链路层从光纤通道转移到以太网。最初使用FCoE时，支持FCoE的CNA和CEE的价格一定不会比8Gbps光线通道便宜。但随着使用数量和厂商数量的增加，市场竞争将会促进价格的下降。

　　由此可以说，几乎所有人都是FCoE的受益者。使用光纤通道的IT组织可以继续充分利用旧设备; 尚未使用光纤通道的组织则可以利用这个机会部署光纤通道存储和其他协议，比如iSCSI、NFS和CIFS。通过将CEE以太网作为标准传输方式，旧设备将得到充分的利用，不论是对于大型企业还是中小型企业。

　　措施和建议

　　Evaluator Group咨询公司建议所有企业在规划存储架构时考虑新的CEE以太网。基于现有的存储产品，企业还应当对FCoE的使用方式有所安排。

　　2010年，只有年IT预算超过数百万美元的企业适合投资CEE和FCoE。这些企业部署CEE和FCoE将最可能用于解决超规模服务器虚拟化问题和I/O密度过高的问题。CEE和FCoE的大规模应用将出现在2012年及以后。

　　对于大型企业，CEE和FCoE的部署建议如下:

　　2009～2011年: 超规模服务器虚拟化对I/O提出了更高的要求(CEE和FCoE的边缘化应用);

　　2010～2013年: 服务器I/O整合，用融合型CEE提供额外存储;

　　2012年以后:将现有光纤存储网络设施转为CEE和FCoE架构。

　　对设备性能要求不高的中小企业来说，在CEE和FCoE的部署上将走在后面，预计不早于2011年。对于已经大力部署了光纤通道的中小企业来说，未来在存储系统改进上要继续充分利用原有的光纤通道。对于光纤通道设备，建议在明后两年里将其升级到8Gbps。

　　有些中小企业则主要使用以太网连接存储，比如NAS和iSCSI。Evaluator Group建议，继续加强标准以太网建设。新型CEE以太网设备的价格比标准以太网设备高出很多，性价比不高，预计在未来2到3年内两者的价格可能将趋于一致。

　　我们相信，未来的世界将属于以太网。