NetApp:数据中心统一网络连接工作原理前沿技术
企业数据中心通常使用以太网网络传输 LAN 和 IP 数据,而使用单独的光纤通道 (FC) 网络传输存储区域网络 (SAN) 。此外,数据中心还常常使用专门的附加集群互连,例如 InfiniBand。随着数据中心越来越多地采用万兆以太网 (10GbE),再加上以太网光纤通道 (FCoE) 和无损 10GbE 技术的出现,企业可将光纤通道流量与 LAN 和 IP 数据流量整合到相同的以太网基础架构中。
网络聚合有望使您保住现有 FC 存储投资、降低数据中心成本和复杂性,并简化网络管理。由于通过网络聚合简化数据中心的潜能显而易见,并且人们对 FCoE 技术高度青睐,因此近几年 Tech OnTap 刊载了许多与此主题相关的文章。(见边栏。)
随着 Data ONTAP 8.0.1 的推出,NetApp 已经完成实现完全网络聚合的最后一步。借助我们的统一连接这项新技术,您可以通过一条线缆运行所有存储协议(从服务器到交换机再到存储)。本文介绍统一连接,包括它的概念、工作原理、性能注意事项和最佳实践。
▲图 1) 传统方法与统一连接的比较。统一连接可简化网络基础架构,并释放服务器、交换机和存储上的端口和插槽。
什么是统一连接?
统一连接是在 Data ONTAP 8.0.1 中提供的一项新软件功能,除该功能之外,Data ONTAP 8.0.1 中还包含多种其他重要的增强功能,包括:
数据压缩
64 位聚合
卷数据迁移
新硬件支持
有关最新推出的 Data ONTAP 8 中所有功能的详细介绍,请阅读近期的一篇 Tech OnTap 文章。
NetApp 在一年半多之前开始提供端到端 FCoE。虽然旧有的 FC 基础架构为 10GbE 基础架构所取代,但是对于块数据和文件数据,仍然需要单独连接。统一连接的推出可消除完全聚合的这最后一个障碍,使传输到和来自存储系统的所有 IP 和 FCoE 网络流量能够共享一条线缆。
借助 FCoE 和统一连接实现网络聚合会带来多项优势,包括:
将布线减少多达 70%
对于典型配置,将存储系统端口要求从 12 个降至 4 个,从而释放端口和(或)PCIe 插槽用于其他目的
能够将多个 GbE 和 2/4 Gb FC 连接整合到一条 10GbE 线缆上
提高带宽利用率,因为多种类型的数据流量共享同一条线缆
表 1) 统一连接对典型存储系统配置的影响。
省去维持单独、分离的 IP 和 FC 网络所需的冗余设备:
降低散热和电耗成本,同时释放数据中心内宝贵的不动产
消除布线复杂性
简化管理
降低数据中心成本
NetApp 是唯一一个能够在同一条线缆上支持 FCoE 和 IP 协议的存储提供商,现有硬件平台均支持统一连接。统一连接是在 Data ONTAP 8.0.1 中提供的软件更新。如果您已经购买了统一目标适配器 (UTA),无需更改或升级硬件,只需升级软件即可获得统一连接功能。
统一连接性能
考虑采用该技术的任何人自然而然都会关心这样一个问题:在通过一条线缆同时运行多个协议的情况下,统一连接的实际性能。NetApp 最近与 Intel 执行了一系列联合测试,来验证统一连接及其他功能在以下环境中的性能:使用 NetApp FAS6280 存储系统(已安装 UTA)、Cisco Nexus 5020 交换机和 Intel Xeon 服务器(使用 Intel X520 系列 10GbE 适配器)。
使用 IOmeter 在 FCoE 流量访问 LUN 同时 CIFS 流量访问映射驱动器的环境中执行各种 I/O 测试。两种流量使用服务器上的同一个网络接口和 FAS6280 上的同一个目标适配器。根据最佳实践,映射驱动器和 LUN 在存储系统中单独的灵活卷上。
这两种协议都受到以下服务类别 (CoS) 的约束:为 FC 流量指定 80% 的 10GbE 线路容量;为以太网流量指定 20%。即使块和文件存储协议使用同一条线缆,FAS6280 和 X520 以太网适配器也能够维持与单协议测试相同的线速。在 CoS 维持块与文件流量比率为 80/20 的情况下,网络性能无变化。
图 2 中显示了比较典型的一个结果。有关详细信息和更多性能结果,请参阅完整的研究。
▲图 2) 统一连接性能。使用 IOmeter 通过一条线缆同时传输 FCoE 和 CIFS 流量。使用 COS 为 FCoE 指定 80% 的可用带宽,为 CIFS 指定 20% 的可用带宽。
统一连接工作原理
FCoE、聚合以太网和统一连接都以以太网协议的数据中心桥接 (DCB) 增强功能为支撑。DCB 增强功能包括带宽分配和流量控制(基于流量类别和端到端拥塞通知)。使用数据中心桥接交换 (DCBX) 而不是 LLDP 执行 DCB 功能的发现和配置。
使用增强传输选择(ETS,在 IEEE 802.1Qaz 标准中定义)执行 DCB 的以太网带宽分配。流量归入八个组(0 到 7)之一,在以太网帧头中使用一个字段。每个类别都分配有最低可用带宽。如果链路上存在争用或超额申请,每个流量类别将至少获得配置的带宽量。如果链路上没有争用,则任何类别使用的带宽都可多于或少于分配量。
统一连接内第一个 ETS 实施仅使用两个类别。一个支持一个优先级队列中的 FCoE,而所有 IP 流量都在另一个优先级队列中。下一代将提供更高粒度级,优先级队列最多 8 个。
基于优先级的流量控制 (PFC) 提供以优先级为基础运行的链路级别的流量控制。它类似于 802.3x PAUSE,不同之处在于它可以暂停单个流量类别。这样一来,网络不会因使用 PFC 的流量类别发生拥塞而造成损失。并非所有流量都需要 PFC。普通 TCP 流量根据窗口大小提供自己的流量控制机制。由于光纤通道协议要求使用无损介质,而 FCoE 无内置流量控制,因此需要 PFC 为其指定无损链路层。PFC 在 802.1Qbb 标准中定义。
ETS 和 PFC 值通常在支持 DCB 的交换机中配置,并被推送到端节点。对于 ETS,发送端口控制该链路段(启动程序到交换机、交换机到交换机或交换机到目标)的带宽分配。对于 PFC,接收端口发送以优先级为基础的暂停信号,发送端口通过以下方式做出回应:在收到暂停信号的端口不向外发送该流量类别的流量。
最佳实践
有关在数据中心内应用 FCoE 的最佳方法的详细介绍,请阅读以前的 Tech OnTap 文章。
对于任何 FCoE 部署,您都应该遵循 TR-3800《Fibre Channel over Ethernet (FCoE) End-to-End Deployment Guide》和 TR-3802《Ethernet Storage Best Practices》中所列的准则。
为了确保成功的统一连接部署,必须另外实施一些最佳实践:
评估共享聚合网络的所有流量的带宽需求,以确定 FCoE 流量的带宽需求,以及其他类型以太网流量的带宽需求。
在交换机上配置 ETS 和 PFC 设置,使所有节点共享相同的配置。
连接多个支持 DCB 的交换机时,为所有交换机配置相同的 DCB 设置。
为 FCoE 设置 ETS 带宽分配,使其满足将利用该链路的所有 SAN 流量的最低可接受吞吐量要求。例如,如果 10 台主机连接到一个 FCoE 交换机及该交换机连接的存储系统,则应确定所有这 10 台主机总的最低可接受吞吐量。该值即为 FCoE 流量类别的 ETS 设置。由于 ETS 分配值仅设置最低可用带宽,因此如果在流量高峰期间需要更多吞吐量,只要可以获得就能使用。同样,如果 FCoE 流量并未利用全部分配量,则其他以太网流量可以利用其余带宽。
必须针对支持 FCoE 的交换机内的每个 VSAN 配置专用 VLAN。
应该针对每个 VSAN 配置单独的多生成树 (MST) 实例。
必须将统一端口配置为支持 DCB 的交换机上的 IEEE 802.1Q 接口。
Data ONTAP 8.0.1 目前在用于 FCoE 的端口上不支持接口绑定(也称为 IFGRP)。
不断扩展的聚合网络生态系统
随着统一连接的出现,NetApp 帮助完全实现了数据中心内的 FCoE 部署。在聚合网络中部署端到端 FCoE 有望消除布线复杂性、简化管理,并显著降低数据中心总支出,而不会影响性能。
现已形成一个不断扩展的解决方案和服务提供商生态系统,该系统有助于进一步确保您取得成功。大多数主要的主机操作系统已经提供 FCoE 支持,或者在不久的将来就会提供。Intel、Broadcom、Emulex、QLogic、Brocade 和 Cisco 提供支持 FCoE 的适配器,Cisco 和 Brocade 提供支持 FCoE 和 DCB 的交换机。
此外,新标准不断出现,将进一步加强该生态系统。开放式 FCoE 标准提供了 Linux 的开源 FCoE 软件堆栈。开放式 FCoE 包含可使 FCoE 与更多不同种类的网络接口结合使用的软件启动程序。Intel 和 Broadcom 已宣布支持此标准。FC-BB-6 标准目前正在制定中,旨在扩展在 FCoE 上支持的配置数量,包括可使标准以太网交换机(不支持 DCB)成为拓扑结构一部分的配置。
▲图 3) 不断扩展的 NetApp FCoE 生态系统。