大二层建设网络扁平化数据中心绿色数据中心
面对SDN的横空出世,大二层网络的声音似乎淹没在一片对SDN的讨论中。是默默发展积聚力量,不断为用户所采用,还是即将销声匿迹,成为技术变革的匆匆过客。大二层网络的准备工作已经完成,技术标准基本完成,各网络厂商基于标准的产品也已经上市一段时间,期间陆续有互通性的测试。但是,从应用的角度来看,真正使用SPB(Shortest Path Bridging,最短路径桥接)和TRILL(Transparent Interconnection of lots of links,多链路透明互联)构建网络的案例并不多,并没有呈现出井喷的态势。
SPB已经在去年三月份正式通过,而作为IETF协议族的TRILL,其基础协议也已经完成,有一些协议文稿标准化发布。
由于TRILL网络中数据报文转发可以实现ECMP和最短路径,因此采用TRILL组网方式可以极大提高数据中心数据转发效率,提高数据中心网络吞吐量。
另外,每个地点需要传递3层可达性信息到网络中的其他站点。最佳做法往往是动态路由,最好是路由的配置尽可能在目前这种网络需要大改动的情况下少改动。使得第三个地点数据中心B(DCB)相对于最初的主数据中心(MDC)地点和数据中心A(DCA)地点的网络而言,能够把数据中心的网络DCA迁移到DCB。整个SPB交换结构有两个OSPF 路由的VLAN, 配置用于连接MDC和DCB,每个VLAN在每个数据中心核心节点上均配置IP地址,以及打开交换集群功能。
即使是在未来的网络扩容中,也可以只是在边缘位置调整,而不必再改变网络核心的设置。SPB 核心功能包含了IS-IS路由、SPB全局设置和连接故障检查。
在SPB核心上,只需要两个骨干VLAN,使得IS-IS在有多条等价路径存在的时候,能够计算出等价树,从而把多个VSN的流量进行负载均衡。这就不得不解释一下IS-IS 协议,IS-IS 协议工作在网络2层,不需要在链路上配置IP地址,用二层的地址即可构成相邻关系,这种相邻关系与OSPF非常类似。在SPB交换机之间,只需要一个 IS-IS连接。由于原有设备节点已经启用交换集群功能,交换集群内部互联的链路汇聚中继以及交换集群之间(核心到汇聚,核心到核心)的链路将启用SPB 和IS-IS。连接故障检查和衔接性检查是为了提供快速故障探测。
特别是TRILL,支持者众多,但是使用者寥寥,能够发布具体使用案例的更是少之又少。与此相对的却是一些成熟技术的大量应用,这些技术植根于各厂商各自的产品中,可以很好的实现中小规模大二层网络的构建。
在具体应用中,SPB也在与其他技术相结合来使用,以阿尔卡特朗讯为例,“大二层技术的演变一直延续着当初的设计线路,将SPB与vNP技术结合,保证虚拟机在整个数据中心内部无缝迁移,同时保证其安全、QoS和转发优先级在全网的一致性;SPBMS与PBB、VPLS结合,保证多数据中心的互通以及虚拟聚合。”
“大二层技术一直在发展,最初用户的需求来源于大规模虚拟化环境的需要,来源于数据中心横向流量剧增的需求。但是在实现大二层矩阵的过程中,用户会发现网络自动化越来越重要。”。
SPB是一个纯二层网络,对于分散在不同区域位置的数据中心间的数据转发而言,尚有不足。正在推进的部分则是探讨了用EVPN方式来通过BGP来扩展二层。虽然现在支持TRILL和SPB的产品很多,各网络厂商几乎都发布了支持其中之一的产品,也有厂商表示在支持两个标准。但是从应用情况来看,目前TRILL和SPB的案例并不很多。与讨论的热度相比,应用似乎有一点“雷声大,雨点小。”我们曾经分析了挪威奥斯陆大学国家医院在网络建设中的尝试。在这个案例中,是通过创建一个通用网络来把已合并在一起的三家医院网络顺利合并起来。具体要求是网络可以横跨全部三家医院,并且可以支持、分割和传输服务。
管理人员也能分享最佳实践,推广优秀创新,连接不同地点的专家医师,让工作场所更加灵活。同样是利用基于SPB的Avaya 的VENA架构,亚洲的用户也开始部署,在印度的孟买机场以及日本的中部高铁公司(JR TOKAI)都已经或正在实施,“用户通过VENA的部署可以在统一的物理平台上同时部署多种跨地域的数据中心及城域范围的应用。”
但应用思科FabricPath技术来组网的应用已经出现。FabricPath是TRILL协议的一个扩展集,可以看作是一个“增强版的TRILL”。在中华电信开始提供HiCloud CaaS(Compute as a Service,计算即服务)服务中,利用OTV 和 FabricPath 技术的联合使用,让HiCloud 群组云数据中心真正实现了只有一个单一虚拟云端机房的目标。
我们认为国内用户在大二层的应用还在培育期,目前还没有杀手级的应用迫使用户在这方面转型。而未来大规模高可用数据中心的建设、 SDN的出现,会使大二层的应用继续深入人心。
使用SPB或者TRILL构建的网络与传统网络有所不同,而使用这两种技术的核心层不能做网关设备,叠加的结果从某种程度上会导致结构复杂,管理难度增加,而运维成本也会上升。另一方面是互通性的问题,尽管现在已经进行了几次厂商间的互通性测试。
国内这种超大型数据中心的建设本身并没有太多。而厂商推出的另外一些技术恰巧可以在中型规模的数据中心中构建一个大二层的网络,而这些技术已经存在了很多年,虽然在当初出现的时候,并不是为了大二层而来,但是却可以达到这样的效果,所以在用户中有了更广泛的应用。
实际部署的大量应用的却是其他的技术。在这个问题上,网络厂商各有高招,比如:思科有VSS、H3C有IRF技术、博科有VCS网络架构、极进网络采用跨机箱链路捆绑技术、锐捷有VSU技术、神州数码网络有VSF技术、戴尔网络有VLT技术等等。这些技术有很大的相似性,都可以实现将多台网络设备虚拟成一台网络设备,并且将这些设备作为单一设备管理和使用。在虚拟化成一台逻辑设备的同时,网络各层间的链路连接也将变成两台逻辑设备间的连接。所不同的是实现多台虚拟的具体数量。这样做的好处是网络拓扑结构得到简化,性能得到提升,而管理的工作也可以有效简化。以H3C的IRF为例,“IRF把多台设备变成了一台设备,具有统一的管理、统一的转发表,没有环路,也不需要双机热备。所以IRF能简化网络架构的设计。”
在几百到几千台服务器规模的数据中心中,这类技术得到了广泛的应用。神州数码网络(DCN)在政府林业数据中心和教育行业省级远程教育平台的数据中心都应用了VSF来组建网络。往往用户在构建新一代数据中心时会使用多种技术来配合。在政府林业数据中心中,核心虚拟化转发与ToR接入、SAN自动化融合三者联合实现了数据中心网络的升级。不仅用在突破了传统网络结构中单台核心设备的性能及端口密度限制以及核心设备实现跨设备的链路聚合的需求。
另外一个互联网的案例是来自中国,是社会化搜索引擎的云云网。这个网站每日用户访问量达到1亿人次,数据搜索业务服务量突破10亿次。在网络建设上,采用了戴尔分布式的网络平台的做法。具体来说,首先,云云网使用了2台交换机作为网络核心层交换机,该交换机通过16对10GB光纤线缆与另外1台交换机相连,形成一个160GB的数据通路,为数据库群集提供网络服务;同时核心层交换机通过16对10GB光纤线缆与另外2台交换机相连,为应用群集提供数据交换服务。“这是利用Z9000建立分布式-核心架构,替代传统的大机框设计的一种成功的创新应用,节省大量的机架空间、能耗和总拥有成本。”在比较早应用40G网络的国内某石油物探研究院高性能计算网络,最近又有了新的升级,核心层采用的极进网络BD X8,用跨机箱链路捆绑技术互联,采用了存储云的设计,“网络整体采用大二层改造后,存储节点和计算节点之间,由过去的多次转发简化为单次转发,最大的缩短了存储和计算节点之间的时延,提高工作效率,节省计算和数据传输的时间。”
虽然QFabric在全球部署并不多,但是在那之前的虚拟机箱技术其实已经非常成熟并且开始多处使用了。优酷网就是一个典型案例。具体而言,优酷网网络分为了内网OA和外网两个部分,内网OA有内部数据同步等需求,网络主要需求是在设备的端口数量和服务质量;在外网的需求则主要是互联。其网络中采用了跨交换机的VLAN架构,因此需要在接入层到汇聚层之间采用二层方式互联。接入层交换机分两组实现到汇聚层的上联,3台汇聚层交换机构成虚拟机箱,实现到接入层的多个接口互联。此外,接口密度、系统冗余度等虚拟机箱的特点也满足了用户需求。
如果新技术和原有技术是替代关系的话,那么对原有技术而言,新技术也可以称之为敌人。但是,对大二层而言,与SDN的关系却是一种又“爱”又“恨”,非常复杂。SDN的出现抢了大二层的风头,但其实质却并非如此简单。
“SDN可以实现大二层的功能,但是SDN本身的演进和推广面临的挑战更大。”而蒋波也认为,大二层是SDN的基础,他解释说:“SDN的初始网络通路,要求各网络设备节点与控制器之间有 TCP上的连通,OpenFlow 等管理和控制协议才能在这条通道上传输应用,控制器才可能将有各种灵活的转发流表下发到网络节点上。而这个初始的网络通路,如果是要通过三层路由才可达,那就反而增加了这条通路建立的复杂度以及设计成本,与 SDN原意不符合。”沈之千认为,大二层和SDN是互补的技术。SDN通过网络可编程化将传统网络的控制部分脱离出来,其核心在于软件化网络部署,自主化网络数据转发和实现用户创新的网络模型。但是SDN依赖的网络基础架构并非是一个结构复杂、路径阻断、网络隔离的传统架构,而是需要能够在底层实现简化架构、实现自我隔离、自我收敛和自我扩展的矩阵架构。