数据中心网络建设趋势之扁平化概念绿色数据中心
2013-08-20 来源：机房360 编辑：Victor
数据中心网络在逐渐的扩大，复杂性也在不断的增加。如何在保证业务不中断的前提下，让迁移过程更加简单明了是进一步的需求。
国外某银行通过构建大二层的网络来实现迁移，其过程可以为更多的用户提供借鉴。因为用户要求保密的原因，所以本文不涉及到用户的具体名称，用Cloud银行来代表，但是可以全面的展现迁移的过程和网络的变更情况。
由于传统的数据中心服务器利用率太低，平均只有10%～15%，浪费了大量的电力能源和机房资源。虚拟化技术能够有效地提高服务器的利用率，降低能源消耗，降低客户的运维成本，所以虚拟化技术得到了极大的发展。但是，虚拟化给数据中心带来的不仅是服务器利用率的提高，还有网络架构的变化。具体的来说，虚拟化技术的一项伴生技术—虚拟机动态迁移（如VMware的VMotion）在数据中心得到了广泛的应用。简单来说，虚拟机迁移技术可以使数据中心的计算资源得到灵活的调配，进一步提高虚拟机资源的利用率。但是虚拟机迁移要求虚拟机迁移前后的IP和MAC地址不变，这就需要虚拟机迁移前后的网络处于同一个二层域内部。由于客户要求虚拟机迁移的范围越来越大，甚至是跨越不同地域、不同机房之间的迁移，所以使得数据中心二层网络的范围越来越大，甚至出现了专业的大二层网络这一新领域专题。
Cloud银行原有数据中心A(简称DCA)与主数据中心(简称MDC)相连，DCA还承担灾备的任务。现在需要把DCA的业务迁移到一个新的数据中心B(简称DCB)中，从网络来看，DCA的L3路由功能将最终被转移到DCB，DCA中心的这些功能随之废止。在迁移的过程中，需要在DCA和DCB之间打通2层功能，随后要把这个功能扩展到现在的MDC中。最终在这三个地方构成一个2层通信的域。Cloud银行采用了SPB技术来实现扩展站点间的L2业务，而没有通过传统的方式。传统的方式是在两个数据中心间的路上的每个交换机的接口上配置同一个VLAN，这样做的缺点是配置过程非常复杂而且要花费很多时间，此外还将核心交换机暴露在跨越数据中心的VLAN广播域中，造成安全隐患。更大的隐患来自可能的环路，DCA、DCB和MDC三个数据中心最终将实现互联，这样网络拓扑就必须承受形成环路的风险。Cloud银行采用了SPB来构建二层网络，从改造时间来看，周期更短。此外，核心节点被保护，不受来自边界的广播风暴的影响;在迁移的过程中，设定统一的SPB框架，支撑了整个网络的虚拟化服务;迁移之后，实现了一个避免环路的体系结构，基于最短路径来利用所有的链路，在未来的网络使用中，管理和扩容也更为容易。
在改造之前，Cloud银行网络的主要特点是采用了AVAYA“交换集群”技术提供边缘交换机到双活的双汇聚连接。在DCA、DAB和MDC三个数据中心中，核心层和汇聚层都采用了AvayaERS8800系列来构建。MDC和DCA核心交换机被设置成各自的交换集群，两个站点之间的双链路被设置成SplitMultiLinkTrunks(SMLT)，这样这两条线路在逻辑上可以看作是一条L2逻辑相连。网络中已经有少量的VLAN跨越两个站点。MDC和DCA之间的链路主要是OSPF来完成动态交换路由信息。
在整个迁移过程中，VSN(虚拟业务网络)是一个非常重要的概念。这是在SPB已经构建完成基础上来实现的。事实上，虚拟服务(无论是L2还是L3VSNs)只需要在SPB骨干的的边界配置，而无需在核心SPB节点配置。从而提供了一个极具可靠性的运营级体系架构，因为在添加新业务的时候核心节点从来不需涉及。创建一个L2VSN非常简单，仅仅把一个I-SID(骨干网上的一个服务事例标识号)和一个边界VLAN关联即可;创建一个L3VSN也并不复杂，只需要把一个I-SID和一个VRF关联，在新产生的L3VSN配置相关的IS-ISIP路由重发布。
传统的数据中心主要是依据功能进行区域划分，例如WEB、APP、DB，办公区、业务区、内联区、外联区等等。不同区域之间通过网关和安全设备互访，保证不同区域的可靠性、安全性。同时，不同区域由于具有不同的功能，因此需要相互访问数据时，只要终端之间能够通信即可，并不一定要求通信双方处于同一VLAN或二层网络。
传统的数据中心网络技术，STP是二层网络中非常重要的一种协议。用户构建网络时，为了保证可靠性，通常会采用冗余设备和冗余链路，这样就不可避免的形成环路。而二层网络处于同一个广播域下，广播报文在环路中会反复持续传送，形成广播风暴，瞬间即可导致端口阻塞和设备瘫痪。因此，为了防止广播风暴，就必须防止形成环路。这样，既要防止形成环路，又要保证可靠性，就只能将冗余设备和冗余链路变成备份设备和备份链路。即冗余的设备端口和链路在正常情况下被阻塞掉，不参与数据报文的转发。只有当前转发的设备、端口、链路出现故障，导致网络不通的时候，冗余的设备端口和链路才会被打开，使得网络能够恢复正常。实现这些自动控制功能的就是STP（SpanningTreeProtocol，生成树协议）。
改造之后，CLOUD银行在三个地点的网络节点最终有两种2层域：跨地区的和本地的。但是，这两种域可能需要三层接口，允许驻留在这些域的主机能够路由到其他域。当然，这些3层接口需要提供网关保护(即网关冗余性)。
另外，每个地点需要传递3层可达性信息到网络中的其他站点。最佳做法往往是动态路由，最好是路由的配置尽可能在目前这种网络需要大改动的情况下少改动。使得第三个地点数据中心B(DCB)相对于最初的主数据中心(MDC)地点和数据中心A(DCA)地点的网络而言，能够把数据中心的网络DCA迁移到DCB。整个SPB交换结构有两个OSPF路由的VLAN，配置用于连接MDC和DCB，每个VLAN在每个数据中心核心节点上均配置IP地址，以及打开交换集群功能。在站点之间的IP路由问题处理上，现阶段AVAYA节点和外部网关之间交换路由信息将使用OSPF协议。对于部署在ISIS网络上的核心节点，这些节点将允许OSPF和“外部”网络打交道，运行ISIS和“内部”网络即交换结构打交道。在这个场景下，核心节点将把OSPF的优先级高于ISIS，把OSPF的子网路由信息注入到ISIS，提供路由信息给连接到MDC或DCB核心，或同时到两个中心的节点。
与过去的网络设置相比，SPB提供了一种良好的扩展能力，即使是在未来的网络扩容中，也可以只是在边缘位置调整，而不必再改变网络核心的设置。SPB核心功能包含了IS-IS路由、SPB全局设置和连接故障检查。
在SPB核心上，只需要两个骨干VLAN，使得IS-IS在有多条等价路径存在的时候，能够计算出等价树，从而把多个VSN的流量进行负载均衡。这就不得不解释一下IS-IS协议，IS-IS协议工作在网络2层，不需要在链路上配置IP地址，用二层的地址即可构成相邻关系，这种相邻关系与OSPF非常类似。在SPB交换机之间，只需要一个IS-IS连接。由于原有设备节点已经启用交换集群功能，交换集群内部互联的链路汇聚中继以及交换集群之间(核心到汇聚，核心到核心)的链路将启用SPB和IS-IS。连接故障检查和衔接性检查是为了提供快速故障探测。这个功能允许CLOUD银行去验证连接性和在需要的时候调试网络。
在网络迁移的过程中，VSN的使用也同样是一个重点，二层迁移和三层迁移都较过去的迁移方式更为简单，仅以二层迁移为例，三层迁移类似。VLAN从CLOUD银行DCA延伸到DCB，IP路由则由ERS8600SPB等标准L2VSN节点之外的设备实现，在这个场景里，ERS8600的相关VLAN没有IP地址和路由的相关设置。几个步骤如下：首先，在DCA和DCB的汇聚层中，由于已经有了SPB网络基础，VLAN已经不再需要经过“交换集群”的IST，而是经过SPB而自动按照需要而把连接到一个“交换集群”的两个交换机的VLAN联合在一起。所以，在一个VLAN可以关联到I-SID之前，需要把它从IST中去除。其次，在DCA和DCB的汇聚层中，通过把VLAN和I-SID关联,自动创建二层的虚拟业务网络。再次，在DCA的边缘接入中，创建VLAN和添加VLAN的成员和原有的配置方式相同。最后，在DCB的边缘接入交换机中，创建VLAN和添加VLAN的成员和原有的配置方式相同。这样，L2VSN在DCA和DCB之间产生了。这里需要说明的一点是：VLANID在两个数据中心可以完全是不同的。而这一点对于数据中心迁移尤其重要。因为在实际应用中，由于种种原因在两个数据中心迁移前后的VLANID不同。在业界有很多方案都有困难应对，不过对使用SPB方案来说则可以比较轻松的解决。
虚拟交换机技术的出发点很简单，属于工程派。既然二层网络的核心是环路问题，而环路问题是随着冗余设备和链路产生的，那么如果将相互冗余的两台或多台设备、两条或多条链路合并成一台设备和一条链路，就可以回到之前的单设备、单链路情况，环路自然也就不存在了。尤其是交换机技术的发展，虚拟交换机从低端盒式设备到高端框式设备都已经广泛应用，具备了相当的成熟度和稳定度。因此，虚拟交换机技术成为目前应用最广的大二层解决方案。
虚拟交换机技术的代表是H3C公司的IRF、Cisco公司的VSS，其特点是只需要交换机软件升级即可支持，应用成本低，部署简单。目前这些技术都是各厂商独立实现和完成的，只能同一厂商的相同系列产品之间才能实施虚拟化。同时，由于高端框式交换机的性能、密度越来越高，对虚拟交换机的技术要求也越来越高，目前框式交换机的虚拟化密度最高为4:1。虚拟交换机的密度限制了二层网络的规模大约在1万～2万台服务器左右。
与两年之前大二层技术的火热讨论相比，现在谈及SPB、TRILL似乎冷淡了许多，真正使用这些来构建大二层网络的数据中心案例也并不太多。大二层技术当初出现需要解决的问题似乎也有了新的方式解决，利用VXLAN、NVGRE等一些网络虚拟化技术看起来是比较轻量级的解决方案。在未来网络扩展的方面也呈现出优良的特性。或许，未来的大二层技术并不一定局限在当初的设想之中，而是在当初的想法之外，与其他技术不断融合创新，取得更为突出的成绩。大规模二层网络的需求目前已经非常的清晰，各厂商都提出了有针对性的技术和方案，满足大二层的当前要求和未来扩展需求。但从实际应用情况来看，除了虚拟交换机技术在成熟度和应用性方面得到验证，其他的相关技术仍然在完善过程中。
由于传统的数据中心服务器利用率太低，平均只有10%～15%，浪费了大量的电力能源和机房资源。虚拟化技术能够有效地提高服务器的利用率，降低能源消耗，降低客户的运维成本，所以虚拟化技术得到了极大的发展。但是，虚拟化给数据中心带来的不仅是服务器利用率的提高，还有网络架构的变化。具体的来说，虚拟化技术的一项伴生技术—虚拟机动态迁移（如VMware的VMotion）在数据中心得到了广泛的应用。简单来说，虚拟机迁移技术可以使数据中心的计算资源得到灵活的调配，进一步提高虚拟机资源的利用率。但是虚拟机迁移要求虚拟机迁移前后的IP和MAC地址不变，这就需要虚拟机迁移前后的网络处于同一个二层域内部。由于客户要求虚拟机迁移的范围越来越大，甚至是跨越不同地域、不同机房之间的迁移，所以使得数据中心二层网络的范围越来越大，甚至出现了专业的大二层网络这一新领域专题。
Cloud银行原有数据中心A(简称DCA)与主数据中心(简称MDC)相连，DCA还承担灾备的任务。现在需要把DCA的业务迁移到一个新的数据中心B(简称DCB)中，从网络来看，DCA的L3路由功能将最终被转移到DCB，DCA中心的这些功能随之废止。在迁移的过程中，需要在DCA和DCB之间打通2层功能，随后要把这个功能扩展到现在的MDC中。最终在这三个地方构成一个2层通信的域。Cloud银行采用了SPB技术来实现扩展站点间的L2业务，而没有通过传统的方式。传统的方式是在两个数据中心间的路上的每个交换机的接口上配置同一个VLAN，这样做的缺点是配置过程非常复杂而且要花费很多时间，此外还将核心交换机暴露在跨越数据中心的VLAN广播域中，造成安全隐患。更大的隐患来自可能的环路，DCA、DCB和MDC三个数据中心最终将实现互联，这样网络拓扑就必须承受形成环路的风险。Cloud银行采用了SPB来构建二层网络，从改造时间来看，周期更短。此外，核心节点被保护，不受来自边界的广播风暴的影响;在迁移的过程中，设定统一的SPB框架，支撑了整个网络的虚拟化服务;迁移之后，实现了一个避免环路的体系结构，基于最短路径来利用所有的链路，在未来的网络使用中，管理和扩容也更为容易。
在改造之前，Cloud银行网络的主要特点是采用了AVAYA“交换集群”技术提供边缘交换机到双活的双汇聚连接。在DCA、DAB和MDC三个数据中心中，核心层和汇聚层都采用了AvayaERS8800系列来构建。MDC和DCA核心交换机被设置成各自的交换集群，两个站点之间的双链路被设置成SplitMultiLinkTrunks(SMLT)，这样这两条线路在逻辑上可以看作是一条L2逻辑相连。网络中已经有少量的VLAN跨越两个站点。MDC和DCA之间的链路主要是OSPF来完成动态交换路由信息。
在整个迁移过程中，VSN(虚拟业务网络)是一个非常重要的概念。这是在SPB已经构建完成基础上来实现的。事实上，虚拟服务(无论是L2还是L3VSNs)只需要在SPB骨干的的边界配置，而无需在核心SPB节点配置。从而提供了一个极具可靠性的运营级体系架构，因为在添加新业务的时候核心节点从来不需涉及。创建一个L2VSN非常简单，仅仅把一个I-SID(骨干网上的一个服务事例标识号)和一个边界VLAN关联即可;创建一个L3VSN也并不复杂，只需要把一个I-SID和一个VRF关联，在新产生的L3VSN配置相关的IS-ISIP路由重发布。
传统的数据中心主要是依据功能进行区域划分，例如WEB、APP、DB，办公区、业务区、内联区、外联区等等。不同区域之间通过网关和安全设备互访，保证不同区域的可靠性、安全性。同时，不同区域由于具有不同的功能，因此需要相互访问数据时，只要终端之间能够通信即可，并不一定要求通信双方处于同一VLAN或二层网络。
传统的数据中心网络技术，STP是二层网络中非常重要的一种协议。用户构建网络时，为了保证可靠性，通常会采用冗余设备和冗余链路，这样就不可避免的形成环路。而二层网络处于同一个广播域下，广播报文在环路中会反复持续传送，形成广播风暴，瞬间即可导致端口阻塞和设备瘫痪。因此，为了防止广播风暴，就必须防止形成环路。这样，既要防止形成环路，又要保证可靠性，就只能将冗余设备和冗余链路变成备份设备和备份链路。即冗余的设备端口和链路在正常情况下被阻塞掉，不参与数据报文的转发。只有当前转发的设备、端口、链路出现故障，导致网络不通的时候，冗余的设备端口和链路才会被打开，使得网络能够恢复正常。实现这些自动控制功能的就是STP（SpanningTreeProtocol，生成树协议）。
改造之后，CLOUD银行在三个地点的网络节点最终有两种2层域：跨地区的和本地的。但是，这两种域可能需要三层接口，允许驻留在这些域的主机能够路由到其他域。当然，这些3层接口需要提供网关保护(即网关冗余性)。
另外，每个地点需要传递3层可达性信息到网络中的其他站点。最佳做法往往是动态路由，最好是路由的配置尽可能在目前这种网络需要大改动的情况下少改动。使得第三个地点数据中心B(DCB)相对于最初的主数据中心(MDC)地点和数据中心A(DCA)地点的网络而言，能够把数据中心的网络DCA迁移到DCB。整个SPB交换结构有两个OSPF路由的VLAN，配置用于连接MDC和DCB，每个VLAN在每个数据中心核心节点上均配置IP地址，以及打开交换集群功能。在站点之间的IP路由问题处理上，现阶段AVAYA节点和外部网关之间交换路由信息将使用OSPF协议。对于部署在ISIS网络上的核心节点，这些节点将允许OSPF和“外部”网络打交道，运行ISIS和“内部”网络即交换结构打交道。在这个场景下，核心节点将把OSPF的优先级高于ISIS，把OSPF的子网路由信息注入到ISIS，提供路由信息给连接到MDC或DCB核心，或同时到两个中心的节点。
与过去的网络设置相比，SPB提供了一种良好的扩展能力，即使是在未来的网络扩容中，也可以只是在边缘位置调整，而不必再改变网络核心的设置。SPB核心功能包含了IS-IS路由、SPB全局设置和连接故障检查。
在SPB核心上，只需要两个骨干VLAN，使得IS-IS在有多条等价路径存在的时候，能够计算出等价树，从而把多个VSN的流量进行负载均衡。这就不得不解释一下IS-IS协议，IS-IS协议工作在网络2层，不需要在链路上配置IP地址，用二层的地址即可构成相邻关系，这种相邻关系与OSPF非常类似。在SPB交换机之间，只需要一个IS-IS连接。由于原有设备节点已经启用交换集群功能，交换集群内部互联的链路汇聚中继以及交换集群之间(核心到汇聚，核心到核心)的链路将启用SPB和IS-IS。连接故障检查和衔接性检查是为了提供快速故障探测。这个功能允许CLOUD银行去验证连接性和在需要的时候调试网络。
在网络迁移的过程中，VSN的使用也同样是一个重点，二层迁移和三层迁移都较过去的迁移方式更为简单，仅以二层迁移为例，三层迁移类似。VLAN从CLOUD银行DCA延伸到DCB，IP路由则由ERS8600SPB等标准L2VSN节点之外的设备实现，在这个场景里，ERS8600的相关VLAN没有IP地址和路由的相关设置。几个步骤如下：首先，在DCA和DCB的汇聚层中，由于已经有了SPB网络基础，VLAN已经不再需要经过“交换集群”的IST，而是经过SPB而自动按照需要而把连接到一个“交换集群”的两个交换机的VLAN联合在一起。所以，在一个VLAN可以关联到I-SID之前，需要把它从IST中去除。其次，在DCA和DCB的汇聚层中，通过把VLAN和I-SID关联,自动创建二层的虚拟业务网络。再次，在DCA的边缘接入中，创建VLAN和添加VLAN的成员和原有的配置方式相同。最后，在DCB的边缘接入交换机中，创建VLAN和添加VLAN的成员和原有的配置方式相同。这样，L2VSN在DCA和DCB之间产生了。这里需要说明的一点是：VLANID在两个数据中心可以完全是不同的。而这一点对于数据中心迁移尤其重要。因为在实际应用中，由于种种原因在两个数据中心迁移前后的VLANID不同。在业界有很多方案都有困难应对，不过对使用SPB方案来说则可以比较轻松的解决。
虚拟交换机技术的出发点很简单，属于工程派。既然二层网络的核心是环路问题，而环路问题是随着冗余设备和链路产生的，那么如果将相互冗余的两台或多台设备、两条或多条链路合并成一台设备和一条链路，就可以回到之前的单设备、单链路情况，环路自然也就不存在了。尤其是交换机技术的发展，虚拟交换机从低端盒式设备到高端框式设备都已经广泛应用，具备了相当的成熟度和稳定度。因此，虚拟交换机技术成为目前应用最广的大二层解决方案。
虚拟交换机技术的代表是H3C公司的IRF、Cisco公司的VSS，其特点是只需要交换机软件升级即可支持，应用成本低，部署简单。目前这些技术都是各厂商独立实现和完成的，只能同一厂商的相同系列产品之间才能实施虚拟化。同时，由于高端框式交换机的性能、密度越来越高，对虚拟交换机的技术要求也越来越高，目前框式交换机的虚拟化密度最高为4:1。虚拟交换机的密度限制了二层网络的规模大约在1万～2万台服务器左右。
与两年之前大二层技术的火热讨论相比，现在谈及SPB、TRILL似乎冷淡了许多，真正使用这些来构建大二层网络的数据中心案例也并不太多。大二层技术当初出现需要解决的问题似乎也有了新的方式解决，利用VXLAN、NVGRE等一些网络虚拟化技术看起来是比较轻量级的解决方案。在未来网络扩展的方面也呈现出优良的特性。或许，未来的大二层技术并不一定局限在当初的设想之中，而是在当初的想法之外，与其他技术不断融合创新，取得更为突出的成绩。大规模二层网络的需求目前已经非常的清晰，各厂商都提出了有针对性的技术和方案，满足大二层的当前要求和未来扩展需求。但从实际应用情况来看，除了虚拟交换机技术在成熟度和应用性方面得到验证，其他的相关技术仍然在完善过程中。
