线外串扰对数据中心网络的影响运营维护
摘要:本文主要将阐述线外串扰对数据中心布线的影响。双绞线的线外串扰并不是一个新鲜事物,早在近10年前就有人提出这个概念,当时因为受到测试手段的制约以及当时的网络对线外串扰并不敏感,所以没有得到重视
线外串扰又分为ANEXT和AFEXT,ANEXT就是在相邻的2个通道上,一个接收端(RX2)收到了同一端另一根线缆发射端(TX1)耦合过来的能量。AFEXT就是RX4受到了TX1耦合过来的能量
过去对线外串扰不重视的原因是线缆内部的NEXT和FEXT的影响远远大于线外串扰。但是随着DSP技术的进步。无论是NEXT,FEXT,还是RL都可以得到相当的过滤。所以线外串扰这种无法采用有源手段主动消除的干扰就变成了制约信噪比的最大麻烦。
一、数据中心常用以太网传输编码与信噪比
我们要理解线外串扰对以太网络传输造成的影响,首先就需要对传输的编码方式与信噪比,误码率的关系作一定的了解。通常数据中心在HDA到PC服务器这一段多采用的是基于双绞线传输的以太网方式,而在数据中心目前最常用的以太网标准是1000Base-T,或者1000Base-TX,部分数据中心已经开始采用10GBase-T。所以本文将主要研究这三种标准与线外串扰之间的关系。本文将从这三种标准的调制方式入手,分析他们的极限信噪比,再对比所用传输介质所能达到的信噪比,最后来看线外串扰对这三种标准的影响到底有多大。
这三种以太网标准采用的都是PAM(脉冲调幅)调制方式,根据奈奎斯特抽样定律,脉冲符号率至少是频率的2倍,比如一个正电平脉冲符号和一个负电平脉冲符号可以组合成1个正弦波。反过来说,也就是1个正弦波最少可以携带2个脉冲符号。1个脉冲符号可以携带多个bit(也就是计算机里的0和1),但是具体能带多少,则取决于调制和编码的方式(可以脉冲符号bit率这个指标来衡量)。我们将脉冲符号bit率*脉冲符号速率*传输线对数就可以得出整个传输系统的bps了。
我们知道香农公式(Shannon)可以用来描述给定传输带宽和信噪比的极限传输速率。这样我们知道了脉冲符号bit率,我们就可以计算出所需的极限信噪比。具体公式为:
其中C为脉冲符号bit率,S/N为信噪比。
再来看调制方式,1000Base-T(IEEE802.3ab)采用4D-PAM5调制方式(1000Base-TX,即TIA/EIA-854标准是1000Base-T的升级版,调制方式相同)。10Gbase-T采用PAM16+DSQ+LDPC(2048,1723)调制和编码方式。这样我们就能根据调制方式和上面的公式计算出如下表格内的数据。
标准调制方式符号bit率符号/秒Bit/秒传输线对数极限信噪比
1000Base-T4D-PAM52125M250M411.8dB
1000Base-TX4D-PAM52250M500M211.8dB
10Gbase-TPAM163.125800M2500M418.8dB
上面表格中的极限信噪比并不代表我们可以在这样的环境下取得满意的传输效果,如果在极限信噪比下,根据理论计算误码率大概在31%左右,这样的网络显然无法让人接受。所以IEEE规定了误码率的要求。1000Base-T/TX的误码率必须达到10-10,10GBase-T的误码率必须达到10-12,所以需要将信噪比提高一个档次(这个档次被称为Gap),根据计算10-10需要提高11.3dB,10-12需要提高12.25dB。同时高效的纠错编码能够降低对信噪比的要求,。所以综合来看以太网传输所要求的最低信噪比的计算公式为:
系统允许最低信噪比=极限信噪比+Gap-编码增益。
经过计算我们得出了数据中心常用的三种以太网标准的系统允许最低信噪比,入下表格:
标准调制方式极限信噪比GAP编码增益系统允许最低SNR
1000Base-T4D-PAM511.8dB11.36dB17.1dB
1000Base-TX4D-PAM511.8dB11.36dB17.1dB
10Gbase-TPAM1618.8dB12.257.7dB23.35dB
二、数据中心内使用的布线系统与线外串扰对信噪比的影响
上面的表格已经得出了以太网传输所需要的最低信噪比,下面我们来看我们数据中心的传输线缆的信噪比能不能符合系统传输的要求。目前数据中心的综合布线中通常用于数据传输的主要是Cat6类,Cat6A类线缆也就部分采用(Cat5E现在几乎没有数据中心采用做为数据传输用途了,所以不在本文研究范围之内)。信噪比可以根据标准中规定的数据根据如下公式计算出来(均假设为UTP线缆)。
SNR(dB)=信号-插入损耗-综合近端串扰-综合远端串扰-回波损耗-线间串扰(Cat6A)-环境噪声+近端串扰处理增益+远端串扰处理增益+回波损耗处理增益。
我们来看其中的各个部分,信号我们取IEEE标准中规定的最大PSD;IL,PSNEXT,PSFEXT,RL,PSANEXT,PSAFEXT,PSAFEXT取TIA568C.2标准中的规定最小数值;环境噪音经过研究,一般数据中心内部都在-150dbm下,所以这里忽略不计。目前DSP对内部干扰的处理增益至少可以做到(SOLARFLARE的数据)
干扰处理增益
近端串扰40dB
远端串扰25dB
回波损耗55dB
通过上面的公式和数据,我们可以计算出,在极限情况下(双绞线测试结果的余量均为0),三种以太网标准在不同布线系统上的表现。
以太网标准网络运行介质系统要求极限信噪比线缆极限信噪比
(不含线外串扰因素)不考虑线外串扰信噪比余量叠加线外串扰信噪比余量
1000Base-T100米Cat617.1dB49.8dB32.7dBNA
1000Base-TX100米Cat617.1dB51.7dB34.6dBNA
10Gbase-T100米Cat6A23.35dB42.1dB18.75dB10.15dB
从上面的计算结果可以看出,不考虑线外串扰的因素,千兆网络比万兆的信噪比余量要高出10多个dB,也就意味着1000Base-T对干扰的余量是10Gbase-T的十倍以上。这个计算结果可以说明在Cat6上运行的1000Base-T对线外串扰不敏感,甚至不使用FEXTCanceller也可以正常运行。对Cat6线缆要求也不高,即使线缆测试结果余量不是很大,也能够保证网络正常运行。而运行在Cat6A线缆上的10Gbase-T的情况则不容乐观,因为还要考虑ISI(inter-sybmolinterfernce)干扰的因素还需要保留3-4个dB的余量。所以如果Cat6A线缆的测试结果仅过及格线,那么余量将非常紧张。当然如果采用屏蔽线缆可以不考虑线外串扰,那么余量还是绝对足够的。
三、模拟数据中心网络在AlienCrosstalk下传输的实际测
大家知道数据中心内的双绞线布线非常密集,笔者曾经遇到过在一个机柜内配960根铜缆的工程。而上面所有的结论都是理论计算得出的结果,那么如果我们模拟实际环境做一个实验,情况会如何呢?IEEE委员会当初在制定10Gbase-T的时候曾经提交了一份报告,实际模拟了一个数据中心的6包1链路,1000Base-T在Cat5E和Cat6线缆上都可以做到100%通过。
千兆以太网的模拟测试
10Gbase-T当时没有做过类似的模拟,但是现在有一个研究机构正在做万兆以太网在UTP和STP上的实际传输效果测试。目前结果还没有完全公布,不过大致的结论是万兆以太网在CAT6AUTP线缆上对线外串扰非常敏感。稍有不慎,就会发生问题。从上面的理论计算和实际测试结果都可以得出这样一个结论,目前数据中心常用的6类线上无论采用1000Base-T还是1000Base-TX都无需考虑线外串扰的问题,因为他们本身性能的余量已经足够避免这个问题。对于10Gbase-T万兆以太网,不论是UTP还是STP,如果安装良好,理论上都可以避免线外串扰造成的问题。但是考虑到目前的测试手段并没有办法能够快速的检测线外串扰的指标是否合格(安装是否良好),所以更推荐采用STP类屏蔽布线系统。经过实际测试。STP的线外串扰测试结果至少优于UTP15个dB以上,所以基本对线外串扰做到了免疫。