数据中心基础物理设施工程之供电系统

　　往往会出现这样的情况，即便是数据中心供电设备选得很好，但由于接入市电的方案选得不好，结果带来很多麻烦。比如某电视台都是进口国外一流的UPS供电设备，就是因为接入市电的方案选得不对，故障频繁发生。

　　1双路市电供电时的UPS连接

　　1.1双市电向同一台UPS供电

　　1）违背了一主一备的初衷两路市的初衷是一主一备。如图1这样的接法乍看起来就是一主一备：市电2供电时，市电1备用；市电2故障时，市电1供电。但如果从UPS的工作原理上看，两路市电都同时在用：市电2向整流器提供主回路电流，而市电1位输出电压提供频率和相位参考，因为UPS的输出电压始终在跟踪旁路，与旁路电压的频率和相位保持一致，这是UPS在设计时就规定好了的。因此，这种接法已经违背了一主一备的初衷。

　　2）打乱了UPS原来的正常工作秩序

　　UPS原来的设计思想是旁路和整流器输入同用一个输入电压，所以才有旁路电压故障时电池放电的设计顺序。而以后的UPS几经改进并未更改这种基本功能，一直忠实地继承下来。在这里如果将另一路市电（市电1）接到旁路上，必然要将原来的功能做大的调整：市电故障时不让电池放电，因为此时市电2还在正常供电，这个更改的工作都是现场完成的，有的一次更改不行，还做了第二次更改，这就打乱了原来的工作次序；另一方面，由于UPS上都引进了计算机管理，使功能大增，一个点上的电位有多处引用，就不像早期那样简单了。因此，一个点的更改影响了好多地方。某电视台引进欧洲两个一流厂家的12台60kVAUPS，在采用此方案后，几年期间就一直没有稳定下来，“大错不犯，小错不断”使用户伤透了脑筋，甚至每逢节假日或重大活动时只好请该两个厂家的工程师到场保驾。

　　3）负载得不到全面保护

　　在两路市电供电的情况下一般电池的后备时间都比较短，一般不超过30min，另一方面，两路主干线也不容易出问题，但出了问题一般也不是30min可以解决的，有的几个小时，甚至更长。假如市电2故障，30min后若市电仍不恢复，必须由市电1供电，这是后面的负载就完全暴露在自由电网之中，电网中的各种干扰如雷电浪涌、电压起伏、电气噪声和自然噪声等随时会对负载造成威胁而导致故障。而且这种威胁要一直持续到市电2恢复正常，这个时间有多长？不得而知！

　　1.2双市电分别向两台冗余连接的UPS供电

　　在要求可靠性与可用性更高的地方，除双市电供电外，还要求双UPS冗余并联连接，有的厂

　　家就提出了两路市电各接一台UPS的方案。尽管两路市的电压和相位不会完全相同，但由于并联冗余连接的两台UPS在起动后有“从机”跟踪“主机”的功能，可以保证系统正常运行，其连接方法如图16（a）所示。但这种连接方法的真正隐患出现在两台UPS切换到旁路（Bypass）时，应冗余并联连接的UPS有着共同转旁路的性能，在此情况下，由于两路市电的电压幅度不一致，就会形成巨大的环流，如图2（b）所示。尽管两路市电的电压差不大，比如几伏，但由于回路阻抗几乎为零，所以导致的环流就很大，一直到将其中的一路Bypass开关烧断，如果Bypass开关的同流能力非常强，那就会起火了，不是烧变压器就是烧电缆！

　　1.3最佳双市电供电连接方案

　　利用输入配电（互投）柜将两路市电切换成一路后送出，如图3所示。这样一来既满足了原来UPS的设计思想，又保证了负载在100%的时间内得到保护。至于切换的速度不必太苛刻，因为即使一般的自动切换开关ATS也可以在零点几秒内完成这个动作，而UPS本身的电池对这点时间可忽略不计，即使用手动也来得及，当然自动最好。

    这种产品的可靠性与电磁兼容指标等均应符合标准UL1008Listed。图6示出了STS(Digital Static Transfer Switch)的工作原理图，右边是它的电路符号。DSTS的确解决了ATS所无法做到的一些性能，比如DSTS的切换时间比ATS要快上一千多倍，而且没有声音、没有火花，对一般电子设备来说，这种两个电源之间的切换间隔几乎是没有感觉的。由于DSTS对构成元器件质量的要求很高，再加之在多处都采用了冗余措施，所以造价也很高，相应地为销售商也带来了不菲的利润，于是在被引入机房的时候就出现了一些误会。比如本来可以用于并联冗余的两台UPS供电系统，有的供应商就硬把它们分割开了，在两台UPS输出端加了一台DSTS，说这样比直接并联可靠性高，如图7所示。

　　其工作原理是：两台UPS的输出端都连接到DSTS上，比如开始由UPS1向负载供电，UPS2备用，一旦UPS1故障，DSTS就马上切断UPS1而接通UPS2，继续向负载供电，这就保证了负载设备的连续运行。但从前面双台UPS冗余并联的例子可以看出，即使不加DSTS也已经实现了在一台UPS故障的情况下负载连续运行下去的功能，而且还有双倍单机的过载能力，这个能力在此已经消失了。还不仅如此，这种结构的系统可靠性R也有了变化，根据可靠性公式算出： 　
　　R=1-(1-r)=1-(1-0.99)=0.9996（4） 　
　　不可靠性Q=1-可靠性=1-0.9996=0.0004，不可靠性是万分之四。是冗余并联时的4倍。而故障率α=1nR=1n0.9996≈0.0004（5）

　　也是冗余并联时的4倍。由此可以看出，原来1+1并联冗余的系统在增加了DSTS后，不但丧失了原来的高过载能力（一台UPS过载，切换后另一台也同样过载），其不可靠性或故障率也增加到原来的四倍。

　　②双电源负载的“需要”

　　为了提高包括服务器等电子设备的供电可靠性，用电设备本身对输入电源也作了冗余考虑，比如采用双电源入口就是其中一种。是不是为了适应双电源设备就必须将原本可以直接并联的两台UPS分开呢？这要看UPS直接并联冗余和分开的目的是什么，很明显，这样做的目的无非是在任一台UPS故障时都不影响负载机器的正常运行。这两种办法都可以达到这个目的。前一种在前面已经介绍，后一种如图8所示。两路UPS交流电压分别输入到用电设备的两个入口，该两个入口的整流器将输入交流电整流成直流，而后在二者的输出端并联成一个电压再滤波。即使输入的交流电压值不一样也无妨，电压高的就得多输出电流，这就造成了整流器的负载不平衡。尤其是在一台UPS是旁路供电时，由于市电波动很大，这种情况就更严重。如果是两台UPS直接并联而不分开，由于稳压作用，就不会出现这种情况，即使有也不会这样大。

    就是说，即使人为地将可以并联的两台UPS硬要分开，到了设备上还是要并联在一起。白白损失了两倍UPS的过载能力，这就有“费力不讨好”的结果。

　　2）UPS双总线供电方案的电路结构

　　有一种说法，双总线是根据美国T4等级要求而来的。图9就是这种双总线UPS冗余供电方案。从图中可以明显地看出，双总线的每一路都不是单单一台UPS，也不是两台，更不是3台，而是一个表示多台的删节号。在目前的一般UPS并联水平来看，应该是8台。比如台湾至少有5个数据中心采用的就是8台并联×2的双总线供电系统。如果在8台UPS冗余并联之内就可以解决的问题，最好不要轻易采用双总线。尤其是在两台单机UPS就可以做1+1并联冗余的时候，如果这时硬要改用双总线方案，不但使设备量成倍增加，而且由于引入了串联功能的设备STS，使能量通道上又多增加了故障点，导致的投资还要远高于双倍1+1并联冗余时的情况，因为STS要比同容量的UPS价格高得多，同时还失去了原来直接并联时过载能力强的优点，可靠性比原来也有所降低。

　　众所周知，任何解决方案和规划都是有条件的，有其特定的使用环境，也就是有其局限性。因此，不可不讲条件、时间和地点地到处乱用，否则，不但达不到预期的目的，反而会事倍功半。

　　2.3两种供电方案的比较

　　1）两种供电方案的可靠性及故障率比较

　　为了有一个量的概念，为了直观而容易理解，仍设所有设备的可靠性r都是0.99；也是为了简单明了，暂不考虑UPS以前和STS以后的这些共有的配电部分。由此见图10（a）

　　虚线方框内的部分，并由此作出可靠性结构模型图。从可靠性的观点出发，凡是在该环节故障时都能导致系统不正常的情况通通算作串联环节，因此连接图10（a）的同步器LBS、静态开关STS和隔离变压器B1在可靠性上同UPS都是串联关系，如图11所示。由于两台UPS在STS的输出端在功能上对双电源负载是并联关系，就认为二者是并联关系，由此得出系统可靠性：
　　（6）　
　　不可靠性或故障率就是0.00155，即万分之十五。从前面的式（2）可以看出，两台UPS直接并联时的供电系统可靠性是万分之一，像图10（a）增加了6个设备以后，造价成倍地增加了，而可靠性则成十倍地降低了。根据上面的计算，故障率是前者的15倍。  　

    2)双输入交流电时两种供电方案ATS功能的比较有的人认为双机冗余并联时只用了一个ATS，这是个单点故障点，或称为瓶颈；而双机双总线时则用了两个ATS，由于有冗余关系，消除了瓶颈效应。

　　①双UPS冗余并联ATS的功能

　　双交流输入可能是双市电，也可能是一路市电和一路燃油发电机组。在这里以双路市电输入为例。双机冗余并联时一般是利用ATS将双市电互投为一路输出，如图12（a）所示。比如原来以市电1为主电源，市电2为备用电源，此时ATS通常就接通市电1到UPS组。当市电1故障时，ATS就断开市电1而将市电2转接到UPS组上。一旦ATS故障，就无法实现转接功能而使后面的所有UPS失去输入电压。这就是所谓的瓶颈效应，也有的称为单点故障。

　　当然，为了防止上述现象发生，一般都采取了补救措施，比如有的厂家在ATS切换无法进行时就采用摇臂以手动的方式进行转换；也有的厂家有可选择的旁路开关，在ATS故障时用人工的方法把旁路开关合上去。但在先不考虑这些措施的前提下就认为是瓶颈。

　　②双机双总线时ATS的功能

　　是不是图12（b）的双ATS的连接法就消除了这种隐患呢。首先讨论一下它的工作原理。在正常情况下，一般都是这样设置的：ATS1将市电1接通到UPS1，ATS2将市电2接通到UPS2。比如由于某种原因导致市电1断电，ATS1就自动切换到市电2，以使UPS1能够不间断地得到输入电压；但由于某种故障原因使得ATS1在市电1断电时而无法实现切换，即市电2因ATS1无法切换而使UPS1得不到市电2的支持，仍然会处于无输入电压状态，只好待电池放电终结后而关机，但由于STS1的存在，UPS2的输出电压会及时地经STS1切换到UPS1后面的负载上去，如图13所示。

　　由于此时UPS2的输入电压尚在正常供电，所以可使UPS1和UPS2的负载仍然不间断地工作下去。双总线的优点只有在这里才得到了体现。不过，现在已处于无冗余供电状态，维修时间已成关键，为了改善这种状况，最好双总线的每一路增加冗余，比如都变成1+1，不过这时的设备量又成倍增加了。

　　另一方面，在双总线的情况下，双电源负载的两个输入电压是从两路引来的同相电压，即都是A相或都是B相、或C相，这又埋下一个隐患：

　　当一路故障时（如上例中的市电1故障时的情况），最后经STS2将UPS2的输出电压切换到UPS1的负载上，可以看出，此时双电源负载的两路输入电压是同一相，如果这时对应这一相的开关故障（接触不良或断开）该双电源负载就会因全部断电而停机。原来的目的是即使一个UPS后面的单电源负载全部断电时，该双电源负载也不至于断电，而此时的目的就达不到了。

　　2.4采用双总线比较适当的场合

　　1）采用双总线的场合

　　双总线作为冗余并联的的补充措施在一定的场合下就可显示出它的优越性。这种场合就是容量与可靠性出现矛盾时。比如一个信息机房的用电量是2500kVA，要求并联冗余后的供电电源系统的可靠性R=0.99999，选定了某品牌单机容量为400kVA的UPS。为了方便分析，假如每台UPS的可靠性r相同，取r=0.99，目前UPS并联的台数不超过8，此处取8台并联。取7+1即可。

　　这时400kVA×7=2800kVA，满足了2500kVA的需求，如图14（a）所示。看可靠性R8是否满足。根据可靠性计算公式： 　
　　Rn=1-(1-rn-1)(1-r)
　　得R81=1-(1-r7)(1-r)=1-(1-0.997)(1-0.99)=0.999021
　　从结果看，不满足R=0.99999的要求。如果采用6+2的方案，则：
　　R82=1-(1-r6)(1-r)2=1-(1-0.996)(1-0.99)2=0.999994
　　这一次满足了要求。但容量只有400kVA×6=2400kVA，容量又不能满足了。如果用户的容量要求不可更改，只有采用双总线方可，如图14（b）所示。在双总线的情况下，系统地可靠性就是：R 8+8 =1-（1-R81）2=0..99999922

    此时倒是满足了可靠性的要求，但设备量增加了一倍多，投资也成倍增加，损耗也显著增加，这就需要权衡利弊。倒不如采用500kVA的6+2方案来的更经济些。而且容量500kVA×6=3000kVA富裕很多，不但减少了投资、降低了损耗，也提高了系统的可靠性。这个例子说明，在很多情况下双总线并不是唯一的和最佳的解决方案。从前面的讨论也可看出，当容量与可靠性不发生矛盾时，如果硬要采用双总线，不论什么理由都是不可取的。

　　2）减少设备量的途径

　　人们不禁要问：难道为了得到这一点好处就必须花费几倍的投资吗？实际上大可不必，正如前面讨论的那样：

　　（1）即使一个ATS故障而不能将另一路市电接入时，仍能保证全部负载不断电，从这个观点上说，可以将前面的两个ATS更换成普通断路器。

　　（2）既然要求在任何一路市电或UPS故障时都要保证全部负载不断电，冗余并联的UPS就可以完全满足，所以UPS输出和负载之间除了必要的开关之外没有必要再增加什么STS进行多余的切换。

　　（3）这里的重点就转到如何在一路市电和

　　ATS同时故障时仍能使另一路市电可靠地接入。这个问题再容易解决不过了，比如给双机冗余输入端的ATS配上旁路开关（有的是选件,有的就是标配）就可解决了，因为一路市电掉电是有告警的，UPS1输入电压断电也是有告警的，值班员就可在确认ATS确实故障后而合上旁路开关。不要期望全自动化，一般这样的机房都会有值班员。当然，如果确实需要全自动化，也是可以的，只要向供应商提出要求就是了。因此，双总线的供电效果完全可以用很小的代价来取代。

　　（4）减少UPS和STS设备量的途径

　　如果有的用户确实对双总线结构情有独钟，也未尝不可，在保证可靠性与可用性的前提下也有节约的方法。有的认为双总线必定需要用图14（b）的结构方式，即两路电源必须用两个台大容量STS进行互相切换。实际上双总线也各有不同，以图15为例：

　　（a）双开关二单机双总线结构

　　这个电路结构的特点在于每台UPS有两个输入开关，一个普通断路器和一个ATS转换开关。普通断路器供UPS主电路应用，ATS供两台UPS的旁路用电，这样一来从输入开关上就加了一层冗余，即使其中一路市电故障断电，仍能保证双电源设备的双路供电。这里只用了一个STS为单电源设备供电，与双UPS并联冗余相比，增加设备不多。如果采用分散小型STS结构方案，功耗、价格和占地面积还可降低。

　　（b）双开关三单机双总线冗余结构

　　从前面的分析可知，当一路市电故障（比如市电1）断电时，断电这一路UPS1的输出就是通过ATS送过来的市电，这样一来，双电源设备的两个输入就有一路是市电，有可能引入干扰。为此可用第三台UPS来代替图（a）中的市电，如图所示，此结构同时也具有了串联热备份的功能。

　　（c）多机双总线同一冗余结构方案

    在多机双总线的情况下，除去前面的冗余方案外，还可采用该图的结构方式。以后双电源的设备越来越多，不用大型STS的双总线结构越来越多。那时双总线与并联冗余的设备量就非常接近了，甚至相同。

　　3）采用双总线进一步的节能方案

　　对于一个大的信息中心机房而言无疑有大量的设备，但核心机器只是一部分而不是全部；即使是核心机器，这些机器的功率容量一般不会很大，当然刀片服务器的情况除外，这样一来就给供电方案的节能措施提供了方便。对于那些不是重点的机器可直接由双总线的一路提供就可以了，如果仅对那些重点的机器供电进行多重保护的话，就可节约相当大的一部分能量。这里不妨介绍一个实际的例子：某系统配置了600kVA×2作1+1冗余的UPS，本来作1+1冗余直接并联即可满足可靠性和容量要求，但在实际方案中却给出了如图16（a）的电路结构。

　　这里两台600kVAUPS分成两路后分别送到10台60kVA容量的STS上，该10台STS各带自己的负载。开始有UPS1供电，一旦UPS1故障，STS就可以自动将UPS2切入来替换UPS1，以达到双电源冗余供电的目的。从前面的讨论中可以看出，在这里的可靠性与容量并未发生矛盾，两个单台UPS在容量上尚有极大的空间，如果不直接并联冗余首先就丢失了双倍过载能力的优点，直接隐患就是多了一个故障点。在过载能力上就走到串连热备份的路子上去了。并暴露出了如下的问题：

　　（1）增加了功率损耗

　　为了有一个量的概念，作如下计算，以满负荷为例，首先计算出UPS的输出电流：I=600kVA/220V=2727A静态开关是由三个PN结的可控硅构成，导通压降设为U=1.5V，于是在这些可控硅管上的消耗功率就是：P=IU=2727A×1.5V≈4091W

　　每年消耗能量：Q=4091W×8765h≈35857kWh=35857度 　

　　即每年仅仅STS就消耗掉35857度电能，有资料显示每kWh电的煤燃烧后可向大气中排放2.72kg的二氧化碳，35857度电的煤就向大气中排放35857×2.72kg=97531kg的二氧化碳。如果采用图16（b）的电路结构方案，就可将这些功率节约下来，将煤省下来，将二氧化碳的排放量降下来。

　　（2）增加了投资

　　按照当时用户的反映说，每台60kVA的STS价格为50万元人民币，10台就是500万元。采用了图15（b）的电路结构方案后，每台msts仅3000元，即使100台也才30万元，何况用量不足100台。该项投资不到原设计的十分之一，节约了投资。