数据中心IT设备供电技术发展趋势

　　近年来，随着信息技术的快速发展，IT设备需求呈爆发性增长趋势，相应的，作为IT设备基础设施的载体，各地数据中心开始了前所未有的大规模建设。作为数据中心关键基础设施的供电系统，因其投资额度大、占地面积多、运行效率直接关系运营成本而受到越来越多的关注，对其可用性和能效性提出了越来越高的要求。

　　供电系统涵盖内容广泛，设备种类繁多，在不同的供电体制下（如典型的苏制和美制供电系统）架构也会有所不同，但前端供电系统一般不是用户能决定的，而为IT设备直接供电的末端供电系统实际在很大程度上影响着数据中心的建设和运营成本，因此，本文将主要论述末端IT设备的供电系统典型方案和发展趋势。

　　数据中心主流IT设备供电方案

　　一、不间断电源主用方案

　　1.1 AC UPS方案

　　几十年来，为解决数据中心内IT设备的供电间断和供电波动等电能质量问题，数据中心一直采用AC UPS+后备电池方案，由AC UPS提供符合电能质量需求的供电波形，由后备电池解决供电的短时中断，在世界范围内得到了广泛而成熟的应用。但近年来，随着数据中心建设规模的越来越大，用户对数据中心能效和可用性的要求也越来越高，该方案固有的效率低和可用性差等缺陷越来越不为用户接受。事实上，采用单机AC UPS供电时，在负荷率较高情况下，可以达到90%甚至更高的系统效率，但实际项目中通常会根据不同可用性的需求，大量采用N+1或2N系统配置，因冗余度较高而导致实际负载率较低，直接导致了实际系统效率仅约80%-90%，甚至更低。这意味着在一个IT负载为1000kW的数据中心中，仅AC UPS及其相应制冷损耗就耗费了约200kW，能效过低。另外，AC UPS因其自身原理特性，系统架构复杂，内部器件繁多，导致其可靠性差（尤其是输出端的静态开关切换时容易产生瞬断），维护难度大，实际可用性较低。典型方案详见下图。

　　1.2 HVDC方案

　　为解决AC UPS存在的固有问题，从1999年起，法国电信等机构陆续开始了对高压直流系统的研究（以下简称HVDC，与后述48V DC UPS同属DC UPS），国内自2007年开始逐步尝试，目前，高压直流的主流方案是国内的240V、336V和国外的380V等形式。由于绝大多数的标准交流输入设备不用任何改造就可直接采用240V直流供电，因此国内主流运营商已开始逐步大面积推广240V HVDC系统，目前在用IT设备已超过10万台，应用逐渐趋于成熟，预计将来会呈指数型增长。而336V、380V等电压等级的高压直流需要专门定制服务器电源，对于上百种的数据中心IT设备而言定制推广难度过大，且配套的配电系统目前还不够成熟，因此目前实际使用极少，仅存在试点状态。故本文下述仅讨论相对成熟的240V HVDC系统，HVDC相对传统AC UPS而言，系统结构大大简化。详见下图。

　　HVDC系统与传统AC UPS系统相比有诸多优势：

　　可用性：拓扑简单，电池直接挂在输出母线上，可靠性高；插拔式设计，可在线扩容、不掉电割接，便于维护。实际可用性显著高于传统AC UPS系统。

　　建设成本：HVDC系统结构简单，模块冗余度相对较低，满足同样可用性需求的1000kW IT负载时，HVDC系统配置较AC UPS系统配置低约30%。国内HVDC市场仍处于逐步成熟期，HVDC系统的单kVA造价较AC UPS略高，但随着将来市场的进一步成熟，满足同样容量和可用性需求的HVDC系统较AC UPS系统的建设投资有望降低约20%以上。

　　运行效率：虽然两种方案的单机设备在一定负载率下的效率相差无几，但因HVDC系统整流模块采用小容量的N+1冗余，冗余度相对较低，且具备模块休眠功能，故其整流模块始终能运行在50%-80%的高负载率区间，使得实际运行效率可以达到92%以上。比传统AC UPS的实际效率高出约10%-15%。

　　1.3 小结

　　HVDC系统以其在系统效率、可靠性、可维护性及建设成本等方面的突出优势，将逐步取代传统AC UPS。传统AC UPS行业后来虽衍生出了模块化UPS等技术分支，部分解决了传统UPS负载率低、分期建设难、可扩展性差等问题，但由于多模块的交流并机复杂性、单点并机板、异常转旁路、电池挂接在逆变器前逆变损坏等风险都无法和HVDC技术媲美，因此只能是有短暂局部应用的过渡性技术，无法彻底改变其固有技术特性，AC UPS已经逐步边缘化。

　　二、市电+不间断电源共用方案

　　目前，市面上大部分的1U和2U服务器均设置双路电源模块，双路电源模块经过各自整流降压后，并联输出至服务器主板等最终用电设备，在一路电源模块故障或单路电源中断时不会直接导致服务器断电。近年来，随着市电供电质量的逐步提升、服务器电源模块适应性增强和用户对AC UPS能效过低等方面的不满，为兼顾建设成本、系统效率和可用性的提升，部分用户开始尝试采用1路市电+1路AC UPS同时供电的方案；而后，随着HVDC的逐步成熟，部分用户也开始尝试采用1路市电+1路HVDC同时供电的方案。

　　2.1 市电+ AC UPS方案

　　国内最初的应用来自百度公司2009年的自建机房，采用了1路市电+1路AC UPS的尝试，在保证了较高可用性的基础上，建设投资缩减近半，运行效率提升5%以上，百度也在后续大规模机房建设中有部分应用。详见下图。

　　可用性：近年来国内供电质量稳步提升，电力公司可承诺的供电可用性均可达到99.9%，1路市电+1路AC UPS配置的系统可用性可达7-8个9，与传统2N配置的AC UPS相比相差不多，可满足T4级供电可用性要求，高于传统N+1配置输出假双路至末端负载的系统可用性（5个9）。自应用以来，根据几年的运维实际观察，市电闪断或波形变动对服务器断电没有直接影响，市电供电也未给服务器电源模块运行带来明显故障率提升，实际可用性可以接受。

　　建设成本：与传统2N配置AC UPS系统相比，建设投资缩减近半。与传统N+1配置的AC UPS系统相比，投资略低。

　　运行效率：因市电侧供电效率接近于1，故在负荷率配置适宜的场所，实际末端配电系统效率可达到95%。较2N配置的AC UPS系统高出约10%，较N+1配置的AC UPS高出约5%。

　　2.2 市电+ HVDC方案

　　随着HVDC的逐步成熟，在1路市电+1路AC UPS的应用经验基础上，国内部分公司和运营商已开始逐步尝试推广1路市电+1路HVDC共用的供电方案，目前已经在各大基地型数据中心开始规模应用，预计将会是国内数据中心未来五年的主流发展趋势。详见下图。

　　可用性：因HVDC系统自身可用性高于AC UPS系统，故1路市电+1路HVDC配置的系统可用性可达8-9个9，高于1路市电+1路AC UPS配置的系统。

　　建设成本：与1路市电+1路AC UPS配置的系统相比，目前建设投资略低，将来有望降低约20%以上。

　　运行效率：市电侧供电效率接近于1，且HVDC本身具备模块休眠功能，故实际末端配电系统效率可达到96%，较1路市电+1路AC UPS配置的系统高出约1%。

　　2.3 小结

　　1路市电+ 1路AC UPS共用供电的方案开启了市电与AC UPS或HVDC等电源共同供电的先河，在更优化的技术成熟前，相对较优的1路市电+1路HVDC共用的方案将会成为国内未来5年的主流应用方案。

　　三、市电主用方案

　　前述各种主流应用方案，无论是AC UPS（或HVDC）主供还是市电+AC UPS（或HVDC）共用，因AC UPS（或HVDC）全部或部分供电的存在，末端系统效率最多可提升至约96%。是否还有进一步提高至99%甚至接近100%的理想供电效率的空间？是否能够采用市电主供，不间断电源备用的可能？以下几个典型案例具备示范性意义：

　　3.1 集中式市电主用方案

　　在1路市电+1路HVDC共用实验成功并在国内推广后，百度公司开始了采用1路市电主供+1路HVDC备用的尝试。双电源服务器的2路输入电源一路引自市电，另一路引自HVDC系统，正常时服务器由市电单路供电，HVDC系统电池处于充电状态，市电路停电时，由备用电池系统快速切换给另外一路服务器电源供电。此系统架构与1路市电+1路HVDC共用的系统架构完全一致，只需服务器两路电源模块具备主从等备用设置功能即可。详见下图。

　　此方案架构与1路市电+1路HVDC共用方案一致，通常设置单独的电池室，可根据需求选择电池后备时间；电源部分可单独设置，也可与机房一并设置，可根据机房排列规划，选择适宜的直流系统容量，集中用于单列或双列机柜的集中式供电。此方案最大的优点是在可用性基本不受影响和服务器基本不需定制的情况下，实现了较1路市电+1路HVDC共用方案更好的建设成本和运行效率。

　　可用性：此方案与1路市电+1路HVDC共用方案的可用性差别在于服务器的市电路断电时，服务器电源需从市电路主供切换至HVDC路主供，有切换过程。就目前服务器的双路电源备用方式而言，无论热备还是半热备，供电切换时间均小于0.1ms，远低于IEC规定的服务器和交换机类IT设备可承受的10ms供电瞬断而不中断的能力，基本不受影响。

　　建设成本：因HVDC处于备用状态，只在停电时作为短时断电支持向负载供电，故整流模块设置仅满足充电功率即可，较1路市电+1路HVDC共用方案节省建设投资约50%以上。

　　运行效率：正常时只有1路市电供电，仅蓄电池充电消耗极少电能，实际系统效率在99.5%以上，较1路市电+1路HVDC共用方案效率提升约3.5%。

　　3.2 半集中式市电主用方案

　　以Facebook公司案例为典型代表。服务器的2路输入电源一路引自市电，一路引自DC UPS系统。考虑电源设备成熟度，DC UPS选用48V开关电源，而不是国内选用的240V HVDC系统；考虑末端供电压降和线路耗材，选用6个机柜为一个供电单位；电源设备和电池设备与机柜同列布置。正常时服务器由市电单路供电，48V DC UPS系统电池处于充电状态，市电路停电时，由备用电池系统快速切换给另外一路服务器电源供电。此系统架构与前述1路市电主用+1路HVDC备用的系统架构接近，只是服务器有一路电源模块采用48V输入，需深入定制。详见下图。

　　此方案采用铅酸电池，铅酸电池的功率密度低、对温度敏感且存在漏夜等风险，因此把电池放在了IT机柜之外但靠近IT机柜安装。将来随着电池技术的发展，比如更高密度、放电能力及高温特性更好的锂电池推广成熟，此方案可进一步优化。

　　此方案的可用性及运行效率与前述集中式供电方案基本接近，建设成本会因不同地区有所区别，需针对不同项目具体分析。

　　3.3 分散式市电主用方案

　　以Google公司案例为典型代表。Google公司有百万级规模的服务器需求，对能耗和成本有更高的要求，也对行业产品定制化有更大的影响力。该公司方案采用深度定制服务器，前端完全取消AC/各类DC UPS系统，正常由单路市电直供服务器，在服务器内内置电池，将原有集中/半集中电池完全分布到每台服务器中，市电停电时由备用电池短时供电，因电池后备时间仅约30秒，故需设置安全可靠的油机系统保证不间断供电。此方案是完全消除AC/各类DC UPS的典型方案，以服务器自带定制化高效整流器+内置12V电池方式替代原有AC/各类DC UPS+电池系统，在降低电源转换环节和提升电源设备效率方面做到了极致。

　　该方案正常损耗仅为小容量的电池充电，系统能耗可达99.9%；同时也因电池容量小，实际后备时间仅约几十秒，一旦油机无法及时启动，将造成不可估量的损失，故Google也有软件级的备份方式来共同保证IT设备的高可用性。但即使如此，在类似国内高压自动化程度较低的地区，依然无法使用。此方案也采用铅酸电池，同样的随着将来电池技术的发展，比如锂电池的推广成熟，此方案可进一步优化。详见下图。

　　此方案的运行效率较前述集中式/半集中式供电方案略好；因追求极致效率和低成本，服务器仅设置1路电源模块，末端可用性相对较低，但因前端减少了AC/各类DC UPS，前端可用性相对较高，故整体可用性大致相当；此方案对服务器定制化程度要求很高，推广难度很大；此方案的建设成本会因不同地区有所区别，需针对不同项目具体分析。

　　3.4 小结

　　以上三种方案，均是以市电主用为基本指导思想的典型方案，末端配电系统效率均接近100%。Google的方案未见得是经济性最优的，但设备材料的消耗是最低的。可以预见的，在不远的将来，随着锂电池的推广成熟，经济性越来越好，在高压自动化程度较高的地区，尤其是定制化影响力较强的公司，Google的方案可能是主要发展方向之一。对于高压自动化程度较低的地区，或定制化水平不足以支持Google方案的地区，百度公司的方案应该是简单易推广的首要选择。Facebook的方案与百度方案比较相似，但供电电压相对较低，应用上更适用于一些类似微模块的特殊交付方式，或可较为容易的转换为整机柜交付方式下的48V架构，如腾讯公司针对其整机柜正在努力的方向，可以以整机柜为单位，定制48V电源和电池系统，同时满足服务器、交换机和风扇等设备用电，有待进一步探索，在此不再赘述。以下是三种方案的简单对比：

　　结论及建议

　　本文论述的各种方案都是数据中心几十年发展历程中的主流方案或典型方案，整体来看，以市电主用的三种方案将会是未来主流发展趋势，此类方案可能会随着局部器件（如锂电池）的成熟度提升或应用场景的不同（如微模块/整机柜）而加以优化改良，但基本架构预计不会有太大改变。以AC UPS（或HVDC）主供的供电方式将逐步淘汰，另外，随着市电主用方案的成熟，以1路市电+1路AC UPS/HVDC共用的供电方案预计也将在未来的5-10年逐步被取代。

　　未来的数据中心，具体选用何种架构方案，或者是在上述三种市电主用方案基础上做何种调整，需从以下多个角度综合考虑（从PUE的角度来看，以上几种典型的市电主供方案的末端PUE贡献均不超过0.01，已基本没有上升空间，故已无需多做考量）：

　　从TCO的角度来看，不同国家和地区的建设及运维成本均有所区别，需结合具体项目具体核算。

　　在TCO之外，还应充分考虑这些架构在不同地区、不同供电体制、不同市场成熟度、不同建设进度要求和交付方式条件下的适用程度。