数据中心制冷选择：风冷液冷谁更佳？

　　ILM公司（Industrial Light & Magic）最近用目前最热门的IBM BladeCenter服务器上替换其旧服务器。ILM公司的这一举措将把数据中心单个机柜的电能消耗平均减少140千瓦，节省幅度达到84%。不过，新机柜中的热密度反而更好高了：现在每个机柜用电28千瓦，而之前为24千瓦。这些电能最终都要转换成热能，而这些热能会透过机柜散发到数据中心，最后由数据中心的空调系统带走。

　　新机柜配有84台刀片服务器，每个刀片服务器有2个四核处理器和32GB的内存。这些服务器功能非常强大，与3年前采购的BladeCenter相比，一台服务器的处理能力相当于过去的7台BladeCenter。这家公司主要进行电脑特技设计，这些机柜组成渲染农场用以对图像进行处理。一个新的42U机柜产生的热量相当9个家用烤箱以最高温度工作。为了制冷，ILM数据中心的空调系统几乎是满负荷工作。

　　惠普副总裁兼关键基础设施服务部门总经理Peter Gross介绍说，近年来新建的大多数数据中心其设计制冷能力大都为每平方英尺100-200瓦，每个机柜的制冷能力为4千瓦。而一个数据中心的设计制冷能力达到200瓦时才能支持平均5千瓦的机柜热密度。如果对气流流向进行精心设计和专门优化，机房的空气调节系统有可能保证用电量达25千瓦的机柜。而现在ILM公司的数据中心每个机柜用电达到28千瓦，这已经是现有的机房空调系统最高极限了，从事数据中心能效研究的IBM 研究员兼首席工程师Roger Schmidt说，“ILM是在挑战30千瓦的极限，这将注定是一个相当艰苦的工作。”

　　这是可持续发展？

　　现在的问题是接下来会发生什么？“未来用电量还要增加怎么办？完全可能因为制冷问题无法解决，导致我们不能在往数据中心中添加任何设备。今天，这个问题已经开始显现出来了。”Schmidt说。

　　Schmidt认为超过30千瓦的高功率密度计算以后将不得不依赖于水冷。不过其他专家表示，数据中心的相关设备制造商也有可能通过通力合作降低服务器的部署成本，使得服务器不用都挤在机柜中，而是分开摆放，这样机柜中的热密度就不至于越来越高。

　　ILM信息技术总监凯文-克拉克对采用新的刀片服务器后获得的计算能力的提升和节电效果很满意，他说这也符合当今节能环保的大趋势。根据IDC的研究，服务器的平均价格自2004年以来已经下降了18％，而CPU成本下降了70％，达到715美元。但克拉克无法知道，这种计算密度成倍增长持续下去的话，自己的机房到底还能维持多久。“就现有的机房设备而言，如果计算密度加倍的话，从制冷的角度来说，就是难以满足需求的。”他说。

　　他并不是唯一关注制冷问题的人。40多年来，计算机行业按照摩尔定律规定的进程快速发展，每两年计算密度增加一倍。然而，现在一些工程师和数据中心的设计师们开始怀疑这条道路的可持续性，这条路似乎已走到了尽头。现在面临的困难不只是芯片制造商是否能够克服制造更密集晶体管所面临的技术挑战，还在于现代数据中心要运行和管理如此多的高计算密度的机柜是否经济。

　　现代数据中心机柜中安装的IT设备越来越多，这不仅意味着机柜用电量大大增加，还意味着后面的所有辅助设施的容量和用电量也相应增加，包括冷却系统、配电设备、UPS和发电机等都会按比例增加。这值得数据中心经理们注意。

　　IDC公司在2009年曾调查了1000家数据中心的负责人，接受调查者中21％的人将电力和制冷列为数据中心当前面临的最大挑战。将近一半（43％）的人说这是它们运营成本增加的最主要原因，1/3的人说他们经历过因制冷问题或者电力问题导致的服务器宕机。

　　Christian Belady是微软全球基础服务集团经验最丰富的基础设施架构师，负责设计和管理着微软最近在美国华盛顿州昆西市建立的数据中心。他说，采用高架地板形式的数据中心单位建设成本太高，微软在昆西的数据中心基础设施的建设成本占项目总成本的82％。

　　“我们必须改变过去的那种错误观点，就是计算密度越高越好。”Belady说，“要知道，你的计算密度加倍意味着所有的辅助设施、制冷系统容量都要加倍。”

　　格罗斯说，随着数据中心内单位面积上的计算密度增加，虽然整体机电成本变化不大，但由于功率密度增加而带来的运营成本却大大增加了。

　　IBM的施密特表示，对于新建的数据中心而言，最大的资金投入不是建筑本身，而是保证公司电力供应的设备成本以及相应的制冷成本。

　　计算密度的增加已经让一些大型数据中心的建设项目资金突破了10亿美元大关。 “很多总裁级的人听说新建数据中心要这么高的投入都吓了一跳。”施密特说。

　　Gartner公司的分析师拉克什库马尔说，从电力使用和成本的角度来说，功率密度不可能无休止地增长下去。幸运的是，大多数企业的数据中心机柜的电力消耗暂时还没有达到像ILM这样的水平。Gartner的客户中约有40％其数据中心每个机柜功率为8-9千瓦，当然有些则高达12至15千瓦，不过，功率呈明显上升趋势。

　　现在，一些企业数据中心和一些对外提供托管服务的IDC开始对用电情况进行监测，并把它作为数据中心的依据之一，而它们在以前只是按照租用空间收费的，根本就没有考虑到底用多少电。有些IDC针对大客户采用根据用电多少决定收费多少，也就是用户先提出最高要用多少电，IDC再据此给其分配相应的空间。

　　求购千瓦

　　不过，指望客户不仅知道他们需要租用什么样的设备，还要了解安装了这些设备的机柜大约需要用多少电，似乎不太现实。

　　“对于某些客户来说，这是非常现实的，”从事服务器托管服务的Terremark公司的高级副总裁斯图尔特说。事实上，Terremark采用这种方法也是响应客户的需求。 “客户中有不少人找到我们说，它们最多需要多少电，让我们为他们安排空间，”他说。如果客户不知道什么是它的机柜要用多少电，Terremark会单独给这个公司配一根总电缆，通过这个电缆为客户的机柜供电。

　　IBM的施密特认为，功率密度还有可能进一步增加，但数据中心的制冷方案需要改变。

　　ILM的数据中心完成于2005年，设计供电能力为每平方英尺200瓦，从机房来说这个电力供应和制冷能力已经足够了，现在的问题是没有方法能有效地解决高密度机柜内部的制冷。

　　ILM公司采用了冷/热通道的设计，同时管理人员对通往冷通道的格栅板的数量和位置进行了调整，从而对流经机柜内的气流进行了优化。即便如此，为了避免机柜内的局部热点，空调系统还得保证整个13500平方英尺的机房不超过18.5摄氏度。克拉克知道这有些浪费，今天的IT设备设计运行温度高达27摄氏度以上，所以他正在关注一种称为冷通道密封的技术。

　　已经有一些数据中心在试验对一些高热密度地方的冷热通道进行密封，通道两端设有大门，为防止热空气和冷空气通过机柜顶端到天花板之间的空隙进行混合，这个位置也用隔板封上。除了这些办法之外，有的数据中心还让冷空气可以直接进入机柜底部，在机柜内与IT设备进行热交换，然后逐步上升，最后通过机柜顶部的出口进入回风道，通过天花板顶部的管道返回，从而创造出一个闭环的制冷系统，彻底避免冷、热气流的混合。

　　“冷/热通道的方法其实还是传统的方法，而不是最优的。”埃森哲数据中心技术经理和运营经理Rocky Bonecutter说：“最新的趋势是铺设围栏，对冷热气流进行分流。”

　　据惠普的Gross估计，如果数据中心利用这种技术，普通的机房空调系统可以最高满足每个机柜25千瓦左右的制冷需求。“当然，这需要仔细地对冷热气流分进行隔离、防止串流，还要对气流路线进行优化。这些工作必须固定下来，成为一种例行工作。”他说。

　　虽然按照现在的标准来重新设计数据中心，能降低能耗和解决制冷的难题，然而，单个机柜的功率却是越来越大，最新安装刀片服务器的机柜每个功率已经超过25千瓦。在过去的5年里，IT一直在不断对机柜、高架地板等进行重新设计以及对气流进行优化，最显而易见的成果是提高了电能的利用率。但是，如果机柜内的热密度继续上升，建设密封的围栏将确保机房制冷的最后一招了。

　　从风冷换成液冷？

　　为了解决高热密度机柜中的热点问题，一些数据中心已经开始转向到液体冷却了。最常用的液体冷却技术称为紧耦合制冷，需要用管道将冷冻液（通常为水或乙二醇）输送到高架地板之上或者直接把冷冻液输送到机柜内部，然后通过风和冷冻液之间的热交换达到给机柜内部降温的目的。库玛估计，Gartner 20％的企业在使用某种类型的液体制冷，至少在一些高密度的机柜里已经用到了液体制冷。

　　IBM的施密特说，那些采用机房整体制冷的数据中心，尤其是那些为了应对高热密度不得不采用更大的柜式空调的数据中心，采用液体制冷可以节省一笔不小的电费施。

　　但微软的Belady认为液体制冷仅限于一个相对较窄的领域：高性能计算。“如果你想把制冷的液体送到芯片，成本马上就会上升。”他争辩说，“迟早有人会问这样一个问题：这种方法成本那么高，为什么我还要用呢？”

　　Belady认为遏制用电密度不断上涨势头的最好方法是改变数据中心的收费方式。微软如今已经改变了它的成本分摊办法，不再是仅仅根据用户的占地面积和机柜的利用率来收费，而是开始把用户的用电量考虑进来。而采用这种收费办法之后，局面马上得到了改观，每个机柜的用电量开始下降。“如果成本按照用电量来考核的话，机柜内的热密度自然会下降。”他说。

　　自从微软开始按照用电量收费，其用户的关注重点从在尽可能小的空间中获得最强大的处理能力转变为用最小的电力消耗获得最大的处理能力。这并不是说收费策略的这种改变就一定不会导致出现高热密度，最终还要取决于所提出的解决方案总体能源效率。 “但是，如果你是按照占用空间的多少收费，100％是引向高热密度的。” Belady说。

　　今天，很多IT设备供应商的产品是按最高热密度设计的，用户往往也愿意为了节省机房地面空间而购买更贵的适应高热密度环境的服务器等设备。因为很多机房的收费是按照占用的机房空间来计算的。殊不知，更高的用电量会带来电力分配设备和制冷用电量相应增加，由此导致电能最终利用率会下降。实际上，营运成本中80％是随着用电量的增加而会增加的，比如机电基础设施必须为机柜输送所需的电力规模，同时为这些机柜内的设备制冷。

　　Belady以前曾是惠普公司的一名非常杰出的工程师，从事服务器的设计工作。他说，IT设备的设计就应该考虑到让设备能在较高的温度下可靠工作。比如用电设备要被设计为最高在27摄氏度以上的温度下工作。这个设计温度从2004年开始一直在不断上升设计师。这一年ASHRAE（美国社会、制冷及空调工程师协会）规定设计温度为72华氏度（22.2摄氏度）。

　　不过，Belady认为数据中心设备在27度以上的温度运行，可能带来更大的用电效率。“一旦机房允许在较高的温度下运行，机会之门就被打开了。比如，你可以利用室外的空气来为机房降温，这样你就无需安装这么多的冷却设备，不过，机柜的热密度不能太高。”他说，有些处于气温比较低的地方的数据中心已经在尝试在冬天关闭冷却机组，而直接使用室外的冷空气来免费给机房降温。

　　如果IT设备可以在35摄氏度下正常工作，很多数据中心几乎可以全年不用空气冷却器。Belady接着说：“而如果IT设备在50摄氏度下也可以正常工作，那世界上所有的数据中心都不再需要空调了，这将完全数据中心的运营方式。不幸的是，至少现在看来是不太可能的。”

　　Belady希望IT设备能更结实一些，但他也认为，服务器实际上比大多数数据中心的管理者所设想的要结实一些。他认为整个行业需要重新思考如何运营和管理分布式计算系统。

　　Belady说，理想的策略是要开发出一种系统，这个系统中每个机柜是针对某个特定的功率密度和工作负载进行专门优化的，这可以确保每个机柜始终性能最佳、最节能。这样，不管是供电还是制冷资源都将得到最有效的利用，既没有过度利用也不浪费。“如果你的基础设施没有得到充分使用，从可持续性的角度而言，与多度利用相比这是一个更大的问题。”他说。

　　未来会怎么样？

　　Belady认为，未来数据中心可能向两个方向演进。高性能计算将采用液体制冷，而其他的企业数据中心和基于互联网数据中心（如微软的数据中心）仍然会继续沿用风冷的制冷方式。不过，这些数据中心可能会迁往低价更便宜、电力成本更低的地方，这样才能继续扩大规模。

　　戴尔企业产品部CTO Paul Prince认为，大多数数据中心不会很快遇到高功率密度的问题。每个机架的平均功率密度仍然在机房空调系统可以承受的范围内。他说，冷热通道的系统和设计围栏进行冷热气流隔离等方法人为地在机房中开辟出了“一个冷却区”，在一定程度上解决数据中心局部热点问题。“数据中心的功率密度和热密度肯定将继续上升。但是，这种变化一定是渐进的。”

　　在ILM公司，克拉克注意到采用液体作为制冷剂的紧耦合制冷方式是一个大趋势，不过，他和大多数同行一样，对在数据中心用液体作为冷媒还有些不放心。但他认为，高性能的基础设施必须采用这些新的办法。

　　“虽然暂时有些难以接受，但是既然是个大趋势，我们会尽快改变我们的观念，只要这些技术能真正帮助我们解决问题。”克拉克说