谷歌欧洲数据中心究竟如何做到100%自然冷却？

　　分析谷歌公布的这些图表(a)、(b)，纵向看，它在全球各地的多个数据中心 PUE 控制都已游刃有余；横向看，PUE曲线波浪向下，说明谷歌数据中心的运营仍在逐步改进、不断优化，这种运营是长期的精细化调优的过程。这些图表的另一个显著信息是，其各个数据中心的 PUE 有着一个规律的生物钟，不管是以季节，还是以天、小时为时间颗粒度单位，都表现出较大的波动性规律。这说明 Google 数据中心的自然冷水平高超。它基于室外自然环境温度，尽量利用外界冷源带走热量而不启动机械制冷，在散热方面只给够用的冷量，躬行节俭。

(a) Google多个数据中心的多年PUE曲线

（b） Google某一数据中心的日PUE曲线

　　本文即将介绍的是比利时水侧自然冷数据中心、爱尔兰空气侧自然冷数据中心和芬兰海水直接冷却数据中心。

　　一、比利时数据中心

　　Google 比利时的数据中心位于 Saint – Ghislain，2008 年初启动该数据中心的第一阶段，2011 年 Q1 完成全部阶段设计。2011年Q1的PUE可以低达1.09，全年平均PUE为1.11。

图(c) Google比利时数据中心

　　该数据中心的蒸发冷却系统从附近的工业运河抽取用水。

　　“我们设计并制作了一个站内的水处理厂，这样我们就不用使用供应城市的可饮用水”。

　　该数据中心利用运河的冷水带走热量：在自己修建水处理厂处理好运河水后给数据中心提供冷量，只采用冷却塔而非制冷机组来散热，这个实现了 100%水侧自然冷的机房，是谷歌的第一个完全自然冷的数据中心。整个水处理厂的污水处理过程如图(d)所示：

图(d) 整个水处理厂的污水处理过程

　　Google 建设的现场水处理工厂直接从运河中抽取河水，过滤处理并净化到可用于制冷散热的工业用水标准。然后用水泵将净化后的冷水输送到模块化储冷大水罐，再供给到各个冷却塔，用于后续蒸发冷却。将400米开外的工业运河水变废为宝，其结果不仅冷却了服务器，还清洁了水源，当地的部长也对这场Google为主导的双赢合作赞不绝口。

图(e) 热交换器热交换设计

图(f) 热交换器热交换设计部分详解

　　图(e)、(f)是其热交换器热交换设计，它解释了谷歌是如何将室内的热量存于水箱中的低温运河水，再从冷却塔被带走以实现无需机械制冷的目的。比利时的气候几乎可以全年支持免费的冷却，平均每年只有7天的气温不符合免费冷却系统的要求。Kava指出，机房温度不需要像以前那样低。2008年，美国加热冷冻及空调工程师协会（ASHRAE）建议数据中心的温度应保持在 20 -25 ℃之间——但Google建议将其保持在 27 ℃以上。

　　“构建一个高效的数据中心的第一步就是设法提高它的温度，我们的机器、服务器、存储阵列、以及其它任何东西，在比之一般数据中心称得上是‘火炉’的‘高温’地区都能很好地运行。对我而言，任何数据中心只能在 20甚至18 ℃以下的环境运行都颇为可笑。”

　　但是在比利时这里，也会有时热的连服务器都不能运行，这时Google就会将这里的工作移交给其他数据中心负责。Kava 没有给出任何细节，但他表示这种数据中心之间的工作交接涉及到一个叫做Spanner 的软件平台。这个Google设计的平台曾在2009年10月的一个谈论会上有所提及，但是这是Google第一次公开确认Spanner确实有在使用。

图(g) spanner 设计目标

　　根据Google在2009年的讨论会上的陈述，Spanner是一个“存储及计算系统，遍及他们所有的数据中心，可基于限制及使用特点来自动转移或增加数据和计算的副本。”这包括涉及带宽、丢包率、能源、资源及“失败模式”——比如当数据中心内部出现错误的时候。

　　二、爱尔兰数据中心

　　Google 爱尔兰数据中心位于都柏林，是已有退役建筑——市长大厦翻新改造而成的。因为谷歌在欧洲没有足够的运维人员，所以希望将该数据中心设计成空气侧的自然冷却机房。该数据中心已于2010年上半年完成了全部工程，他们实现了100%的空气侧自然冷却，采用直接蒸发制冷技术并且定制了个热回收单元，这是Google在欧洲的第二个无制冷机组的数据中心。

　　都柏林的气候条件得天独厚，但由于该数据中心受限于已有的建筑结构和散热供水，无法安装大型的冷却塔，因此采用了模块化的AHU方案。

图(h) 模块化AHU方案

图(i) 模块化AHU方案内部应用场景

　　从室外取自然空气送入到混风室与机房内回风混合，经过滤和加湿等环节，用 AHU 风扇送到直接蒸发盘管进行冷却，最后通过送风管道进入机房。由于采用了热通道封闭方案隔离热气流，进入机房的冷空气经 IT 设备加热后，部分参与回风，部分则直接排放到室外。直接蒸发制冷技术在夏天可用于调峰，比如在高温天气冷却室外进入机房的热空气，也可以在干燥的冬天用于机房湿度调节。

　　三、芬兰海水制冷数据中心

　　2009 年二月，Google 耗资 5200 万美元购买了一座位于芬兰 Hamina的废弃的造纸厂，他们认为这座拥有 56 年历史的建筑，是建设其提供大量网络服务的数据中心的理想场所之一。Google 和 DLB 公司一起将其进行改造设计成数据中心。

图(j) 海水制冷方案

图(k) 海水制冷原理

　　这个数据中心的独特之处在于采用了100%的海水散热。Google利用该造纸厂已有建筑，包括造纸厂原有水下通道，采用模块化制冷单元和闭式的内循环冷冻水（淡水），对开式外循环冷却水（海水）的热交换器传热，将升温后的海水送到室外的温度调节房，这个房间的主要作用是将送出的热水和进入的新鲜海水混合。

　　“当我们将水排出到海湾的时候，它的温度和湾内海水温度会很相似，这就将对环境的影响降低到最小。”

　　虽然这个数据中心供回水的ΔT和取得的PUE值暂时不公开，但相信应该是非常低的水平。

　　“公司的环境许可并没有要求控制水温。这让我感觉很好，我们不是只做我们被要求做的。我们去做那些我们认为对的事情。ISO认证说明谷歌正在获得它想要的。当局者迷，局外者清。第三方的加入让我们保持清醒。”

　　采用海水来散热有很多新的技术挑战，需要做热仿真，包括各个季节海水的不同温度、水垢带来的影响，以及海水对管路的腐蚀等。谷歌在 Hamina 数据中心中 采用了玻璃纤维材料的水管，并在热交换器上采用了镀钛的板换叠片等技术用于防止海水腐蚀。虽然这些技术在数据中心行业中也许还比较新，但海水散热在其他行业中已有较多应用，可以从相关行业学习到这些经验和教训。

图(l) 海水制冷数据中心应用内景

图(m) 支持海水制冷需求的特殊材料

　　为了保障设计可行，在概念设计阶段Google的热仿真工作精益求精。它采用CFD技术，验证了风向和风强等对海水温度的影响，研究了不同时间海水的潮汐效应。另外还考虑盗了芬兰湾水位高低、海水温度变化、盐度大小以及海藻等对机房散热的影响。Google 还根据该地区过去三十年海水温度的数据，来确定管道从哪里取水和排水、进出水口应安装在水面以下多深的地方等。采用海水冷却不好直接采用化学过滤等，因此海水换热器的设计至关重要。Google在Hamina的设计中采用了四重的海水过滤系统，分别是粗效过滤、沿途过滤、药剂过滤和高效过滤器环节，并为了长期维护方便，现场建设了可更换的CIP（clean in place）过滤环节。

　　此外大型海水冷却泵的水锤作用导致的损坏也引人瞩目，该损坏主要来自阀门快速关闭时对管路带来的强烈冲击，其产生的原因是关闭阀门后水被抽走导致管内真空，从而管内外压力差很大。而用于防止海水腐蚀采用的玻璃纤维材料的水管强度不够高，在水击发生时的压力下容易造成管路爆裂，为此 ，Google专门设计了个空气输入阀门，来控制压力差变化并缓冲其冲击。总之海水冷却设计是个挑战，设计中需要专业的工程学知识和技术，需考虑参数很多，且前期投入较大，因此对于小规模的数据中心建设并不划算，但应用在大体量的数据中心会是个精巧之处。

　　“对于某些规模较小的数据中心运营商/用户来说，（新型海水冷却系统）可能不具有经济效益，但它却有社会效益。它可以提供一个可靠的热源——芬兰海湾每年都会结冻。”

　　另外，海水由于常年温度变化小且可预计，是非常稳定可靠的冷源，且几乎没有传统空调水系统带来的水消耗问题，同时得到非常低的PUE值。

图(n) 大型海水冷却泵的水锤设计

　　综上所述，谷歌的三个数据中心采用了完全不一样的制冷方式，但都实现了100%的自然冷却，其设计高效、简单、可靠。因此自然冷却百家争鸣，且没有绝对的优劣。实现方式依赖于当地的地理位置、气候。因此数据中心的设计应考虑长期的TCO大胆创新，而不要局限于某一种固定的解决方案。