谷歌欧洲数据中心究竟如何做到100%自然冷却?绿色数据中心
分析谷歌公布的这些图表(a)、(b),纵向看,它在全球各地的多个数据中心 PUE 控制都已游刃有余;横向看,PUE曲线波浪向下,说明谷歌数据中心的运营仍在逐步改进、不断优化,这种运营是长期的精细化调优的过程。这些图表的另一个显著信息是,其各个数据中心的 PUE 有着一个规律的生物钟,不管是以季节,还是以天、小时为时间颗粒度单位,都表现出较大的波动性规律。这说明 Google 数据中心的自然冷水平高超。它基于室外自然环境温度,尽量利用外界冷源带走热量而不启动机械制冷,在散热方面只给够用的冷量,躬行节俭。
(a) Google多个数据中心的多年PUE曲线
(b) Google某一数据中心的日PUE曲线
本文即将介绍的是比利时水侧自然冷数据中心、爱尔兰空气侧自然冷数据中心和芬兰海水直接冷却数据中心。
一、比利时数据中心
Google 比利时的数据中心位于 Saint – Ghislain,2008 年初启动该数据中心的第一阶段,2011 年 Q1 完成全部阶段设计。2011年Q1的PUE可以低达1.09,全年平均PUE为1.11。
图(c) Google比利时数据中心
该数据中心的蒸发冷却系统从附近的工业运河抽取用水。
“我们设计并制作了一个站内的水处理厂,这样我们就不用使用供应城市的可饮用水”。
该数据中心利用运河的冷水带走热量:在自己修建水处理厂处理好运河水后给数据中心提供冷量,只采用冷却塔而非制冷机组来散热,这个实现了 100%水侧自然冷的机房,是谷歌的第一个完全自然冷的数据中心。整个水处理厂的污水处理过程如图(d)所示:
图(d) 整个水处理厂的污水处理过程
Google 建设的现场水处理工厂直接从运河中抽取河水,过滤处理并净化到可用于制冷散热的工业用水标准。然后用水泵将净化后的冷水输送到模块化储冷大水罐,再供给到各个冷却塔,用于后续蒸发冷却。将400米开外的工业运河水变废为宝,其结果不仅冷却了服务器,还清洁了水源,当地的部长也对这场Google为主导的双赢合作赞不绝口。
图(e) 热交换器热交换设计
图(f) 热交换器热交换设计部分详解
图(e)、(f)是其热交换器热交换设计,它解释了谷歌是如何将室内的热量存于水箱中的低温运河水,再从冷却塔被带走以实现无需机械制冷的目的。比利时的气候几乎可以全年支持免费的冷却,平均每年只有7天的气温不符合免费冷却系统的要求。Kava指出,机房温度不需要像以前那样低。2008年,美国加热冷冻及空调工程师协会(ASHRAE)建议数据中心的温度应保持在 20 -25 ℃之间——但Google建议将其保持在 27 ℃以上。
“构建一个高效的数据中心的第一步就是设法提高它的温度,我们的机器、服务器、存储阵列、以及其它任何东西,在比之一般数据中心称得上是‘火炉’的‘高温’地区都能很好地运行。对我而言,任何数据中心只能在 20甚至18 ℃以下的环境运行都颇为可笑。”
但是在比利时这里,也会有时热的连服务器都不能运行,这时Google就会将这里的工作移交给其他数据中心负责。Kava 没有给出任何细节,但他表示这种数据中心之间的工作交接涉及到一个叫做Spanner 的软件平台。这个Google设计的平台曾在2009年10月的一个谈论会上有所提及,但是这是Google第一次公开确认Spanner确实有在使用。
图(g) spanner 设计目标
根据Google在2009年的讨论会上的陈述,Spanner是一个“存储及计算系统,遍及他们所有的数据中心,可基于限制及使用特点来自动转移或增加数据和计算的副本。”这包括涉及带宽、丢包率、能源、资源及“失败模式”——比如当数据中心内部出现错误的时候。
二、爱尔兰数据中心
Google 爱尔兰数据中心位于都柏林,是已有退役建筑——市长大厦翻新改造而成的。因为谷歌在欧洲没有足够的运维人员,所以希望将该数据中心设计成空气侧的自然冷却机房。该数据中心已于2010年上半年完成了全部工程,他们实现了100%的空气侧自然冷却,采用直接蒸发制冷技术并且定制了个热回收单元,这是Google在欧洲的第二个无制冷机组的数据中心。
都柏林的气候条件得天独厚,但由于该数据中心受限于已有的建筑结构和散热供水,无法安装大型的冷却塔,因此采用了模块化的AHU方案。
图(h) 模块化AHU方案
图(i) 模块化AHU方案内部应用场景
从室外取自然空气送入到混风室与机房内回风混合,经过滤和加湿等环节,用 AHU 风扇送到直接蒸发盘管进行冷却,最后通过送风管道进入机房。由于采用了热通道封闭方案隔离热气流,进入机房的冷空气经 IT 设备加热后,部分参与回风,部分则直接排放到室外。直接蒸发制冷技术在夏天可用于调峰,比如在高温天气冷却室外进入机房的热空气,也可以在干燥的冬天用于机房湿度调节。
三、芬兰海水制冷数据中心
2009 年二月,Google 耗资 5200 万美元购买了一座位于芬兰 Hamina的废弃的造纸厂,他们认为这座拥有 56 年历史的建筑,是建设其提供大量网络服务的数据中心的理想场所之一。Google 和 DLB 公司一起将其进行改造设计成数据中心。
图(j) 海水制冷方案
图(k) 海水制冷原理
这个数据中心的独特之处在于采用了100%的海水散热。Google利用该造纸厂已有建筑,包括造纸厂原有水下通道,采用模块化制冷单元和闭式的内循环冷冻水(淡水),对开式外循环冷却水(海水)的热交换器传热,将升温后的海水送到室外的温度调节房,这个房间的主要作用是将送出的热水和进入的新鲜海水混合。
“当我们将水排出到海湾的时候,它的温度和湾内海水温度会很相似,这就将对环境的影响降低到最小。”
虽然这个数据中心供回水的ΔT和取得的PUE值暂时不公开,但相信应该是非常低的水平。
“公司的环境许可并没有要求控制水温。这让我感觉很好,我们不是只做我们被要求做的。我们去做那些我们认为对的事情。ISO认证说明谷歌正在获得它想要的。当局者迷,局外者清。第三方的加入让我们保持清醒。”
采用海水来散热有很多新的技术挑战,需要做热仿真,包括各个季节海水的不同温度、水垢带来的影响,以及海水对管路的腐蚀等。谷歌在 Hamina 数据中心中 采用了玻璃纤维材料的水管,并在热交换器上采用了镀钛的板换叠片等技术用于防止海水腐蚀。虽然这些技术在数据中心行业中也许还比较新,但海水散热在其他行业中已有较多应用,可以从相关行业学习到这些经验和教训。
图(l) 海水制冷数据中心应用内景
图(m) 支持海水制冷需求的特殊材料
为了保障设计可行,在概念设计阶段Google的热仿真工作精益求精。它采用CFD技术,验证了风向和风强等对海水温度的影响,研究了不同时间海水的潮汐效应。另外还考虑盗了芬兰湾水位高低、海水温度变化、盐度大小以及海藻等对机房散热的影响。Google 还根据该地区过去三十年海水温度的数据,来确定管道从哪里取水和排水、进出水口应安装在水面以下多深的地方等。采用海水冷却不好直接采用化学过滤等,因此海水换热器的设计至关重要。Google在Hamina的设计中采用了四重的海水过滤系统,分别是粗效过滤、沿途过滤、药剂过滤和高效过滤器环节,并为了长期维护方便,现场建设了可更换的CIP(clean in place)过滤环节。
此外大型海水冷却泵的水锤作用导致的损坏也引人瞩目,该损坏主要来自阀门快速关闭时对管路带来的强烈冲击,其产生的原因是关闭阀门后水被抽走导致管内真空,从而管内外压力差很大。而用于防止海水腐蚀采用的玻璃纤维材料的水管强度不够高,在水击发生时的压力下容易造成管路爆裂,为此 ,Google专门设计了个空气输入阀门,来控制压力差变化并缓冲其冲击。总之海水冷却设计是个挑战,设计中需要专业的工程学知识和技术,需考虑参数很多,且前期投入较大,因此对于小规模的数据中心建设并不划算,但应用在大体量的数据中心会是个精巧之处。
“对于某些规模较小的数据中心运营商/用户来说,(新型海水冷却系统)可能不具有经济效益,但它却有社会效益。它可以提供一个可靠的热源——芬兰海湾每年都会结冻。”
另外,海水由于常年温度变化小且可预计,是非常稳定可靠的冷源,且几乎没有传统空调水系统带来的水消耗问题,同时得到非常低的PUE值。
图(n) 大型海水冷却泵的水锤设计
综上所述,谷歌的三个数据中心采用了完全不一样的制冷方式,但都实现了100%的自然冷却,其设计高效、简单、可靠。因此自然冷却百家争鸣,且没有绝对的优劣。实现方式依赖于当地的地理位置、气候。因此数据中心的设计应考虑长期的TCO大胆创新,而不要局限于某一种固定的解决方案。