谷歌数据中心空调系统建设三大特点

　　水对于数据中心来讲并不陌生，谷歌的数据中心多采用冷冻水系统，如图1中谷歌数据中心的大型空调系统。水冷的核心优势是输送水比输送空气成本更低，而且水的比热容比空气大得多。虽然数据中心进水可能是场噩梦，但是对于处理器数量日益增加的高效运转的数据中心服务器而言，通过水冷方式给服务器处理器降温可能是最行之有效的一种散热方式。

　　谷歌的设计思想是尽可能让水通过各种方式到达机架，这并不是工业界第一次这么做，但谷歌做得几近完美。谷歌数据中心高级总监Joe Kava表示：“一旦水冷管泄露，后果非常严重。我们的设计经过了多年考验，万无一失。”此外，虽然水系统的运行效率较高，但采用水系统的大规模数据中心其管路和设备会非常复杂，因此其工艺质量也会大大影响系统可靠性和建设进度，而我们知道谷歌最新的数据中心建设时间只有约12个月到16个月左右的时间，比传统机房2到3年的建设时间大大缩短，那么谷歌是如何在保证系统可靠性的基础上，还能实现数据中心的快速建设呢？这里通过其数据中心空调系统创新的建设方式，来管窥一豹，了解其数据中心的建设思路吧。

 
图1 谷歌数据中心的大型空调系统

　　谷歌空调系统建设的三大特点

　　谷歌各种数据中心的建设方法，如电力和冷却系统等模块化等方式。在一些实际应用中，可以大幅缩短数据中心从开始建造到绝大部分完成并投入使用的冗长建设周期。谷歌创新的空调系统建设方案总结下来有三个特点，第一个是在机房建设初期采用租赁设备的模式尽快让机房投入生产，然后同时建设剩余的永久性固定部分，等机房全部建成后，租赁的设备退还给设备租赁公司；第二个是初期采用风冷冷水机组或者混合式冷却塔等设备，无需冗长审批申请流程，快速让机房投入生产，然后同时滚动建设；第三个是模块化的空调子系统可以不断地增加并投入使用，且建设过程中的增加空调子模块不会对已经投产的部分系统有较大影响，这几个特点大大加快了谷歌数据中心建设进程。

　　在机房建设初期采用租赁设备的模式尽快让机房投入生产

　　比如在数据中心建设的初期采用租赁设备的模式，如冷水机组、临时变电站或开关投切设备等可用以租赁的方式快速投入数据中心的最初运营。随着建设的逐步深入以及IT负载不断增加，永久性安装的或者自购的长周期设备逐步安装起来并投入使用。当最后固定安装或者自购的设备能够承担全部负载时候，租赁的设备再逐步退场并返回给租赁公司。

　　前面描述的模型和技术可以有很多优点。例如，数据中心可以以更快的速度投入生产，而传统方式的数据中心各个子系统互相关联，需要全部设备采购、审批、建设、系统联合测试验证完成后才能投入使用，这种模式下大型设备如变电站、柴发和制冷系统等经常会导致项目延期。因为IT负荷不会一下子就上满，在建设初始阶段中采用稍微小规模或者小容量的设备，且比如采用租赁而不是自行采购模式，这样设备获得以及测试验证会更为容易开展，确保数据中心可以尽快投入应用，还可以减少资金的压力以及或者得到更高的能效等。

　　初期采用风冷冷水机组或者混合式冷却塔等设备

　　假定另外一个应用场景，在市政供水以及排污许可等申请和建设完成之前，数据中心的初始负载由租赁的风冷冷水机组来散热，数据中心工作在有限的容量范围内。这个阶段，业主可以开展长周期设备的采购并现场安装冷却塔，以及其他市政供水建设和排污申请等。等到这些申请许可被授予并允许投入使用后，这些已完成安装的冷却塔，开始使用市政水来散热并承担起全部的负载。然后前期租赁的风冷式冷水机组可能被移除退租，或可能仍保留被用来提供额外的冷却需求，比如高温天气冷却塔冷容量不够，或者某些冷却塔需要维修等。

　　或者还可以采用混合式冷却塔等类似的方法，在数据中心建设初期采用闭式非蒸发工况运行，直到有充足的市政水供应并完成排污许可等，然后再切换到制冷量更高的开式蒸发工况运行。如图2中初始阶段，三通阀1025切到冷却塔内闭式盘管散热，而排污审批通过后可切换到顶部的开式蒸发工况运行。相比较于传统串行的冗长建设过程，前面的这些方法可以让数据中心以更快地速度投入使用，特别是当数据中心需要大量的用水，审批建设流程将会是漫长和耗费精力的。

 
图2 混合式冷却塔原理

　　空调主管路先行建设及空调子系统的模块化安装调试

　　在另一个例子中，数据中心的大型冷却系统被模块化分区，使得部分数据中心冷却模块可以先行建设，经过测试验证先投入使用，然后其他冷却模块也按此方式逐个建设并验证，直至全部模块建设完成。数据中心内的每个制冷分区，比如一些冷却塔、换热器和关联水泵等，与特定区域内的服务器机柜组成一个制冷区域，由一个制冷分区来负责。这些制冷分区按业务增长需求以及经济性，尽量以一个合适的颗粒度模型被设计和建设，彼此之间尽量少耦合，避免和已经投产的其他制冷分区产生影响，然后逐个建设并测试验证，按需投入使用。

　　基于前面的这些分析和思路，数据中心内的一根或者多根主系统管路被先行建设，这些主管路被阀门等分成多个独立部分，每个部分之间可以被阀门等互相隔离。然后在此主系统管路上建设第一组冷却塔和冷水机组等，并测试验证该组冷却塔和冷水机组，同时建设并接入第一批服务器业务，再与空调系统联调并投入生产。然后再建设第二组冷却塔和冷水机组等，并继续测试验证第二组空调子系统，由于有相互隔离，第二组的测试验证工作很大程度上不会影响到已投产的第一组空调子系统。然后采用同样的办法在主系统管路上不断扩容这些空调子系统。每组空调子系统都是模块化设计，包括一个或者多个冷却塔以及换热器，相互之间可隔离，并且测试验证和投入运行基本不会影响到其它子系统。通常，第一组空调子系统会采用租赁设备的模式快速投入运行，而第二组之后的空调子系统由自购设备的模式永久性安装调试投入使用，直到第N+1个空调子系统测试验证后投入使用。最后，第一组空调系统退出或者留下来用于提供备用冷量。

　　谷歌的目标是使用尽可能少的能源来为谷歌的产品提供动力，因此能不用机械制冷的冷水机组就尽量不用，而谷歌的高效冷却塔系统就是在这方面所做的努力的典型，在北欧的几个数据中心都实现了无冷水机组机房的设计和应用。但在一些夏季比较炎热的地区，谷歌还准备了备用冷水机组，以防温度或湿度过高导致谷歌无法只依靠冷却塔来排热。谷歌只在万不得已的时候才使用这些装置，因为冷机的效率没有使用外部空气进行散热的效率高。