高密度数据中心发展前瞻 电力和冷却成关键机房建设
著名的电影特效公司IndustrialLight&Magic使用了IBM最新的刀片式服务器替换了他们的服务器。每个新的服务器机架大约节省了140千瓦的用电量,这大约是这个机架用电量的84%。
不过,在每个机架中消耗的功率密度反而提高了,因为整个机架的服务器密度提高了。由于每个机架中的服务器数量增加,所产生的热量也随之增加,所以消耗的功率也就增加了。
新的刀片式服务器机架每个机架配有84台服务器,每台服务器拥有两台四核处理器和32GB的内存。每台机架的效率可以比得上7个IBM上一代服务器机架。
高密度数据中心
不过随之而来的问题就出现了,每冷却一个42U的机柜,该数据中心的精密空调就必须消耗更多的能量,所消耗的能量甚至比冷却9个在最高温度工作下的家用烤箱还要多。
惠普公司负责基础设施服务的副总裁PeterGross说,现在大多数数据中心都追求高密度的设计。在以往,每平方英尺的平均密度是100W到200W,典型的机柜的功率是4000W。而如果一个数据中心每平方英尺的功率达到200W,就可以支持5000W的机架密度。而在现在,IBM精心设计的冷却系统可以在一个房间内提供对25千瓦的机架进行冷却。而IBM在致力于高密度数据中心的冷却系统的研究,该公司表示,在将来可以做到30千瓦以上的冷却能力。
高密度数据中心是否能够持续发展?
那么,高密度数据中心是否能够持续的发展下去呢?大多数的专家认为,随着数据中心的发展,客户们可能更倾向于在更多的地方建立数据中心部署服务器,而不是在一个数据中心内提高服务器的密度。
根据IT产业的摩尔定律,每两年计算密度会增加一倍。当然,现在一些数据中心的设计者和工程师已经开始质疑之一理论是否永远有效,现在是不是已经要达到一个临界点了。芯片制造商能不能够突破晶体管技术的瓶颈,制造出计算能力更高的处理器,这关系到数据中心的密度能不能向高密度化的方向发展。
根据IDC公司在2009年对1000多个IT网站的调查显示,21%的结果显示电力问题是他们数据中心遇到的最大问题,有将近一半(43%)的结果显示了运营成本的增加,而剩下的三分之一的结果显示由于他们的数据中心曾经发生过由于电力和冷却问题引起的服务器宕机。
近几年来,服务器的价格已经大幅降低,据IDC的一份报告显示,自2004年以来,服务器的平均价格降低了18%。另一方面,如果一个数据中心的冷却系统跟不上服务器密度的发展,那么建设高密度数据中心就变成了一句空谈。此外不单单是数据中心的冷却系统要跟上,由于每平方英尺的功率密度越来越高,所以冷却系统,配电设备,UPS和发电机也都要适应高密度的要求。
IBM的工程师说,由于每平方英尺的计算密度增加,所以整体的机电成本和以往大约相同。但是由于功率密度的增加,用于支持高密度计算的机电建筑面积比例也上升了。所以建设数据中心最大的成本不是按平方英尺计算的而是按功率计算的。
Gartner公司的一份研究报告指出,他们的客户在建设数据中心的时候,并没有部署过于密集的服务器。约有40%的客户使用8到10千瓦的服务器机架,甚至有些会使用12到15千瓦的机架,不过看的出来,这个数字在逐渐的上升。
电力和冷却问题
一个很现实的问题是,现在大多数的客户并不知道他们需要托管多少机架设备,而每个机架设备又需要多少电力供应和冷却系统的支持。这是一个很实际的问题。Terremark是一个托管服务提供商,他们正在朝着这个方向满足客户。他们根据客户的需求来制定相应的计划。
IBM认为,进一步增加功率的密度是可行的,不过,相应的冷却系统和电力系统就要做出改变。
ILM的数据中心是在2005年完成的,当时可以支持平均每平方英尺200瓦的负载。整个数据中心的电力和冷却系统是一个整体,所以,当服务器的密度增加以后,这个数据中心就没有一个很好的办法来有效的支持高密度的机架了。
后来,该数据中心采用热通道/冷通道的设计,并成功的调整了数量和位置,并在冷通道的地砖上穿孔,以最优化的方式冷却服务器的气流。通过这个技术,房间的空调系统可以将13500平方英尺的房间温度下降65度左右。不过,这显然是不够的,今天的服务器运行的温度高达81度,所以该数据中心还采取了一种名为冷通道遏制的前瞻性的技术。
冷通道遏制技术
其他的数据中心也在试验一些方法,使得冷却系统能够支持密度越来越高的服务器机架。例如,清理活动地板,优化气流,收紧机架等等。由于最新的刀片式服务器机架已经超过了25千瓦,所以在设计新的数据中心的时候一定要考虑到冷却系统的能力。
不过,如果密度再继续上升的话,遏制冷却技术也将无能为力。
另外一些中心已经开始用液体冷却的方法,来解决高密度带来的散热问题。将服务器浸在冷却液中似乎能够达到更好的效果。而且,将液体冷却跟遏制技术结合起来,就可以满足高密度机架的散热要求。
液体冷却技术
尽管问题很多,但高密度数据中心仍然会得到发展,因为,跟它所能提供的高性能计算相比,其他的问题都是可以解决的。