Facebook数据中心的基础架构细节曝光绿色数据中心
在上一篇《与Facebook数据中心零距离接触 仅4人维护》文章中,与大家分享了Facebook位于俄勒冈州Prineville的数据中心,在333400平方英尺场地上拥有数万台服务器的数据中心,而负责维护的仅为4人。
本篇文章将就是基础架构展开介绍,包括定制服务器、机架以及UPS。这是Facebook第一个自建的数据中心。
Facebook技术业务的副总裁JonathanHeiliger称,普利维尔数据中心的PUE是1.07,这意味着该数据中心是业内最节能的数据中心。
制冷设计
Facebook采纳了双层架构,将服务器和制冷设备分开,允许对服务器占地面积的最大利用。Facebook选择通过数据中心的上半部分管理制冷供应,因此冷空气可以从顶部进入服务器空间,利用冷空气下降热空气上升的自然循环,避免使用气压实现下送风。
俄勒冈州凉爽、干燥的气候是Facebook决定将其数据中心放在普利维尔的关键因素。“这是蒸发冷却的理想地点,”Facebook数据中心工程主管JayPark说。过去50年来,普利维尔的温度从未超过105华氏度(约40.56摄氏度)。
空气通过在二楼的一组换气扇进入数据中心。然后空气经过一个混调室,在这里冷空气可以和服务器的余热混合以调整温度。然后冷空气经过一系列的空气过滤器,在最后一间过滤室,通过小型喷头进一步控制温度和湿度。空气继续通过另一个过滤器,吸收水雾,然后通过一个风扇墙,将空气通过地板的开口吹入服务器区域。整个冷却系统都位于二楼,空气直接吹向服务器,无需风道。
“这一系统的美妙之处在于,我们没有任何的管道系统,”Park说。“空气直接进入数据大厅,压入整个数据中心。”
机架和服务器
冷空气然后进入定制的机架,这些机架三个一组,每个包括30个1.5U的Facebook服务器。为了避免浪费,服务器也是定制的,服务器内部的英特尔和AMD主板被分拆成一些基本的必需部件,以节省成本。机箱体积比一般机箱大,这意味着能够容下更大的散热器和风扇,也意味着需要更少的外界空气用于降温。“我们去掉了所有没用的东西,”Facebook硬件工程师AmirMichael说。“稍高一点的底盘让我们能使用更高的散热片。相对常规的40毫米风扇,我们也能用更大、更有效的60毫米风扇。”
布线和电源都放在服务器的前方,因此Facebook的运维人员可以在凉爽的通道维护机器,而不用站在温度高达100华氏度(约37.8摄氏度)的机器后部操作。
UPS和电源分配
Facebook特别注重的一块是电源分配,传统的数据中心都是使用不间断电源,在AC-DC的转换中形成了功耗。“我们对这一电源设计的效率投入了大量精力,”Michael说。
Facebook数据中心采用定制的供电设备,可以适用277V交流电源,而不是普通的208V,这使得电能可以直接接入服务器,不需要经过交流到直流的转换,从而避免了电能损耗。供电设备由Facebook设计,台达电子以及加州宝威电源(PowerOne)生产。
UPS系统呢?Facebook原先计划在服务器上安装车载电池,最终装得是in-rowUPS单元,每组服务器之间放置一套UPS,在断电时提供后备电源。每个UPS系统包括20块电池,有五串48V直流电池。Facebook的电源供应包括两部分,一个是交流市电,另一个是直流UPS系统。