听eBay员工讲述自己的数据中心建设故事

        我2009年加入eBay时，公司要我负责已经开始筹建的大型数据中心项目，这个项目代号叫做Topaz，预算造价达到了2.87亿美元，这是eBay有史以来对基础设施做的最大一笔投资，我承认这是我遇到过的最复杂的数据中心建设项目，在过去14个月中，该项目总共花了1200万工时，但Topaz最重要的部分还不是项目本身，而是它将用来干什么，它将用来托管eBay的核心业务——ebay.com——全球最大的在线电子商务平台，有超过9000万分布在32个国家的买家和卖家，另外还要托管eBay的支付平台Paypal.com的运营，PayPal是全球最大的电子支付平台，有超过8100万注册用户，支持24种货币的支付。2009年，在eBay上销售的商品超过600亿美元，平均每秒销售金额超过2000美元，Topaz不仅是个数据中心，它更象eBay的家。

 图1 eBay威武的Topaz项目

　　我们的买家和卖家都依赖于数据中心的可靠性，Topaz项目是eBay引擎的关键组成部分，它是eBay所有业务的基石，必须是坚固、稳定和安全的，它应该象防弹装甲一样坚硬无比。

　　2010年5月4日，我们准时完成了Topaz项目，项目也未超支，这是一个值得纪念的日子。新的数据中心位于犹他州盐湖城郊区，采用了容错和并发维护设计，这意味着数据中心的任何部分都可以经受重大事故的冲击，可以保证数据中心的连续运营，在不影响业务的前提下，我们可以对数据中心任何组件进行检修，一切皆有备份，甚至备份本身也还有备份，虽然不会有100%真正防弹的东西，但我们已经将数据中心的可用性提升到最高境界。

图2 位于盐湖城郊区的eBay数据中心于2010年5月4日正式开放

　　许多人都认为花巨资建设具有冗余功能的数据中心有点不值得，不仅前期投入巨大，就连运营阶段的费用也会很惊人，并且整个数据中心可能会变得非常复杂，但事实正好相反，除了负责数据中心的运营外，我还负责支付数据中心的电费，在我们的年度绩效考核目标中，数据中心的能源利用率是一项重要指标。

　　数据中心除了做到稳定可靠外，能源效率也同等重要，效率低下会直接影响到我的预算，在Topaz项目建设期间，我们与合作伙伴展开了深入细致的合作，Skanska负责建设，RTKL负责设计，另外还有超过40家公司紧密地围绕在一起，共同工作了一年多，在建设高峰时期，有7万名工人实行两班倒参与建设，除合作伙伴外，来自eBay税务、法律、风险、财务、采购、产品开发等部门的超过100位员工也为Topaz的成功做出了卓越的贡献。

　　我可以非常自豪地宣布，这个项目的所有挑战都被克服了，我们用其它同级数据中心50%的成本，建成了eBay第一个具有四级容错的数据中心，在效率上，与其它同级数据中心相比提高了30%，PUE（电源使用效率）设计为1.4，既降低了经济成本，又降低了生态成本，它只会消耗需要的能源，虽然这算不上是PUE最低的数据中心，但要实现这种规模的冗余，1.4已经非常不错了。

　　eBay盐湖城Topaz细节

　　整个数据中心占地60英亩，分四个阶段建设，第一阶段的建筑有三层楼，面积约240,000平方英尺，容纳IT设备的房间面积达到了20,000平方英尺，有三个房间为服务器提供了总负载7.2兆瓦，我们自己的发电站可以提供高达30兆瓦的总发电能力。

　　四期建设完成后，eBay计划将分布在其它三个州租赁的数据中心整合到一起，以降低运营成本，同时提高可靠性和效率，最重要的是，新的数据中心是可扩展的，我们可以根据公司的成长不断扩大数据中心的规模。

图3 数据中心内部实景

　　所有设备电压都工作在400V，这意味着我们不用变压器为服务器输送230V的电力，整个电力系统可以获得2%的效率增益，采用模块化的母线管道系统，可以在几分钟内完成容器的改变，在一般的数据中心，这通常需要几天时间。

　　我们有一个容积为40万加仑的蓄水池收集雨水，并使用了一个节水装置，允许我们使用外部空气制冷，在盐湖城这个地方至少有半年时间可以直接使用户外冷空气制冷，大大降低了制冷成本。此外，我们使用了风扇动态调节技术，可根据计算负载动态调整风扇转速，确保只消耗需要的能源。

　　我们也使用了独立的热通道设计，将冷热空气进行很好地隔离。支持低于1000瓦的低密度机架，也支持高于3000瓦的高密度机架（相对于披萨饼烤箱的热量）。另外，我们期望Topaz获得美国绿色建筑委员会认证的LEED金牌认证，也算是对我们所做工作的肯定。

　　前面已经提到，有三个房间容纳IT设备，第一间是eBay在线使用，如图3所示，第二间由PayPal使用，第三间留作未来整合使用。

　　参观新落数据中心

　　eBay为新数据中心落成举行了盛大的Party。

　　在这个Party上，eBay技术运营副总裁Mazen Rawashdeh，eBay CTO James Barrese发表讲话，强调了Topaz项目对eBay和PayPal的重要性。来自Skanska的关键任务副总裁Jakob Carnemark介绍了该项目的复杂程度，最后我带着我们部门的Mike和Greg对施工队伍表示感谢。

图4 分享成功

　　在活动结束后，我们带领所有人员参观了新落成的数据中心，搞笑的是，很多参与这个项目的人都是远程参与的，还没亲自看看它究竟是什么样子。

图5 兴致勃勃地参观

　　不可思议的数字

　　下面是Topaz项目建设中统计出的一组不可思议的数字

• 超过1200万工时
• 30兆瓦发电站
• 60,000平方英尺IT设备空间
• 长达57英里的地下电力管道
• 地下关键电力设施用掉了2百万磅铜
• 295英里铜电缆网络
• 光缆长度176,000英尺
• 用掉2006吨钢材
• 使用三维计算机建模节省了1千万美元
• 超过20万个测量点，细到了每个服务器的电源插头