盘点：影响机房空调性能的因素

　　在数据中心或网络机房内安装冷却系统时，通常会出现一些问题，进而会降低可用性并提高成本。这些无意的疏忽会导致热点的形成、降低容错能力、降低效率和冷却性能。尽管用户均安排了设施操作员来解决冷却问题，但实际上许多问题均由IT设备的不当部署造成。

　　1、空调功率的增加不可忽视

　　多数数据中心和网络机房都存在着各种设计和配置缺陷，这可能会导致无法获得既定的冷却性能，同时也阻碍了冷空气的流通。这些问题通常不会被发现，因为以前的计算机机房通常以远低于设计目标的功率密度运行。然而，技术的发展，业务量的增加，IT设备的不断升级，全新IT设备的功率密度也在不断增加，使得数据中心逐渐接近其设计极限，进而暴露出了无法提供有效冷却性能的问题。

　　低效的冷却性能除可能降低系统可用性外，还可能导致成本的大幅度增加。有实验数据显示，在典型数据中心内，冷却系统消耗的功率相当于整个IT负载消耗的功率。如果冷却效率降低20%，便可能导致整个功率消耗增加8%，这对于一个使用寿命为10年的500kW数据中心而言，被浪费的电力成本约为70万美元。

　　美国可用性研究中心对大量数据中心的考察，发现有下列几个主要的缺欠，影响了既定的冷却效果，现分别进行讨论。

　　(1)机架内的空气流通问题的缺欠。

　　(2)机架布局问题的缺欠。

　　(3)设备分配问题的缺欠。

　　(4)冷却设置问题的缺欠。

　　(5)空气输送口与回风口设计问题的缺欠。

　　2、机柜内空气流通问题的缺欠

　　机柜内及周围的空气流通对于冷却性能的影响很大。理解机架空气流通的关键是掌握基本原理，即lT设备受两种因素的影响：

　　(1)经空调机调节后的空气由设备进气口输入;

　　(2)设备气流的输入和输出应不受阻拦。

　　经常发生并导致无法实现最佳情况的两个主要原因是:

　　(1)CRAC气体在到达设备进气口之前就与热废气混合在了一起;

　　(2)设备空气流通受到障碍物的阻拦。

　　3、机柜内的空气流通

　　(1)进风和出风的不隔离现象

　　尽管机架通常被认为只是一种机械支架，但它对于防止设备排出的废气重新循环进入设备进气口至关重要。排出的废气由于风扇的作用而被增压，再加上设备进气过程中的吸力，就有可能导致废气被重新吸入设备进气口。这一结果的影响要远远大于热废气上升力的影响。故采用隔离风板将进风和出风分开很有必要。如果在机柜的中间部分由于没有放置负载电路板而留下了由前至后的空间，就会使得被排出的热风重新返回到入口有了通路，从而在冷热风的混合下，提高了部分入风的温度，降低了冷却效果。而隔离风板的使用，从而隔断了入风口和出风口之间的通路，保证了入风口的气流温。

　　然而，尽管所有主要的IT设备制造商均强烈建议使用隔离风板，但实际上有90%或更高比例的数据中心都忽略了这一点。被排出的热空气再循环问题可能导致IT设备的温度提高l5°F或8℃。安装隔离风板是一个极其简单的工作流程，可以降低运行成本，提高系统的可靠性，几乎可以应用于所有数据中心。

　　许多机架配置还暴露出了一些其他缺陷，也可造成与缺乏隔离风板类似的结果。例如，使用宽机架和嵌入滑轨，使得空气可以通过机架滑轨侧面进行循环。使用托架安装IT设备会阻碍隔离风板的使用，从而为废气的再循环提供了完全开放的路径。

　　在一些标准19in机架内滑轨周围、机箱的顶部和底部均提供了内置的空气循环路径，在这种情况下，安装隔离风板不能完全隔离空气的再循环。许多机架的设计不能适用于高密度IT环境中。采用标准机架和隔离风板可以大幅度减少空气再循环比例，并降低热区的数量。

　　(2)布线的拥挤现象

　　现代的散热己不是下送风上出风的模式。因为一般的标准服务器机柜大都在1.8m左右，而一般的空调气流只能到达机柜的中部，换言之，位于上部的电路基本得不到冷却，因而机器的上部也就成了故障多发区。为了改善冷却效果，可将垂直冷却模式改为横向冷却模式:冷却气流由前面带有开孔的面板进入，经负载电路后，由安装在服务器横向的排风扇将高温“废气”排出，由于横向路径较短，故效果应该比垂直方向时好一些。但一般服务器的布线方式阻碍了这个优点的发挥，下图是一个较为夸张的服务器机柜布线实例。

　　由图中明显地看出，在服务器机柜后面排出废气的出口处，被厚厚的布线堵塞。于是和气流进口处形成了较大的温度梯度。在数据机房的空调中，机器的最佳进口气流温度一般为21.1℃，出口气流的最佳温度一般为33℃，很显然上图是很难做到的。

　　通过使用隔离风板和选择可以有效控制循环的机架对于降低热区温度的优势显而易见，并可显著提高系统可用性。然而，还有一些优势，虽然不太明显，但却非常重要，需要对其进行说明。

　4、循环对容错能力的影响

　　与合理配置的系统相比，冷热混合气流循环非常严重的机架系统，会导致系统容错能力和可维护性大幅度降低。在大多数安装中，冷却性能均通过一系列服务于通用冷却的统一分配系统CRAC——精密空调机组合系统提供。在此类配置中，假如其中一个CRAC"组件"由于故障或维护而停止工作，其他CRAC组件将能够自动接替其工作，并继续提供冷却功能。不良的空气循环可能在以下几方面削弱这一容错能力:

　　(1)不良循环将造成CRAC回流空气温度过高，可能导致其余CRAC组件以较低的性能工作，进而无法满足冷却性能要求。例如，原来的最佳回风温度是33℃，若将33℃的气流温度降至21.1℃，只需降温11℃;例如回风温度为52℃，那么即便是把气流温度降至27℃，温差为25℃。这就加重了空调机的负担，便空调机不能工作在最佳状态。以前的空调机大都将冷却(即机房或空调回风口)温度定在24℃，冷凝温度定在35℃为最佳工作状态，而FM40A则更将冷却(即机房或空调回风口)温度定在22℃，室外环境温度定在35℃为最佳工作状态。一般：

　　冷凝温度=环境温度+15℃

　　(2)剩余系统无法提供克服循环效应所需的较高供气速度，从而导致循环增加和设备温度过高。例如，原设计机房系统制冷功率为00kW，制冷系统由3x4OkW空调机构成，假如其中一台由于某种原因而停机，本来12OkW尚不能达到好的效果，余下的两台不足100kW空调机就更难对付这种环境了。

　　5、循环对总拥有成本的影晌

　　温度过高和容错能力导致的系统可用性降低问题使标准机架和隔离风板的使用成为一个令人关注的焦点。然而，机房气流的不良循环所导致的TCO(TmperatureControlOperation)后果极其严重，使得这一情形最为突出。与冷却性能相关的，最大生命周期成本是运行冷却设备和风扇需要消耗功率的成本。数据中心冷却消耗的功率不受循环的影响，但冷却系统的效应却会受到显著的负面影响。这意味着循环将会加大功率损耗的成本。两个解决热区最常用的方案是降低CRAC供气温度，或增强CRAC性能，或二者兼用。这些方案可能需要耗费大量不可预知的成本。然而，可以通过合理设计和政策控制循环的方案，来降低成本，并能够避免产生此种结果。

　　空气流通的限制，使得设备无法获得新鲜空气，进而导致机房温度升高。此外，机架前端或后端的气流限制还会加大在没有隔离风板机架空间内的空气循环过程。因此，至关重要的一点是需要使用带有出色通道分隔性能并在其后端拥有足够空间的机架，以避免电缆群阻碍空气的流通。用户有时选择使用浅机架，认为它将能够增加地面空间利用率，但由于电缆阻碍空气流通所造成的散热限制，将导致无法充分利用密度。

　　除了上述控制机架空气流通的被动方案外，带有风扇系统的机架可用来控制机架空气的分配。一些机架风扇系统，诸如风扇托盘和吊扇等，具备的优势微乎其微。其他风扇系统，如将底层空气输向机架前端的系统，或从机架后端排出废气的系统，可以有效地改善机架内的空气流通，减少循环和提高机架功率使用容量等。

　　6、机架布局

　　合理的机架空气流通控制对于有效的冷却至关重要，但离要求的目标还有一段距离。机架空间的合理布局对于确保机架拥有适当温度和流量的空气非常重要。空气到机架的流通是关键。合理机架布局的目标也是控制循环，即避免CRAC空气在到达设备进气口前与热废气混合在一起。具体设计原理基本相同:尽可能将热废气与设备迸气口气体隔离。这一问题的解决方案应用甚广。通过将机架按行顺序排列，扭转机架为交叉排列的方向，可以大幅度降低不良循环现象。

　　除冷热通道分开系统具备的明显优势外，调查还指出，大约25%的数据中心和网络机房将每行机架面向统一方向。将机架置于统一方向可能导致严重的循环问题，肯定会出现"热区"，同时系统运行成本也将大幅度提高。因为按统一方向排列的几行机架，前一排机柜的热空气出口正是后一排机柜的冷空气入口，很容易造成前一排机柜的热空气伴随后一排的冷空气继续后移的现象，从而提高了后一排入口气流温度，这种现象越往后移越严重。对于机架朝向统一方向且末使用冷热通道技术的环境，调查显示，大多数是按照上级管理层的指示放置，目的是为了保持数据中心的美观一致。调查认为如果能够确定指示造成的后果，则可以避免做出此类决策。

　　冷热通道技术的有效应用不仅仅是将机架变为交叉排列。在使用冷热通道技术的75%的安装中，有30%未能合理安排空气分配和回流系统，从而不能为机架有效提供冷却气流。

　　7、设备分布

　　设备的位置，特别是高功率设备的位置，可能显著增加数据中心面临的压力。当高密度、高性能服务器被组合成一个或多个机架时，便会出现高密度设备群。这种情况可能导致数据中心非常容易出现"热区"，并要求操作员采取正确措施，诸如降低空气温度设置点或添加CRAC组件等。

　　基于这些原因，尽可能分散放置高功率密度设备将可以带来良好的结果。同时幸运的是，分散放置设备不会受到光纤和以太网连接的影响。遗憾的是，有些IT人员通常认为，将设备放置在一起操作和检查起来更为方便。对于这些人员，需要向其介绍分散放置设备可以带来的可用性和成本优势。表3列出了由于设备分布设计缺陷而造成的不良后果，并给出了解决方法，以供参考。

　　8、冷却设置

　　上一部分探讨了降低CRAC空气温度设置点的负面影响。当CRAC输出气体温度最高

　　时，空调性能也将达到最高。理想状态下，如果没有循环，CRAC输出气体温度将与计算机设备的65~70°F(18~2l°C)一致。当然，这一假设不切实际，实际中CRAC输出气体温度通常比计算机进气温度略低。然而，如果能够遵循空气分配原则，则可以将CRAC温度设置点设为最高。为了最大限度地提高容量和优化性能，CRAC设置点不应低于维持设备进气温度所需的点。

　　尽管CRAC温度设置点由空气分配系统决定，然而湿度却可以调整到任意最佳值。如果湿度值高出要求，可能导致严重后果。首先，CRAC将导致水分凝结，降低空气湿度，除湿功能会使CRAC设备的冷却性能显著降低。然而更糟的是，加湿器需要更换通过空气获得的水分。在一个典型数据中心，这一情况每年会浪费数千加仑的水。同时加湿器也是一个主要的散热源，必须对其进行冷却，这会严重降低CRAC设备的冷却性能。当存在空气不良循环时，将更是雪上加霜，原因是低温度的CRAC空气会更容易凝结。因此至关重要的一点是，切勿使数据中心的湿度值高出需求。

　　一些数据中心，包括大多数早期数据中心，均含有高速纸张打印机或宽行打印机。这些打印机会产生大量静电。要消除这些静电，数据中心的湿度必须保持在50%左右。然而，对于没有高速宽行打印机的数据中心而言，则湿度应保持在35%左右，以消除静电。将数据中心的湿度值设为35%，而不是45%或50%，可以节约大量的水和能源，特别是在不良空气循环非常严重的环境下。

　　对于采用带有加湿器的多个CRAC设备的数据中心而言，可能还会发生其他问题。在此类环境中，最常见的问题是两个CRAC设备可能互相抵消湿度，当两个CRAC的回流气体温度不一致，或两个设备的湿度传感器校准不一致，或两个CRAC设备被设定成不同的湿度值时，一个CRAC设备在降低空气的湿度，而另一个则会增加空气的湿度。这一运行模式极其浪费，而且数据中心操作员也不易发现。

　　无意义的CRAC湿度抵消问题可通过以下方法解决:①使用中央湿度控制;②协调CRAC设备的湿度值;③关闭CRAC中的一个或多个加湿器;④使用死区设定。这些技术各具优势，本文将不进行详细论述。如果带有独立CRAC的系统发生上述问题，最可行的办法为确认系统设定是否相同，或校准是否相同，同时扩大死区湿度设定(大多数CRAC设备均提供了这一功能)。通常，将死区值设定为士5%，便可以纠正这一问题。

　　9、空气输送口与回风口设计

　　机架气流和机架设计是引导空气以最大限度改进冷却效果的关键因素。但要确保最佳冷却效果，还有一个关键因素，那就是空气输送口与回风口设计。如果这些通风口的位置不恰当，就会便CRAC空气在到达负载设备前就与热废气相混合，从而引发上述间感和额外成本。气流输送口或回风口位置不当的情况很常见，并几乎会消除所有冷热通道设计优势。

　　气流输送口应置于尽可能靠近设备进气口处，并将冷空气限制在冷通道内。架空分配与活动地板分配系统一样有效，但关键还是将分配通风口置于冷通道上部，而且这些通风口的设计必须要能引导空气直接向下进入冷通道(而不是横向进入扩散风口)。在架空或地板下系统中，任何通风口若位于不操作设备的位置，均应封闭，原因是这些通风口会阻止回风进入低温CRAC设备，从而会除去湿气并降低CRAC性能。

　　回风口应置于尽可能靠近设备排气口的位置，并从热通道收集热空气。在某些情况下，可使用架空吊顶强制通风，这样回风口便可轻松与热通道进行协调。当使用高敞开式整回风天花板时，最好的方法是将CRAC设备的回风口置于天花板尽可能高的位置，并用管道系统呈喇叭形展开回风口，以协调回风口与热通道。只有少数几个回风口与热通道强制协调的粗糙回风系统也比房间侧面的单一大型回风口效果好。

　　对于没有活动地板或管道系统的小房间，上游或下游CRAC装置通常位于墙角或墙边。在这些情况下，很难协调冷通道的冷空气输送与热通道的热回风，其性能会受到影响。但以下方法可能会提高这些系统的性能:

　　①对于上游设备，将其置于邻近热通道的末端，使其尽可能地远离CRAC设备。

　　②对于下游设备，可将其置于冷通道(用于将空气吹入冷通道)的末端，并添加吊顶强制通风口或悬挂管道系统回风口，使回风口位于热通道上方。

　　10、数据中心设计规则建议

　　①使用冷热通道分离机架设计。冷热空气分离会减少热区，改进容错，并极大降低耗电量。众所周知，如果所有机架行均朝向同一方向，前面一行的热废气将可能被输入后面一行，从而会导致过热，并极大降低空调性能。

　　②在所有机架末使用的位置上设置隔离风板。隔离风板会防止设备的热废气返回到进气口，从而避免出现热区，并延长设备使用寿命。所有服务器和存储器制造商都规定要使用该隔离风板。

　　③在活动地板中，所有机架下方的电缆孔均使用密封垫或刷。活动地板空气分配系统，旨在向设备进气口提供冷空气。这些进气口位于机架前部，如果开孔密封不好，机架下方的缝隙会向设备排气口输送冷空气，并绕过设备向外扩散，这会降低冷却系统的性能。

　　④不要试图"更正"热通道的温度，它们本应该是热的。热通道旨在将热废气与冷设备进气口分离。任何消除此功能的企图都会影响系统设计，降低设备可靠性，并增加操作成本。从设备排出的气本应很热，热通道旨在使热空气返回到空调系统。热通道保持热量，有助于确保冷通道的设备进气口保持冷却。

　　⑤将机架标准化。机架支持冷却系统的基本功能，不仅仅是机械支持。机架特性可防止废气进入设备迸气□l提供适当的通风，提供无气流阻塞的布线空间，并使高密度附加冷却设备的更新成为机架标准的组成部分。

　　⑥将高密度设备分散布置。在一个位置集申大功率设备会影响这些设备的运行，并会增加数据中心的操作成本。集中大功率设备会影响送气系统的容错能力。整个数据中心温度和湿度控制的改变可能会降低冷却性能并增加冷却成本。

　　除了制定规则，通过信号或标记也可达到沟通目的。例如，在热通道中的机架后部打上标记也是个好办法。因为IT人员通常会将热通道的较高温度视为异常或缺陷，故此标记有助于他们了解为什么数据中心的一个区域比另一个区域热。