银行数据中心解决方案与技术

总体上讲，制冷空调系统解决方案是项目自身各个方面因素综合权衡后的结果。这可以从两个不同角度进行讨论分析。一是从技术和经济角度分析，技术方面因素包括技术的成熟度、技术的先进性、技术的可行性等；经济方面因素包括项目的初投资、运行费用、生命周期成本等。另一个是从主观和客观角度分析，主观方面因素包括主管部门的引导、建设方的偏好、设计方的偏好等；客观方面因素包括项目所在地区的特征、市政基础设施条件，终端客户的需求等。所以制冷系统的最终解决方案一定要综合考量各方面情况，因地制宜地制订最适合该项目的方案，不可一味生搬硬套、盲目求新。

单从技术方面讲，制冷空调系统的设计，大致可遵循以下工作流程：根据机房大小、PUE要求等，选定合适的制冷系统形式；计算冷负荷，确定空调设备的技术参数；通过合理布置末端空调设备和机柜等，优化气流组织；根据特定功能需求，采用自然冷却、连续供冷和水冷技术等重点应用。

1.制冷系统的选择

数据中心机房制冷系统形式包含风冷直接膨胀式系统、水冷直接膨胀式系统、风冷冷冻水系统、水冷冷冻水系统等。系统的选择应根据气候条件、配套资源供应能力、IT设备需求、工程项目目标等综合考虑，如同时采用多个制冷系统可考虑差异化配置。

（1）风冷直接膨胀式系统 此系统属于分体式独立控制系统，分成室外机和室内机两部分，中间连接的是氟利昂冷媒气管和液管，室内机内配有压缩机、蒸发器、加湿器、电加热元件和独立控制器；室外机主要由冷凝器和散热风扇组成。整个制冷循环在一个封闭的系统内，从而吸收房间内的热负荷并排放到大气中。风冷直接膨胀式系统如图5⁃3所示。

风冷直接膨胀式系统制冷过程为：制冷剂经过压缩机做功后，形成高温高压气态制冷剂，进入冷凝器，在冷凝器内经过等温冷凝相变，放出热量，制冷剂变为液态，然后经过膨胀阀，膨胀降压，进入蒸发器，在蒸发器内经过等温蒸发相变，吸收热量，然后进入压缩机，完成一个制冷循环。

风冷直接膨胀式系统具有以下优点：设计安装简单，可以实现每台空调独立循环、控制，机房无须引入冷冻水或冷却水，并且易于实现模块化配置，冗余运行，可靠性高，安装、维护简单。缺点是：室外机需要开敞空间，且占用空间大，效率低，管线多、维修量大，无法利用自然冷却，室内外机之间距离不能过长。适用于低密度小型机房。

（2）水冷直接膨胀式系统 此系统属于分体式独立控制系统，分为室内机和室外冷却设备两部分，室内机含有压缩机、蒸发器和冷凝器；室外冷却设备含有冷却塔或干冷器及水泵，组成单独冷却水环路，排出室内热量。水冷直接膨胀式系统如图5⁃4所示。

水冷直接膨胀式系统与风冷直接膨胀式系统类似，不同的是增加了一套板式换热器，实现冷却水与制冷剂的热交换，冷却水由冷却塔或干冷器制冷。适用于中小型、低密度机房。

与风冷直接膨胀式系统相比，水冷直接膨胀式系统优点在于：

1）每个机组的冷凝器、蒸发器均在室内机内部，制冷循环系统在机组内部完成，制冷效率较风冷直接膨胀式系统高。

图5⁃3 风冷直接膨胀式系统

图5⁃4 水冷直接膨胀式系统

2）不需要室内、室外机的连接铜管，只需要一组冷却水管道可以将所有的机组连接在一起，所以距离可以较长，不存在室内、室外机距离限制。

3）可以用几组较大的室外干冷器做N+1备份，占地面积相对较小。

4）每个机组都有自带的压缩机，可以在每个机房内实现N+1的备份方式。

5）空调机组在工厂内就配好制冷系统，现场接好水管后即可投入使用，不存在现场安装影响机组质量的问题。

6）扩容方便，初期设计时留好接口，不需要在投入使用后需要扩容时再寻找室内、室外机通道。

7）水循环管道不需要太厚的保温处理，节省通道空间。

水冷直接膨胀式系统缺点在于：

1）数据中心内部带有水循环系统，需要设置防漏水检测系统和防护措施。

2）施工工程相对复杂，需要有压力管道施工资质的工程队完成。

3）日常维护的工作较风冷型复杂，但比冷冻水型简单。

（3）风冷冷冻水系统 此系统属于集中式中央控制系统，主要包括：风冷冷水机组、冷冻水泵站、机房末端空调设备。风冷冷冻水系统如图5⁃5所示。

风冷冷水机组作为主要冷源设备，可以集中布置在屋顶或室外地面，集中制取冷冻水，冷冻水温度为中温冷冻水，供水温度为10～15℃，回水温度为15～20℃，具体温度配置则依据末端机房具体负荷分布，由设计师进行能效分析后确定。

冷冻水泵站作为主要冷冻水的输供设备，应该就近布置在相对应的冷水机组附近，将冷冻水供水由冷水机组供至机房末端空调设备，并将冷冻水回水返回至冷水机组，完成制冷循环。

风冷冷冻水系统，由于采用的是封闭式系统，依靠室外盘管散热，其在制冷效率上低于水冷冷水机组，但在耗水量上远小于水冷冷水机组，无须预备蓄水池设施。

（4）水冷冷冻水系统 此系统属于集中式中央控制系统，主要包括：水冷冷水机组、冷冻水泵站、冷却水泵站、冷却塔、热交换器、机房末端空调设备。水冷冷冻水系统如图5⁃6所示。

图5⁃5 风冷冷冻水系统

图5⁃6 水冷冷冻水系统

水冷冷冻水系统是非常成熟的制冷系统，在大型的建筑中更是以水冷冷冻水系统为主，因为这种系统具有其他系统无法比拟的优势，最重要的是其节能性，因为水的物理特性极其优越，水是热容最大的常规物质，同等质量水的热容量是同等质量空气热容量的3500倍，所以水是最节能的热量交换媒介。

水冷冷冻水系统的核心在于其冷源部分，冷源包括冷水机组、冷冻水泵、冷却塔、冷却水泵和热交换器。冷源部分的能耗占到整个制冷系统的80%，所以冷源部分的设计是数据中心节能的关键。

水冷冷冻水系统通常采用开式冷却塔散热，可以获得较高的制冷效率，但需要消耗一定数量的水，通常需要设置蓄水池。

2.冷负荷的计算

机房冷负荷是指为了维持机房内设定的温度和湿度，必须由空调系统从机房带走的热量。机房的热量是指机房内部散出的各种热量，以及通过维护结构进入机房的热量总和，如服务器、人员、灯光等。依据机房冷负荷，可以确定空调设备技术参数，以满足机房温度、湿度、洁净度和送风速度的要求。

（1）冷负荷组成

机房的冷负荷主要来自两个方面：

1）机房内部产生的热量，它包括：室内IT设备及机房辅助设施的发热量（电热、蒸气水温及其他发热体），这些发热量显热大、潜热小；照明发热（显热）；工作人员的发热（显热小、潜热大）；由于水分蒸发、凝结产生的热量（潜热）。

2）机房外部产生的热量，它包括：传导热，通过建筑物（如从墙壁、屋顶、隔断和地面等）传入机房的热量（显热）；放射热，也称为辐射热，由于太阳照射从玻璃窗直接进入房间的热量（显热）；对流产生的热量，从门窗等缝隙侵入的高温室外空气（也包含水蒸气）所产生的热量（显热、潜热）；为了使室内工作人员健康而引入的新鲜空气所产生的热量（包括显热和潜热）。

总之，人体放出的热量、缝隙风侵入的热量和换气带进的热量，不仅使室温升高，也会增加室内的含湿量，因此需要除湿。这部分冷负荷称为潜热负荷，而机房内所有设备散发的热量只是室内的温度升高，这种冷负荷称为显热负荷。与一般宾馆、办公室、会议室等潜热占有相当大比例所不同的是，计算机房的冷负荷是以显热负荷为主。因此对于冷负荷状况不同的场合，应选用不同类型的空调设备。通常用显热比（SFH）作为空调设备的重要指标。

（2）计算方法

方法一：各系统累加法

1）设备冷负荷：Q₁=Pη₁η₂η₃

式中 P——机房内各种IT设备总功耗（kW）；

η1——同时使用系数；

η2——利用系数；

η3——负荷工作均匀系数。

通常，η₁、η2、η3取0.6～0.8，考虑制冷量的冗余，通常η₁、η₂、η₃取值分别为0.8。

2）机房照明冷负荷：Q₂=CS

式中 C——机房照明总功耗，根据国家标准《电子信息系统机房设计规范》（GB50174—2008），主机房照度应大于500lx；

S——机房面积（m²）。

3）建筑物结构冷负荷：Q₃=KS/1000

式中 K——建筑物结构冷负荷系数（W/m²·℃，50W/m²·℃）；

S——机房面积（m²）。

4）新风冷负荷。因计算较为复杂，则以空调本身的设备余量来平衡，不另外计算。

5）人员的散冷负荷：Q₄=PN/1000

式中 P——人体发热量，轻体力工作人员冷负荷显热和潜热之和（W/人），在室温为21℃和24℃时均为130W/人；

N——人数（人）。

以上5种热源组成了机房的总冷负荷。由于上述后三项计算复杂，通常采用工程查表予以确定。但是在数据中心的规划和设计阶段，热源非常难确定，所以实际工程中通常采用设计估算与事后调整法。

方法二：设计估算与事后调整法

数据中心的主要冷负荷来源于设备的发热量及建筑物结构的冷负荷。

因此，应了解设备的数量及用电情况，以确定机房专用空调的容量及配置。根据以往的经验，除主要的设备冷负荷之外的其他负荷，如机房照明冷负荷、建筑物结构冷负荷、新风冷负荷、人员的散热负荷等，若不具备精确计算的条件，则可根据机房设备功耗及机房面积，按经验进行测算。

采用“功率及面积法”计算机房冷负荷。

Q_t=Q₁+Q₂

式中 Q_t——总制冷量（kW）；(www.xing528.com)

Q₁——室内设备冷负荷（kW），Q₁=设备功率×1.0；

Q₂——环境冷负荷（kW），Q₂=（0.1～0.18）kW/m²×机房面积，南方地区可选0.18kW/m²，而北方地区通常选择0.1kW/m²。

方法二是对复杂科学计算的工程简化计算方法。在这种计算方法下，通常容易出现计算热量大于实际热量的情况。因为机房专用空调自动控制温度并决定运行时间，所以多余的配置可以作为冗余配置，对机房专用空调的效率与耗电量影响不大。

3.气流组织的优化

机房末端空调设备，作为机房主要分配冷量设备，借着气流分配系统，将冷量分配给各个机柜，并将机柜服务器散出的热量带走。

气流组织是确保高效的空气流动，尽可能用最少的能量，排除最多的设备散热量。优化气流组织需要优化机架摆放、空调设备布局、冷通道封闭、热通道封闭、机柜背板制冷。

（1）机架摆放 现在大多数的服务器设计为正面进风，背面排风。这种设计使得设备机架可以通过正确摆放来形成冷/热通道。各排机架相对而立，对立排放的机架正面从同一通道（冷通道）进风；排出的热风进入热通道，提高了返回精密空调的回风132温度，提高机组制冷效率。这种方法在冷热隔离时最为有效，因此，应该移走热通道的开孔地板，只在冷通道使用开孔地板。机架中的闲置空间应安装挡板，防止冷热空气混合短路，如图5⁃7所示。

图5⁃7 机架摆放

（2）空调设备布局 使用冷/热通道方法时，计算机机房空调（ComputerRoomAir Conditioner，简称CRAC）设备应始终与热通道相互垂直，以减少冷热空气混流。

（3）冷通道封闭 封闭冷通道的主要作用是减少了冷热风相互渗透，提高了空调的冷却效率，在节能上有所改善，比较适合中密度、机柜数多的大中型机房，如图5⁃8所示。

图5⁃8 冷通道封闭

（4）热通道封闭 封闭热通道也是为了隔绝冷热风的短路，提高冷却效率，同样适合中密度、机柜数多的大中型机房，如图5⁃9所示。

（5）机柜背板制冷 在机柜的后门处安装冷却背板，将机柜排出的热风就地冷却，机柜发热量大，则冷却量大；机柜发热量小，则冷却量小。按需供冷，配合服务器虚拟化运行，节能效果最好。适合中高密度、机柜数多、服务器虚拟化运行的大中型机房，如图5⁃10所示。

图5⁃9　热通道封闭

图5⁃10　机柜背板供冷

4.自然冷却应用

（1）风侧自然冷却　风侧自然冷却由传感器、风道、热交换器、阀门等组成，可吸入适当的外界空气，满足设施制冷需求。风侧自然冷却有两种类型：直接式系统和间接式系统。直接式系统是直接将外界空气引入室内，但其应用仅限于少数地区，因为当室外温度低至机房送风温度时，需要消耗大量能量以增加室内湿度，从而产生高昂的成本。间接式系统则是通过换热器，间接利用室外空气冷却室内空气，但其可靠性和较复杂的维护要求，使其在数据中心的使用受到限制。这两种解决方案的关键在于正确的控制，应基于焓差而非干球温度进行控制。同时，应采取相应的措施检测室外空气中是否存在高含量的花粉、灰尘或其他污染物，并做到在发生这些情况时能及时关闭自然冷却装置。

（2）水侧自然冷却　水侧自然冷却一般合并在冷冻水制冷系统中，与换热器、水泵、冷却塔或干盘管、阀门结合使用。在较冷季节，室外冷却塔的冷却水经过换热器，换热器成为室内主要冷源。只要“免费制冷”的冷却水温度低于冷冻水回水温度2℃，就可以启用自然冷却模式，因为它将降低冷水机组的负荷。

水侧自然冷却是大多数数据中心的理想选择，因为其不受外部空气质量影响，因此可以在较大的气候范围内使用，也不会为数据中心增加任何额外的空气过滤需要。

（3）自然冷却冷水机组 自然冷却冷水机组与常规冷水机组最大的区别在于它带有风冷自然冷却换热器，其运行优先利用天然环境的低温空气冷却循环冷冻水，可以实现无压缩机运行制冷，显著节省压缩机的电耗。

夏季，跟常规空调一样，开启制冷机，冷媒压缩制冷，自然冷却器不启用，如图5⁃11所示。

图5⁃11 无自然冷却工况

当环境温度比冷冻水回水温度低2℃或以上时，开启自然冷却预冷冷冻水，预冷时为自然冷却，无压缩机功耗，自然冷却不够的，再由常规压缩制冷接力（有压缩功耗部分），如图5⁃12所示。

图5⁃12 部分自然冷却工况

当环境温度达到比冷冻水回水温度低10℃或以上时，完全采用自然冷却冷冻水，完全无压缩机功耗部分，仅有少量风扇电耗，如图5⁃13所示。

图5⁃13 完全自然冷却工况

5.连续供冷应用

随着科技的进步，数据中心机房和机柜的功率和发热密度都不断增加。在高密度机房内，一旦正常电力发生突然中断，IT设备由于有UPS作为后备电源，可以继续工作，但这时制冷系统如果无法提供相应的连续供冷，则机房内温度会迅速升高，从而超过设备的允许温度，造成IT设备的宕机。断电后机房温度变化曲线如图5⁃14所示。

图5⁃14 断电后机房温度变化曲线

从图5⁃14中可以看出，当制冷系统断电后，柴油发电机的响应时间约为2min。冷水机组由后备电源恢复供电后，需要10min起动并达到正常制冷状态。在冷水机组恢复正常制冷前，机房温度已经升高到41℃，会带来IT设备宕机的风险。特别是在高密度配置下，机房温度升高的速度会更快，所以对于高密度机房，连续供冷是至关重要的。

尽管数据中心的高密度为制冷系统带来了挑战，但是如果在设计时，就考虑好相应的连续供冷技术措施，并辅以相应的应急管理措施（例如，在长时间断电的情况下，根据各信息系统架构和使用情况，在保证系统安全的前提下，关闭相对空闲或不必要的备份设备和冗余设备，在现有的系统架构基础上尽量延长运行时间），还是可以实现制冷系统在紧急情况下仍然能够连续较长时间的运行，以及不间断供冷。

在设计制冷系统时，可采用的连续供冷措施有：保持充足的储备制冷容量；为制冷设备配置后备电源；使用具有快速重启功能的设备；使用蓄冷装置度过冷水机组重启时间；保持充足的储备制冷容量可以大幅延长系统制冷时间。冷水机组、水泵、精密空调的设备容量合理的冗余配置，有利于制冷系统的连续性。

（1）为制冷系统配置后备电源 在正常电力突然中断后，数据中心房间内温度上升，主要是由于精密空调的风机和冷冻水泵因断电而不能正常工作，并且一直持续到发电机在断电后起动为风机和水泵供电时。这时的温升最大的驱动因素是IT设备发热量和空间容量的比例。制冷系统停止运转后，IT设备释放出的热量迅速加热室内空气，同时，室内的物体也会吸收一部分热量，包括墙体、通道、柱子、楼板和机柜等。如果机柜密度非常高，则室内空气温升会很快，超过5℃/min，从而很快引起宕机。

在低密度状态下，在发电机起动前，仅将精密空调风机连接到UPS上，可以帮助维持空气的流动，防止IT设备热排风直接回到IT设备的进风口，并且帮助将热量转移到其他设施内（如冷水盘管内的冷冻水）和其他房间（如空调机房）。如果采用冷冻水系统，则可以考虑再将冷冻水泵（二次泵）连接到UPS，可以在发电机起动前减缓温升的峰值。这时，仅靠冷冻水系统管路内的冷冻水就能较大程度地减缓机房内的温升。

如果制冷机房离数据中心较远，或者冷冻水管网使用冗余环路系统，管道内会储存大量的冷冻水。如果数据中心位于大型多用途建筑内，数据中心很可能与其他区域共用冷水机组，这也可以提供庞大的制冷容量。值得注意的是，数据中心的设计者和运营者应当与设施管理人员达成一致，以确保在紧急情况下数据中心具有优先权使用储存的冷冻水。

对于以上情况，应依据风机和冷冻水泵的后备情况，可能需要配置独立的UPS以避免干扰IT设备。如果风机、冷冻水泵和IT设备使用同一个UPS系统，则应为机械负载配置隔离变压器。

（2）使用具有快速重启功能的设备 冷水机组重启时间如图5⁃15所示。

从图5⁃15中可以看出，当冷水机组的正常供电中断，转由柴油发电机供电后，配有快速起动功能的冷水机组需要5min即可完成重启到满负荷状态运行，比标准冷水机组的起动时间缩短了1/2。由于冷水机组停机时间缩短，机房内空气温度升高的峰值也相应降低，有利于机房环境迅速恢复到断电前状态，保证服务器的正常运行。

（3）使用蓄冷装置 在一个使用冷冻水型精密空调的系统中，为精密空调的风机、冷冻水的二次泵配置UPS，并在冷冻水循环系统中增加蓄冷罐以储备冷冻水。当电源中断未恢复，或因电源中断导致冷水机组暂时无法起动时，通过蓄冷罐和水泵提供冷源，由精密空调的风机维持机房内的空气循环，从而在一段时间内保持机房的温度或阻止机房快速升温，等候电力的恢复或冷水机组恢复正常工作。

当条件允许时，可以考虑增大蓄冷罐的容积，起到对电力系统削峰平谷的作用。夜间低谷电价时，蓄冷系统使用冗余的冷水机组蓄冷，白天电价高峰时，关闭全部或部分冷水机组，使用蓄冷罐进行放冷，供应全部或部分数据中心的空调制冷，利用峰谷电费差异节省运行费用。夜间室外湿球温度低，冷水机组的效率也较白天运行高。

图5⁃15 断电后机房温度变化曲线（冷水机组具有快速重启功能）

6.水冷技术应用

数据中心的发展正处于一个瓶颈期，一方面在市场及技术的趋势下，要求数据中心能够安装更多高新高效的IT设备以支持业务发展，所以数据中心将要求更多的电力以及制冷容量。另一方面，节能减排的企业责任和回应全球减排的趋势，都要求降低能耗。在全面提升数据中心计算能力的同时，又能有效降低数据中心的运营成本，水冷系统是一种有效的、既能提高机房的IT装机容量又能降低机房运营成本和节省能耗的方案。

（1）水冷背板 最有效的制冷方案一定是靠近热源，将热量直接在热源处就地制冷、就地解决的制冷方案。服务器机柜的后门，直接面对服务器散热出口，是最靠近机房热源的位置。水冷背板就是基于这个原理设计的。在机柜后门的位置安装水冷背板，就地制冷、就地解决机柜散热，做到机柜后门出风即是冷风，是目前最有效的制冷解决方案。其工作原理和实物如图5⁃16和图5⁃17所示。

图5⁃16 水冷背板工作原理

图5⁃17 水冷背板实物

水冷背板为无风扇运行，没有能耗部件，IT模块内无须布置机房空调作为环境空调。传统数据中心，机房空调风扇能耗占总能耗的20%左右，采用背板后，该项能耗完全得到节省。

水冷背板的散热主要是依靠服务器风扇吹出的气流，对流散热，背板的空气阻力很小，增加背板后，服务器风扇功耗增加小于0.1%，可以忽略不计。

水冷背板贴近发热设备，换热温差大，因此可以接受较高的冷冻水温，这样可以提高冷水机组的COP，节约冷源侧能耗，同时可以大大延长自由冷却时间，全年能耗节能效果尤为明显。水冷背板与传统精密空调系统相比，可以提高架空地板使用率，即提高出柜率。水冷背板因为没有风机，所以在空调系统供电功率占用和UPS容量上，也较传统空调有明显优势。

（2）行间制冷 行间制冷是将制冷单元机组放在机柜的侧面，在冷通道侧出冷风，在热通道侧进热风，通常要求封闭冷通道或热通道，如图5⁃18所示。

行间制冷因为就近机柜，所以在风机能耗上应小于传统精密空调，在高架地板高度上也较传统空调要求低。

上述各种水冷技术各有优点，也有各自合适的使用条件和场合，其制冷效率也各不相同。美国劳伦斯伯克利国家实验室专门对各种水冷技术做了检测，检测结果表明，水冷背板制冷效率明显优于其他水冷技术，如图5⁃19所示。

图5⁃18 行间制冷

图5⁃19 水冷技术比较结果

图5⁃19中横坐标代表机柜密度，纵坐标代表能效比。可以看出，同样情况下，水冷背板能效比最好，即每冷吨制冷量所需功率数最低。在高密度情况下，即单机柜密度大于10kW时，水冷背板的能效比较其他制冷方案优势更加明显。