|
數據中心數量的快速增長，加上其高能耗，可能會制定更嚴格的法規要求以促使數據中心降低能耗。由于冷卻系統通常占傳統風冷數據中心能耗的40%，因此采用更高效的數據中心冷卻方案變得越來越重要。 液冷是風冷數據中心的有效替代方案，特別是因為它能夠處理現代高熱流密度的計算芯片。單一風冷技術因存在局部熱點、高能耗等問題已被證明不能滿足大功率數據中心的散熱需求。 一種很有前途并且較簡易的更替空氣冷卻的方法是風-液混合冷卻。對大功率部件采用液冷、其他部件采用風冷的風-液混合冷卻分級散熱已成為主要發展方向之一，結合液冷與風冷的混合系統成為這一時期的主流，并逐步向全液冷遷移。
其中一個主要原因是，由于空氣和水具有不同的物理性質，導致它們的傳熱特性也有很大的不同。一些學者針對數據中心的不同冷卻方式進行了多方面的比較分析工作。 Chi等在一些假設下，包括IT系統滿負荷運行，設施供水和回水溫度升高，因此風冷解決方案需要完全機械冷卻。最后得到，該數據中心采用封閉式、浸入式、直接液冷系統，能耗減少95.88kW，比混合式空氣-水冷卻系統節省29%的能耗。 此外液冷數據中心通常不需要較多的風扇等旋轉組件，提供了更高的可靠性。Watson等研究了風冷和浸沒冷卻的靈活性。對于液體浸沒冷卻系統，可以有一個靈活的數據中心冷卻環境，可以滿足現代世界不斷變化的IT需求。 Yatskov等提出了一套比較風冷和液冷的規格。首先是系統配置和運行條件。所考慮的假想計算機集群應產生約1MW的IT功率。其次，該規范中的機柜架構假設每個水平卡都是從前面插入的，沒有從機柜后面插入。第三，為了保持65℃的外殼溫度限制，風冷方法需要配備壓縮機的冷水機，但液冷方法首選干式冷卻器，證明了液體冷卻比空氣冷卻更有效。
 本文對空氣強制直接冷卻和風-液混合冷卻的服務器及冷卻系統進行建模，建立數據中心能源利用模型，詳細比較這兩種不同的數據中心冷卻方式和部件級能耗，對進一步優化風-液混合冷卻方式的冷卻性能和挖掘降耗潛力具有重要意義。
 數值模型 服務器模型 空氣冷卻服務器和混合冷卻冷卻服務器的三維物理模型如圖2。服務器模型為1U服務器，每個服務器有2個CPU處理器，其他輔助部件包括15個內存條和1個電源。CPU尺寸為18.8 mm×17.5 mm×1 mm，內存條尺寸為 220mm×25mm×4mm，電源尺寸為150mm×110.5mm×20mm。  風冷服務器的CPU采用翅片熱沉冷卻，如圖2（a）所示，混合冷卻的CPU采用冷板冷卻，輔助部件均采用風冷如圖2（b）。材料及物性如表1所示。在冷板冷卻的模型中，冷板的冷卻工質是水，服務器為空氣入口。 為了合理公平地比較不同冷卻方式數據中心的能耗，對比的前提條件包括，服務器內各部件的種類，數量，尺寸和功率完全相同，并保證CPU最高溫度均為85℃，其他邊界條件見表2。內存條和電源均以體熱元方式加熱，CPU底面以恒定熱流方式加熱。  采用計算流體動力學軟件Fluent 2023 R1進行計算分析。動量和能量方程的對流項的離散格式為二階逆風。采用SIMPLE算法處理壓力與速度的耦合關系，壓力、速度等松弛因子采用默認值。為簡單起見做了以下假設：
2) 黏度耗散可以忽略不計； 3) 流體不可壓縮； 4) 輻射傳熱可以忽略。基于以上假設，控制方程如下  式中：u、ρf、μf、Tf、kf、cP,f、Ts和ks分別為流體速度、流體密度、流體黏度、流體溫度、流體熱導率、恒壓比熱容、固體溫度和固體熱導率。
 冷卻系統能源利用模型 空氣冷卻系統模型 圖4顯示了空氣冷卻系統的主要部件，服務器熱量首先通過空氣-水熱交換器提供的冷氣流消散，水通過冷機的制冷劑-水熱交換器（蒸發器）冷卻機 架的空氣，冷機的蒸汽壓縮循環使用制冷劑從水中吸收熱量，通過冷凝器將熱量排出到外部環境。  服務器模型如1.1節中的空冷服務器所示，服務器數量為40，服務器總功率為Φservers=18400W。服務器的冷卻空氣由空氣-水換熱器提供，空氣-水換熱器依據總換熱量和工質流量通過Coildesigner軟件設計得到。空氣-水換熱器的風扇依據所需總風量選擇UF400AAA23。 由于不考慮房間內的氣流組織，故假設空調提供的風量有20%冗余，所以假設空氣水換熱器（HTX1）制冷量冗余20%，換熱量為離開HTX1并進入服務器的空氣溫度Tair-out，離開服務器的空氣溫度Tair-in，通過熱交換器的空氣質量流量mair是通過服務器三維仿真得到的，假定水側的流量mwater已知，利用Coildesigner軟件進行HTX1結構設計，管束結構如圖5所示。  管排形式為叉排，換熱管類型為光管，管長800mm，管內徑7.3mm，管外徑7.5mm。翅片類型為Louver Fin，翅片間距2.44mm，翅片厚度0.1 mm。空氣-水換熱器設計參數包括已知參數，迭代值及結果值。已知參數包括：空氣側空氣入口溫度及流量，水側流量和換熱器的總換熱量ΦHTX1。通過迭代水側的入口溫度，即可求得換熱器其他參數。 服務器風扇及HTX1風扇功率計算公式為：  式中：Wfan是功耗；VRAF是額定風量；WRIP是額定輸入功率；Vfan-air是空氣的體積流率；Nfan是風扇數量。 換熱器水泵功耗根據所需壓降進行計算  式中：Wwater-pump是水泵功耗；mwater是水流量；Δp是換熱器水側壓降；ρ是水密度；?是效率；假定為90%。制冷系統包括蒸發器、壓縮機、冷凝器和膨脹閥，制冷劑為R134a。基本制冷循環如圖6所示。 蒸發器是制冷劑和水的換熱器，假設蒸發盤管內外壁均有較高傳熱系數，所以假定蒸發器的蒸發溫度TEVsat與進入蒸發器水溫Twater-out的溫差為2℃。此外，對應的壓力PEVsat從制冷劑的飽和曲線得出。  由于冷機設計成防止液體進入壓縮機，所以蒸發器流出的狀態1的氣體為稍微過熱，h1=1.001hg，hg是飽和蒸汽狀態的焓，狀態4焓h4由下式得出 式中：Φevaporator蒸發器換熱量；mrefrig制冷劑流量。 從狀態3到狀態4的過程是制冷劑從飽和液態的恒定焓膨脹，因此狀態3的焓h3=h4，通過查狀態3的壓焓圖，即能得到狀態3的物性參數。 冷凝器的換熱量可通過下式表達 式中：Tao為冷凝器的空氣側出口溫度；Tai為冷凝器的空氣側進口溫度；TCONsat為冷凝器的制冷劑側的的飽和溫度；mCONair是冷凝器空氣的質量流量；cpair是空氣的比定壓熱容；k是總傳熱系數。 冷凝器的管束結構如圖7所示。管排形式為叉排，換熱管類型為光管，管長1200mm，管內徑8.8mm，管外徑9.5mm。翅片類型為Louver Fin，翅片間距2.07mm，翅片厚度0.14mm。通過改變R134A流量和空氣流量，可以將冷凝器的總傳熱系數k繪制 為空氣流量的函數，如圖8所示。 狀態2下的焓h2可以由熱力學第一定律通過使從冷凝器到空氣的熱傳遞相等來確定，即 壓縮機的功Wcomp-1，可以計算為 這是第一個解，是根據冷凝器兩側的能量平衡計算得到的，但由于它是圍繞制冷劑流量迭代的，因此需要第二個解來驗證原始解是否正確。壓縮機的功Wcomp-2，還可以表示為 式中：h2-2為2點的實際焓值。在壓-焓圖上，對于理想制冷循環，狀態1至狀態2的壓縮過程是恒定熵壓縮。利用從h1到Psat等壓線的恒定熵下的壓焓圖，可以查得狀態2處的理想焓值是h2s。假設壓縮機效率為88%，h2-2可表示為 所以這第二個解是依據先假定過程1→2的等熵過程，在已知壓縮機效率的情況下計算得到，因為制冷劑流量為假定值，不同的制冷劑流量會得到不同的狀態2的焓值。所以這種迭代方法是利用了機械制冷循環中所有與狀態2點相關的過程進行同步計算。迭代假定的制冷劑流量，當通過所有相關過程，計算出的壓縮機的兩個功耗解，Wcomp-1=Wcomp-2的誤差在1%范圍內，即認為制冷劑流量為假定值準確。 混合冷卻系統模型 冷板冷卻時，是將冷凍水直接泵送至冷板，因此冷板冷卻的蒸發器中需要不同的制冷劑溫度。混合冷卻需要兩臺冷水機，否則，冷板將有比所需溫度低得多的溫度，會導致能耗變大。圖9為混合冷卻模型系統示意圖，處理器采用冷板冷卻，與空氣冷卻系統系統相比，直接去掉了效率較低的空氣-水換熱器，輔助部件采用空氣冷卻。 另外，冷板冷卻管道會存在沿程壓降，沿程壓降計算公式為 式中：L管長；d管道直徑；v流體速度；g重力加速度；d=5mm；L=44.45×40×2=3556mm。其次服務器的冷板管道出入口存在彎頭，局部阻力公式為 式中：ξ是局部阻力系數，與局部阻力的形狀有關，假設彎頭為90°，ξ=0.15。冷板壓降，管道沿程壓降和局部壓降的總和為服務器水泵所提供的總壓頭。處理器總功率為Φchip=12000W，輔助部件總功率為 Φaccessory=6400W。 混合冷卻系統中的主要部件與上文介紹的空氣冷卻系統部件模型的計算方法及假設相同，在此不再贅述。特別的，在混合冷卻中，輔助部件的風冷所需冷量也冗余20%，混合冷卻中，CPU的冷板冷卻部分也設置制冷量冗余20%，主要考慮的是冷量的損失。混合冷卻系統與風冷冷卻系統的不同如表3所示。 結果與討論 服務器三維模擬結果對比 風冷冷卻服務器和混合冷卻服務器的仿真結果如表4，溫度云圖如圖10，仿真結果是40個服務器的累加，并假設服務器的出口工況完全相同。 根據仿真結果，40個空冷服務器需要的總風量為9255.56m3/h，單個風冷服務器的風量為231.39m3/h，選擇的服務器風扇類型為軸流式UF92AM，每個服務器的風扇數量是4個。40個混合冷卻服務器冷卻輔助部件需要的總風量為6478.89m3/h，冷卻CPU需要的去離子水量為1.413 m3/h，單個風冷服務器的風量為161.97m3/h，選擇的服務器風扇類型和數量與空冷服務器相同。 數據中心兩種冷卻方式能耗結果對比
如圖11，冷板水泵功耗僅為0.27kW。主要原因在于水和空氣的物性不同，帶走相同的熱量，所需水的流量比空氣小得多，表4的服務器冷卻劑流量結果也可以證明。所以在服務器側和換熱器側，混合冷卻共節約功耗0.32kW。其中換熱器側，混合冷卻節約0.24kW。 可見，混合冷卻由于液冷系統沒有空氣-水換熱器，不僅簡化了系統，除去了大量風扇，也進一步提高了數據中心一次冷卻側和二次冷卻側的熱量傳遞效率，是降低能耗的有效方法，也是冷板冷卻的優勢。冷機側的壓縮機和冷凝器風扇功率，混合冷卻共節約4.56kW。空氣冷卻的總能耗是30.25kW，混合冷卻的總能耗是25.35kW。 兩種冷卻方式的總能耗及各部件能耗占比如圖12所示。所有冷卻方式，冷卻系統中壓縮機的功耗都最大，分別占比31.37%，19.52%。所以降低壓縮機能耗的是節能的另一有效方法。另外，在兩種不同冷卻方式下，風冷系統中的服務器風扇都是冷卻系統中耗能第二大的部件，其次為換熱器的風扇。 冷凝器風扇是所有風扇中功耗最小的，占比小于1%。兩種不同冷卻方式中，混合冷卻方式共節約了4.896kW，節能19.58%。因為未考慮照明等輔助部件的耗電，所以冷卻系統能耗指標使用冷卻系統總能耗與服務器總能耗（partial Power Usage Effectiveness，pPUE），空冷變為混合冷卻后，pPUE從1.644降低至1.378。 數據中心兩種冷卻方式的制冷循環比較 兩種冷卻方式制冷循環壓焓圖如圖13所示，因為混合冷卻包括風冷和液冷兩個系統，所以在制冷循環比較圖時，共繪制3個循環。包括全服務器空氣冷卻壓縮制冷循環，混合冷卻的空氣冷卻壓縮制冷循環和混合冷卻的冷板冷卻壓縮制冷循環。 據上文所述，所有冷卻系統中的壓縮機功耗是最大的。制冷系數是制冷量與功耗的比值。本文中不同冷卻系統的制冷循環制冷系數越高，表示在規定制冷量下，所消耗的能量越少。圖13比較了蒸發溫度，冷凝溫度和制冷系數。 冷凝溫度相差不大，但由于不同服務器的入口冷卻工質溫度有不同的要求，并且冷板冷卻系統中，冷卻工質水在蒸發器中直接與制冷劑換熱，去除了空氣冷卻中中間回路(空氣-水換熱器HXT1的水回路)，所以冷機的蒸發溫度的差異較大。 混合冷卻中，由于使用冷板冷卻CPU，空氣冷卻的輔助部件所需風量降低30%，所以蒸發溫度是14.03℃，較全服務器空氣冷卻提高7.65℃。而冷板冷卻系統中，由于所需的冷卻工質溫度提高為40 ℃，并且系統中去除了空氣-水換熱器及水回路，去離子水直接在蒸發器中與制冷劑換熱，在滿足制冷條件情況下，冷機所需的蒸發溫度提高至38 ℃，較全服務器空氣冷卻提高31.62℃，混合冷卻的蒸發溫度大幅度高于全服務器空氣冷卻，使混合冷卻壓縮機功耗的降低極為顯著。 其中，混合冷卻中的壓縮機功耗降低4.54kW，兩種冷卻方式總能耗差異是4.896kW，壓縮機功耗差異占總能耗差異的92.72%。綜上所述，由于冷板冷卻的使用，65%的熱量都是通過冷板帶走的，所以混合冷卻的能耗大幅下降。混合冷卻中冷板冷卻比例的逐步提高是未來高熱流服務器的主要方向 。 自然冷卻對數據中心能耗的影響 當考慮自然冷卻時，風冷系統和液冷系統的蒸發溫度與機械制冷時相同，分別為14.03℃和38℃。并且在自然冷卻時，制冷劑循環與機械制冷相反，所以自然冷卻的冷凝溫度低于蒸發溫度。自然冷卻的啟用條件取決于冷卻系統中的冷凝溫度是否高于環境溫度。 綜上所述，在環境溫度為35℃時只有液冷系統可以考慮利用自然冷卻。依據2.2.1節中得出的在環境溫度35℃時的冷卻系統能耗，可得到，IT負載均為18400W，空氣冷卻系統的冷卻能耗總計11850W。混合冷卻中的輔助部件空冷系統能耗總計4181.61W。CPU液冷系統能耗總計2771.92W。 根據覃的研究，在天津地區，采用自然冷卻的時，冷卻系統的能耗占IT功耗的7.42%。據此，若液冷系統可以考慮利用自然冷卻，可以估算混合冷卻中的CPU液冷系統能耗總計1365.28W，較機械制冷降低能耗50.75%。綜上所述，在環境溫度為35℃時，液冷系統直接利用自然冷源時，混合冷卻的pPUE可以進一步降低至1.301。自然冷卻可以較大的降低冷卻系統能耗，并且液冷系統較高的蒸發溫度更有利于自然冷源的利用。 在經濟性方面，全球約70%數據中心仍依賴風冷，改造需數十年周期，混合冷卻更有利于現有機房面對高功率服務器的改造，改造成本大大降低。并且混合冷卻的容錯能力較強，當出現故障時，有多系統可以備用接管，保障數據中心整體穩定性。 結論 本文對數據中心空氣冷卻和風-液混合冷卻的三維服務器和一維冷卻系統進行了建模和能耗分析，對比了這兩種冷卻方式下能耗差異的具體來源,主要結論如下。
|
|
|
