數據中心液冷技術研究

隨著信息通信技術的發展，數據中心的單柜功耗在逐漸攀升。面對數據中心的能耗壓力及“雙碳”目標對行業節能降碳的要求，工業和信息化部、國家發展和改革委員會等有關部門近年來發布了一系列關于數據中心節能、建設的規劃和指導意見，其中明確了數據中心電能利用效率（PUE）指標要求。目前空調系統能耗約占數據中心總能耗的35%，因此降低數據中心空調系統能耗對實現低PUE具有重要意義。與現有風冷式空調先冷環境再冷設備的低效制冷方式相比，液冷技術是通過直接與信息通信設備發熱器件（CPU、GPU、DIMM等）進行換熱，減少路徑冷損耗，是一種更精準的制冷方式。液冷系統相對較高的供回液溫度設計，可充分利用自然冷源進行散熱，實現高效、綠色制冷，逐漸在數據中心領域得到應用和推廣。

對數據中心而言，熱流密度在不同空間維度上的差異很大。傳統風冷式空調只能對機房整體或局部環境溫度進行調節，但機柜內部的服務器設備中不同發熱器件存在較大的發熱功率梯度，例如，CPU芯片的發熱功率遠高于其他發熱元件，而內存、PSU等僅占服務器整體功耗的20%～30%。因此，傳統風冷式空調會導致不同發熱器件出現“過冷”或“過熱”的現象，這種無法實現發熱器件精確制冷的方式只能通過加大機房空調制冷量或降低送風溫度等方式來降低“過熱”器件的溫度，但這樣會引起過多的能源浪費。

隨著CPU芯片算力及封裝技術的不斷發展，CPU的發熱功率逐年增長。當前高性能CPU芯片的表面熱流密度為30～50 W/cm²，但芯片自身結構尺寸不斷縮小，芯片表面的熱流密度將持續增大，預測5年后將達到100～150 W/cm²。高性能封裝CPU芯片的性能預測（IEEE/IDRS Roadmap2017）如表1所示。

從數據中心橫向及空間維度分析（具體見圖1），數據中心功率密度大約比機柜功率密度低1個數量級，而機柜的功率密度又比服務器CPU芯片功率密度低約1個數量級，機房功率密度與CPU芯片功率密度相差2個數量級，因此數據中心主要的發熱源集中在CPU芯片。

通過對數據中心發熱器件熱特性進行分析，并結合液冷技術的優勢，可以發現針對高功率密度散熱場景，液冷技術更加適用和高效。相關研究表明，當CPU芯片的熱設計功耗（Thermal Design Power，TDP）不大于50 W時，宜采用自然散熱方式，當TDP在50～100 W時，宜采用風冷散熱方式；當TDP在100～200 W時，宜采用精密風冷空調，而當TDP超過200 W時，建議采用液冷散熱方式。液冷技術按照冷卻液是否與發熱器件（含散熱器）接觸分為直接式液冷技術和間接式液冷技術。

2.1.1 直接式液冷技術

直接式液冷技術是指通過冷卻液與發熱器件（含散熱器）接觸式換熱，將發熱器件的熱量傳遞給冷卻液，最終通過冷卻液的循環將熱量釋放到大氣環境中。根據冷卻液物性參數的不同，直接液冷技術分為單相液冷和相變液冷。單相液冷是指冷卻液在與發熱器件（含散熱器）換熱過程中不發生相態變化，而相變液冷是指冷卻液在與發熱器件（含散熱器）換熱過程中發生相態變化。

2.1.2 間接式液冷技術

間接式液冷技術是指通過冷卻液與發熱器件（含散熱器）非接觸式換熱，主要是以熱傳導的方式進行熱量傳遞。由于冷卻液與發熱器件非接觸式換熱，因此對冷卻液的要求與直接液冷技術有所不同。

2.2.1 高效能

直接式液冷或間接式液冷技術，其末端或冷卻液更靠近發熱源，能夠直接把熱量進行轉移，實現精準制冷，減少沿程冷損耗。相比于水冷系統，液冷系統可以進一步提高供回液溫度設計值，在部分區域可實現無壓縮機配置，全年實現自然冷，液冷數據中心全年PUE可低至1.05。

2.2.2 高可靠

美國空軍航空電子整體研究項目（US Air Force Avionics Integrity Program）認為，溫度、振動、濕度和粉塵是導致電子設備故障的主要因素，其中，溫度引發的故障率占55%，灰塵引發的故障率占6%，濕度引發的故障率占19%，振動引發的故障率占20%。液冷尤其是直接式液冷技術，將發熱設備完全浸沒在不導電冷卻液中，使發熱設備完全脫離空氣，避免了風機震動及空氣灰塵的影響，從而使系統具有更高的可靠性。

2.2.3 超靜音

目前，在應用液冷技術時，需要對服務器進行改造和適配。對于直接式液冷服務器，需要拆除風扇組件，使系統運行時，無氣流及風扇震動噪聲；而間接式液冷則通過冷板解決了主要發熱器件的散熱問題，其他熱量通過風扇組件進行氣流循環換熱。在這種方式下，風扇的轉速更低，從而極大地降低了氣流及震動噪聲。

2.2.4 節約空間

液冷系統適用于AI等高算力場景，采用液冷技術在同等的空間內可部署更高的算力，從而減少物理設備數量。液冷系統可采用無壓縮機配置，全年利用自然冷源進行散熱，無需專用動力機房配置，從而降低整體空調系統的占地面積。

2.3.1 冷板式液冷

冷板式液冷屬于間接式液冷，在應用時需對服務器進行相應的改造，其主要解決了高功率密度發熱器件的散熱問題，對服務器內存、PSU等低功率密度器件仍舊采用風冷散熱。對于冷板式液冷數據中心而言，根據功率密度的不同采用液冷技術和風冷技術實現了“分區”溫控，使數據中心空調系統更加高效、節能。冷板式液冷按照熱傳遞過程的不同分為溫水式冷板液冷和熱管式冷板液冷2種。目前常用的冷板式液冷服務器有1U單節點服務器、2U 4節點服務器等。

溫水式冷板液冷（見圖2和圖3）存在多個發熱器件連路的單節點服務器，發熱器件連通管路可采用硬接和軟接2種方式，硬接方式可采用紫銅或無氧銅進行焊接，但對安裝尺寸及結構要求高，安裝時難度較大。軟管方式可采用波紋管、橡膠管（如FEP/PTFE/EPDM等材質）等進行連通，對安裝尺寸及結構要求低，但PCB板需具備軟管固定所需空間。

圖3 溫水式冷板液冷服務器（軟接）

根據服務器算力性能要求及耐溫性，溫水式冷板液冷的供回液設計溫度可采用40 ℃/45 ℃，或更大散熱溫差,供回液設計溫度采用40 ℃/50 ℃，因此相比于水冷機房空調，液冷較高的供回液溫度，在大部分區域可實現全年自然冷，進一步降低數據中心能耗，實現低PUE運行。

熱管式冷板液冷（見圖4、圖5和圖6）主要通過熱管實現發熱器件與水環路之間的熱傳導，熱管的吸熱端通過固定裝置與發熱器件貼鄰敷設，熱管的放熱端通過水冷基板把熱量釋放至水環路中，熱管內部液體介質一般為相變介質，可實現周期性的相變循環。相比于溫水式冷板液冷，水環路不進服務器，從而避免了因水滲漏所帶來的PCB板短路風險。冷板（見圖7和圖8）與發熱器件之間通過熱傳導的方式實現熱量傳遞。冷板一般是由基板（底座）、上蓋或固定架等組成，基板（底座）一般采用ADC10（壓鑄鋁合金）制成，基板（底座）與上蓋或固定架之間形成密閉的流道腔體，腔體內設有翅片用于強化換熱。

根據腔體內強化換熱方式的不同，冷板可分為埋管式、銑槽道式、擾流片式、微通道式。冷板與發熱器件之間通常填充導熱硅脂或金屬墊片以加強導熱。相對于直接式液冷技術（如浸沒式液冷、噴淋式液冷等），冷板式液冷技術對服務器改造的工程量較少且更易實施。

2.3.2 浸沒式液冷

浸沒式液冷屬于直接式液冷，服務器所有低功率密度發熱器件和高功率密度發熱器件完全浸沒在冷卻液中。對于單相浸沒式液冷（見圖9），冷卻液環路實現液冷機柜與冷量分配單元之間的連通，而相變浸沒式液冷通過在液冷柜內設置冷凝器，管內為冷卻水，氣化的冷卻液遇冷液化滴落至液冷柜實現循環。相變浸沒式液冷原理如圖10所示，Tank液冷柜如圖11所示。

由于服務器完全浸沒在冷卻液中，包括服務器本身的結構設計及特殊的器件如光模塊、機械硬盤等均需要特殊處理，圖12所示為浸沒液冷PCB板對光模塊進行封裝處理，圖13所示為浸沒液冷柜對線纜進行密封處理。不同于風冷式機架服務器，在對服務器設備進行維護操作時，浸沒式液冷柜宜采用專用吊臂車對服務器進行取出或存放（見圖14）。

2.3.3 噴淋式液冷

噴淋式液冷（見圖15、圖16）屬于直接式液冷，由于其自上而下采用噴淋式結構設計，目前被廣泛應用于機架式服務器。噴淋液體能夠完全覆蓋服務器發熱器件，同時根據不同發熱器件的功率密度，可以對噴淋板上的液孔進行精準化開孔設計，以滿足不同功率發熱器件的散熱需求。相比于浸沒式液冷，噴淋式液冷的每臺服務器獨立化液冷設計，不需要改變現有的機架式服務器部署形態。噴淋式液冷所需的冷卻液總量較少，降低了對建筑承重的要求，目前噴淋式液冷采用較多的冷卻液是硅油、礦物油或植物油等，相比于浸沒式液冷用電子氟化液成本較低。

2.3.4 霧化噴射式液冷

霧化噴射式液冷是目前學術研究的重要方向，相比于現有的液冷技術，霧化噴射液冷是更為高效的CPU散熱技術，但目前仍處于研究階段，尚未有成品應用，其原理是通過霧化噴管借助高壓氣體（氣助噴射）或依賴液體本身的壓力（壓力噴射）使液體霧化，將其強制噴射到發熱物體表面，從而實現對物體的有效冷卻。這種冷卻方式換熱強烈，具有很高的臨界熱流密度值（CHF），且冷卻均勻，適用于一些對溫度要求很嚴格的領域（如在微電子、激光技術、國防、航天技術等），并顯出獨特的優勢和重要性。研究表明，當液流噴射速度達到47 m/s時，其散熱能力高達1 700 W/cm²，霧化噴射式液冷原理如圖17所示。

溫水冷板式液冷用冷卻用水一般采用去離子水、甲醇、乙二醇、丙三醇、氨等，其主要物性參數如表2所示。

表2 冷板式液冷冷卻用水部分物性參數

從表2可以看出，去離子水是比較理想的冷卻液材料，但若能在去離子水中添加少許乙二醇、丙三醇等黏度較大的液體，可改善其性能，提高其比熱容、導熱系數，降低揮發性，從而改善冷卻效果，使水冷散熱器的散熱效果更加顯著，提高其開發和應用價值。

目前，3M和Shell等企業都在生產單相冷卻液。其中，3M的冷卻液為氟化液，而Shell的冷卻液是由天然氣制成的合成油，屬于碳氫化合物。部分電子氟化液（單相）主要物性參數如表3所示。

單相冷卻液通常沸點較高，以確保冷卻液在循環散熱過程中始終保持液態。氟碳化合物和碳氫化合物（如礦物油、硅油、植物油等）均可用于單相冷卻液。

目前相變冷卻液較多采用了3M公司的電子氟化液，電子氟化液部分型號的物性參數見表4。

表4 電子氟化液（相變）部分物性參數

相變冷卻液充分利用了冷卻液的蒸發潛熱，可以滿足高功率密度發熱器件對散熱的極端要求，使信息通信設備可以保持滿功率運行。但相變的存在也使得相變液冷系統必須保持密閉，以防止蒸汽外溢流失，同時必須考慮相變過程導致的氣壓變化，以及系統維護時維護人員吸入氣體的健康風險。

直接式液冷技術冷卻液與服務器內部發熱器件直接接觸，因此服務器內部器件及所使用的材質需要進行改造和適配，以滿足冷卻液與材質的兼容性。目前，直接式液冷技術所使用的服務器都是通過常規服務器進行改造而成的，如對PSU、SUB、VGA等線路接口進行改造等。對于機械硬盤及光模塊等性能受冷卻液影響的器件，需要進行獨立的封裝設計或更換。

與直接式液冷技術不同，間接式液冷技術僅解決了CPU、GPU等高功率密度發熱器件的散熱問題，而對服務器內存、PSU等低功率密度發熱器件仍舊采用風冷散熱。因此對于間接式液冷數據中心，需要同時配置風冷精密空調和液冷空調系統，以滿足數據中心“分區”溫控需求，通常建議液冷占比達60%以上。

液冷占比是指液冷系統中直接通過液體帶走的熱量（功耗）與設備總功耗的比值。液冷占比體現液冷系統直接利用液體冷卻帶走熱量的效率，液冷占比越高，冷卻效率越高，推薦采用高液冷占比的系統，以提升能源利用效率。

式中，LPE為液冷性能效率，簡稱液冷占比；PL為直接液冷功耗（是直接由液冷帶走的冷卻功耗）；P0為系統總功耗，包含直接液冷功耗和風冷功耗2部分。

目前液冷技術應用主要集中在超算中心、AI等高算力場景，在數據中心領域尚處于推廣應用階段，但隨著能耗管控壓力及PUE限令的執行，液冷將逐漸成為一種綠色、低碳、高效的數據中心制冷解決方案。

目前液冷技術應用較多的方式是采用“風液配比”策略，既在風冷式數據中心采用部分液冷技術，既可以降低數據中心整體PUE以滿足建設或運行要求，又可以控制建設投資。

由于液冷技術高效的散熱方式，液冷系統設計供液溫度普遍在40 ℃以上，供回液溫差為3～10 ℃，相比于水冷系統（供水溫度12 ℃或18 ℃）提高了供液溫度，減少了中間環節的溫差換熱損失，提高了系統自然冷源的時間利用。

與傳統的風冷空調不同，應用液冷技術時，必須充分考慮液冷系統運行的安全性、操作和維護的方便性以及防止泄漏的措施。此外，在數據中心應用液冷技術時，應充分考慮設備的散熱功率和成本投資等因素，或者結合現有數據中心的制冷空調方式，選擇適合的液冷應用（如冷板式、浸沒式、噴淋式等）及“風液配比”，以提高或滿足數據中心最大化的節能效益。

柯媛華，畢業于湖南大學，高級工程師，主要從事通信和數據中心領域的建設和維護工作；

成軍，畢業于中國科技大學，碩士，主要從事通信與數據中心領域的建設工作；

楊瑛潔，教授級高級工程師，碩士，主要從事通信和數據中心領域相關技術研究、標準制定等工作；

閆健，國家注冊暖通工程師，美國PMP認證，碩士，主要從事通信機房空調制冷、電源相關技術研究及標準制定工作。