當(dāng)前，我國正處于數(shù)字化轉(zhuǎn)型的關(guān)鍵時(shí)期，數(shù)字經(jīng)濟(jì)產(chǎn)值不斷提升，大數(shù)據(jù)和人工智能等技術(shù)蓬勃發(fā)展。相關(guān)產(chǎn)業(yè)對智算中心算力的需求持續(xù)增長，智算中心單機(jī)架功率不斷提升，高密高算力的算力基礎(chǔ)設(shè)施持續(xù)發(fā)展。具備智算能力的AI訓(xùn)練集群算力平臺單機(jī)功耗的不斷提升造成目前數(shù)據(jù)機(jī)房空調(diào)末端釆用的傳統(tǒng)風(fēng)冷制冷方式散熱能力不足，無法滿足高密度、高功耗的裝機(jī)需求，影響單機(jī)架功率密度提升。液冷技術(shù)作為一項(xiàng)全新的革命性冷卻技術(shù)，在系統(tǒng)部署、制冷原理及技術(shù)方向等方面較傳統(tǒng)風(fēng)冷技術(shù)有很大區(qū)別，利用液體介質(zhì)的高換熱系數(shù)、大比熱容，通過液體換熱，將電子器件產(chǎn)生的熱量帶走，從而有效降低器件的溫度，防止高溫條件下的電子器件失效或快速老化，讓電子設(shè)備發(fā)揮出最佳性能。液冷冷卻對降低器件最高溫度、提升元器件溫度場的一致性有顯著效果。
根據(jù)現(xiàn)階段液冷技術(shù)的發(fā)展程度，液冷冷卻方案主要包括冷板式液冷、浸沒式液冷（分單相浸沒式液冷及相變浸沒式液冷）和噴淋式液冷。浸沒式和噴淋式液冷中冷卻液可與發(fā)熱器件直接接觸，屬于接觸式液冷。冷板式液冷中冷卻液不能與發(fā)熱器件直接接觸，屬于非接觸式液冷。
冷板式液冷是服務(wù)器中高發(fā)熱量的芯片等部件通過與冷板的接觸將熱量間接傳遞給冷卻液進(jìn)行散熱，而低發(fā)熱量的硬盤等部件仍通過風(fēng)冷進(jìn)行散熱的一種方案。
浸沒式液冷是將服務(wù)器完全浸人冷卻液中使得全部發(fā)熱量直接傳遞給冷卻液進(jìn)行散熱的一種方案。其中冷卻液僅通過循環(huán)帶走熱量的為單相浸沒式液冷，冷卻液通過相變（蒸發(fā)冷凝）帶走熱量的為相變浸沒式液冷。噴淋式液冷是利用冷卻液對芯片等發(fā)熱部件直接進(jìn)行噴淋帶走服務(wù)器散熱量的一種方案。當(dāng)下，冷板式液冷、單相浸沒式液冷為發(fā)展主流，相較其它液冷方案成熟度更高。
參考行業(yè)內(nèi)現(xiàn)有液冷技術(shù)文獻(xiàn)并結(jié)合項(xiàng)目試點(diǎn)應(yīng)用案例的經(jīng)驗(yàn)總結(jié)，浸沒式液冷通常需要對IT設(shè)備進(jìn)行定制化設(shè)計(jì)、改造，對機(jī)房原有基礎(chǔ)資源設(shè)施改造幅度較大，技術(shù)及后續(xù)維護(hù)難度較高。噴淋式液冷利用冷卻液對發(fā)熱部件直接進(jìn)行噴淋，噴淋過程中若產(chǎn)生飄逸等現(xiàn)象將對機(jī)房內(nèi)其它設(shè)備造成影響，技術(shù)及后續(xù)維護(hù)難度同樣較高，且目前應(yīng)用局限性較大。冷板式液冷技術(shù)則是應(yīng)用最早、普及率最高的液冷制冷方式，對IT設(shè)備及機(jī)房原有基礎(chǔ)資源設(shè)施改造幅度相對較小，其可實(shí)施性、技術(shù)成熟度相對較髙，安全可靠性及后續(xù)維護(hù)便利性有較髙保障。綜上所述，冷板式液冷方案作為解決高密機(jī)房散熱問題的一項(xiàng)制冷關(guān)鍵技術(shù)具有較強(qiáng)的可實(shí)施性及保障性。
冷板式液冷通過IT設(shè)備內(nèi)配置的管路，使用冷卻液流經(jīng)冷板，通過冷板與大功耗高發(fā)熱量的部件的直接接觸高效率帶走部件產(chǎn)生的熱量，而IT設(shè)備內(nèi)發(fā)熱量較少的硬盤等器件，仍須采用傳統(tǒng)的風(fēng)冷形式進(jìn)行散熱。冷板式液冷方案通過風(fēng)、液冷的結(jié)合有效提高散熱效率，
降低系統(tǒng)部署應(yīng)用難度，提升系統(tǒng)靈活性。冷板式液冷機(jī)柜風(fēng)液負(fù)荷占比比例需按照系統(tǒng)形式及服務(wù)器部件散熱情況綜合進(jìn)行考慮，但一般情況下液冷部分提供的冷量占比不低于所屬機(jī)柜制冷負(fù)荷的60%，剩余的機(jī)柜制冷負(fù)荷由傳統(tǒng)風(fēng)冷部分承擔(dān)。
2.1風(fēng)冷部分方案
針對傳統(tǒng)風(fēng)冷部分的制冷系統(tǒng)方案架構(gòu)，仍然可以采用現(xiàn)有數(shù)據(jù)中心成熟的制冷方案，但是考慮到在當(dāng)前“雙碳”背景形勢下，政府相關(guān)監(jiān)管部門近年來出臺多項(xiàng)政策及指導(dǎo)文件對數(shù)據(jù)中心PUE提出了越來越高的要求，制冷系統(tǒng)作為數(shù)據(jù)中心的主要耗電部分之一，需要引入更多高效的技術(shù)方案，提升系統(tǒng)的能效比，優(yōu)化系統(tǒng)節(jié)能效果。
對于傳統(tǒng)風(fēng)冷部分，可以考慮提高數(shù)據(jù)中心冷水系統(tǒng)的供回水溫度，釆用高水溫方案如18/24℃：的供回水設(shè)計(jì)溫度。提高冷凍水供回水溫度一方面可以提高冷機(jī)的蒸發(fā)溫度，由此帶來冷機(jī)能效比的有效提升，參考目前市面上主流冷水機(jī)組廠家提供的機(jī)組性能參數(shù)，冷凍水溫度每提升1℃，主機(jī)能效可提高2.5%左右。另一方面可以有效提升制冷系統(tǒng)利用自然冷源的全年時(shí)長，進(jìn)一步降低系統(tǒng)能耗，例如對處于夏熱冬冷地區(qū)的某城市，冷凍水溫度提升3℃：，全面自然冷源利用時(shí)長可增加1160小時(shí)。需要注意的是提升系統(tǒng)水溫會導(dǎo)致空調(diào)末端的制冷量出現(xiàn)衰減，故需要對空調(diào)末端的配置進(jìn)行校核及調(diào)整。
風(fēng)冷部分也可考慮采用風(fēng)側(cè)間接蒸發(fā)冷卻技術(shù)，設(shè)備一般具有室外冷風(fēng)供冷、蒸發(fā)冷卻供冷、蒸發(fā)冷卻及機(jī)械制冷聯(lián)合供冷幾種模式，整體架構(gòu)簡單，方便快速部署。但是設(shè)備尺寸較大，對土建條件需求較高。
2.2 液冷部分方案
液冷系統(tǒng)利用液體介質(zhì)的高換熱系數(shù)和大比熱容，通過液體換熱將電子器件產(chǎn)生的熱量帶走，故冷卻液的設(shè)計(jì)供回水溫度及溫差可以提升到一個相對很高的溫度，例如一次側(cè)系統(tǒng)供回水溫度可以達(dá)到35/45℃，二次側(cè)系統(tǒng)供回水溫度可以達(dá)到40/50℃。如此高的供回水溫度使得液冷系統(tǒng)可以借助冷卻塔等設(shè)備直接作為系統(tǒng)冷源供冷而不需要使用冷機(jī)，同時(shí)大溫差設(shè)計(jì)也可以減小冷卻液設(shè)計(jì)流量使得管路系統(tǒng)輸配能耗降低，由此可以大大降低冷源設(shè)備及輸配設(shè)備的功耗，提升系統(tǒng)的節(jié)能效果。
冷板式液冷系統(tǒng)包含從液冷服務(wù)器、液冷機(jī)柜、液冷分配單元（CDU）、一次循環(huán)管網(wǎng)、二次循環(huán)管網(wǎng)、循環(huán)水泵到冷源的全部配套設(shè)施，整個系統(tǒng)分為一次側(cè)和二次側(cè)。一次側(cè)包括機(jī)房外冷源設(shè)備與機(jī)房內(nèi)CDU之間的設(shè)備及管路系統(tǒng)；二次側(cè)包括機(jī)房內(nèi)CDU與機(jī)柜和服務(wù)器之間的設(shè)備及管路系統(tǒng)。冷板式液冷系統(tǒng)結(jié)構(gòu)示意如圖１所示。
圖1 冷板式液冷系統(tǒng)結(jié)構(gòu)示意圖
2.2.1 冷源系統(tǒng)方案
冷源設(shè)備主流方案可以采用開式冷卻塔加板式換熱器、閉式冷卻塔、干冷器等型式。其中開式冷卻塔加板式換熱器方式初投資低，空氣及水質(zhì)指標(biāo)高，節(jié)能性好，但耗水量高。閉式冷卻塔方式初投資較低，耗水量低于開式冷卻塔系統(tǒng)，節(jié)能性好，但設(shè)備容易出現(xiàn)臟堵及腐蝕。干冷器耗水量低，節(jié)能性適中，但初投資高，設(shè)備也容易發(fā)生臟堵。冷源設(shè)備具體選擇應(yīng)該根據(jù)項(xiàng)目所在地區(qū)及要求特點(diǎn)綜合進(jìn)行考慮。
一次側(cè)液冷循環(huán)管網(wǎng)輸配系統(tǒng)采用預(yù)制集裝箱泵站形式，將變頻循環(huán)水泵、定壓補(bǔ)水裝置、水處理裝置、水箱及部分管路等高效集成于集裝箱內(nèi)，現(xiàn)場實(shí)施安裝僅需完成管路對接工作，大大簡化施工程序，縮短安裝周期，做到快速部署。同時(shí)預(yù)制集成泵站可靈活選擇智算中心園區(qū)內(nèi)空置區(qū)域進(jìn)行布置，充分利用土地資源，有效解決原有機(jī)樓土建資源受限的問題。
為了保障系統(tǒng)水質(zhì)，一次側(cè)冷卻水系統(tǒng)釆用閉式循環(huán)系統(tǒng)。同時(shí)為保證通信機(jī)樓全年供冷，冷卻水管路釆用環(huán)狀管道供水。供水管道應(yīng)設(shè)置必要的閥門以保證在管道故障、維護(hù)時(shí)可切換。
2.2.2 CDU方案
CDU作為液冷系統(tǒng)內(nèi)的重要部件，承載著滿足液冷系統(tǒng)一次側(cè)和二次側(cè)冷卻液熱量交換及將冷卻液按需分配到液冷機(jī)柜Manifold中的重任。目前CDU的方案形式主要有集中式CDU與分布式CDU。
集中式CDU—般會連接多個液冷機(jī)柜，為多個機(jī)柜進(jìn)行冷量分配，集中式CDU布置示意如圖２所示。布置方式通常釆用N+X（X＞1）的形式，既可按封閉通道內(nèi)的環(huán)網(wǎng)形成主備關(guān)系，也可按單列機(jī)柜形成主備關(guān)系，CDU二次側(cè)需釆用環(huán)管設(shè)計(jì)，避免單點(diǎn)故障，二次側(cè)管路采用漏水檢測告警裝置覆蓋整個二次側(cè)管路系統(tǒng)。這種方式二次側(cè)管路連接比較多，需要占用機(jī)柜位置，“爆炸半徑”較大（即發(fā)生故障可能影響的范圍較大），CDU本身維護(hù)量小但增加了二次側(cè)管路的運(yùn)維量。該方案起步較早，目前技術(shù)本身成熟度較高，應(yīng)用較多。
分布式CDU集成在單個液冷機(jī)柜中，為該機(jī)柜進(jìn)行冷量分配，一般布置在機(jī)柜底部，分布式CDU布置示意如圖３所示。一次側(cè)管路可形成環(huán)網(wǎng)，二次側(cè)管路集中在機(jī)柜內(nèi)部，可通過柜間備份實(shí)現(xiàn)在線維護(hù)。這種方式免去了二次側(cè)管路的部署，不占用機(jī)柜位置，“爆炸半徑”較小（即發(fā)生故障可能影響的范圍較小），可根據(jù)業(yè)務(wù)實(shí)際需要進(jìn)行部署，但CDU本身維護(hù)量較大且較復(fù)雜。該方案起步較晚，目前還處于投入應(yīng)用階段。
綜上所述，CDU具體方案選擇同樣應(yīng)該根據(jù)項(xiàng)目本身的要求特點(diǎn)綜合進(jìn)行考慮。總體而言，集中式CDU適用業(yè)務(wù)要求明確的場景，分布式CDU適用業(yè)務(wù)要求更加靈活需求彈性的場景。
圖2 集中式CDU布置示意圖
圖3 分布式CDU布置示意圖
以某運(yùn)營商液冷智算中心項(xiàng)目作為實(shí)例，該項(xiàng)目規(guī)劃建設(shè)具備智算能力的AI訓(xùn)練集群，新建的算力平臺安裝機(jī)架的單機(jī)架功率達(dá)到40KW以上。目前數(shù)據(jù)機(jī)房采用的傳統(tǒng)風(fēng)冷制冷方式散熱能力不足，無法滿足高密度、高功耗的裝機(jī)需求，影響單機(jī)架功率密度提升。為了保證智算業(yè)務(wù)部署順利落地，在原有機(jī)樓的土建、機(jī)電、暖通資源受限的背景下，本項(xiàng)目引人液冷冷卻技術(shù)方案。綜合考慮對ＩＴ設(shè)備改造幅度較小帶來的可實(shí)施性以及技術(shù)應(yīng)用成熟度、安全可靠性、后續(xù)維護(hù)便利性上的優(yōu)勢，最終實(shí)施的液冷方案釆用了冷板式液冷方案。
項(xiàng)目冷板式液冷機(jī)柜風(fēng)液負(fù)荷占比按照系統(tǒng)形式及服務(wù)器器件散熱情況確定為3/7。其中30%的服務(wù)器發(fā)熱量及機(jī)房環(huán)境冷量需求由園區(qū)內(nèi)原有冷水主機(jī)提供高溫冷凍水進(jìn)入冷凍水型列間空調(diào)末端滿足，70%服務(wù)器液冷負(fù)荷由新建閉式冷卻塔提供高溫冷卻水通過CDU與冷板冷卻液進(jìn)行熱交換帶走。
冷源采用５組閉式冷卻塔（４用１備），一次側(cè)循環(huán)管路采用閉式循環(huán)系統(tǒng)并采用環(huán)狀管道供水以保障全面供冷，避免單點(diǎn)故障。變頻循環(huán)水泵、定壓補(bǔ)水裝置、水處理裝置及水箱設(shè)置在預(yù)制集成泵站內(nèi)。預(yù)制集裝箱泵站和冷卻塔均布置在機(jī)房樓外空置綠地，充分利用現(xiàn)有土地資源。
液冷分配單元采用集中式CDU方案，每列液冷機(jī)柜設(shè)置２臺CDU入列部署，每個液冷微模塊內(nèi)CDU采用Ｎ＋１冗余設(shè)計(jì)。CDU二次側(cè)釆用環(huán)管設(shè)計(jì)，通過開啟地板可進(jìn)行管道維護(hù)、檢修工作，同時(shí)在機(jī)房內(nèi)設(shè)置漏水報(bào)警，一旦有水傳感器會觸發(fā)告警，引導(dǎo)維護(hù)人員檢修。
液冷系統(tǒng)一、二次側(cè)冷卻介質(zhì)均釆用乙二醇溶液并按需添加殺菌劑、防腐劑、緩蝕劑以保障冷卻液的潔凈度，滿足液冷系統(tǒng)的散熱、防凍及安全性的需求。
根據(jù)項(xiàng)目設(shè)計(jì)方案配置情況進(jìn)行理論PUE計(jì)算分析，同容量原風(fēng)冷方案設(shè)計(jì)PUE為1.314，各項(xiàng)PUE因子詳情見表１。
表１同容量風(fēng)冷方案PUE
本項(xiàng)目采用冷板式液冷方案，全年采用高溫冷卻水解決IT設(shè)備絕大部分發(fā)熱量，綜合設(shè)計(jì)PUE可達(dá)1.198。，各項(xiàng)PUE因子詳情見表２。
表２冷板式液冷方案PUE
綜合對比，釆用冷板式液冷方案建設(shè)智算中心，在機(jī)房100%負(fù)載情況下全年設(shè)計(jì)PUE值降低0.116，同比年節(jié)電量為844萬度，投產(chǎn)后機(jī)房密度最高提升８倍，碳排放降低25%以上。
智算中心單機(jī)功耗的不斷提升造成目前數(shù)據(jù)機(jī)房采用傳統(tǒng)風(fēng)冷制冷方式散熱能力不足，無法滿足髙密度、高功耗的裝機(jī)需求，影響單機(jī)架功率密度提升。液冷技術(shù)作為一項(xiàng)關(guān)鍵性的全新冷卻技術(shù)，利用液體介質(zhì)的高換熱系數(shù)、大比熱容，通過液體換熱將電子器件產(chǎn)生的熱量帶走，對降低器件最高溫度和提升元器件溫度場的一致性有顯著效果。
參考行業(yè)內(nèi)液冷技術(shù)文獻(xiàn)及項(xiàng)目應(yīng)用案例總結(jié)經(jīng)驗(yàn)，冷板式液冷技術(shù)是目前應(yīng)用最早、普及率最高的液冷制冷方式，對IT設(shè)備改造幅度相對較小。其可實(shí)施性和技術(shù)成熟度相對較高，安全可靠性及后續(xù)維護(hù)便利性有較高保障，具備很高的應(yīng)用價(jià)值。
冷板式液冷系統(tǒng)整體工作在高水溫、大溫差的工況相較于傳統(tǒng)風(fēng)冷方案，冷板式液冷系統(tǒng)冷卻水溫度明顯提高，即使在夏季也無需依靠壓縮機(jī)制冷，盡可能提升了自然冷源使用率，降低了制冷系統(tǒng)的整體能耗。液體的冷卻能力遠(yuǎn)高于空氣，故可實(shí)現(xiàn)高密度、低噪音、低傳熱溫差以及普遍利用自然冷卻等優(yōu)勢，是一種適用于需要大幅度提高計(jì)算能力、能源效率和部署密度等場景的優(yōu)秀散熱解決方案。
