關(guān)于浸沒冷卻方案和冷板冷卻方案的幾個(gè)觀點(diǎn)

液體冷卻技術(shù)是超高熱流密度場(chǎng)景的必然演進(jìn)趨勢(shì)。當(dāng)前，主要有單相冷板冷卻、雙相冷板冷卻、單相浸沒冷卻和雙相浸沒冷卻四類技術(shù)（筆者將噴淋冷卻是一種特殊的浸沒冷卻，亦歸類于浸沒冷卻中）。從直覺上講，似乎浸沒冷卻的確是一種顯著比傳統(tǒng)的風(fēng)冷和液冷更先進(jìn)的散熱方案。表7-6定性對(duì)比了四種不同的液冷方案。

表7-6 主流的在研發(fā)和可能被廣泛使用的四種液冷方案定性對(duì)比

浸沒冷卻是將電路板整體浸沒到液體中，筆者的觀點(diǎn)是它并不適合一個(gè)系統(tǒng)中只有個(gè)別熱源需要散熱的場(chǎng)景。這與許多其他文獻(xiàn)尤其是當(dāng)前（2023年）網(wǎng)絡(luò)上流行的技術(shù)文獻(xiàn)表達(dá)的觀點(diǎn)不同。

在數(shù)據(jù)中心類的產(chǎn)品，包括電力電子設(shè)備中，熱量往往集中在個(gè)別元器件上（服務(wù)器上是CPU或GPU，交換機(jī)上是交換芯片，變流器中是IGBT或MOSFET），其余的絕大多數(shù)電子器件往往并不需要特別的散熱手段。雖然系統(tǒng)設(shè)計(jì)中有時(shí)會(huì)使用占位塊將無(wú)需散熱的空間填滿，以此來(lái)降低冷卻液的使用量，但整體上系統(tǒng)設(shè)計(jì)仍較為復(fù)雜。因?yàn)閭€(gè)別高熱流密度的芯片需要提高散熱效能而將整個(gè)系統(tǒng)浸泡至液體中，從宏觀上看不甚劃算。液冷的引入，最關(guān)鍵的就是高熱流密度芯片上方移熱熱阻的降低。

結(jié)合實(shí)測(cè)結(jié)果，即使是單相的冷板冷卻，其熱阻依然可以做到比單相浸沒冷卻更低，甚至接近雙相浸沒冷卻的效果。這是因?yàn)槔浒逯械牧黧w流速遠(yuǎn)超浸沒冷卻中冷卻液的流速，耗費(fèi)相同的泵功率，冷板式冷卻中只需要驅(qū)動(dòng)極少量的液體在很小的空間中流動(dòng)，將高傳熱效率的空間限定在需要散熱的個(gè)別元器件上，而浸沒冷卻中需要驅(qū)動(dòng)的流體量充滿整個(gè)設(shè)備空間，遠(yuǎn)超過水冷板，流體流動(dòng)緩慢，平均換熱系數(shù)可能很高，但需要特別強(qiáng)化散熱的局部熱源，其對(duì)流換熱系數(shù)則可能比冷板的方式還低。

另外，浸沒冷卻中，冷卻液與設(shè)備中許多帶電器件直接接觸，需要很好的化學(xué)穩(wěn)定性和電氣絕緣性，在兼顧這些特征的同時(shí)，可能會(huì)犧牲一些有利于散熱的物理性質(zhì)。相比冷板冷卻中常用的水和乙二醇混合液，浸沒冷卻液粘度往往更高、比熱容更低，這也會(huì)降低其對(duì)流換熱系數(shù)。

表7-7 主流的在研發(fā)和可能被廣泛使用的四種液冷方案定性對(duì)比[13]

注：表格部分?jǐn)?shù)值參考自文獻(xiàn)[13]，但部分內(nèi)容根據(jù)作者個(gè)人理解做了改動(dòng)。

雖然當(dāng)前單相液冷板的技術(shù)方案所達(dá)到散熱效果多數(shù)仍低于相變浸沒冷卻，但當(dāng)冷板內(nèi)使用低溫相變液體，冷板內(nèi)同樣可以借助相變對(duì)流換熱大大提升換熱效率和節(jié)能效果。兩相液冷板相對(duì)兩相浸沒冷卻的優(yōu)勢(shì)與前文描述的類似：對(duì)于熱源集中的場(chǎng)景，兩相冷板只需將流動(dòng)動(dòng)力聚焦于個(gè)別的高熱流處，達(dá)到局部換熱效果極高但大部分空間仍沿用普通風(fēng)冷甚至自然空氣散熱的狀態(tài)，而兩相浸沒冷卻則不得不驅(qū)動(dòng)液體在整個(gè)空間中流動(dòng)，要在高熱流的局部達(dá)到與兩相冷板類似的對(duì)流換熱效果需要耗費(fèi)的能量非常巨大。兩相冷板有環(huán)路自驅(qū)動(dòng)和泵驅(qū)兩類。其中前者更加節(jié)能，但其工作有方向性，發(fā)熱源必須在下方才便于重力回流。

目前（2024年），已經(jīng)有產(chǎn)品嘗試使用超長(zhǎng)重力環(huán)路熱管（或稱為熱虹吸管）將熱量轉(zhuǎn)移到熱源上方，穿焊進(jìn)翅片通過風(fēng)扇進(jìn)行集中散熱。泵驅(qū)兩相流則通過泵加大流體和翅片之間的對(duì)流換熱效率，克服重力方向的影響。甚至通過泵驅(qū)力和特殊冷板設(shè)計(jì)，局部高熱流區(qū)域還可使用閃蒸的工作模式（將液態(tài)冷卻介質(zhì)以噴霧形式噴射到熱的翅片上，所有液體在極短時(shí)間內(nèi)全部汽化，從蒸汽管道流至換熱器進(jìn)行換熱再液化，實(shí)現(xiàn)循環(huán)），極大降低液體流量和泵功率，進(jìn)一步提高節(jié)能效果。

在應(yīng)對(duì)超高熱流密度的芯片時(shí)，基于冷板系統(tǒng)的流體流道封閉特征，可以在冷板出口和冷凝器之間設(shè)置壓縮機(jī)，將從兩相冷板中流出的干度接近1的流體壓縮成高壓蒸汽，加大與冷流體溫差，強(qiáng)化其在冷凝器中的換熱效率，構(gòu)成制冷級(jí)別的泵驅(qū)兩相流冷卻系統(tǒng)。兩相冷板使用的低沸點(diǎn)冷卻液往往是絕緣的，即使有微量泄露，也不會(huì)導(dǎo)致電路板燒毀，也是其優(yōu)勢(shì)之一。

另外，當(dāng)循環(huán)管路中存在氣液兩相時(shí)，微小的質(zhì)量泄露就可能導(dǎo)致明顯的氣壓和溫度變化，可以被更迅速地檢測(cè)到（當(dāng)然，這也使得兩相冷板的液冷循環(huán)控制系統(tǒng)更加復(fù)雜）。因此，目前，冷板方案的結(jié)構(gòu)設(shè)計(jì)、成本、維護(hù)性等相對(duì)浸沒冷卻均具優(yōu)勢(shì)。

從傳熱效果上講，浸沒冷卻除了高功率熱源芯片散熱效率低于冷板式，其對(duì)相對(duì)低功耗的供電芯片如電感、電容、內(nèi)存等卻是足夠的，這某種程度上簡(jiǎn)化了液冷系統(tǒng)，使得這些相對(duì)較低熱風(fēng)險(xiǎn)但也無(wú)法自然空冷的部件也無(wú)需施加額外手段。與之相比，冷板式液冷的產(chǎn)品，如果所有熱源都使用冷板散熱，將導(dǎo)致安裝復(fù)雜，且液體管路的接頭增多，漏液風(fēng)險(xiǎn)高，整機(jī)冷卻成本也很高。

因此，多數(shù)情況下，這些相對(duì)低風(fēng)險(xiǎn)的器件會(huì)處于空氣冷卻狀態(tài)，有時(shí)仍需施加散熱器甚至保留風(fēng)扇，而且機(jī)房?jī)?nèi)通常也仍需裝配空調(diào)。故而有些主芯片熱流密度并非極大時(shí)（目前——2024年——CPU/GPU等熱流密度使用相變浸沒冷卻完全可以解決），使用浸沒冷卻亦是合適甚至性價(jià)比更高之選。為了克服這些缺陷，2023年開始，有服務(wù)器廠商在探索主熱源使用冷板式液冷，其余熱源使用浸沒冷卻的混合液冷方式。在這種設(shè)計(jì)中，產(chǎn)品內(nèi)部無(wú)需再設(shè)置風(fēng)扇，個(gè)別熱流密度極高的芯片也能在更小的泵功率下獲得有效的移熱效率。

這種設(shè)計(jì)又分為兩種思路：1）冷板中使用的工質(zhì)和浸沒冷卻液不同，需要有兩套液體回路；2）冷板中使用的工質(zhì)和浸沒冷卻液相同，液體被泵送到設(shè)備時(shí)，先通過管路進(jìn)入高熱流密度芯片上方的液冷板，然后再另一端直接噴出，對(duì)設(shè)備其余位置形成浸沒冷卻。筆者認(rèn)為，第2）種方式可能是浸沒冷卻在數(shù)據(jù)中心層面比較好的應(yīng)用形式。2023年底，浪潮科技聯(lián)合Intel發(fā)布的《全液冷冷板系統(tǒng)參考設(shè)計(jì)及驗(yàn)證白皮書》也詳述了充分借鑒風(fēng)冷散熱領(lǐng)域散熱思維的全液冷服務(wù)器設(shè)計(jì)方案[14]。

而且，冷板式液冷方案中，冷板和芯片是強(qiáng)耦合設(shè)計(jì)，如果要升級(jí)更換芯片，通常就要連同冷板一同更換，而冷板的成本很高。在浸沒冷卻中，主要冷卻成本是冷卻液，而在升級(jí)更換芯片的過程中，冷卻液完全可以復(fù)用，成本更低。

對(duì)于熱量分布比較均勻，且避免振動(dòng)、隔絕空氣、消除灰塵等浸沒冷卻帶來(lái)的附加效應(yīng)比較關(guān)鍵的場(chǎng)景中，浸沒冷卻會(huì)有獨(dú)特優(yōu)勢(shì)。本書后文所述的儲(chǔ)能系統(tǒng)，就屬于這一情景。儲(chǔ)能市場(chǎng)巨大，如果應(yīng)用單相浸沒冷卻，將導(dǎo)致單相冷卻液成為熱管理關(guān)鍵物料，其需求量是天文級(jí)。已經(jīng)有應(yīng)用單相浸沒冷卻的大型儲(chǔ)能集裝箱的商用案例，國(guó)際上許多巨頭公司也都正在進(jìn)行這一熱管理技術(shù)的研究，中石化、美孚、殼牌、陶氏等化工巨頭也已在冷卻液層面投入巨資布局。

制約浸沒液冷或噴淋液冷廣泛推廣的另一重要因素是新技術(shù)早期應(yīng)用的可靠性風(fēng)險(xiǎn)承擔(dān)機(jī)制。有風(fēng)險(xiǎn)是人所共知的，但對(duì)于公司和工程師而言，關(guān)鍵是風(fēng)險(xiǎn)造成的后果誰(shuí)來(lái)承擔(dān)。從技術(shù)上講，液體往往比氣體化學(xué)活性高，因此原本在風(fēng)冷設(shè)計(jì)中與空氣充分兼容的線纜、導(dǎo)熱材料、連接器、電路板等部件可能與浸沒液或噴淋液發(fā)生緩慢的化學(xué)反應(yīng)，導(dǎo)致這些功能件的物理化學(xué)性質(zhì)發(fā)生變化，從而影響產(chǎn)品整機(jī)性能。

另外，液體的粘度大于氣體，化學(xué)反應(yīng)產(chǎn)生的碎屑或顆粒物一旦阻塞細(xì)小流道，將導(dǎo)致產(chǎn)品散熱效能下滑。這一材質(zhì)兼容性的測(cè)試驗(yàn)證是復(fù)雜的，它顯然與材質(zhì)類型、溫度、壓力、流速等有關(guān)，當(dāng)產(chǎn)品貿(mào)然引入浸沒或噴淋冷卻出現(xiàn)散熱衰減造成質(zhì)量問題時(shí)，熱設(shè)計(jì)工程師將面臨極大壓力：是冷卻液有問題，還是產(chǎn)品其它部件材料與冷卻液兼容性的問題？是哪個(gè)部件的哪個(gè)材料與冷卻液有兼容問題？這一兼容問題如何避免？在當(dāng)前大部分公司急功近利的績(jī)效考核機(jī)制下，在還未找出原因、解決問題時(shí)，該工程師可能已經(jīng)被開除。

因此，從熱設(shè)計(jì)工程師角度講，引入新技術(shù)給公司創(chuàng)造的收益不會(huì)對(duì)工程師的職業(yè)成功帶來(lái)顯著助力，而一旦出現(xiàn)質(zhì)量問題，工程師卻將承擔(dān)被開除的風(fēng)險(xiǎn)；從公司角度講，產(chǎn)品一旦出現(xiàn)質(zhì)量問題，供應(yīng)商之間可能出現(xiàn)推諉，或者說(shuō)供應(yīng)商本來(lái)就誰(shuí)都沒做錯(cuò)，是驗(yàn)證不充分導(dǎo)致了質(zhì)量問題，產(chǎn)生的損失無(wú)法轉(zhuǎn)嫁，只能自行承擔(dān)。這樣，無(wú)論是從個(gè)人還是從公司角度，以目前流行的公司-研發(fā)工程師-供應(yīng)商協(xié)作機(jī)制，浸沒或噴淋液冷的推動(dòng)也受到了影響。

當(dāng)然，技術(shù)是不斷演變的，不管是冷板、浸沒還是噴淋冷卻，各個(gè)環(huán)節(jié)的技術(shù)特征都在飛速變化中。上述所有觀點(diǎn)，僅基于作者對(duì)當(dāng)前技術(shù)的理解和認(rèn)知，未見嚴(yán)謹(jǐn)和準(zhǔn)確。

參考文獻(xiàn)

[1] 松鼠廠.一文學(xué)會(huì)分清芯片的分類及其代表企業(yè)（芯片分類詳細(xì)匯總）.https://www./article-119007.html

[2] Intel. Sapphire Rapids Server/Workstation Processor Family. www.intel.com. 2020.

[3] 衡鼎科技.服務(wù)器散熱器.http:///index.aspx.2023

[4] 銳捷. 核心交換機(jī)和核心路由器. https://www./.2020

[5] 浪潮. i24M5-LC高密度液冷服務(wù)器. www.inspur.com/

[6] Supermicro. Liquid cooling solutions from supermicro. 2021.

[7] 華信冷卻塔. 全面了解冷卻塔：閉式冷卻塔工作原理與圖解說(shuō)明.2022.7. https://.comzhihuzhuanlan./p/538258935

[8]3M. Liquid cooling techniques enabled by 3M fluids. www.3m.com

[9] Icetope. Chassis-level liquid cooling solutions for mass-scale IT deployment in Cloud / Hyperscale. www.iceotope.com

[10] Baris Dogruoz, Giovanni Giobbio, et.al. White Paper. Optimizing QSFP-DD Systems to Achieve at Least 25 Watt Thermal Port Performance. 2021.1

[11] Henkel. Henkel expands Micro-Thermal Interface Material (mTIM) coating portfolio to address higher-bandwidth optical transceiver requirements. 2022.9

[12] Mark Nowell, Attila Aranyosi, et.al. White Paper. QSFP-DD: Enabling 15 Watt Cooling Solutions. 2018.3

[13] 李智敏. 千瓦級(jí)芯片液冷解決方案-大圖熱控. 2023年第四屆中國(guó)電子通訊設(shè)備結(jié)構(gòu)設(shè)計(jì)和熱管理技術(shù)論壇.

[14] 浪潮信息、英特爾、OCTC開放計(jì)算標(biāo)準(zhǔn)工作委員會(huì)、全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)算力標(biāo)準(zhǔn)工作組、中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院. 2024.1

請(qǐng)大家勘誤指正，感謝！