【電子胡楊】英偉達NV-computex 2023 紀要全文

1. 我們正在經歷兩個同時發生的計算產業轉型：①加速計算（accelerated computing）；②Generative AI。

這種計算形式不像傳統的通用計算。它是全棧的，是數據中心規模的（因為數據中心就是計算機），而且是領域特定的。對于你想進入的每個領域，對于你進入的每個行業，你都需要有軟件堆棧。如果你有軟件堆棧，那么你的計算機的利用率就將會是高的。

2.英偉達正在全面生產Generative AI引擎（即HGX H100），且這個用于AI工廠的引擎將被橫向擴展——即，使用 grace hopper（這是英偉達為Generative AI時代創建的引擎）。英偉達采用Grace Hopper，并意識到在擴展性能的同時也必須使得更大的模型可訓練化。因此，英偉達把Grace Hopper連接到256節點的NVlink，打造了世界上最大的GPU——DGX GH200。

3.英偉達正試圖同時在幾個不同的方向上擴展Generative AI和加速計算：

①英偉達想在云端進行擴展，讓每個云數據中心都可以成為AI數據中心，不僅僅是AI工廠和超大規模數據中心，而是讓現在每個超大規模數據中心都可以成為生成式AI數據中心。

②英偉達將通過Spectrum X來實現這個目標。實現Spectrum X需要四個組件——交換機，Bluefield 3，互連本身（電纜在高速通信中非常重要）和在它之上的軟件堆棧。

4.英偉達希望將Generative AI擴展到世界上的企業。由于服務器的配置非常多，所以英偉達采用MGX模塊化加速計算系統（MGX modular accelerated computing systems），與臺灣的生態系統進行合作。英偉達把NVIDIA放在云端，這樣世界上的每個企業都可以讓英偉達參與創建Generative AI模型并以安全的方式部署它，通過企業級的方式，將Generative AI企業級安全地部署在每個單獨的云中。

5.最后，英偉達想把AI擴展到重工業（世界上最大的工業）。到目前為止，我們所有人參與的只是世界總工業的一小部分。這是第一次，我們正在做的工作可以涉及到每一個行業。英偉達將通過自動化工廠、自動化機器人來做到這一點。今天英偉達也宣布了其第一個機器人完整參考平臺（robotics full reference deck）——Nova Orin。

采用第三代ADA架構，14英寸，每秒60幀的人工智能，比最高端的playstation更強大，已投入生產。

例子①：

大語言模型，需要1000萬美元的服務器，對應近1000臺CPU服務器，訓練需要11GWh。但如果是配48臺GPU服務器，則只消耗3.2GWh，且有44倍的性能提升（從CPU的1X LLM提升至GPU的44X LLM）。

例子②：

功率不變的情況下，使用加速計算可以用3倍的成本（從CPU$10M增長至GPU的$34M）獲得150倍以上的性能提升（從CPU1X LLM提升至GPU的150X LLM）。

舉這個例子的原因在于說明：尋找新的數據中心非常昂貴且耗時，所以當功率有限時，可以在現有數據中心投入更多資金，獲得更多吞吐量。

例子③：

1X LLM不變，使用GPU可以做到更低的成本（從CPU$10M降低至GPU的$400K）。

Hopper于22年8月投入生產，預計Hopper Next將于24年推出。公司每過2年就會向前邁出一大步。新的計算機行業中，軟件不再僅由計算機工程師編程，而是將由計算機工程師與AI一起編輯。未來，每家公司都會有AI工廠來建立和生產智能產品（就像汽車工廠生產汽車一樣）。

公司使用加速計算和人工智能在5年內將計算機圖像效果（computer graphics）提高了 1,000倍。5年1000倍，那10年就是100萬倍。當計算速度提升100萬倍的時候，就可以突破ChatGPT。大體上，會發生的事情包括：transformer engine和無監督學習的能力可以從大量數據中學習并識別大序列中的模式和關系，并預測下一個單詞（單詞已在大語言模型中被創造出）。

我們現在有一個軟件能力來學習幾乎所有信息的結構。我們可以學習文本的結構、聲音、物理學、蛋白質、DNA，化學等所有有結構的東西的語言。這樣就到了下一個突破——Generative AI。一旦可以學習特定信息的語言，那基于我們給出的提示，我們就可以引導AI來生成各類信息，比如把文字轉換為文字、把文字轉換為圖片、把文字轉化為蛋白質、把文字轉化為化學物質，把圖片轉換為3D、把圖片轉化為文字等，所以把信息轉換成別的信息就變得可行。因此，我們可以歷史上第一次得到一種軟件技術能夠理解多種形式的信息表示。我們現在可以將我們行業的儀器應用到很多不同的領域，這在以前是不可能的。

現場舉例：可以利用AI把一段文字編輯成歌曲

在這個特定的時代，計算方法是加速計算，這就是英偉達創造Grace Hopper的原因：

• 全球第一個擁有巨大memory的加速處理器。近600GB的存儲，可連接GPU和CPU，所以GPU和CPU都可以查閱這個memory，從而避免任何不必要的重復復制，也可以使得GPU處理非常大的數據集

• 使用LPDDR，就像手機一樣，但且針對數據中心應用進行了優化設計
  

• 4 PetaFLOPS transformer engine和72 CPU cores，通過高速chip-to-chip link連接在一起

• 900 GigaByte per second
  

• 本地內存HBM3可以通過LPDDR在非常大的高速緩存中得到增強

雖然600GB很多，但實際上是仍然不夠的。當初用AlexNet的6200萬參數在120萬張圖像上進行訓練，現在用Google PaLM的3400億個參數進行訓練。3400億（Google PaLM）是6200萬（AlexNet）的的5000倍。

10年的時間，深度學習這個計算問題對于軟件要求增加了5000倍，對于數據集要求增加了300萬倍。其它任何領域都無法增長得那么快。所以600GB是遠遠不夠的，還需要更多存儲容量。接下來讓我展示我們將會怎么做：

•  一、我們必須把 Grace Hopper super chip，放進電腦里。
  

• 二、使用NVlink將8個Grace Hopper連接在一起（3個NVLink交換機連接8個Grace Hopper）。每個Grace hopper 都以900 GB/s的速度連接到另一個Grace Hopper。
  

•  三、將32個這樣的組合與另一層交換機連接在一起。所以，256個Grace Hopper超級芯片連接成1 EXAFlOPS。大家知道各個國家一直致力于ExaFLOPS計算并于最近才實現了它。256個用于深度學習的Grace Hoppers是1 ExaFLOPS的transformer engine。為我們提供了每個GPU都可以用的144TB 內存（不是分布式的 144TB，而且全部集中到一起的144TB）。
  

【150英里的光纖電纜（Fiber Optic Cable）、2000個風扇、每分鐘70000立方英尺，40000磅（相當于4個大象的重量）】

• 將很多服務器壓縮成一個，所以節省了成本和占地面積。不過架構不同了，因為英偉達將其設計成多代標準化，從而使得英偉達的下一代GPU、下一代CPU和下一代DPU都將能繼續輕松配置其中?？梢葬槍Σ煌亩鄻有?、以及不同的多樣性應用程序，配置成數百種配置，并集成到云端或企業數據中心。
  

AI基本上是獨立的。所以超級計算中心和人工智能超級計算機在本質上是非常不同的。以太網是基于TCP的，是一種有損算法。每當有數據包丟失時，它就會重新傳輸。它知道丟失了哪個數據包并請求發送方重傳。以太網幾乎可以從任何地方互連組件，這種能力是創建互聯網的基礎。所以以太網的貢獻是深遠的。然而，超級計算數據中心負擔不起它，因為不能將隨機的東西互連在一起。那臺價值10億美元的超級計算機中，95%與50%的網絡吞吐量之間的差異實際上是5億美元。由于成本非常昂貴，以至于不能承受在連接（network）中丟失任何東西。

InfiniBand則非常依賴RDMA。這是一種流量控制，是一種減少損失的方法。它需要流量控制，這基本上意味著必須從頭到尾了解數據中心（從交換機到軟件），以便可以使用自適應路由(adaptive routing)來編排流量，從而處理擁塞控制(congestion control）并避免隔離區域中的流量過度飽和。

這兩個數據中心有著不同的方式，一種是有損的，另一種是損失較少的。但現在我們希望把Generative AI帶到每個數據中心。問題是，我們如何引入一種向后兼容所有東西的新型以太網，且使它能夠允許我們將人工智能工作負載帶到世界上任何數據中心來呢？

這是一個非常令人興奮的旅程，該戰略的核心是我們做出的全新轉變——Spectrum-X。

這是芯片，它非常巨大。有1000億個晶體管，90毫米 x 90毫米。這是一個500瓦的芯片。這個交換機是2,800瓦。它是風冷的。有48塊PCB將交換機連接在一起，48塊PCB構成了交換機。該交換機旨在啟用新型以太網。

我們做infiniband的方式是從頭到尾地設計它。這就是建造超級計算機的方式。我們新的人工智能以太網系統是這樣的。我們首次將高性能計算的功能引入以太網市場。我們將為以太網市場帶來一些東西：

• 自適應路由(adaptive routing)：自適應路由基本上是基于流經數據中心的流量，具體取決于交換機的哪個端口過度擁塞，會將其發送到另一個端口。另一端的Bluefield 3 將重新組裝它并將數據呈現給GPU，中間無需任何CPU干預，所有這些都在RDMA中完成。
  

• 擁塞控制(congestion control）：某些不同的端口可能會變得嚴重擁塞，在這種情況下，每個交換機都會看到網絡的性能并與發送方表示“請不要立即發送更多數據，因為你在堵塞網絡”。擁塞控制基本上需要一個覆蓋系統，其中包括軟件、與所有端點一起工作的交換機，以全面管理數據中心的擁塞流量和吞吐量。
  

我們將首次使用、維護并管理所有這些軟件，就像red hat對linux 所做的那樣。通過AI enterprise，我們將為所有NVIDIA庫執行此操作?，F在企業終于可以擁有企業級和企業安全的軟件堆棧。這是一件大事。否則，盡管加速計算的承諾對許多研究人員和科學家來說是可能的，但對企業公司來說是不可能的。

接下來展示的是NVIDIA AI對企業公司的好處。這是一個簡單的圖像處理應用程序。如果你是在CPU上，而不是在企業GPU上做這件事，你每分鐘會得到31.8張圖像（基本上吞吐量約24倍），或者你只需支付5%的成本。這是云中加速計算的好處，但對于許多公司而言，除非擁有堆棧，否則企業根本不可能實現。

目前NVIDIA AI Enterprise現已完全集成到AWS、谷歌云、微軟Azure及Oracle Cloud中。

目前AI只能用于輕工業、信息、圖片、音樂等領域，如果想要把AI用于重工業（50萬億美元的制造業），則第一步是創造讓這些領域以數字方式呈現的能力。

所以第一是數字化。那要怎么用它呢？舉一個簡單的例子。在未來，你可以對你的機器人說，“我想讓你做點XXXX”，機器人會理解你的話，并且會生成動畫。

然而，這個機器人怎么知道它產生的運動是基于現實的呢？它會以物理學為基礎，所以我們需要一個理解物理定律的軟件系統。

實際上，我們已經在ChatGPT上看到了這一點，而NVIDIA AI會通過omniverse來在強化的學習循環中去鞏固自己。

我們已經看到ChatGPT使用強化學習（reinforcement learning）、人類反饋來做到這一點。ChatGPT的開發基于人類的敏感性，并與我們的原則保持一致。因此，通過人類反饋進行強化學習非常重要。

我們將從上到下構建整個機器人堆棧，從芯片到算法。我們已經陳述了多模態傳感器的感知、定位和規劃、以及云地圖系統。如果客戶想的話，也可以只使用它的一部分。Issac AMR包括啟動芯片（稱為 Orin）。當它進入計算機后，會進入 Nvidia Orin或Nova Orin（一個參考系統，是 AMR 的藍圖）。這是當今世界上最先進的 AMR，并且整個堆棧已經構建完成。

我們一直在將omniverse 與世界各地的工具、公司、機器人公司、傳感器公司以及各種行業聯系起來。目前全球有三個行業正在投入巨額投資。第一是芯片行業。第二是電池行業。第三是電動汽車行業，未來幾年將投資數萬億美元，以讓行業中的產品做得更好。我們現在第一次為他們提供了一個系統、平臺和工具，讓他們能夠做到這一點。