【原】連奪全球AI基準測試18項桂冠，浪潮智算跑出“中國速度”

科技正能量 2021-04-24

展開全文

如果說有什么能夠代表中國的科技水平，在技術上真正處于全球領先？那就是在公平的環境下，在與世界級的科技巨頭進行的直接對話中，贏下最終的勝利。

在4月22日，最新的AI基準評測MLPerf競賽中，浪潮的兩款核心產品跑出了“中國速度”，在全部有效41個項目中，浪潮獲得18項性能第一，斬獲幾近半數冠軍。這也創造了中國科技公司，在MLPerf測試中的最佳戰績。

兩條賽道綜合能力的勝利

也許有些人對MLPerf測試還稍顯陌生，但我們都知道大名鼎鼎的大衛·帕特森（DavidPatterson），作為著名的RISC處理器技術奠基人，它不僅是美國兩院院士，也是2017年的圖靈獎得主。

正是大衛·帕特森在2018年，發起了AI計算基準評測組織MLPerf，并迅速成為業界最權威的測試ML（Machine Learning）硬件、軟件及服務的訓練和推理性能的公開基準。它囊括了AI行業中的70多個知名企業和機構，包括了英特爾、英偉達、Google、亞馬遜、阿里巴巴和百度、微軟，以及斯坦福大學等9所大學。

MLPerf自創辦以來，一直代表了AI的發展和演進節奏，它包括用于測試推理和訓練的程序、數據集以及像精確度目標和超參數值一些重要的細節，是當今權威性最大、影響力最廣的國際AI性能基準測試，地位相當于全球AI領域的“奧運會”。

據了解，最新的一期性能評測共有17家廠商參與，NVIDIA、Intel、高通、阿里巴巴、浪潮、戴爾、HPE等全球AI領先公司悉數在列。基于最新MLPerf? Inference V1.0基準，涵蓋了圖像分類、目標檢測、醫療圖像分割、自然語言處理、語音轉文字和推薦系統6類AI應用場景，分為數據中心和邊緣兩類處理場景，每類場景都包含固定任務(Closed)和開放優化(Open)兩類性能競賽。

兩個場景，也像是兩條賽道。浪潮在總成績上奪魁，依靠的是綜合能力的表現。

Mlperf成績總覽浪潮打榜成績

首先，在數據中心賽道全部21項基準測試中，浪潮獲得11項第一、，戴爾獲得3項第一， Supermicro獲得3項第一，阿里獲得2項第一，Intel獲得2項第一。

其次，在邊緣賽道21項基準測試中，NVIDIA獲得10項第一，浪潮獲得7項第一，阿里獲得2項第一，Mobilint獲得1項第一。

最終在所有42項測試中，浪潮以18項第一，位列所有參賽廠商之首。

三處細節，解讀MLPerf奪冠含金量

全球MLPerf測試的奪冠，其實背后有很多細節值得深入思考。

首先，MLPerf測試的門檻是非常高的，并不是所有的廠商都有能力參與，參與者幾乎都是全球頂級的AI玩家。要在不同的系統（包括硬件和框架）的組合下部署這么多個Benchmark的難度也是非常之大。例如在邊緣場景開放優化場景的SSD-smallsingle-stream賽道，就沒有廠商提交成績，這也從一個側面證明了MLPerf測試的高門檻。

其次，MLPerf測試的目標，遠不止是芯片硬件本身，而是一個完整的軟硬件系統的綜合能力。隨著系統的規模越來越大，測試的重點也從單芯片性能到集群的性能。能夠跑出更好地成績，本身就是綜合實力的體現。

第三，對于很多參與廠家而言，每一期的MLPerf測試，都是一次挑戰自我極限的機會。以衛冕“性能王”的浪潮AI服務器NF5488A5為例，它將2020年MLPerf? DLRM的最高推理性能提升了23.4%，同比2019年MLPerf? Resnet50的單機最高推理性能提升326%。

作為業界率先實現500W 80GB A100 GPU液冷散熱的超強AI服務器，浪潮NF5488A5在系統拓撲上采用了超低延遲設計，最大限度提升處理器到AI芯片間的通信性能，并通過深度優化系統結構設計，確保設備可在高溫、高負載環境下穩定運行，AI計算效能顯著提升；一舉拿下邊緣固定任務（Closed）7項性能第一的浪潮NE5260M5邊緣服務器，則通過極致優化的信號傳輸，結構散熱，供電等設計，完美兼容高性能CPU和多種AI加速卡。

新的高性能里程碑，也是浪潮持續投入技術創新，并不斷踐行的結果。

一個智算布局，一條王者之路

在剛剛閉幕的浪潮IPF上，為了支撐多元算力的融合，浪潮推出了包括AI加速器、AI服務器、智算操作系統元腦OS、智能網卡和邊緣計算微服務器等全面的智算產品布局。

很明顯，從云到邊緣的智算能力需求，是浪潮走出多元算力布局的關鍵。

這也與MLPerf測試的“主賽道”設置遙相呼應，在數據中心固定任務“主賽道”中，共有13家廠商提交了584項競賽成績，而在邊緣固定任務重要賽道中，也有11家廠商提交了326項競賽成績，顯示出廠商對邊緣與AI融合的關注度日益提升。

浪潮AI服務器的出色表現，也得益于浪潮在AI計算系統創新上卓越的系統設計能力和全棧優化能力。在硬件層面，通過對CPU、GPU硬件性能的精細校準和全面優化，使CPU性能、GPU性能、CPU與GPU之間的數據通路均處于最優狀態；在軟件層面，通過對TensorRT的深度優化，結合GPU硬件拓撲對多GPU的輪詢調度優化使單卡至多卡性能達到了近似線性擴展。