|
來(lái)源：新智元 傳說中的英偉達(dá)GH200在MLPerf 3.1中驚艷亮相，性能直接碾壓H100，領(lǐng)先了17%。 繼4月份加入LLM訓(xùn)練測(cè)試后，MLPerf再次迎來(lái)重磅更新！ 剛剛，MLCommons發(fā)布了MLPerf v3.1版本更新，并加入了兩個(gè)全新基準(zhǔn)：LLM推理測(cè)試MLPerf Inference v3.1，以及存儲(chǔ)性能測(cè)試MLPerf Storage v0.5。 而這，這也是英偉達(dá)GH200測(cè)試成績(jī)的首次亮相！ 相比于單張H100配合英特爾CPU，GH200的Grace CPU+H100 GPU的組合，在各個(gè)項(xiàng)目上都有15%左右的提升。 英偉達(dá)GH200超級(jí)芯片首秀 毫無(wú)疑問，英偉達(dá)的GPU在MLPerf Inference 3.1基準(zhǔn)測(cè)試中表現(xiàn)是最亮眼的。 其中，最新發(fā)布的GH200 Grace Hopper超級(jí)芯片，也是首次在MLPerf Inference 3.1上亮相。 Grace Hopper超級(jí)芯片將英偉達(dá)的Grace CPU與H100 GPU集成在一起，通過超高的帶寬連接，從而比單個(gè)H100配合其他的CPU能提供更強(qiáng)的性能表現(xiàn)。 「Grace Hopper首次展示了非常強(qiáng)勁的性能，與我們的H100 GPU提交相比，性能提高了17%，我們已經(jīng)全面領(lǐng)先，」英偉達(dá)人工智能總監(jiān)Dave Salvator在新聞發(fā)布會(huì)上表示。 性能大幅增長(zhǎng) 具體來(lái)說，它將一個(gè)H100 GPU和Grace CPU集成在一起，通過900GB/s的NVLink-C2C連接。 而CPU和GPU分別配備了480GB的LPDDR5X內(nèi)存和96GB的HBM3或者144GB的HBM3e的內(nèi)存，集成了高達(dá)576GB以上的高速訪問內(nèi)存。 
英偉達(dá)GH200 Grace Hopper超級(jí)芯片專為計(jì)算密集型工作負(fù)載而設(shè)計(jì)，能夠滿足各種嚴(yán)苛的要求和各項(xiàng)功能。 比如訓(xùn)練和運(yùn)行數(shù)萬(wàn)億參數(shù)的大型Transformer模型，或者是運(yùn)行具有數(shù)TB大小的嵌入表的推薦系統(tǒng)和向量數(shù)據(jù)庫(kù)。 GH200 Grace Hopper超級(jí)芯片還在MLPerf Inference測(cè)試中有著非常優(yōu)異的表現(xiàn)，刷新了英偉達(dá)單個(gè)H100 SXM在每個(gè)項(xiàng)目中創(chuàng)下的最佳成績(jī)。
NVIDIA Grace Hopper MLPerf Inference數(shù)據(jù)中心性能與DGX H100 SXM的對(duì)比結(jié)果，每個(gè)數(shù)值都是GH200的性能領(lǐng)先幅度 GH200 Grace Hopper超級(jí)芯片集成了96 GB的HBM3，并提供高達(dá)4 TB/s的HBM3內(nèi)存帶寬，而H100 SXM分別為80 GB和3.35 TB/s。 與H100 SXM相比，更大的內(nèi)存容量和更大的內(nèi)存帶寬使得在NVIDIA GH200 Grace Hopper超級(jí)芯片上使用更大的批處理大小來(lái)處理工作負(fù)載。 例如，在服務(wù)器場(chǎng)景中，RetinaNet和DLRMv2的批處理大小都增加了一倍，在離線場(chǎng)景中，批處理大小增加了50%。 GH200 Grace Hopper超級(jí)芯片在Hopper GPU和Grace CPU之間的高帶寬NVLink-C2C連接可以實(shí)現(xiàn)CPU和GPU之間的快速通信，從而有助于提高性能。 例如，在MLPerf DLRMv2中，在H100 SXM上通過PCIe傳輸一批張量（Tensor）大約需要22%的批處理推理時(shí)間。 使用了NVLink-C2C的GH200 Grace Hopper超級(jí)芯片僅使用3%的推理時(shí)間就完成了相同的傳輸。 由于具有更高的內(nèi)存帶寬和更大的內(nèi)存容量，與MLPerf Inference v3.1的H100 GPU相比，Grace Hopper超級(jí)芯片的單芯片性能優(yōu)勢(shì)高達(dá)17%。 推理和訓(xùn)練全面領(lǐng)先 在MLPerf的首秀中，GH200 Grace Hopper Superchip在封閉類別（Closed Division）的所有工作負(fù)載和場(chǎng)景上都表現(xiàn)出卓越的性能。 而在主流的服務(wù)器應(yīng)用中，L4 GPU能夠提供一個(gè)低功耗，緊湊型的算力解決方案，與CPU解決方案相比的性能也有了大幅的提升。 Salvator表示，「與測(cè)試中最好的x86 CPU相比，L4的性能也非常強(qiáng)勁，提高了6倍」。
對(duì)于其他的AI應(yīng)用和機(jī)器人應(yīng)用，Jetson AGX Orin和Jetson Orin NX模塊實(shí)現(xiàn)了出色的性能。 未來(lái)的軟件優(yōu)化有助于進(jìn)一步釋放強(qiáng)大的英偉達(dá)Orin SoC在這些模塊中的潛力。 在目前非常流行的目標(biāo)檢測(cè)AI網(wǎng)絡(luò)——RetinaNet上，英偉達(dá)的產(chǎn)品的性能提高了高達(dá)84%。 英偉達(dá)開放部分（Open Division）的結(jié)果，展示了通過模型優(yōu)化可以在保持極高精度的同時(shí)大幅提高推理性能的潛力。 全新MLPerf 3.1基準(zhǔn)測(cè)試 當(dāng)然，這并不是MLCommons第一次嘗試對(duì)大語(yǔ)言模型的性能進(jìn)行基準(zhǔn)測(cè)試。 早在今年6月，MLPerf v3.0就首次加入了LLM訓(xùn)練的基準(zhǔn)測(cè)試。不過，LLM的訓(xùn)練和推理任務(wù)，區(qū)別很大。 推理工作負(fù)載對(duì)計(jì)算要求高，而且種類繁多，這就要求平臺(tái)能夠快速處理各種類型的數(shù)據(jù)預(yù)測(cè)，并能在各種AI模型上進(jìn)行推理。 對(duì)于希望部署AI系統(tǒng)的企業(yè)來(lái)說，需要一種方法來(lái)客觀評(píng)估基礎(chǔ)設(shè)施在各種工作負(fù)載、環(huán)境和部署場(chǎng)景中的性能。 所以對(duì)于訓(xùn)練和推理的基準(zhǔn)測(cè)試都是很重要的。 MLPerf Inference v3.1包括了兩項(xiàng)重要更新，來(lái)更好地反映現(xiàn)在AI實(shí)際的使用情況： 首先，增加了基于GPT-J的大型語(yǔ)言模型 (LLM)推理的測(cè)試。GPT-J是一個(gè)開源的6B參數(shù)LLM，對(duì)CNN/每日郵報(bào)數(shù)據(jù)集進(jìn)行文本總結(jié)。 除了GPT-J之外，這次還更新了DLRM測(cè)試。 針對(duì)MLPerf Training v3.0中引入的DLRM，采用了新的模型架構(gòu)和更大的數(shù)據(jù)集，更好地反映了推薦系統(tǒng)的規(guī)模和復(fù)雜性。 MLCommons創(chuàng)始人兼執(zhí)行董事David Kanter表示，訓(xùn)練基準(zhǔn)側(cè)重于更大規(guī)模的基礎(chǔ)模型，而推理基準(zhǔn)執(zhí)行的實(shí)際任務(wù)，則代表了更廣泛的用例，大部分組織都可以進(jìn)行部署。 在MLPerf v3.1基準(zhǔn)測(cè)試中，有超過13,500個(gè)結(jié)果，其中不少提交者的性能比3.0基準(zhǔn)提高了20%，甚至更多。 其他提交者包括華碩，Azure，cTuning，Connect Tech，戴爾，富士通，Giga Computing，谷歌，H3C，HPE，IEI，英特爾，Intel Habana Labs，Krai，聯(lián)想，墨芯，Neural Magic，Nutanix，甲骨文，高通，Quanta Cloud Technology，SiMA，Supermicro，TTA和xFusion等。 |
