1119
本周內(nèi)最新發(fā)布的MLPerf 基準(zhǔn)測(cè)試結(jié)果，英偉達(dá)及其合作伙伴提供了亮眼的整體AI訓(xùn)練性能。共有 16 家合作伙伴使用 NVIDIA AI 平臺(tái)提交了本輪結(jié)果，包括華碩、百度、中國(guó)科學(xué)院自動(dòng)化研究所、戴爾科技、富士通、技嘉、新華三、慧與、浪潮、聯(lián)想、寧暢和超微。這一參賽陣容約占所有參賽生態(tài)伙伴的90%。
MLPerf作為行業(yè)標(biāo)準(zhǔn)AI基準(zhǔn)測(cè)試，代表了流行的AI用例，包括語(yǔ)音識(shí)別、自然語(yǔ)言處理、推薦系統(tǒng)、目標(biāo)檢測(cè)、圖像分類(lèi)等。此次，英偉達(dá)AI平臺(tái)覆蓋了 MLPerf 訓(xùn)練 2.0 版本的所有八項(xiàng)基準(zhǔn)測(cè)試，這也是唯一一個(gè)運(yùn)行了所有基準(zhǔn)測(cè)試的加速平臺(tái)，突顯了平臺(tái)的通用性。
3年半內(nèi)性能提高 23 倍
MLPerf基準(zhǔn)測(cè)試誕生于2018年12月，英偉達(dá)也正是在這時(shí)向MLPerf提交了首輪測(cè)試結(jié)果。伴隨著MLPerf基準(zhǔn)的演進(jìn)，英偉達(dá)AI平臺(tái)在 3 年半時(shí)間內(nèi)，通過(guò)跨GPU、軟件和大規(guī)模改進(jìn)的全棧式創(chuàng)新，在基準(zhǔn)測(cè)試中實(shí)現(xiàn)了 23 倍的性能提升。
也正是這種飛躍式的創(chuàng)新突破，給了用戶(hù)對(duì)其AI平臺(tái)提供持續(xù)服務(wù)和優(yōu)化能力的信心，使得用戶(hù)投資的AI平臺(tái)能夠持續(xù)服務(wù)3至5年，并持續(xù)推進(jìn)以適配最先進(jìn)的技術(shù)。預(yù)計(jì)英偉達(dá)于今年3月發(fā)布的Hopper架構(gòu)，有望在未來(lái)的 MLPerf 基準(zhǔn)測(cè)評(píng)中繼續(xù)實(shí)現(xiàn)性能飛躍。
領(lǐng)先的基準(zhǔn)測(cè)試結(jié)果與可用性
在連續(xù)第四次 MLPerf 訓(xùn)練提交結(jié)果中，基于Ampere架構(gòu)的NVIDIA A100 Tensor Core GPU 依然表現(xiàn)出色，“優(yōu)勢(shì)周期”可以說(shuō)非常長(zhǎng)了。此外，A100在八項(xiàng)測(cè)試的六項(xiàng)中呈現(xiàn)了最快的速度，A100 還保持了單芯片性能的領(lǐng)導(dǎo)地位。
各個(gè)提交者平臺(tái)在每個(gè)網(wǎng)絡(luò)的“最快訓(xùn)練時(shí)間”
Selene是英偉達(dá)內(nèi)部的AI超級(jí)計(jì)算機(jī)，它基于模塊化的 NVIDIA DGX SuperPOD，并由A100 GPU、軟件堆棧和NVIDIA InfiniBand 網(wǎng)絡(luò)驅(qū)動(dòng)，在八項(xiàng)大規(guī)模工作負(fù)載測(cè)試的四項(xiàng)中獲得 “最快訓(xùn)練時(shí)間”。
?
注：為了計(jì)算單芯片性能，該圖表將每份提交結(jié)果歸一化到每個(gè)提交者最常見(jiàn)的尺度，檢測(cè)分?jǐn)?shù)歸一化到速度最快的競(jìng)爭(zhēng)者，最快競(jìng)爭(zhēng)者顯示為 1倍。
為什么驅(qū)動(dòng)AI應(yīng)用需要平臺(tái)通用性？
英偉達(dá)AI平臺(tái)是此次唯一一個(gè)運(yùn)行了MLPerf 訓(xùn)練 2.0 版本的全部八項(xiàng)基準(zhǔn)測(cè)試的加速平臺(tái)，據(jù)了解，這八項(xiàng)測(cè)試覆蓋了真實(shí)物理世界的多樣化應(yīng)用案例，也從一定程度上說(shuō)明了英偉達(dá)AI平臺(tái)的通用性。
為什么驅(qū)動(dòng)AI應(yīng)用需要平臺(tái)通用性？以下圖這個(gè)較為簡(jiǎn)單的用例來(lái)看：AI應(yīng)用可能需要理解用戶(hù)說(shuō)出的要求，對(duì)圖像進(jìn)行分類(lèi)、提出建議并以語(yǔ)音信息的形式作出回應(yīng)。而這些任務(wù)需要多種類(lèi)型的 AI 模型按順序工作，用戶(hù)需要能夠快速且靈活地設(shè)計(jì)、訓(xùn)練、部署和優(yōu)化這些模型。
如果平臺(tái)具備通用性，能夠在MLPerf 及其他版本中運(yùn)行每個(gè)模型，則具備了將現(xiàn)實(shí)世界的AI引入入生產(chǎn)的關(guān)鍵。
對(duì)于客戶(hù)而言，在部署AI的總成本中，AI基礎(chǔ)設(shè)施本身的成本占比相對(duì)較少，而數(shù)據(jù)科學(xué)團(tuán)隊(duì)的成本占比很重。也就是說(shuō)，數(shù)據(jù)科學(xué)和工程團(tuán)隊(duì)是當(dāng)前最寶貴的資源，因?yàn)樗麄兊纳a(chǎn)力決定了 AI 基礎(chǔ)設(shè)施的投資回報(bào)。
對(duì)于AI 研究人員來(lái)說(shuō)，他們的生產(chǎn)力取決于能否快速測(cè)試新的想法，而這需要通用性來(lái)訓(xùn)練任何模型，以及大規(guī)模訓(xùn)練模型所能提供的速度。正因如此，企業(yè)用戶(hù)應(yīng)該關(guān)注單位成本的整體生產(chǎn)力，以確定最合適的 AI 平臺(tái)。
通過(guò)英偉達(dá)AI平臺(tái)，客戶(hù)可以在整個(gè) AI 流程中使用相同的基礎(chǔ)設(shè)施，利用它來(lái)適配數(shù)據(jù)準(zhǔn)備、訓(xùn)練和推理之間的不同需求，這極大地提高了利用率，也實(shí)現(xiàn)了較高的投資回報(bào)率。
另一方面，盡可能延長(zhǎng)AI 基礎(chǔ)設(shè)施使用壽命，也是有效較低總體擁有成本的關(guān)鍵。那么，如何能盡可能延長(zhǎng)基礎(chǔ)設(shè)施的壽命？對(duì)于最新模型創(chuàng)新的支持是關(guān)鍵，這就對(duì)AI平臺(tái)的兼容性、擴(kuò)展性提出了更高要求。英偉達(dá)AI 平臺(tái)兼容并適用于每個(gè)模型、可以擴(kuò)展到任何規(guī)模，并加速?gòu)臄?shù)據(jù)準(zhǔn)備到訓(xùn)練再到推理的端到端 AI 流程，能夠?qū)崿F(xiàn)最高的單位成本生產(chǎn)力。
寫(xiě)在最后
自MLPerf問(wèn)世以來(lái)，英偉達(dá)持續(xù)跟進(jìn)在訓(xùn)練、推理、HPC等各方面的基準(zhǔn)測(cè)試和評(píng)測(cè)。通過(guò)跨硬件、軟件和網(wǎng)絡(luò)的全棧改進(jìn)，其AI平臺(tái)的性能在持續(xù)釋放。
除了硬件本身的升級(jí)，軟件的持續(xù)創(chuàng)新也是關(guān)鍵。例如，在提交結(jié)果中大量使用的 CUDA Graphs，該軟件可以最大限度地減少跨多個(gè)加速器上運(yùn)行作業(yè)的啟動(dòng)開(kāi)銷(xiāo)。不同庫(kù)的內(nèi)核優(yōu)化，如 cuDNN 和預(yù)處理庫(kù) DALI，解鎖了額外的加速。英偉達(dá)Magnum IO 和 SHARP，通過(guò)將部分AI功能卸載到網(wǎng)絡(luò)中，可以獲得更好的性能，特別是在大規(guī)模情況中。
值得一提的是，英偉達(dá)所使用的所有軟件都可以從 MLPerf 資源庫(kù)中獲取，這種開(kāi)放的成果共享也將為AI的發(fā)展和應(yīng)用帶來(lái)推進(jìn)作用。
下載ECAD模型
