摩爾線程CEO張建中：萬卡集群是AI主戰(zhàn)場上的標(biāo)配

本文由半導(dǎo)體產(chǎn)業(yè)縱橫（ID：ICVIEWS）綜合摩爾線程夸娥智算集群可實(shí)現(xiàn)從千卡至萬卡集群的無縫擴(kuò)展。

“從今天起，世界徹底改變了?！边@是GPT-3算法的發(fā)明人埃德·萊昂·克林格在GPT-3出現(xiàn)時(shí)說的一句話。這是一個(gè)AI的時(shí)代，這是一個(gè)算力的時(shí)代。今日，摩爾線程重磅宣布其AI旗艦產(chǎn)品夸娥（KUAE）智算集群解決方案實(shí)現(xiàn)重大升級(jí)，從當(dāng)前的千卡級(jí)別大幅擴(kuò)展至萬卡規(guī)模。

同時(shí)，摩爾線程聯(lián)合中國移動(dòng)通信集團(tuán)青海有限公司、中國聯(lián)通青海公司、北京德道信科集團(tuán)、中國能源建設(shè)股份有限公司總承包公司、桂林華崛大數(shù)據(jù)科技有限公司，分別就三個(gè)萬卡集群項(xiàng)目進(jìn)行了戰(zhàn)略簽約，多方聚力共同構(gòu)建好用的國產(chǎn)GPU集群。

此外，我們從現(xiàn)場也看到摩爾線程的產(chǎn)品能力和強(qiáng)大的生態(tài)鏈接力。與來自清華系兩家公司無問芯穹和清程極智已經(jīng)開始深度合作，無問芯穹是由清華大學(xué)電子工程系系主任汪玉教授發(fā)起的，清程極智由清華大學(xué)計(jì)算機(jī)系鄭緯民院士發(fā)起的。還有京東、360、智平方等多家國內(nèi)企業(yè)，夸娥智算集群助力其在大模型訓(xùn)練、大模型推理、具身智能等不同場景和領(lǐng)域的創(chuàng)新。

?萬卡是最低標(biāo)配

大模型自問世以來，關(guān)于其未來的走向和發(fā)展趨勢亟待時(shí)間驗(yàn)證，但從當(dāng)前來看，幾種演進(jìn)趨勢值得關(guān)注，使得其對算力的核心需求也愈發(fā)明晰。第一，Scaling Law將持續(xù)奏效。需要單點(diǎn)規(guī)模夠大并且通用的算力才能快速跟上技術(shù)演進(jìn)。第二，Transformer架構(gòu)不能實(shí)現(xiàn)大一統(tǒng)，和其他架構(gòu)會(huì)持續(xù)演進(jìn)并共存，形成多元化的技術(shù)生態(tài)。第三，AI、3D和HPC跨技術(shù)與跨領(lǐng)域融合不斷加速，大模型的訓(xùn)練和應(yīng)用環(huán)境更加復(fù)雜多元。

隨著計(jì)算量不斷攀升，大模型訓(xùn)練亟需超級(jí)工廠，即一個(gè)“大且通用”的加速計(jì)算平臺(tái)，以縮短訓(xùn)練時(shí)間。以Llama 3為例，在它問世之際，Meta就公布了其基礎(chǔ)設(shè)施詳情：“我們在兩個(gè)定制的24K GPU集群上做訓(xùn)練?！?strong>摩爾線程創(chuàng)始人張建中提出了一個(gè)標(biāo)準(zhǔn)：“AI主戰(zhàn)場，萬卡是最低標(biāo)配?！?/strong>

?國產(chǎn)萬卡萬P萬億大模型訓(xùn)練平臺(tái)

夸娥（KUAE）是摩爾線程智算中心全棧解決方案，是以全功能GPU為底座，軟硬一體化、完整的系統(tǒng)級(jí)算力解決方案，包括以夸娥計(jì)算集群為核心的基礎(chǔ)設(shè)施、夸娥集群管理平臺(tái)（KUAE Platform）以及夸娥大模型服務(wù)平臺(tái)（KUAE ModelStudio），旨在以一體化交付的方式解決大規(guī)模GPU算力的建設(shè)和運(yùn)營管理問題。

基于對AI算力需求的深刻洞察和前瞻性布局，摩爾線程夸娥智算集群可實(shí)現(xiàn)從千卡至萬卡集群的無縫擴(kuò)展，旨在滿足大模型時(shí)代對于算力“規(guī)模夠大+計(jì)算通用+生態(tài)兼容”的核心需求，通過整合超大規(guī)模的GPU萬卡集群、極致的計(jì)算效率優(yōu)化以及高度穩(wěn)定的運(yùn)行環(huán)境，以萬卡智算集群的新超級(jí)工程，重新定義國產(chǎn)集群計(jì)算能力的新標(biāo)準(zhǔn)?？涠鹑f卡智算解決方案具備多個(gè)核心特性：

超大算力，萬卡萬P。浮點(diǎn)運(yùn)算能力達(dá)到10Exa-Flops，大幅提升單集群計(jì)算性能，能夠?yàn)槿f億參數(shù)級(jí)別大模型訓(xùn)練提供堅(jiān)實(shí)算力基礎(chǔ)。

超高穩(wěn)定，月級(jí)長穩(wěn)訓(xùn)練。在集群穩(wěn)定性方面，摩爾線程夸娥萬卡集群平均無故障運(yùn)行時(shí)間超過15天，最長可實(shí)現(xiàn)大模型穩(wěn)定訓(xùn)練30天以上，周均訓(xùn)練有效率在99%以上，遠(yuǎn)超行業(yè)平均水平。

極致優(yōu)化，超高M(jìn)FU：實(shí)現(xiàn)大模型的高效率訓(xùn)練，MFU最高可達(dá)到60%。在系統(tǒng)軟件層面，基于極致的計(jì)算和通訊效率優(yōu)化等技術(shù)手段，大幅提升集群的執(zhí)行效率和性能表現(xiàn)。

全能通用，生態(tài)友好：可加速LLM、MoE、多模態(tài)、Mamba等不同架構(gòu)、不同模態(tài)的大模型。s同時(shí)，基于高效易用的MUSA編程語言、完整兼容CUDA能力和自動(dòng)化遷移工具M(jìn)usify，加速新模型“Day0”級(jí)遷移，實(shí)現(xiàn)生態(tài)適配“Instant On”，助力客戶業(yè)務(wù)快速上線。

構(gòu)建萬卡集群并非一萬張GPU卡的簡單堆疊，而是一項(xiàng)高度復(fù)雜的超級(jí)系統(tǒng)工程。它涉及到超大規(guī)模的組網(wǎng)互聯(lián)、高效率的集群計(jì)算、長期穩(wěn)定性和高可用性等諸多技術(shù)難題。

張建中也感嘆到：“萬卡集成的難度比登喜馬拉雅山還難?！?/strong>