加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
    • 拿下“第一”的最大AI大模型,有多強(qiáng)?
    • 開(kāi)發(fā)者們能從這塊“黑土地”得到些什么?
    • 如何評(píng)價(jià)?
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

華為云中文預(yù)訓(xùn)練模型發(fā)布:全球最大、千億參數(shù),逼近人類神經(jīng)元

2021/04/27
232
閱讀需 16 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

還是熟悉的華為開(kāi)發(fā)者大會(huì) (HDC),還是熟悉的余承東。

也還是一貫地擅長(zhǎng)宣布“世界第一”:

業(yè)界首個(gè)千億級(jí)生成與理解中文NLP大模型。

業(yè)界最大的CV大模型。

這就是余承東剛剛發(fā)布的大模型,名曰華為云盤古大模型。

要知道,千億級(jí)的參數(shù)規(guī)模,可是已經(jīng)逼近人類神經(jīng)元的數(shù)量了!

余承東激動(dòng)地介紹道,“這是今天最重磅的產(chǎn)品”!

(隨即,現(xiàn)場(chǎng)掌聲如雷)

這屆華為開(kāi)發(fā)者大會(huì)在熟悉之余,也有所不同:

•    不一樣的身份:這一次,余承東新增了一個(gè)身份,華為云CEO。

•    不再“硬”的產(chǎn)品:這一次,沒(méi)有手機(jī)、電腦和芯片,而是偏“軟”的開(kāi)發(fā)者產(chǎn)品。

余承東在現(xiàn)場(chǎng)也表示:

云是ICT產(chǎn)業(yè)的未來(lái),開(kāi)發(fā)者是產(chǎn)業(yè)發(fā)展的靈魂。華為將繼續(xù)開(kāi)放技術(shù)創(chuàng)新能力,攜手開(kāi)發(fā)者、伙伴共同加速行業(yè)全面云化和智能升級(jí)。

云化,是不可阻擋的潮流;云,是21世紀(jì)的未來(lái)。

拿下“第一”的最大AI大模型,有多強(qiáng)?

如其名,盤古,煞有開(kāi)天辟地之勢(shì)。

怎么說(shuō)?

先觀其貌,橫攬AI領(lǐng)域四大熱門方向:

自然語(yǔ)言處理(NLP)大模型

計(jì)算機(jī)視覺(jué)(CV)大模型

多模態(tài)大模型

科學(xué)計(jì)算大模型

很明顯,相比于現(xiàn)有的大模型,盤古并不是“單項(xiàng)”選手,而是全能型的那種。

再聞其詳,縱達(dá)業(yè)界能力之最:

華為云盤古NLP大模型:是業(yè)界首個(gè)千億參數(shù)中文語(yǔ)言預(yù)訓(xùn)練模型,預(yù)訓(xùn)練階段學(xué)習(xí)了40TB中文文本數(shù)據(jù),是最接近人類中文理解能力的AI大模型。

華為云盤古CV大模型:是目前業(yè)界最大的視覺(jué)預(yù)訓(xùn)練模型,包含超過(guò)30億參數(shù)。

具體而言,盤古NLP大模型在權(quán)威的中文語(yǔ)言理解評(píng)測(cè)基準(zhǔn)CLUE榜單中,總成績(jī)及分類、閱讀理解單項(xiàng)均排名第一,刷新三項(xiàng)榜單世界歷史紀(jì)錄,總成績(jī)得分83.046。

而盤古CV大模型,則在ImageNet 1%、10%數(shù)據(jù)集上的小樣本分類精度上,達(dá)到了業(yè)界最高水平。

但最重要的,華為云盤古大模型的真·奧義,還真不是拿下各種“第一”秀肌肉。

一言蔽之,實(shí)則直擊痛點(diǎn),畢竟天下苦AI開(kāi)發(fā)久矣。

即便到了現(xiàn)在,AI開(kāi)發(fā)的過(guò)程,較為貼切的比喻應(yīng)該是“作坊模式”,換言之,就是需要手動(dòng)的工作太多、太頻繁。

具體而言,常常困擾AI開(kāi)發(fā)者的問(wèn)題包括,從零開(kāi)始、獨(dú)立調(diào)優(yōu)、艱難迭代、推倒重來(lái)……

若是再聚焦到“千億參數(shù)”的規(guī)模,要訓(xùn)練這樣的模型,還需要開(kāi)發(fā)者手工編寫大量的并行、切分和通訊代碼。

(啊~多么痛的領(lǐng)悟)

講真,明明從事AI的開(kāi)發(fā),但這樣真的很不AI。

此局又該如何破解?

工廠模式,了解一下。

華為云盤古大模型的開(kāi)發(fā)模式,是“預(yù)訓(xùn)練+下游微調(diào)”,這也是與目前全球主流大模型(如Bert)所匹配的一種模式。

簡(jiǎn)單來(lái)說(shuō),這種模式的一大優(yōu)點(diǎn),就是擁有極強(qiáng)的泛化能力。

也就是說(shuō)這個(gè)模型可以做到“舉一反三”:

同樣的一個(gè)模型,可以在多個(gè)場(chǎng)景中適用,而且還是非常復(fù)雜的那種。

不僅如此,數(shù)據(jù)量少、小樣本,也是困擾AI開(kāi)發(fā)者的一大難題。

而華為云盤古大模型,卻可以做到在少量樣本的情況達(dá)到高精度,在這方面超越了GPT系列。

“功夫”已經(jīng)展露,接下來(lái)的一個(gè)問(wèn)題就是:

華為云盤古大模型,是如何煉成的?

左手CANN算子,右手MindSpore框架,主要依托的便是這兩大“基本功”。

CANN是華為推出的異構(gòu)計(jì)算架構(gòu),2018年推出1.0版本至今,已經(jīng)迭代到了3.0版本。

目前不僅使用于推理、訓(xùn)練場(chǎng)景,還能夠?qū)崿F(xiàn)“端邊云協(xié)同”。這就意味著不必在不同的終端,再去開(kāi)發(fā)不同的算子,大大提高了效率。

例如基于CANN,就能讓ResNet-50模型的訓(xùn)練時(shí)間降低到28s。

MindSpore則是華為于2019年推出的全場(chǎng)景AI計(jì)算框架,其中的一大特色,就是具有全自動(dòng)混合并行方案。

而華為云盤古大模型,基于二者之外,還融合了三種并行技術(shù):模型并行、數(shù)據(jù)并行和流水線并行。

如此一來(lái),開(kāi)發(fā)者就只需要編寫單機(jī)算法代碼、添加少量并行標(biāo)簽,就可以實(shí)現(xiàn)模型訓(xùn)練的自動(dòng)切分。

舉個(gè)實(shí)戰(zhàn)例子,用盤古訓(xùn)練超大模型靜態(tài)圖,性能直接提升了40%之多!

以為余承東站臺(tái)的活動(dòng),僅僅就“重磅推出”了個(gè)盤古?

No,No,No,事情定然沒(méi)有這么簡(jiǎn)單。

同級(jí)別!同分量!還有五大產(chǎn)品和服務(wù):

華為云CCE Turbo容器集群:從計(jì)算、網(wǎng)絡(luò)和調(diào)度三方面,讓容器更加強(qiáng)大。這也是業(yè)界唯一支持100%容器虛擬化的集群。

華為云GaussDB(for openGauss)數(shù)據(jù)庫(kù):讓核心數(shù)據(jù)庫(kù)上云,與傳統(tǒng)分布式數(shù)據(jù)庫(kù)相比,在性能、彈性、可用性方面更強(qiáng),是金融領(lǐng)域安全級(jí)別的那種。

可信智能計(jì)算服務(wù)(TICS):在安全保障的前提下,解決數(shù)據(jù)難開(kāi)放、共享流通的問(wèn)題,而且無(wú)須轉(zhuǎn)換就能適配業(yè)界主流的大數(shù)據(jù)應(yīng)用場(chǎng)景。

華為云CloudIDE智能編程助手:可以實(shí)現(xiàn)“讓程序自己寫程序”,還能隨時(shí)隨地、使用任何終端在線編程。

多樣性計(jì)算基礎(chǔ)軟件:云的創(chuàng)新離不開(kāi)操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件等基礎(chǔ)軟件根技術(shù)的支撐。如果說(shuō)處理器是計(jì)算產(chǎn)業(yè)的“芯”,基礎(chǔ)軟件就是計(jì)算產(chǎn)業(yè)的“魂”。華為將圍繞鯤鵬、昇騰構(gòu)建多樣性計(jì)算產(chǎn)業(yè),尤其是在計(jì)算基礎(chǔ)軟件上持續(xù)投入,構(gòu)建了包括操作系統(tǒng)、數(shù)據(jù)庫(kù)、AI計(jì)算框架等全套計(jì)算基礎(chǔ)軟件棧,使能多樣性算力,支撐華為云的產(chǎn)品和服務(wù)創(chuàng)新。

而從華為云此次發(fā)布的新品中不難看出,所圍繞的一個(gè)核心人群,就是開(kāi)發(fā)者。

這也是華為云明確做智能世界“黑土地”定位以來(lái),為開(kāi)發(fā)者增添的又一筆寶貴的資源。

正如華為云所述:

為開(kāi)發(fā)者提供技術(shù)支持,并提升開(kāi)發(fā)效率和質(zhì)量。

這是華為給開(kāi)發(fā)者所帶去的,反之,站在開(kāi)發(fā)者角度,一個(gè)問(wèn)題便由此浮現(xiàn)。

開(kāi)發(fā)者們能從這塊“黑土地”得到些什么?

要回答這個(gè)問(wèn)題,首先要知道的是在華為云的“黑土地”中,有什么?

華為云最早在2015年提出了“沃土計(jì)劃”,并在2019年發(fā)布了“沃土計(jì)劃2.0”,目標(biāo)非常明確且簡(jiǎn)潔:

堅(jiān)持“硬件開(kāi)放、軟件開(kāi)源、使能伙伴、發(fā)展人才”,推動(dòng)產(chǎn)業(yè)繁榮發(fā)展,,5年發(fā)展500萬(wàn)開(kāi)發(fā)者。

2020年,華為在沃土計(jì)劃2.0計(jì)劃上,總投入已經(jīng)達(dá)到了2億美元 (約13億人民幣)的規(guī)模。

長(zhǎng)久以來(lái)所堅(jiān)持,也讓華為云的這片“黑土地”養(yǎng)分更足。

就在4天前(4月21日),在國(guó)際知名研究機(jī)構(gòu)Gartner的報(bào)告中,便對(duì)當(dāng)前的云市場(chǎng)做了最新解讀:

云計(jì)算IaaS市場(chǎng)保持高速增長(zhǎng),全球市場(chǎng)規(guī)模達(dá)到643.9億美元。

而針對(duì)華為云這一塊,Gartner也給出了肯定的評(píng)價(jià):

2020年,華為云全球IaaS市場(chǎng)排名上升至中國(guó)前二、全球前五,主流廠商增速最快,成為全球五朵云之一。

再具體一些的數(shù)據(jù)顯示,華為云所保持的增速高達(dá)168%,而且已經(jīng)連續(xù)四個(gè)季度位居中國(guó)公有云服務(wù)市場(chǎng)第二。

在現(xiàn)場(chǎng),余承東介紹完如此成績(jī),激動(dòng)地感謝道:

感謝有你,一路向前!

這些是華為云在市場(chǎng)的表現(xiàn),那么回到開(kāi)發(fā)者,目前又吸引了多少人呢?

超過(guò)240萬(wàn)。

其中,華為云開(kāi)發(fā)者累計(jì)已達(dá)180萬(wàn);鯤鵬和昇騰開(kāi)發(fā)者累計(jì)超過(guò)60萬(wàn)。

而能夠吸引如此龐大開(kāi)發(fā)人群,原因還是在于華為云黑土地給他們提供的價(jià)值:

堅(jiān)持云優(yōu)先,優(yōu)先選擇用云方式為客戶提供IT基礎(chǔ)平臺(tái)服務(wù),具體來(lái)說(shuō)就是云解決方案優(yōu)先、云服務(wù)商業(yè)模式優(yōu)先、云伙伴優(yōu)先。

持續(xù)聚焦系統(tǒng)和架構(gòu)創(chuàng)新,強(qiáng)化軟件,讓黑土地更肥沃。

全力支持開(kāi)發(fā)者基于“黑土地”構(gòu)建面向千行百業(yè)的應(yīng)用。

而華為開(kāi)發(fā)者大會(huì)也正是“黑土地”的具體展現(xiàn)形式之一:

在這場(chǎng)面向開(kāi)發(fā)者的技術(shù)盛宴中,開(kāi)發(fā)者不僅可以體驗(yàn)和分享最新的ICT技術(shù)在行業(yè)的深度創(chuàng)新和應(yīng)用,還能與業(yè)界大咖、華為科學(xué)家、頂級(jí)技術(shù)專家、天才少年和眾多開(kāi)發(fā)者直接交流,切磋技術(shù)。

深度參與openEuler、openGauss、MindSpore、KubeEdge、Volcano等熱門開(kāi)源項(xiàng)目;與Linux、Apache、CNCF、Rust等社區(qū)大牛探討最新開(kāi)源技術(shù),了解異構(gòu)計(jì)算、光計(jì)算、超現(xiàn)實(shí)與全息等前沿理論和未來(lái)技術(shù)。

值得一提的是,今年這屆的華為開(kāi)發(fā)者大會(huì)有一個(gè)非常鮮明的特色:第一次與全國(guó)各大高校聯(lián)辦。

不僅一改以往辦會(huì)地址,將主會(huì)場(chǎng)放到了深圳大學(xué)城之中與此同時(shí),還設(shè)置了超過(guò)20所中國(guó)985/211高校分會(huì)場(chǎng)。

這也不難從側(cè)面反映出華為云對(duì)開(kāi)發(fā)者(尤其高校)的重視。

而且從此次大會(huì)的議程設(shè)置方面,也能體現(xiàn)這一點(diǎn):

1場(chǎng)Keynote、10場(chǎng)峰會(huì)、70+場(chǎng)掃地僧見(jiàn)面會(huì)、100+場(chǎng)專題演講、40+場(chǎng)開(kāi)發(fā)者訓(xùn)練營(yíng)……

完完全全就是圍繞“開(kāi)發(fā)者”而展開(kāi)。

畢竟,華為云認(rèn)為“每一個(gè)開(kāi)發(fā)者都了不起”:

在數(shù)字時(shí)代,開(kāi)發(fā)者就是時(shí)代的弄潮兒,是改變世界的力量,更是企業(yè)創(chuàng)新的動(dòng)力和產(chǎn)業(yè)的靈魂。

如何評(píng)價(jià)?

軟,著實(shí)夠軟。

這或許是此次HDC最直觀的感受之一。

華為云要做的是一塊“智能世界的黑土地”,而眾所周知,對(duì)于一塊土地來(lái)說(shuō),越肥沃就會(huì)越軟。

這也與華為云所要聚焦的點(diǎn)不謀而合:

聚焦系統(tǒng)創(chuàng)新、架構(gòu)創(chuàng)新,強(qiáng)化軟件。

然而細(xì)數(shù)過(guò)往經(jīng)歷,這不是華為第一次體現(xiàn)出“軟”的一面。

早在去年的華為HAI大會(huì)上,作為與華為云能力密不可分的昇騰,便脫去了硬件實(shí)力的光環(huán)。

軟件平臺(tái)全面鋪開(kāi),站上了C位。

當(dāng)時(shí),華為表示:

極致性能,讓AI計(jì)算觸手可及,極簡(jiǎn)易用,讓AI計(jì)算無(wú)處不在。而這個(gè)過(guò)程中軟件是必需品,也是發(fā)揮硬件性能的核心。

而更早的,在2018年10月的全聯(lián)接大會(huì)上,華為在發(fā)布AI戰(zhàn)略時(shí)便推出了異構(gòu)計(jì)算架構(gòu)CANN 1.0和一站式AI集成開(kāi)發(fā)套件MindStudio,為現(xiàn)今的軟件生態(tài)發(fā)展奠定了重要的基礎(chǔ)。

今天華為云發(fā)布的六大產(chǎn)品,可謂是給這片黑土地注入了更加肥沃的“軟實(shí)力”。

除了“軟”的感官之外,這屆華為開(kāi)發(fā)者大會(huì)讓人印象深刻的第二點(diǎn),便是華為對(duì)云的重視。

一方面體現(xiàn)在了“云優(yōu)先”的戰(zhàn)略,以及在會(huì)中強(qiáng)調(diào)的華為云市場(chǎng)表現(xiàn)。

另一方面,華為云的組織架構(gòu)有重大調(diào)整。

重視程度,可見(jiàn)一斑。

但如此布局背后的原因,細(xì)分析下來(lái)可以大致分為三點(diǎn)。

首先,從趨勢(shì)角度來(lái)看,云是ICT產(chǎn)業(yè)的未來(lái)。

據(jù)Gartner預(yù)測(cè),到2025年,企業(yè)傳統(tǒng)數(shù)據(jù)中心將關(guān)閉90%;而與此相對(duì)的另一個(gè)預(yù)測(cè)則表示,屆時(shí)全球企業(yè)云技術(shù)使用率將達(dá)100%。

如此可見(jiàn),全面云化已經(jīng)是一種未來(lái)趨勢(shì)。

其次,數(shù)字化和智能化,需要云原生的能力。

據(jù)預(yù)測(cè),到2023年,云原生應(yīng)用占比將達(dá)80%。以華為為例,基于云原生的能力,研發(fā)系統(tǒng)部署和資源使用率提升10倍以上。生產(chǎn)系統(tǒng)部署從過(guò)去2小時(shí)縮短到10分鐘,一次變更成功率提升10%。

最后,AI已經(jīng)成為生產(chǎn)力,企業(yè)AI的開(kāi)發(fā)也需要“工場(chǎng)模式”。

依舊是以華為為例,將AI引入到工程交付的各個(gè)環(huán)節(jié)后,一年節(jié)約成本超過(guò)60億元!

這也就非常好的解釋了,華為在云、軟件生態(tài)和開(kāi)發(fā)者上大力付諸行動(dòng)的緣由。

最后的最后,基于此的下一步,又該怎么走?

對(duì)此,華為在此次開(kāi)發(fā)者大會(huì)中也有所透露:

華為沃土計(jì)劃2.0在2021年將圍繞鯤鵬展翅、沃土云創(chuàng)、昇騰萬(wàn)里子計(jì)劃持續(xù)投入,累計(jì)將投入2.2億美金。

發(fā)布“沃土云創(chuàng)計(jì)劃”:2021年將投入1億美金資金扶持,聚焦6大技術(shù)領(lǐng)域(容器/微服務(wù)、SaaS化、大數(shù)據(jù)、AI、視頻、智能邊緣),與ISV和SaaS開(kāi)發(fā)者伙伴,構(gòu)建1000+創(chuàng)新應(yīng)用。

整體來(lái)看,從過(guò)去,到現(xiàn)在,再未來(lái),華為云所重視的,也正應(yīng)了這屆開(kāi)發(fā)者大會(huì)主題:

每一個(gè)開(kāi)發(fā)者都了不起。

更如余承東最后的總結(jié):

最強(qiáng)的智,是眾智;最大的力,是合力;每一個(gè)開(kāi)發(fā)者,都在創(chuàng)造一往無(wú)前的奔騰時(shí)代。

世界有你,了不起!

華為

華為

華為創(chuàng)立于1987年,是全球領(lǐng)先的ICT(信息與通信)基礎(chǔ)設(shè)施和智能終端提供商。目前華為約有19.7萬(wàn)員工,業(yè)務(wù)遍及170多個(gè)國(guó)家和地區(qū),服務(wù)全球30多億人口。華為致力于把數(shù)字世界帶入每個(gè)人、每個(gè)家庭、每個(gè)組織,構(gòu)建萬(wàn)物互聯(lián)的智能世界:讓無(wú)處不在的聯(lián)接,成為人人平等的權(quán)利,成為智能世界的前提和基礎(chǔ);為世界提供最強(qiáng)算力,讓云無(wú)處不在,讓智能無(wú)所不及;所有的行業(yè)和組織,因強(qiáng)大的數(shù)字平臺(tái)而變得敏捷、高效、生機(jī)勃勃;通過(guò)AI重新定義體驗(yàn),讓消費(fèi)者在家居、出行、辦公、影音娛樂(lè)、運(yùn)動(dòng)健康等全場(chǎng)景獲得極致的個(gè)性化智慧體驗(yàn)。

華為創(chuàng)立于1987年,是全球領(lǐng)先的ICT(信息與通信)基礎(chǔ)設(shè)施和智能終端提供商。目前華為約有19.7萬(wàn)員工,業(yè)務(wù)遍及170多個(gè)國(guó)家和地區(qū),服務(wù)全球30多億人口。華為致力于把數(shù)字世界帶入每個(gè)人、每個(gè)家庭、每個(gè)組織,構(gòu)建萬(wàn)物互聯(lián)的智能世界:讓無(wú)處不在的聯(lián)接,成為人人平等的權(quán)利,成為智能世界的前提和基礎(chǔ);為世界提供最強(qiáng)算力,讓云無(wú)處不在,讓智能無(wú)所不及;所有的行業(yè)和組織,因強(qiáng)大的數(shù)字平臺(tái)而變得敏捷、高效、生機(jī)勃勃;通過(guò)AI重新定義體驗(yàn),讓消費(fèi)者在家居、出行、辦公、影音娛樂(lè)、運(yùn)動(dòng)健康等全場(chǎng)景獲得極致的個(gè)性化智慧體驗(yàn)。收起

查看更多

相關(guān)推薦

電子產(chǎn)業(yè)圖譜