電視上“見(jiàn)證奇跡的時(shí)刻”,背后是魔術(shù)師們精妙的手法和積年累月的練習(xí)。那些人們眼中天翻地覆的新技術(shù),也并非魔術(shù)一樣在瞬間發(fā)生,而是多年努力的結(jié)果。
中國(guó)在AI領(lǐng)域的發(fā)展讓世界矚目,特別是在大模型、自動(dòng)駕駛和科學(xué)計(jì)算等關(guān)鍵領(lǐng)域,取得了顯著進(jìn)展。有人說(shuō),中國(guó)AI產(chǎn)業(yè)的飛躍,好像一場(chǎng)“魔術(shù)”,不知不覺(jué)間就領(lǐng)先世界了。其實(shí)不然。智能計(jì)算不同于傳統(tǒng)計(jì)算,需要堅(jiān)實(shí)的基礎(chǔ)設(shè)施作為支撐。分布式存儲(chǔ),就是其中之一。
在中國(guó)AI上演飛躍“魔術(shù)”之前,國(guó)內(nèi)廠商已經(jīng)在分布式存儲(chǔ)完成了“清場(chǎng)”,搭建了一個(gè)安全可靠、空間寬廣的AI舞臺(tái)。
賽迪顧問(wèn)近期發(fā)布的《中國(guó)分布式存儲(chǔ)市場(chǎng)研究報(bào)告(2024)》顯示,AI、自動(dòng)駕駛等新興智能場(chǎng)景,分布式存儲(chǔ)的占比最高。同時(shí),國(guó)產(chǎn)存儲(chǔ)斷層領(lǐng)先。華為、中科曙光、聯(lián)通云呈現(xiàn)“強(qiáng)者愈強(qiáng)”態(tài)勢(shì),在較大市場(chǎng)份額的基礎(chǔ)上,仍保持技術(shù)迭代創(chuàng)新,具有更強(qiáng)的競(jìng)爭(zhēng)力。而Dell&EMC、NetApp、DDN等國(guó)外廠商發(fā)展則相對(duì)緩慢,在某些行業(yè)和場(chǎng)景中的優(yōu)勢(shì)不再突出。
去年AI大模型爆發(fā),很多人擔(dān)心大數(shù)據(jù)、大參數(shù)量,“存力”會(huì)不會(huì)成為中國(guó)發(fā)展AI的短板,會(huì)不會(huì)掣肘于海外供應(yīng)鏈,今天看來(lái)已經(jīng)完全不用擔(dān)心。
目前,全國(guó)大型智算中心、自動(dòng)駕駛頭部客戶、AI大模型頭部客戶、頭部科教機(jī)構(gòu)客戶,都選擇了國(guó)產(chǎn)存儲(chǔ)廠商——曙光存儲(chǔ)。數(shù)據(jù)顯示,曙光存儲(chǔ)在AI、教育等細(xì)分市場(chǎng)排名第一,蟬聯(lián)國(guó)產(chǎn)分布式存儲(chǔ)市場(chǎng)的“領(lǐng)導(dǎo)者象限”。
由此可見(jiàn),中國(guó)AI的飛躍,其實(shí)并非魔術(shù),前提條件之一,是國(guó)產(chǎn)存儲(chǔ)強(qiáng)勢(shì)“清場(chǎng)”,讓中國(guó)AI可以在安全可靠的先進(jìn)存力底座上,為我們帶來(lái)“見(jiàn)證奇跡的時(shí)刻”。
這場(chǎng)“魔術(shù)秀”究竟是怎么完成的?我們就來(lái)做“解謎人”,拆解一下中國(guó)逆襲AI、國(guó)產(chǎn)存儲(chǔ)先行的幕后故事。
AI魔術(shù)秀,為什么分布式存儲(chǔ)站C位?
為什么分布式存儲(chǔ)對(duì)于AI、自動(dòng)駕駛等智能計(jì)算任務(wù),如此重要?可以用一個(gè)“魔術(shù)”來(lái)理解。
大家一定都看過(guò)魔術(shù)師將小球拋在空中的表演。手里只有一個(gè)球,就像集中式存儲(chǔ),所有數(shù)據(jù)都存儲(chǔ)在單一的設(shè)備中,如果設(shè)備發(fā)生故障,就可能導(dǎo)致整個(gè)系統(tǒng)不可用,而且一旦數(shù)據(jù)訪問(wèn)量增加,就可能面臨性能瓶頸,容易存不下、存不全。
拋多個(gè)球,就像分布式存儲(chǔ),數(shù)據(jù)會(huì)分布在多個(gè)節(jié)點(diǎn)上,每個(gè)節(jié)點(diǎn)獨(dú)立管理自己的數(shù)據(jù),具有更高的冗余和可靠性,大量并發(fā)訪問(wèn)可以通過(guò)靈活拓展來(lái)快速添加更多節(jié)點(diǎn)。
而AI任務(wù),就必須用到分布式存儲(chǔ)這樣多節(jié)點(diǎn)的復(fù)雜“拋球”技能了,為什么呢?
一是大數(shù)據(jù)量。業(yè)界已經(jīng)開始規(guī)劃萬(wàn)億模型,如此龐大的數(shù)據(jù)與模型,分布式存儲(chǔ)系統(tǒng)的性價(jià)比、靈活拓展特性,可以提供充足的存儲(chǔ)空間。
二是高并發(fā)。大模型需要頻繁地讀取和調(diào)用數(shù)據(jù),其中還包括很多非結(jié)構(gòu)化數(shù)據(jù),需要并行讀寫能力。分布式存儲(chǔ)架構(gòu)允許數(shù)據(jù)在多個(gè)節(jié)點(diǎn)上并行讀取和寫入,大大提高了數(shù)據(jù)的訪問(wèn)速度,這對(duì)于需要實(shí)時(shí)處理大量數(shù)據(jù)的AI計(jì)算任務(wù)來(lái)說(shuō)至關(guān)重要。
三是高可靠性。大模型訓(xùn)練、科學(xué)計(jì)算模型、自動(dòng)駕駛等任務(wù),一旦存儲(chǔ)系統(tǒng)出現(xiàn)故障,影響到數(shù)據(jù)的連續(xù)性和可用性,所帶來(lái)的金錢、時(shí)間和其他潛在損失是巨大的。分布式存儲(chǔ)能夠更好地滿足AI計(jì)算任務(wù)對(duì)系統(tǒng)可靠性的要求。
所以,分布式存儲(chǔ)逐漸成為智算中心、大模型、自動(dòng)駕駛、AI for Science科學(xué)計(jì)算等領(lǐng)域的標(biāo)配。
一場(chǎng)精彩紛呈的“AI魔術(shù)秀”,分布式存儲(chǔ)是至關(guān)重要的環(huán)節(jié)之一。
數(shù)智中國(guó)舞臺(tái)國(guó)產(chǎn)存儲(chǔ)強(qiáng)勢(shì)“清場(chǎng)”
AI是很多國(guó)計(jì)民生行業(yè)及數(shù)智服務(wù)的技術(shù)基礎(chǔ),必須運(yùn)行在自主研發(fā)、可靠可信的分布式存儲(chǔ)產(chǎn)品和基礎(chǔ)設(shè)施上。
挑戰(zhàn)在于,分布式存儲(chǔ)要協(xié)調(diào)和管理好多個(gè)存儲(chǔ)節(jié)點(diǎn),保證業(yè)務(wù)連續(xù)性和高效運(yùn)行,就像魔術(shù)師要同時(shí)讓多個(gè)小球在空中轉(zhuǎn)動(dòng),是個(gè)高難度技術(shù)活兒。國(guó)產(chǎn)廠商能擔(dān)此任嗎?
《中國(guó)分布式存儲(chǔ)市場(chǎng)研究報(bào)告(2024)》中提到,分布式存儲(chǔ)自研對(duì)團(tuán)隊(duì)能力要求較高,要重點(diǎn)關(guān)注面向應(yīng)用需求且具備核心自研技術(shù)的廠商,團(tuán)隊(duì)核心成員的科研履歷,以及公司既有分布式存儲(chǔ)產(chǎn)品部署的項(xiàng)目經(jīng)驗(yàn)等。近年來(lái),以曙光為代表的一批國(guó)內(nèi)存儲(chǔ)廠商,市場(chǎng)競(jìng)爭(zhēng)力快速提升,逐漸站在了舞臺(tái)的中央,呈現(xiàn)“強(qiáng)者愈強(qiáng)”態(tài)勢(shì)。
國(guó)產(chǎn)存儲(chǔ)以顯著優(yōu)勢(shì)領(lǐng)先于海外廠商,在分布式存儲(chǔ)市場(chǎng)強(qiáng)勢(shì)“清場(chǎng)”,到底是怎么做到的?
我們不妨以曙光存儲(chǔ)為例,報(bào)告顯示,曙光存儲(chǔ)又一次進(jìn)入分布式存儲(chǔ)的領(lǐng)導(dǎo)者象限,并在新興場(chǎng)景如AI、自動(dòng)駕駛等登頂?shù)谝弧?/p>
產(chǎn)品方面,曙光存儲(chǔ)通過(guò)技術(shù)創(chuàng)新,滿足復(fù)雜智能計(jì)算任務(wù)對(duì)先進(jìn)存力的迫切需求。比如氣象數(shù)據(jù)不僅體量大,而且種類繁多,科研院所在進(jìn)行氣象預(yù)測(cè)時(shí),基于曙光的分布式存儲(chǔ)架構(gòu),數(shù)據(jù)可從任意集群寫入和讀取。新一代ParaStor依托NVMe全閃的技術(shù)優(yōu)化,單節(jié)點(diǎn)帶寬達(dá)到130GB/s,為氣象預(yù)測(cè)提供了強(qiáng)有力的數(shù)據(jù)支撐。擴(kuò)容過(guò)程中上層業(yè)務(wù)無(wú)感知,保障了整個(gè)氣象預(yù)測(cè)系統(tǒng)的穩(wěn)定性。
市場(chǎng)方面,曙光存儲(chǔ)深入調(diào)研細(xì)分場(chǎng)景,針對(duì)性打造更適配AI應(yīng)用的解決方案,吸引了大模型企業(yè)、高校教育機(jī)構(gòu)、自動(dòng)駕駛廠商等行業(yè)客戶。
在分布式教育場(chǎng)景市場(chǎng)中,曙光存儲(chǔ)加速助力高??蒲薪逃齽?chuàng)新,表現(xiàn)出較強(qiáng)的競(jìng)爭(zhēng)力,目前已落地華南理工大學(xué)、復(fù)旦大學(xué)、國(guó)家氣象局、良渚實(shí)驗(yàn)室、西湖大學(xué)等多所高校和實(shí)驗(yàn)室。
在自動(dòng)駕駛場(chǎng)景中,曙光ParaStor分布式存儲(chǔ)系統(tǒng)通過(guò)靈活配置和自動(dòng)適應(yīng)功能,滿足自動(dòng)駕駛各個(gè)流程的應(yīng)用需求,保障數(shù)據(jù)安全和訪問(wèn)合規(guī),加上從2022年到2024年間,曙光存儲(chǔ)連續(xù)為某頭部自動(dòng)駕駛企業(yè)提供超百PB的存儲(chǔ)資源,積累了系統(tǒng)部署及長(zhǎng)期運(yùn)維經(jīng)驗(yàn),為自動(dòng)駕駛企業(yè)存儲(chǔ)系統(tǒng)穩(wěn)定運(yùn)行提供堅(jiān)實(shí)保障。曙光存儲(chǔ)帶來(lái)的先進(jìn)存力,成為自動(dòng)駕駛商業(yè)化的加速助力。
類似的場(chǎng)景還有很多。比如金融機(jī)構(gòu)在處理銀行、保險(xiǎn)等業(yè)務(wù)時(shí),曙光分布式存儲(chǔ)能夠?yàn)閺?fù)合型業(yè)務(wù)負(fù)載提供強(qiáng)性能保障,減少系統(tǒng)故障、業(yè)務(wù)中斷。
中國(guó)一系列AI技術(shù)和產(chǎn)品蓄勢(shì)待發(fā),準(zhǔn)備上演一場(chǎng)科技盛宴。幸好在此之前,曙光存儲(chǔ)為代表的國(guó)產(chǎn)存儲(chǔ),已經(jīng)夯實(shí)了應(yīng)對(duì)各種挑戰(zhàn)的存力底座。通過(guò)關(guān)鍵技術(shù)的自主研發(fā),提供滿足國(guó)內(nèi)市場(chǎng)需求的分布式存儲(chǔ)產(chǎn)品,并成功完成了“清場(chǎng)”,減少對(duì)海外不穩(wěn)定因素的依賴。
總體來(lái)看,國(guó)產(chǎn)存儲(chǔ)的發(fā)展和進(jìn)步,為正在上演的精彩科技“魔術(shù)秀”,搭建了一個(gè)穩(wěn)固的基礎(chǔ)。
曙光存儲(chǔ),與AI共舞
AI時(shí)代的大幕緩緩拉開,中國(guó)AI力量強(qiáng)勢(shì)登場(chǎng),對(duì)存儲(chǔ)基礎(chǔ)設(shè)施也提出了新的要求。去年以來(lái),中國(guó)存儲(chǔ)行業(yè)在新產(chǎn)業(yè)階段的發(fā)展方向和市場(chǎng)策略是什么?引發(fā)了各方的好奇與關(guān)注。
一年之后,曙光存儲(chǔ)為代表的國(guó)產(chǎn)廠商,已經(jīng)給出了答案,那就是與時(shí)代共舞,與AI共舞,積極推動(dòng)存儲(chǔ)技術(shù)變革與AI行業(yè)場(chǎng)景融合創(chuàng)新。
問(wèn)題來(lái)了,在AI技術(shù)迅猛發(fā)展的浪潮中,國(guó)產(chǎn)存儲(chǔ)是如何跟上AI的腳步,與行業(yè)客戶的需求同頻,快速而精準(zhǔn)地將分布式存儲(chǔ)帶到一個(gè)個(gè)行業(yè)場(chǎng)景中的呢?
我們可以從曙光存儲(chǔ)的動(dòng)作,解析國(guó)產(chǎn)分布式存儲(chǔ)的AI進(jìn)擊之路。
上場(chǎng)之前,要有扎實(shí)的基本功。
中科曙光是中國(guó)領(lǐng)先的信息產(chǎn)業(yè)公司之一,聚集了大量頂尖專家和研究人員,擁有強(qiáng)大的科研技術(shù)支撐。自2004年起,中科曙光就開始自研分布式存儲(chǔ)技術(shù),為后期的技術(shù)突破和成果產(chǎn)業(yè)化應(yīng)用,奠定了扎實(shí)的基礎(chǔ)。
大幕拉開,靠頂尖的技術(shù)實(shí)力及時(shí)登場(chǎng)。
2023年大模型的爆火,以及數(shù)字要素市場(chǎng)化、智算中心建設(shè)等需求疊加之下,國(guó)內(nèi)市場(chǎng)對(duì)先進(jìn)存力的需求激增,屬于分布式存儲(chǔ)的時(shí)代大幕拉開,誰(shuí)能把握機(jī)遇?
中科曙光憑借引領(lǐng)行業(yè)前沿的分布式存儲(chǔ)技術(shù)能力,為國(guó)內(nèi)十余家大模型企業(yè)及智算中心提供數(shù)百PB的存儲(chǔ)資源,并基于多年存儲(chǔ)技術(shù)積累與行業(yè)洞察,推出自動(dòng)駕駛解決方案,依靠技術(shù)實(shí)力快速完成了市場(chǎng)拓展,擁有了“強(qiáng)者愈強(qiáng)”的優(yōu)勢(shì)身位。
貼身共舞,用深入的行業(yè)洞察助力AI。
做AI、自動(dòng)駕駛客戶的“最佳輔助”,曙光存儲(chǔ)不斷尋求極致突破,滿足大模型廠商、自動(dòng)駕駛企業(yè)、科研機(jī)構(gòu)等客戶,對(duì)強(qiáng)性能、高可靠、綠色節(jié)能等的核心需求,升級(jí)后的ParaStor分布式全閃存儲(chǔ)更加契合AI相關(guān)業(yè)務(wù)場(chǎng)景,成為“最懂AI的存儲(chǔ)”。
曙光分布式存儲(chǔ),不僅能夠滿足當(dāng)前國(guó)內(nèi)AI市場(chǎng)的存力需求,更為即將到來(lái)的“AI is everywhere”階段,預(yù)留了充足的增長(zhǎng)空間。
AI,是時(shí)代聚光燈下的技術(shù)新星,毋庸置疑地引領(lǐng)著未來(lái)。而中國(guó)AI在世界舞臺(tái)上大放異彩,離不開國(guó)產(chǎn)存儲(chǔ)提供強(qiáng)大的后盾。
接下來(lái),我們將看到國(guó)產(chǎn)存儲(chǔ)與AI的結(jié)合愈發(fā)緊密,攜手前行,在世界舞臺(tái)上綻放中國(guó)科技的光彩,創(chuàng)造出無(wú)數(shù)個(gè)新技術(shù)突破的時(shí)刻,讓我們一次又一次“見(jiàn)證奇跡”。