2671
作者｜薛良Neil? ?郵箱｜neilshen@pingwest.com
誰有英偉達GPU，誰就是云公司
關(guān)于英偉達總有新的消息讓你驚訝。
最近的一則來自美國的一家云初創(chuàng)公司 CoreWeave 。
這家公司宣布融資23億美金，而更讓人震驚的是這筆錢的抵押物是其擁有的GPU。在大模型熱潮下，GPU儼然成為一種硬通貨，而CoreWeave之所以能有如此多的英偉達稀缺物品，是因為它過去的身份——北美最大的以太坊礦工。
那時它有超過五萬臺GPU用來挖礦，在面對挖礦的不可持續(xù)性后，CoreWeave把目光轉(zhuǎn)向AI等需要并行計算的領(lǐng)域，并在 ChatGPT 爆紅之前就采購了大量英偉達芯片——那時芯片的產(chǎn)能還足夠充分。
由此，CoreWeave自稱是世界上唯一一個可以大規(guī)模提供H100算力的公司，也搖身一變成為了一家“云廠商”。
是的，它的GPU供給超越了所有云服務(wù)巨頭，包括谷歌云、亞馬遜云和微軟的Azure。
這聽上去有些奇特，即使是不談GPU數(shù)量瓶頸，構(gòu)建數(shù)據(jù)中心還需要巨量的成本，精巧的空間、能源和散熱設(shè)計以及十分復(fù)雜的軟硬件協(xié)同，一般來說，能滿足這些條件的只能是巨頭，而不是剛進行了B輪融資（4.21億美元）的初創(chuàng)公司。
CoreWeave 能做到這一點，源于一種對數(shù)據(jù)中心截然不同的理解。
傳統(tǒng)的數(shù)據(jù)中心由CPU構(gòu)成，它們側(cè)重于通用計算的能力，主要由最開始是英特爾，后來是AMD的芯片所壟斷。
但全新的用于加速計算的數(shù)據(jù)中心則更強調(diào)并行計算，這就意味著它需要有更大的內(nèi)存、帶寬以及把所有的加速計算單元密切連接起來的能力，英偉達創(chuàng)始人和CEO黃仁勛稱這個過程為“數(shù)據(jù)中心現(xiàn)代化”，在他看來這是一個將持續(xù)10年的周期。
這個新周期的開始預(yù)示著整個數(shù)據(jù)中心的建構(gòu)方式，軟硬件協(xié)同乃至電源和散熱結(jié)構(gòu)都需要重新設(shè)計。這讓所有的云服務(wù)提供商幾乎重回起跑線——針對 CPU 設(shè)計的上一代的數(shù)據(jù)中心方案幾乎完全無法照搬。比如英偉達連接龐大GPU集群所用到的 Infinite Band 技術(shù)需要超過500英里的電纜，這在傳統(tǒng)的數(shù)據(jù)中心設(shè)計中根本不存在。
CoreWeave舉了另一個例子，相同場地大小，GPU 集群所需要的電力是傳統(tǒng)數(shù)據(jù)中心的 4 倍，因此新數(shù)據(jù)中心的電力系統(tǒng)和散熱系統(tǒng)都需要完全重新設(shè)計，這甚至還不算軟硬件協(xié)同的成本。
搶占先機的CoreWeave由此不僅能提供龐大的H100算力，并且在比其它的云服務(wù)快幾十倍的同時費用還低80%，能做到這些，我們可以將其歸功于它很早就精準踐行了黃仁勛有關(guān)數(shù)據(jù)中心的愿景——數(shù)據(jù)中心正在向加速計算方向轉(zhuǎn)化，而緊缺的算力則通過云供應(yīng)。
就這樣，一家虛擬幣挖礦公司就變成了一家當(dāng)紅的云計算公司，只因為它是最忠誠的英偉達門徒。
英偉達云是個什么云
誰有英偉達的GPU誰就是最紅的云廠商，那么誰有最多的英偉達GPU？顯然是它自己。
于是在扶持類似的云初創(chuàng)企業(yè)的同時，英偉達也在建設(shè)自己的云。
英偉達親自下場做云的優(yōu)勢有很多，最明顯的是它不受到GPU供需關(guān)系的困擾。馬斯克曾在公開場合說，獲得GPU比獲得毒品要難多了，而CoreWeave之所以能提供超大規(guī)模的 H100 算力，據(jù)悉也和英偉達的充分供應(yīng)有關(guān)——英偉達在幾個月前參與了CoreWeave的 B 輪融資。
但顯然，僅僅投一些初創(chuàng)公司還不夠，生成式 AI 對算力的巨大需求最終讓英偉達自己下場。在今年3月的GTC大會上，英偉達推出了自己的云服務(wù)DGX Cloud ，它已在年中正式上線。
從名字就可以看出，DGX Cloud 直接利用了英偉達DGX超級計算機的能力，云的每個實例均配備8個H100或A100 GPU以及640GB內(nèi)存。
DGX Cloud 采用了一種低延遲結(jié)構(gòu)，讓龐大的工作流可以在集群之間擴展，于多個計算節(jié)點上并行分配。舉個例子來說，最先宣布與DGX Cloud合作的甲骨文，它在OCI Supercluster上每個集群可以部署超過3萬個A100 GPU，由此大模型可以在云上進行訓(xùn)練。用戶在任何地方都能自由訪問屬于自己的 AI 超級計算機（英偉達表示算力的分配是獨享排他的），打交道的只有前臺界面，除了開發(fā)過程本身不用再去擔(dān)心任何和硬件基礎(chǔ)設(shè)施有關(guān)的問題。
這項服務(wù)采用月租形式，金額高達近 4 萬美元。當(dāng)然，相比直接買一臺 DGX 服務(wù)器 20 萬美元的價格來說還是便宜了許多，但不少人都指出，微軟的 Azure 同樣 8 個 A100GPU 的收費只有不到 2 萬美元，幾乎是前者的一半。
為什么這么貴？因為英偉達的云服務(wù)和別家不同，它不僅包括算力，還包括一整套 AI 解決方案。
名為Base Command Platform（基礎(chǔ)命令平臺）和 AI Enterprise 的兩項服務(wù)被集成到了DGX Cloud里。前者是一個管理與監(jiān)控軟件，不僅可以用來記錄云端算力的訓(xùn)練負載，提供跨云端和本地算力的整合，還能讓用戶直接從瀏覽器訪問 DGX Cloud。后者則是英偉達 AI 平臺中的軟件層，高達數(shù)千個軟件包提供了各種預(yù)訓(xùn)練模型、AI 框架和加速庫，從而簡化端到端的 AI 開發(fā)和部署成本。除此之外，DGX Cloud 上還提供名為 AI Foundations 的模型鑄造服務(wù)，讓企業(yè)用戶可以使用自己的專有數(shù)據(jù)定制屬于自己的垂直大模型。
這套軟硬件組合起來的完整解決方案讓 DGX Cloud 訓(xùn)練速度相比傳統(tǒng)的云計算提高了兩到三倍，這成為了DGX Cloud與傳統(tǒng)云服務(wù)最大的不同，它很好的綜合了英偉達兩方面的強項：AI 生態(tài)和算力。對于英偉達來說，“軟件即服務(wù)”這句話似乎應(yīng)該改成“軟硬件一體即服務(wù)”，DGX Cloud 集中代表了一個硬件廠商向上垂直整合的能力天花板。
黃仁勛的野心和現(xiàn)實
但這并不意味著英偉達就徹底掀了傳統(tǒng)云廠商的桌子。它的這項服務(wù)是通過傳統(tǒng)云廠商來提供的。DGX Cloud 最開始被宣布推出在甲骨文云上，隨后微軟和谷歌跟進，而英偉達與這些云廠商合作的方式顯得頗為有趣：英偉達先把 GPU硬件賣給這些云合作伙伴，然后再租用這些硬件以便運行DGX Cloud。
有人戲稱這叫兩邊錢一起賺，都不耽誤。
實際上，黃仁勛解釋過這種模式：“我們從讓客戶使用我們的計算平臺中受益，而客戶通過將我們（的計算平臺）置于他們（云廠商）的云中而受益。”
如果只聽黃仁勛說，這就是個皆大歡喜的雙贏結(jié)局，然而這只是他一貫的敘事而已。英偉達已經(jīng)陷入與自己客戶的競爭中，并且心知肚明。
DGX Cloud 進展告訴我們，黃仁勛并不打算僅僅把它布置于傳統(tǒng)云廠商上。在八月的 SIGGRAPH 2023上，英偉達先是宣布了與 Hugging Face 的合作，接著發(fā)布了名為AI Workbench的服務(wù)。它們都可以讓用戶便捷創(chuàng)建、測試和定制預(yù)訓(xùn)大模型，其背后的算力支持自然都包括了 DGX Cloud。
這顯然會沖擊英偉達和云廠商的關(guān)系：最主要的云服務(wù)商，包括谷歌、亞馬遜和微軟，它們同樣也是英偉達的大客戶，英偉達推廣自有云服務(wù)勢必會搶奪它們的市場份額。特別是我們在第一部分已經(jīng)談到，作為數(shù)據(jù)中心和云服務(wù)巨頭的它們在構(gòu)建下一代數(shù)據(jù)中心的問題上本來就不具備多少優(yōu)勢，如果再考慮到英偉達芯片產(chǎn)能“卡脖子”的問題，英偉達的自有云服務(wù)威脅不可謂不小。
黃仁勛不會不知道這一點，因此他對DGX Cloud 的態(tài)度就顯得頗值得玩味了，比如他公開表示，一個恰當(dāng)?shù)脑品?wù)組合比例應(yīng)該是10%英偉達DGX加上90%的公有云。換而言之，DGX Cloud 在黃仁勛的定位里并不是傳統(tǒng)云廠商的對手與威脅，而是合作伙伴。
在 Q1 季度財報公布后的分析師電話會上黃仁勛談的更多的都是這種合作的好處，“一個巨大的雙贏”，黃仁勛如此形容。在他的理解里，DGX Cloud 是一個純粹的英偉達堆棧（pure Nvidia stack），把人工智能開發(fā)、大型數(shù)據(jù)庫和高速低延遲網(wǎng)絡(luò)組合在一起，成為一種便捷的AI 基礎(chǔ)設(shè)施從而打開全新的、巨大的市場——這個市場的參與者包括了英偉達和傳統(tǒng)云廠商，大家將共同受益于生成式 AI 的爆發(fā)。
極力避談沖突，其實是因為，DGX Cloud 恐怕很長時間內(nèi)都只能維持一個較小的體量。
第一個原因當(dāng)然是算力的瓶頸?！坝唵味嗟讲豢伤甲h”是黃仁勛形容數(shù)據(jù)中心業(yè)務(wù)量時的描述，英偉達的核心要務(wù)當(dāng)然是開發(fā)并保證生產(chǎn)盡可能多的符合市場需求的先進芯片，否則云服務(wù)的規(guī)模是無法擴大的。
盡管臺積電在馬不停蹄的生產(chǎn)，但值得注意的是算力缺口不是變小而是更大了，因為一旦大模型落地和商業(yè)化（比如像ChatGPT那樣），其推理成本將隨著用戶規(guī)模的提升指數(shù)級升高，長遠來看會比訓(xùn)練模型的算力需求大得多（有人給出的倍率是 100）。
此外也是考慮到英偉達和傳統(tǒng)云廠商合作關(guān)系的復(fù)雜性。DGX Cloud如果作為一種純粹的競品出現(xiàn)，或許會占領(lǐng)可觀的市場份額，但勢必進一步加速云廠商擺脫對英偉達的依賴——它們本來就已經(jīng)為了少交點“英偉達稅”而不約而同地自研芯片了。
從另一個角度講，全力擴大 DGX Cloud 規(guī)模可能也不符合英偉達的最佳利益。從芯片到游戲顯卡再到服務(wù)器和數(shù)據(jù)中心，英偉達絕少自己制造硬件產(chǎn)品，它更喜歡和OEM 廠商合作——以至于許多時候你要采購英偉達芯片都還是得經(jīng)過 OEM 廠商。這讓英偉達很好的控制成本，維持利潤率。
今天英偉達和云廠商之間似乎維持了一種平衡，但平衡就是用來打破的，尤其當(dāng)一方是英偉達的時候，畢竟眼下才是黃仁勛所謂“下一代數(shù)據(jù)中心十年”更新周期的第一年。
下載ECAD模型
查看更多
