亚洲国产品有宅男,国产日产高清欧美一区

歡迎關(guān)注軟硬件融合：

Kubernetes（K8S）是一個(gè)開源的容器編排平臺(tái)，是基于容器進(jìn)行算力調(diào)度的核心。AI大模型發(fā)展迅速，K8S對(duì)加速計(jì)算的支持力度明顯不夠，需要針對(duì)加速計(jì)算做全方位的優(yōu)化和增強(qiáng)。

KubeCASH，是Kubernetes+CASH（Converged Architecture of Software and Hardware，軟硬件融合架構(gòu)）的整合。KubeCASH系統(tǒng)，主要從計(jì)算架構(gòu)、云邊端協(xié)同、算力網(wǎng)絡(luò)、軟硬件協(xié)同四個(gè)方面進(jìn)行了優(yōu)化增強(qiáng)；并且，不僅僅是技術(shù)層面的優(yōu)化，還包含了對(duì)產(chǎn)品和業(yè)務(wù)層面的優(yōu)化和支持。

本篇文章，我們?cè)敿?xì)介紹KubeCASH在這四個(gè)方面的優(yōu)化。

1 融合計(jì)算的定義

算力是一個(gè)龐大的系統(tǒng)工程，從軟硬件技術(shù)角度來(lái)說(shuō)，就是要實(shí)現(xiàn)融合計(jì)算。融合計(jì)算指的是，異構(gòu)融合 x 軟硬件融合 x 云邊端融合。

如上圖所示，我們通過(guò)XYZ三個(gè)維度來(lái)進(jìn)一步闡述：

X軸，異構(gòu)融合：通過(guò)異構(gòu)融合計(jì)算，把各類異構(gòu)算力和融合算力的價(jià)值發(fā)揮到極致。

Y軸，軟硬件融合：通過(guò)核心的開放一致性的跨集群管理系統(tǒng)，承上啟下，融合軟硬件堆棧，開源開放。

運(yùn)營(yíng)商

只有從微觀到宏觀，實(shí)現(xiàn)全方位的整合優(yōu)化，實(shí)現(xiàn)融合計(jì)算，才能實(shí)現(xiàn)算力的最優(yōu)性能和最低成本。

2 KubeCASH簡(jiǎn)介

Kubernetes（K8S）是一個(gè)開源的容器編排平臺(tái)，是基于容器進(jìn)行算力調(diào)度的核心。傳統(tǒng)K8S僅基于CPU優(yōu)化軟件，而針對(duì)更多加速計(jì)算的支持力度不夠。隨著AI大模型的發(fā)展，加速計(jì)算已經(jīng)成為主流，并且加速計(jì)算的類型和架構(gòu)會(huì)越來(lái)越多，K8S已經(jīng)力有不逮。

KubeCASH，則是在K8S基礎(chǔ)上，針對(duì)加速計(jì)算所需的軟硬件融合（CASH，Converged Architecture of Software and Hardware，軟硬件融合架構(gòu)）能力進(jìn)行了優(yōu)化增強(qiáng)，主要表現(xiàn)在如下四個(gè)方面：

芯片

分布式計(jì)算

數(shù)據(jù)中心

（算力網(wǎng)絡(luò)增強(qiáng)）技術(shù)層面的算力網(wǎng)絡(luò)，關(guān)鍵在于網(wǎng)絡(luò)優(yōu)化；而業(yè)務(wù)層面的算力網(wǎng)絡(luò)，是算力行業(yè)逐漸走向分工協(xié)同的發(fā)展趨勢(shì)。針對(duì)算力網(wǎng)絡(luò)，針對(duì)客戶業(yè)務(wù)需求，做了相應(yīng)的增強(qiáng)。

（軟硬件協(xié)同，開源開放，融合計(jì)算Y軸）提供南向和北向開放接口，對(duì)接各類軟件和硬件。

KubeCASH的核心是算力優(yōu)化，會(huì)針對(duì)算力的軟硬件持續(xù)優(yōu)化，目標(biāo)是：同成本情況下，算力提升100-1000倍；反過(guò)來(lái)，同算力情況下，成本降低到1/100以下。

3 特征一：異構(gòu)融合和多元異構(gòu)

算力中心的算力多樣性，主要體現(xiàn)在異構(gòu)融合和多元異構(gòu)兩個(gè)方面：

NVIDIA

從計(jì)算架構(gòu)的角度，KubeCASH對(duì)如下四個(gè)類型的計(jì)算架構(gòu)進(jìn)行了優(yōu)化支持：

第一類（K8S默認(rèn)支持），CPU同構(gòu)計(jì)算。

TPU

服務(wù)器

處理器

第四類（長(zhǎng)期目標(biāo)），通過(guò)SOC芯片級(jí)的架構(gòu)重構(gòu)，或CPU、GPU、多種加速DSA芯片的芯片級(jí)交互優(yōu)化以及定制服務(wù)器優(yōu)化，實(shí)現(xiàn)對(duì)異構(gòu)融合計(jì)算的支持。

實(shí)現(xiàn)對(duì)多元算力支持的核心在于算力調(diào)度，也就是把最合適的任務(wù)調(diào)度到最合適的計(jì)算平臺(tái)上去。多元算力調(diào)度最基本的要求是架構(gòu)和功能特征匹配。此外，還需要根據(jù)成本和剩余資源情況等動(dòng)態(tài)更新優(yōu)先級(jí)，從而達(dá)到最優(yōu)的算力調(diào)度。

從云計(jì)算數(shù)據(jù)中心到AI智算中心，多樣性算力越來(lái)越多。多元算力調(diào)度，是智算中心發(fā)展的重要特點(diǎn)之一。并且，多元算力調(diào)度，持續(xù)發(fā)展，未來(lái)會(huì)形成標(biāo)準(zhǔn)一致的算力調(diào)度平臺(tái)，并對(duì)算力芯片形成反向約束，所有算力芯片資源按照既定接口接入，而平臺(tái)不關(guān)心芯片架構(gòu)實(shí)現(xiàn)的差異性。

對(duì)智算中心來(lái)說(shuō)，統(tǒng)一標(biāo)準(zhǔn)的多元算力調(diào)度還有一個(gè)優(yōu)勢(shì)：標(biāo)準(zhǔn)統(tǒng)一的多元算力調(diào)度平臺(tái)，智算中心不會(huì)被特定平臺(tái)“綁架”，“誰(shuí)性能好、效率高、價(jià)格低，就選誰(shuí)”；沒(méi)有了平臺(tái)依賴，芯片公司真正“公平競(jìng)爭(zhēng)”，智算中心不需要為生態(tài)溢價(jià)付費(fèi)。

4 特征二：從跨集群到跨云邊端

目前，邊緣計(jì)算的發(fā)展并不是很順利，云邊端協(xié)同計(jì)算停留在樣板階段，難以規(guī)模化；云邊端融合，更是遙不可及。我們簡(jiǎn)單分析一下問(wèn)題癥結(jié)所在：

云計(jì)算，通常僅關(guān)注到云端服務(wù)，無(wú)法涉及終端計(jì)算和邊緣計(jì)算。

終端計(jì)算，通常也只能關(guān)注到終端本地。如果需要云端協(xié)作，需要把系統(tǒng)進(jìn)行C/S架構(gòu)劃分，以及各自獨(dú)立的終端和云端開發(fā)過(guò)程和業(yè)務(wù)運(yùn)行環(huán)境。并且，系統(tǒng)劃分是靜態(tài)的，無(wú)法在運(yùn)行期間動(dòng)態(tài)調(diào)整。

如果涉及到邊緣計(jì)算，問(wèn)題就更復(fù)雜了。哪些工作該云端做？哪些工作該邊緣做？哪些工作該終端做？在開發(fā)的早期階段，對(duì)如此復(fù)雜的系統(tǒng)架構(gòu)約束，要做好準(zhǔn)確的系統(tǒng)劃分非常困難，發(fā)現(xiàn)問(wèn)題后修正的代價(jià)也很高。并且，云端、邊緣和終端的開發(fā)進(jìn)程和運(yùn)行環(huán)境都各自獨(dú)立，開發(fā)和協(xié)同的成本都非常的高。

要實(shí)現(xiàn)跨云邊端的協(xié)同計(jì)算，甚至云邊端融合，主要做兩方面事情：

另一方面，業(yè)務(wù)側(cè)。業(yè)務(wù)應(yīng)用微服務(wù)化。每個(gè)微服務(wù)的重要程度、帶寬、延遲等因素，以及微服務(wù)間的耦合性等因素，都是算力調(diào)度所需的關(guān)鍵參數(shù)。

最終，通過(guò)大模型加持的KubeCASH智能化算力調(diào)度，實(shí)現(xiàn)業(yè)務(wù)無(wú)感的云邊端融合計(jì)算。

5 特征三：增強(qiáng)算力網(wǎng)絡(luò)

算力網(wǎng)絡(luò)，包含兩層含義：

一個(gè)是技術(shù)層面的算力網(wǎng)絡(luò)：指的是通過(guò)高速網(wǎng)絡(luò)，把更多的算力中心連接起來(lái)，統(tǒng)一調(diào)度。更廣泛的，這些算力網(wǎng)絡(luò)包含的算力，既包括大規(guī)模和超大規(guī)模的云端算力中心，也包括中小規(guī)模的邊緣算力中心，還包括各類智能化的海量的終端設(shè)備（算力調(diào)度主要體現(xiàn)在多元算力調(diào)度和跨集群、跨云邊端算力調(diào)度）。

5.1 技術(shù)層的算力網(wǎng)絡(luò)

云計(jì)算有區(qū)域（Region）和可用區(qū)（Available Zone）的概念，以亞馬遜AWS為例，在34個(gè)區(qū)域（Region）運(yùn)營(yíng)108個(gè)可用區(qū)（Available Zone），并計(jì)劃在墨西哥等地，增加18個(gè)可用區(qū)和6個(gè)區(qū)域。

一個(gè)可用區(qū)通常為物理上獨(dú)立的機(jī)房，然后就近的多個(gè)可用區(qū)組成一個(gè)區(qū)域。上圖為典型的公有云計(jì)算的基于區(qū)域和可用區(qū)的網(wǎng)絡(luò)架構(gòu)示意圖。

網(wǎng)絡(luò)，是大模型時(shí)代，最大的技術(shù)瓶頸。在傳統(tǒng)的云計(jì)算，僅關(guān)注算力中心的網(wǎng)絡(luò)。隨著云邊端進(jìn)一步深度協(xié)同，需要考慮跨云邊端的高性能網(wǎng)絡(luò)解決方案。整體的網(wǎng)絡(luò)架構(gòu)，需要從傳統(tǒng)云網(wǎng)絡(luò)架構(gòu)，向云邊端網(wǎng)絡(luò)架構(gòu)持續(xù)轉(zhuǎn)變。

5.2 業(yè)務(wù)層的算力網(wǎng)絡(luò)

算力中心，是位于后端的算力生產(chǎn)工廠；算力運(yùn)營(yíng)，是位于前端的算力銷售平臺(tái)；算力客戶，可以從算力工廠直接批發(fā)，也可以從算力運(yùn)營(yíng)平臺(tái)獲取更多優(yōu)質(zhì)的算力服務(wù)。

以算力需求方（企業(yè)側(cè)）為例。傳統(tǒng)的超融合，僅關(guān)注企業(yè)私有云；后來(lái)興起了MSP系統(tǒng)，則在私有云基礎(chǔ)上加入了公有云算力的接入。而KubeCASH提供了更加豐富的算力資源屬性管理：

（傳統(tǒng)的）企業(yè)自建自用，也就是私有云集群資源；（新型的）企業(yè)自建閑置資源，可以加入算力網(wǎng)絡(luò)。變支出為收益，為企業(yè)降本增效；（傳統(tǒng)的）類似MSP，支持公有云算力資源接入；（新型的）對(duì)接各大主流算力網(wǎng)絡(luò)，算力資源來(lái)源各大算力網(wǎng)絡(luò)，算力的類型也不僅僅局限于云端，也包括邊緣和終端算力；（創(chuàng)新的）終端算力接入。終端算力納管，通過(guò)云邊端協(xié)同，支持企業(yè)海量終端算力需求的場(chǎng)景落地。

因此，相比傳統(tǒng)的MSP企業(yè)云管理，KubeCASH升級(jí)成了企業(yè)云邊端管理。KubeCASH，針對(duì)算力網(wǎng)絡(luò)三方（算力中心、算力運(yùn)營(yíng)和算力客戶），提供相應(yīng)的技術(shù)和業(yè)務(wù)支持。

算力中心

算力運(yùn)營(yíng)

算力客戶

6 特征四：開放的軟硬件接入平臺(tái)

國(guó)內(nèi)的許多智算中心建設(shè)運(yùn)營(yíng)，有兩個(gè)誤區(qū)：

第一個(gè)誤區(qū)，算力芯片來(lái)源單一。選擇某家芯片公司的芯片，此芯片對(duì)業(yè)務(wù)場(chǎng)景的覆蓋情況，就成了制約智算中心業(yè)務(wù)發(fā)展的最大“短板”。此外，選擇單一平臺(tái)，智算中心對(duì)芯片公司形成依賴，會(huì)掣肘自身的發(fā)展；我們的建議是，最好是形成芯片平臺(tái)無(wú)關(guān)的智算中心多樣性算力的調(diào)度和運(yùn)營(yíng)平臺(tái)。

互聯(lián)網(wǎng)