邊緣AI時代已至，如何突破存儲瓶頸？

AI智馭未來，2024邁入存儲元年

“AI 一天，人間一年”，一句市場流行語完美闡釋了如今AI大模型的高速發(fā)展和廣泛應用。以人們?nèi)粘Ｊ褂玫?a class="article-link" target="_blank" href="/tag/%E6%99%BA%E8%83%BD%E6%89%8B%E6%9C%BA/">智能手機為例，眾多知名廠商在AI浪潮席卷之下，緊跟AI前沿趨勢，紛紛推出搭載端側(cè)大模型或采用“端云協(xié)同”部署方案的AI手機，促使手機的智慧化、智能化達到全新高度，根據(jù)市場調(diào)研機構(gòu) IDC預測，2024年全球新一代AI手機出貨量將達到1.7億部，占智能手機總出貨量的15%1，體現(xiàn)了AI手機在電子消費市場的廣闊前景。

除手機領域外，AI在各類邊緣應用落地的趨勢也愈發(fā)顯著。自ChatGPT橫空出世以來，短短一年多的時間，生成式AI已悄然滲透至電腦、智能家居乃至汽車等多個領域，與千行百業(yè)持續(xù)深入融合，迸發(fā)出前所未有的創(chuàng)新活力與應用潛力。

釋放邊緣AI潛力，“存力”成關鍵引擎

生成式AI，尤其是在處理大語言模型和高精度圖像生成任務時，往往需要龐大的存儲和計算資源作為支撐。比如在圖像生成方面，創(chuàng)建高分辨率圖像往往伴隨密集的卷積運算和反卷積運算，而這些運算需要高帶寬、高容量的內(nèi)存來支持數(shù)據(jù)的快速傳輸。

因此，龐大的市場機遇與發(fā)展所帶來的挑戰(zhàn)總是緊密相依，邊緣設備在導入生成式AI方面仍面臨著容量、帶寬、能耗和散熱等方面的瓶頸，這些因素深刻影響并制約著邊緣AI的發(fā)展。

具體而言，邊緣設備導入生成式AI時通常會面臨以下瓶頸：

• 存儲容量限制：以LLamA2 7B大型語言模型為例，即便在優(yōu)化至INT8精度時，也至少需要7GB的內(nèi)存容量來支撐其運行，而在進一步壓縮至INT4精度下，內(nèi)存需求仍高達3.5GB。這意味著多數(shù)現(xiàn)有的邊緣設備需要進行內(nèi)存擴容升級，才能實現(xiàn)模型的本地高效運算、顯著降低響應延遲；
• 數(shù)據(jù)傳輸帶寬不足：當前主流AI手機普遍采用LPDDR5內(nèi)存，其帶寬約為68GB/s。未來LPDDR6的帶寬雖有望達到150GB/s，但可能仍不足以滿足高端AI應用的需求。而HBM雖性能卓越，卻因成本與功耗過高，難以在邊緣設備中普及應用；
• 能耗和散熱挑戰(zhàn)：運行復雜的生成式AI模型相較一般應用會產(chǎn)生大量計算熱量。因此，邊緣設備需要設計有效的能源管理和散熱系統(tǒng)，以確保設備運行的良好性能和穩(wěn)定性。

CUBE：小號“HBM”，完美填補市場空缺

目前，AI技術的深度拓展應用在很大程度上仍需要借助云端，這意味著用戶的每次請求指令均需穿越網(wǎng)絡抵達云端，才能進行復雜的處理，隨后再將處理結(jié)果反饋至用戶，因此云端通常涉及傳輸延遲、數(shù)據(jù)隱私和效益成本方面的挑戰(zhàn)，這大大限制了AI技術和應用的普及廣度。

與云計算側(cè)重大規(guī)模數(shù)據(jù)處理不同，邊緣計算的數(shù)據(jù)處理發(fā)生在數(shù)據(jù)源或端點處，因此擁有實時處理、分析和決策的快速能力，可大幅降低傳輸延遲性，契合復雜多變的環(huán)境和任務處理。因此邊緣AI市場也催生了對中低容量、超高帶寬及低功耗內(nèi)存解決方案的需求，并且生成式AI的出現(xiàn)也讓存儲行業(yè)催生了新的發(fā)展機遇——定制化的存儲需求應用而生，這主要基于兩大原因：

• 市場缺乏兼具成本效益與高性能的方案：目前的HBM3E帶寬可達1.2TB/s，但功耗過高；雖然LPDDR6帶寬未來有望超過150GB/s，但在這二者之間缺乏既能有效控制成本，又能滿足邊緣設備高性能需求的理想內(nèi)存解決方案；
• 末級緩存（Last Level Cache）：隨著半導體制程不斷向7nm以下推進，SRAM微縮效益不再明顯，并且AI運算使其容量需求增加，高容量SRAM占據(jù)大面積進一步導致成本快速升高。因此，市場上亟需能夠減少SRAM占用面積，降低整體成本的高效解決方案。

為滿足日益增長的邊緣AI市場需求，助推其高效創(chuàng)新發(fā)展，華邦專門推出CUBE（半定制化超高帶寬元件）產(chǎn)品，大幅優(yōu)化內(nèi)存技術，可實現(xiàn)在混合云與邊緣云應用中運行生成式 AI 的性能，為邊緣AI量身定制完美的內(nèi)存解決方案。與市面上現(xiàn)有方案相比，CUBE 的中小容量超高帶寬的特點極具差異化，適用于機器人、可穿戴設備、邊緣服務器等多種高級應用。

CUBE在功耗、性能、尺寸設計以及帶寬等領域擁有卓越特性，全方位滿足邊緣AI的發(fā)展需求。在帶寬方面，CUBE能夠達到 256GB/s – 1TB/s，相當于 HBM2或 4-32 個 LPDDR4x 4266Mbps x16 IO；并且，CUBE的功耗低于 1pJ/bit，在提供超高帶寬的同時還可極大減少能源消耗。此外，通過創(chuàng)新性TSV 技術以及 uBump/ 混合鍵合，CUBE可降低功耗并節(jié)省 SoC 設計面積，從而實現(xiàn)高效且極具成本效益的解決方案。

整體而言，CUBE 憑借更高的帶寬、更高的能效、更快的響應時間、可定制化特性以及緊湊外形，在釋放 AI應用潛力方面發(fā)揮重要作用，能夠讓強大的 AI 從云落地至邊緣設備和混合云應用中。

隨著生成式AI不斷向邊緣端演化，不同應用場景下的邊緣端產(chǎn)品數(shù)據(jù)傳輸量攀升，并催生出對低功耗、高帶寬存儲產(chǎn)品的迫切需求，這一系列新趨勢為存儲市場開辟了廣闊的發(fā)展空間。作為深耕存儲行業(yè)的領導廠商之一，華邦秉持不懈創(chuàng)新、精益求精的發(fā)展理念，持續(xù)開發(fā)用于終端產(chǎn)品特定應用的DDR4/LPDDR4，此外，華邦還致力于研發(fā)定制化超高帶寬內(nèi)存解決方案，攜手OSAT（半導體封裝測試）伙伴為邊緣設備SoC帶來理想的中小容量超高帶寬內(nèi)存，共同探索內(nèi)存技術的創(chuàng)新前沿，推動邊緣AI實現(xiàn)更高效、更蓬勃的發(fā)展。