1323
ChatGPT已經(jīng)從下游AI應用“火”到了上游芯片領域，在將GPU等AI芯片推向高峰之外，也極大帶動了市場對新一代內存芯片HBM（高帶寬內存)的需求。據(jù)悉，2023年開年以來三星、SK海力士的HBM訂單就快速增加，價格也水漲船高。有市場人士透露近期HBM3規(guī)格DRAM價格上漲了5倍。這也為寒冬中的存儲器市場帶來了一抹春色。
ChatGPT爆紅提升HBM需求
作為一款自然語言類AI應用，ChatGPT不僅對芯片算力有著巨大需求，對內存技術的需求也極高，比如ChatGPT上線應用以來，擁有高速數(shù)據(jù)傳輸速度的HBM內存芯片幾乎成為ChatGPT的必備配置，市場需求激增。有消息稱，2023年開年以來三星、SK海力士HBM訂單就快速增加，價格也水漲船高。
有市場人士透露英偉達已經(jīng)將SK海力士的HBM3安裝到其高性能GPU H100上，而H100已開始供應ChatGPT服務器所需。近期最新一代高帶寬內存HBM3的價格上漲了5倍。
SK海力士HBM設計團隊項目負責人樸明宰撰文介紹，HBM是一種可以實現(xiàn)高帶寬的高附加值DRAM產(chǎn)品，適用于超級計算機、AI加速器等對性能要求較高的計算系統(tǒng)。隨著計算技術的發(fā)展，機器學習的應用日漸廣泛，而機器學習的基礎是自20世紀80年代以來一直作為研究熱點的神經(jīng)網(wǎng)絡模型。作為速度最快的DRAM產(chǎn)品，HBM在克服計算技術的局限性方面發(fā)揮著關鍵的作用。
此前，盡管HBM具有出色的性能，但與一般DRAM相比，其應用較少。這是因為HBM需要復雜的生產(chǎn)過程，平均售價至少是DRAM的三倍。但AI服務的擴展正在扭轉這樣的局面。據(jù)悉，目前已經(jīng)有超過25000塊英偉達計算卡加入到了深度學習的訓練中。未來，隨著不斷接入ChatGPT等生成式AI需求大增，HBM的需求也將呈現(xiàn)出暴增的態(tài)勢。三星內存副總裁Kim Jae-joon便指出，ChatGPT等基于自然語言技術的交互式AI應用的發(fā)展有利于提升內存需求。高效且大量的運算能力、高容量的內存，是AI學習與推論模型的根基。
存儲巨頭齊爭高性能市場
去年以來，受消費電子產(chǎn)品需求下滑等多種因素影響，存儲行業(yè)進入了下行周期。SK海力士全年的凈利潤降至2.4萬億韓元，同比下滑75%。三星電子存儲業(yè)務的營收與營業(yè)利潤，在去年第三季度和第四季度也是同比環(huán)比雙雙下滑。TrendForce集邦咨詢預估2023年第一季度DRAM價格仍將持續(xù)下探。其中，PC及服務器用DRAM跌幅仍是近兩成。HBM的需求火爆不啻于一劑“強心針”。這種情況下，SK海力士、三星電子、美光等內存廠商均表示將致力于HBM的開發(fā)。企業(yè)之間的產(chǎn)品開發(fā)競爭也隨之升溫。
2013年SK海力士將TSV技術應用于DRAM，在業(yè)界首次成功研發(fā)出第一代HBM芯片。此后，SK海力士相繼推出HBM2、HBM2E、HBM3數(shù)代產(chǎn)品。據(jù)悉，SK海力士正在研發(fā)HBM4，預計新一代產(chǎn)品將能夠更廣泛地應用于高性能數(shù)據(jù)中心、超級計算機和AI等領域。SK海力士CFO金祐賢表示，公司正關注著市場上出現(xiàn)以AI為基礎的新服務器替換存儲器需求的積極信號。公司計劃持續(xù)投資DDR5/LPDDR5、HBM3等主力產(chǎn)品的量產(chǎn)和未來高成長領域。
三星電子雖然在HBM的開發(fā)上落后一步，但也在尋找新的突破口。據(jù)悉，三星電子正在開發(fā)集成AI處理器新一代存內計算芯片HBM-PIM。北京大學信息科學技術學院微納電子學系副教授葉樂表示，存內計算芯片是將AI引擎引入存儲庫，將處理操作轉移到HBM本身，將有效加大數(shù)據(jù)傳輸帶寬，提高內存的處理速度。存內計算技術正在實現(xiàn)產(chǎn)品化。目前基于SRAM的存內計算，已經(jīng)進入到產(chǎn)品化的前夜，DRAM存內計算適用于大算力AI芯片，因此還需要解決其他一系列的技術難題。
上下游發(fā)力搶占先機
與HBM相關的上下游企業(yè)也在發(fā)力，以期搶占先機。AMD在HBM的誕生與發(fā)展過程中功不可沒。最早是AMD意識到DDR的局限性并產(chǎn)生開發(fā)堆疊內存的想法，其后與SK海力士聯(lián)手研發(fā)了HBM，并在其Fury顯卡采用全球首款HBM。ISSCC 2023國際固態(tài)電路大會上的消息，AMD考慮在Instinct系列加速卡已經(jīng)整合封裝HBM高帶寬內存的基礎上，在后者之上繼續(xù)堆疊DRAM內存，可以在一些關鍵算法內核可以直接在整合內存內執(zhí)行，而不必在CPU和獨立內存之間往復通信傳輸，從而提升AI處理的性能，并降低功耗。
英偉達同樣重視處理器與內存間的協(xié)同，一直在要求SK海力士提供最新的HBM3內存芯片。據(jù)悉，目前已經(jīng)有超過25000塊英偉達計算卡加入到了深度學習的訓練中。如果所有的互聯(lián)網(wǎng)企業(yè)都在搜索引擎中加入ChatGPT這樣的機器人，那么計算卡以及相應的服務器的需求量將會達到50萬塊，也將連同帶動HBM的需求量大幅增長。
IP廠商亦已先行布局HBM3。去年，Synopsys推出首個完整的HBM3 IP解決方案，包括用于2.5D多芯片封裝系統(tǒng)的控制器、PHY（物理層芯片）和驗證IP。HBM3 PHY IP基于5nm制程打造，每個引腳的速率可達7200 Mbps，內存帶寬最高可提升至921GB/s。Rambus也推出支持HBM3的內存接口子系統(tǒng)，內含完全集成的PHY和數(shù)字控制器，數(shù)據(jù)傳輸速率達8.4 Gbps，可提供超過1TB/s的帶寬。
Rambus IP核產(chǎn)品營銷高級總監(jiān)Frank Ferro此前在接受采訪時指出，HBM現(xiàn)在依舊處于相對早期的階段，其未來還有很長的一段路要走。而可預見的是，隨著越來越多的廠商在AI和機器學習等領域不斷發(fā)力，內存產(chǎn)品設計的復雜性正在快速上升，并對帶寬提出了更高的要求，不斷上升的寬帶需求將持續(xù)驅動HBM發(fā)展。
