由于AI需求大幅升溫,最近兩季AI服務器相關客戶向供應商進一步要求加單Enterprise SSD(企業(yè)級固態(tài)硬盤)。上游供應商為了滿足SSD在AI應用上的供給,加速制程升級,開始規(guī)劃推出2YY產(chǎn)品,預期于2025年量產(chǎn)。
TrendForce集邦咨詢表示,AI服務器客戶對供應商加單的情況,導致Enterprise SSD合約價于2023年第四季至2024年第三季間的累積漲幅超過80%。SSD在AI發(fā)展中扮演重要角色,除了在AI模型訓練過程中,SSD不僅負責儲存模型參數(shù),包含不斷更新的權(quán)重和偏差,另一項重要應用是創(chuàng)建檢查點(check point),以定期保存AI模型訓練進度,即使訓練中斷也能從特定點恢復。上述功能都相當依賴高速傳輸以及寫入耐用度,因此客戶主要選擇使用4TB/8TB TLC(三層單元閃存) SSD產(chǎn)品,以滿足嚴苛的訓練過程需求。
TrendForce集邦咨詢指出,SSD應用于AI推理服務器,可在推理過程中協(xié)助調(diào)整、優(yōu)化AI模型,尤其SSD可以實時更新數(shù)據(jù),以便微調(diào)推理模型結(jié)果。AI推理主要提供檢索增強生成(RAG, Retrieval-Augmented Generation)和大型語言模型(LLM, Large Language Model)服務,而SSD可以儲存RAG和LLM參考的相關文檔和知識庫,以生成含有更豐富信息的響應。此外,隨著更多生成信息是以影片或相片顯示,其數(shù)據(jù)存儲量也相應增加,因此,TLC/QLC(四層單元閃存) 16TB以上等大容量SSD便成為AI推理主要采用的產(chǎn)品。
AI SSD需求位元年增率超過60%,供應商加快大容量產(chǎn)品開發(fā)
2024年AI 服務器SSD市場除了16TB以上產(chǎn)品需求自第二季大幅上升,隨著NVIDIA H100、H20和H200等系列產(chǎn)品到貨,相關客戶進一步加大TLC 4、8TB Enterprise SSD訂單需求。根據(jù)TrendForce集邦咨詢預估,今年AI相關SSD采購容量將超過45EB,未來幾年,AI服務器有望推動SSD需求年增率平均超過60%,而AI SSD需求在整個NAND Flash(閃存)的占比有機會自2024年的5%,上升至2025年的9%。
在供給市場方面,由于推理服務器采用大容量SSD產(chǎn)品的趨勢不變,供應商已開始加速升級制程,計劃從2025年第一季起,量產(chǎn)2YY/3XX層制程的產(chǎn)品,并推出120TB 的Enterprise SSD產(chǎn)品。