AI技術加持下,包括智能手機、PC、可穿戴設備以及數(shù)字電視等在內(nèi)的終端設備,其“智能性”正在被重新定義。
面向全新計算需求,Arm日前推出了終端計算子系統(tǒng) (CSS),為旗艦系統(tǒng)級芯片(SoC) 提供基礎計算要素,包括最新的 Armv9.2 CPU、Arm Immortalis GPU、基于3nm工藝生產(chǎn)就緒的 CPU和GPU 物理實現(xiàn),以及最新的 CoreLink系統(tǒng)互連和系統(tǒng)內(nèi)存管理單元 (SMMU)。此外,還有同步推出的 Arm Kleidi 軟件庫,有助于軟件開發(fā)者無縫獲得Arm CPU的最佳性能,包括面向AI工作負載的KleidiAI 和面向計算機視覺應用的 KleidiCV。
Arm創(chuàng)歷史新高的CPU 、GPU 性能和效率提升
據(jù)介紹,Arm 終端 CSS 是迄今速度最快的 Arm 計算平臺,提升了 30% 以上的計算和圖形性能,以應對要求苛刻的實際用例中的安卓工作負載,同時也提高了 59% 的 AI 推理速度,適用于更廣泛的 AI/機器學習 (ML) 和計算視覺工作負載。
據(jù)Arm 終端事業(yè)部產(chǎn)品管理副總裁 James McNiven介紹,Cortex-X925 作為Cortex-X系列的最新 CPU,實現(xiàn)了前所未有的性能飛躍,其IPC(每周期指令數(shù))增幅創(chuàng)歷史新高。而這是通過一系列創(chuàng)新的微架構改進和頻率優(yōu)化實現(xiàn)的,在 Geekbench 單線程測試中取得了 36% 的性能提升,顯著超越前代產(chǎn)品。
Arm 終端事業(yè)部產(chǎn)品管理副總裁? James McNiven
AI 性能方面,Cortex-X925 取得了41%的性能提升,可顯著提高大語言模型 (LLM) 等設備端生成式 AI 的響應能力。這主要得益于 Cortex-X925 的微架構演進,包括迄今為止最寬的解碼器和矢量處理單元,使得 TOPS性能提升了 50%。
此外,Cortex-X925通過增強的可配置性和更大的私有 L2 緩存,有效提升了指令和數(shù)據(jù)的處理效率。同時,RTL和物理設計團隊針對3nm工藝進行了緊密合作,進一步優(yōu)化了 CPU 的頻率和能效表現(xiàn)。
針對 AI 和手游用例,Arm Cortex-A725 CPU性能效率提高了 35%。這一改進也得益于更新后的 Arm Cortex-A520 CPU 和更新后的 DSU-120,使得采用最新 Armv9 CPU 集群的消費電子設備可提升能效和可擴展性。
CSS平臺中還包括最新的Immortalis-G925 GPU,這是 Arm 目前性能最強、效率最高的 GPU,在各款領先的手游應用中實現(xiàn)了 37% 的性能提升,并在多個 AI 和 ML 網(wǎng)絡上提升了 34% 的性能。在應用方面,Immortalis-G925 面向旗艦智能手機市場,而包括 Arm Mali-G725 和 Mali-G625 GPU 在內(nèi)的全新高可擴展性 GPU 系列,面向從高端手機到智能手表、XR 、可穿戴設備等廣泛的消費電子設備市場。
針對AI特性的軟件優(yōu)化
為了使開發(fā)者能以更高性能快速實現(xiàn)AI應用創(chuàng)新,Arm 推出了Kleidi軟件,其中包括面向 AI 工作負載的 KleidiAI 和面向計算機視覺應用的 KleidiCV。
KleidiAI 是一套面向 AI 框架開發(fā)者的計算內(nèi)核,使他們能夠在各種設備上輕松獲得 Arm CPU 上的最佳性能,并支持 Neon、SVE2 和 SME2 等關鍵 Arm 架構功能。KleidiAI 與 PyTorch、Tensorflow、MediaPipe 等熱門 AI 框架集成,旨在加速 Meta Llama 3、Phi-3 等關鍵模型的性能,并且還可前后兼容,以確保 Arm 在引入更多技術時依然能適用未來市場的需求。
James McNiven認為,CPU作為核心計算引擎,在驅(qū)動未來網(wǎng)絡方面發(fā)揮著不可替代的作用。Arm致力于將KleidiAI技術集成到多樣化的框架中,包括通用框架TensorFlow、PyTorch等,它們能夠支持各種設備上任意網(wǎng)絡的運行,以及針對特定任務設計的點對點解決方案,例如MediaPipe和Llama 3。他強調(diào),Kleidi不僅確保開發(fā)者能夠充分利用Arm終端CSS的最新Armv9特性,如可伸縮矢量擴展(SVE),也能確保在現(xiàn)有CPU核心上實現(xiàn)更佳性能,并為未來CPU創(chuàng)新,如可伸縮矩陣擴展(SME)等做好準備。
以Cortex-X925為例,Kleidi在運行最新版的Llama 3和Phi-3時,其速度比參考實現(xiàn)快2.9倍,且能在不到24小時內(nèi)完成。此外,針對計算機視覺與AI技術日益緊密結合的趨勢,Arm還推出了KleidiCV,并通過將其集成到廣泛使用的OpenCV庫中,實現(xiàn)顯著的性能提升。據(jù)透露,Arm今年還將與OpenCV.ai合作,簡化安卓開發(fā)者將OpenCV集成到項目的工作,并使他們能夠從KleidiCV的性能改進中受益。
Am 終端 CSS還致力于提高安卓設備用戶的性能體驗。在Cortex-X925帶來30%的性能提升基礎上,針對包括Chrome在內(nèi)的網(wǎng)頁瀏覽器進行了改進,實現(xiàn)了23%的性能提升。這些改進也被中國手機廠商應用于瀏覽器中。同時,Arm繼續(xù)與Google合作,推動了安卓動態(tài)性能框架的發(fā)展,新版本框架實現(xiàn)了高端內(nèi)容每幀能耗降低25%、幀速率提高35%。
Arm注重系統(tǒng)級設計
談到半導體工藝演進帶來的技術挑戰(zhàn)時,James McNiven指出,隨著工藝節(jié)點的縮小,IP設計面臨新挑戰(zhàn),尤其是在性能、功耗和面積(PPA)的優(yōu)化上。Arm在設計新一代Cortex-X和Immortalis產(chǎn)品時,針對特定工藝節(jié)點進行優(yōu)化,并且與代工廠合作伙伴保持了密切溝通。
此次推出的終端CSS,也是Arm首次在終端領域為CPU和GPU交付物理實現(xiàn)。對此,James McNiven解釋,以往大多數(shù)IP的交付形式是RTL(寄存器傳輸級),類似于軟件的形式。而從RTL到 芯片還需要很多 EDA 工具的輔助,才能把這套描述轉(zhuǎn)變成實際的芯片布局。當然,所謂的物理實現(xiàn),并不是指交付物理形態(tài),是指Arm的設計完成了這些工具流,通過優(yōu)化和工具產(chǎn)出物理交付,可以將整體的設計完整地呈現(xiàn)出來,包括晶體管的布局、線路部署等,從而進一步幫助合作伙伴節(jié)省開發(fā)時間。
在終端CSS的實現(xiàn)過程中,可以看出“系統(tǒng)級的分析和目標設定方法”貫穿始終。針對不同的用例或測試基準,Arm會確定整體性能目標,并將其分解到各個單一IP上。以游戲《原神》為例,Arm首先從系統(tǒng)層面進行深入分析,然后為GPU、圖形性能、CPU等關鍵組件設定具體的性能提升目標,通過這種方式將游戲機制和計算能力推向極限。
James McNiven強調(diào),每個單一IP的性能提升都是構建終端CSS整體性能的重要基石。通過將前沿的CPU和GPU技術、生產(chǎn)就緒的物理實現(xiàn)和持續(xù)的軟件優(yōu)化相結合,Arm 終端 CSS 加之 Kleidi 軟件,將為未來 AI計算平臺奠定基石。