1870
隨著人工智能、智能座艙、自動(dòng)駕駛等前沿技術(shù)的不斷演進(jìn)，智能終端創(chuàng)新步伐加速，新興應(yīng)用場(chǎng)景如智能汽車、AI PC、AI手機(jī)、智能家居、工業(yè)機(jī)器等層出不窮，消費(fèi)者對(duì)智能設(shè)備的信息交互和娛樂(lè)需求也日益多樣化。
這其中，多媒體處理器的應(yīng)用發(fā)揮著重要作用，不僅限于終端設(shè)備，還涵蓋了云端服務(wù)器。
安謀科技多媒體處理器研發(fā)負(fù)責(zé)人周華表示，多媒體處理器的應(yīng)用范圍已經(jīng)基本覆蓋了“端+邊+云”等各類場(chǎng)景，并且涉及視頻圖像處理的產(chǎn)品迭代速度驚人。
以車載應(yīng)用為例，根據(jù)第三方數(shù)據(jù)，國(guó)內(nèi)車載攝像頭的數(shù)量已經(jīng)從2022年的5000萬(wàn)顆增長(zhǎng)到現(xiàn)在的1億顆，年增長(zhǎng)率超過(guò)25%。同時(shí)，智能汽車的大屏化、多屏化趨勢(shì)明顯，車載顯示市場(chǎng)規(guī)模預(yù)計(jì)將在2025年超過(guò)1200億元。同時(shí)，3A游戲等高端應(yīng)用也對(duì)多媒體處理器提出更高的要求，沒(méi)有高性能的顯示處理器和視頻編解碼器，3A游戲的體驗(yàn)將會(huì)大打折扣。
此外，國(guó)家政策也大力支持多媒體產(chǎn)業(yè)的發(fā)展，從2017年開始，幾乎每年都會(huì)推出相關(guān)政策來(lái)鼓勵(lì)和引導(dǎo)超高清電視產(chǎn)業(yè)的發(fā)展。
可以說(shuō)，超高清畫質(zhì)、跨屏聯(lián)動(dòng)、多屏異顯等趨勢(shì)的興起，對(duì)圖像顯示技術(shù)的實(shí)時(shí)處理、畫質(zhì)增強(qiáng)及數(shù)據(jù)安全等關(guān)鍵能力都提出了更高的要求。
為應(yīng)對(duì)這些挑戰(zhàn)，安謀科技推出了首款本土自研的圖像顯示處理器——“玲瓏”D8/D6/D2 DPU，以及新一代超高清視頻處理核芯——“玲瓏”V510/V710 VPU。
8K級(jí)圖像顯示“芯”引擎
據(jù)安謀科技DPU高級(jí)產(chǎn)品經(jīng)理柴衛(wèi)華介紹，“玲瓏”D8/D6/D2 DPU為智能設(shè)備圖像顯示提供了強(qiáng)大動(dòng)力，可靈活按需配置架構(gòu)，確保了低延時(shí)、低系統(tǒng)帶寬以及高數(shù)據(jù)安全。
圖1：“玲瓏” D8/D6/D2 DPU概覽
該系列中，D8主要針對(duì)高性能顯示應(yīng)用場(chǎng)景，能夠?qū)崿F(xiàn)每秒8K60幀的實(shí)時(shí)顯示處理，或單IP核支持4個(gè)每秒4K60幀的實(shí)時(shí)顯示輸出；D6則針對(duì)性能與能效優(yōu)化的顯示應(yīng)用場(chǎng)景，可實(shí)現(xiàn)每秒8K30幀或4K120幀的實(shí)時(shí)顯示處理，或單IP核支持2個(gè)每秒4K60幀的實(shí)時(shí)顯示輸出；D2用于高能效比顯示的應(yīng)用場(chǎng)景，可實(shí)現(xiàn)每秒2K60幀的實(shí)時(shí)顯示處理。
"玲瓏"D8/D6/D2 DPU不僅兼具高性能、高畫質(zhì)與高靈活性，實(shí)現(xiàn)實(shí)時(shí)顯示處理，還采用多核架構(gòu)，支持按需配置與編程，滿足客戶定制化需求，輕松擴(kuò)展性能并優(yōu)化系統(tǒng)開銷。此外，通過(guò)集成Arm系統(tǒng)存儲(chǔ)管理單元MMU-600/700中的轉(zhuǎn)換緩沖單元（TBU）模塊及Arm幀緩沖壓縮（AFBC）技術(shù)，該系列實(shí)現(xiàn)了超低延時(shí)與系統(tǒng)帶寬的最大化降低。同時(shí)，該系列支持Arm TZMP架構(gòu)的軟硬一體設(shè)計(jì)，為顯示數(shù)據(jù)的安全性提供了有效保障。
圖2：“玲瓏” D8/D6/D2 DPU架構(gòu)
該DPU系列采用可配置的模塊化架構(gòu)，配置靈活，可以實(shí)現(xiàn)智能場(chǎng)景全覆蓋。其面向多場(chǎng)景的高效設(shè)計(jì)支持多達(dá)16層內(nèi)容輸入，并通過(guò)獨(dú)特的Smart Layer技術(shù)確保超過(guò)16層內(nèi)容的疊加顯示，實(shí)現(xiàn)靈活高效的內(nèi)容管理。
在圖像處理方面，其深度流水設(shè)計(jì)支持SDR與HDR內(nèi)容輸入輸出及多種影像圖形格式，前后級(jí)配置Gamma與Gamut管理，支持1/6到64倍縮放及圖像增強(qiáng)，同時(shí)提供水平、垂直鏡像，90°、180°、270°旋轉(zhuǎn)及任意組合功能，并具備可拓展協(xié)處理接口。
柴衛(wèi)華強(qiáng)調(diào)，在研發(fā)設(shè)計(jì)時(shí)，安謀科技重視IP對(duì)系統(tǒng)的整體支持。"玲瓏"D8/D6/D2 DPU采用標(biāo)準(zhǔn)接口如AXI、APB、DPI，并進(jìn)行了三方面系統(tǒng)優(yōu)化：內(nèi)置Arm標(biāo)準(zhǔn)的AFBC技術(shù)以緩解AI帶寬壓力；集成MMU-600/700的TBU單元以實(shí)現(xiàn)內(nèi)存靈活管理，降低系統(tǒng)管理難度；深度協(xié)同Arm TZMP技術(shù)，增強(qiáng)用戶信息安全及數(shù)據(jù)保護(hù)，支持標(biāo)準(zhǔn)顯示、DRM及Trusted display等多種模式。
周華進(jìn)一步解釋了"玲瓏"D8/D6/D2 DPU的技術(shù)細(xì)節(jié)，該DPU系列的架構(gòu)核心包括Global Control Unit、帶AFBC的DMA（專用于數(shù)據(jù)傳輸）及四條完整的顯示處理單元，這些單元負(fù)責(zé)圖像的合并、疊加與最終輸出，并能同時(shí)支持4個(gè)實(shí)時(shí)顯示。
該DPU系列展現(xiàn)出高度的可擴(kuò)展性，分辨率覆蓋從1080P至8K60幀，且顯示輸出數(shù)量可在1至4個(gè)之間靈活配置；為了滿足多媒體場(chǎng)景下客戶群體的多樣化需求，其pipeline、功能及特性均可根據(jù)客戶具體要求進(jìn)行定制。在長(zhǎng)期持續(xù)的優(yōu)化過(guò)程中，有價(jià)值的定制內(nèi)容將被整合進(jìn)主干，以便更多客戶能夠直接使用。
值得一提的是，它對(duì)Arm MMU-600/700的支持已經(jīng)在客戶實(shí)際應(yīng)用中得到了驗(yàn)證。為了滿足客戶的獨(dú)特需求，該DPU系列還提供了一個(gè)特別接口，允許客戶將他們對(duì)圖像顯示、圖片畫質(zhì)的特殊要求和算法接入到pipeline中，從而在標(biāo)準(zhǔn)產(chǎn)品無(wú)法完全滿足需求時(shí)，幫助客戶實(shí)現(xiàn)獨(dú)家競(jìng)爭(zhēng)力。
首批支持H.266標(biāo)準(zhǔn)的新一代超高清視頻處理核芯?
高清、實(shí)時(shí)的視頻處理能力在智能駕駛、智能安防、智能家居、無(wú)人機(jī)、AR/VR等前沿終端應(yīng)用領(lǐng)域顯得尤為重要。同時(shí)，數(shù)據(jù)中心和云計(jì)算領(lǐng)域?qū)?a class="article-link" target="_blank" href="/tag/%E5%A4%A7%E6%A8%A1%E5%9E%8B/">大模型訓(xùn)練和推理任務(wù)的處理速度和效率也提出了更高要求。
巨大的需求潛力推動(dòng)全球視頻流媒體市場(chǎng)持續(xù)擴(kuò)張，預(yù)計(jì)2021-2028年間復(fù)合年增長(zhǎng)率為20%。安謀科技VPU高級(jí)產(chǎn)品經(jīng)理董峰表示，在視頻編碼領(lǐng)域，最新一代H.266標(biāo)準(zhǔn)相較于前代，在8K超高清等多種視頻類型及流媒體應(yīng)用中表現(xiàn)出色，平均編碼性能提高49%。
相比AV1等其他同時(shí)代技術(shù)，H.266展現(xiàn)出長(zhǎng)期多維度進(jìn)步的潛力。與上一代H.265相比，H.266實(shí)現(xiàn)了50%的壓縮比提升，并在高分辨率、8K級(jí)別、色域及寬動(dòng)態(tài)能力等方面均有明顯改善。
此外，H.266標(biāo)準(zhǔn)還廣泛適應(yīng)多種業(yè)務(wù)場(chǎng)景需求，包括辦公桌面系統(tǒng)、低延時(shí)、云游戲、AR/VR等新興用戶體驗(yàn)，使得其在全業(yè)務(wù)場(chǎng)景下能帶來(lái)全面提升。
目前，國(guó)內(nèi)頭部互聯(lián)網(wǎng)內(nèi)容商已開始部署H.266內(nèi)容，進(jìn)行從端側(cè)到云端的轉(zhuǎn)碼優(yōu)化，尤其在低碼率和帶寬頻繁變化的場(chǎng)景下，H.266技術(shù)能帶來(lái)更佳的實(shí)際體驗(yàn)。
面向這一需求，安謀科技推出了“玲瓏”V510/V710 VPU。作為國(guó)內(nèi)首批同時(shí)支持H.266標(biāo)準(zhǔn)的編碼及解碼視頻處理器IP，“玲瓏”V510/V710 VPU采用了多核多格式編解碼融合的可編程處理架構(gòu)，大幅節(jié)省了存儲(chǔ)空間及帶寬成本，并助力合作伙伴基于不同應(yīng)用場(chǎng)景進(jìn)行靈活多樣的性能與功耗配置。
該系列中，V510系列主要面向4K及以下視頻的應(yīng)用場(chǎng)景，最多可支持4核配置；V710系列則針對(duì)高端的8K視頻應(yīng)用場(chǎng)景，最多可支持8核配置。
圖3：“玲瓏” V510/V710 VPU概覽
董峰表示，相較于上一代產(chǎn)品，V510 VPU有三大提升：首先，其H.264與H.265編碼性能實(shí)現(xiàn)翻倍，600兆時(shí)可支持4K30幀，而7納米工藝下1.2G則可達(dá)4K60幀；其次，與V6 VPU的H.265相比，V510 VPU的H.266編碼質(zhì)量提升了30%，這與其IP適用場(chǎng)景緊密相關(guān)；最后，相較于H.265的very slow檔次（常用于云端轉(zhuǎn)碼與直播的CPU軟編），V510 VPU的H.266編碼質(zhì)量提高了20%。
該VPU系列采用多核處理架構(gòu)，確保了軟硬件間的高交互性和強(qiáng)可擴(kuò)展性，可以輕松應(yīng)對(duì)多樣化場(chǎng)景需求。同時(shí)，配備多重視頻編解碼器，不僅支持H.266標(biāo)準(zhǔn)的編解碼，還兼容各種主流視頻標(biāo)準(zhǔn)。通過(guò)集成內(nèi)存管理單元（MMU），有效提升了系統(tǒng)效率并降低了系統(tǒng)復(fù)雜度。此外，該VPU系列精準(zhǔn)匹配本地市場(chǎng)需求，提供特定的視頻處理技術(shù)功能，并輔以全面的系統(tǒng)解決方案，包括配套的固件工具及軟件，全方位滿足用戶需求。
該VPU系列配置靈活，其多核性能可按需線性堆疊，單核即能支持每秒4K60幀的編碼或解碼，同時(shí)，其創(chuàng)新融合編解碼功能模塊，顯著減小硅面積，并提供豐富靈活的前后處理、軟件、驅(qū)動(dòng)及固件支持。
這里值得注意的是編解碼融合架構(gòu)。董峰指出，在VPU場(chǎng)景中，若采用編碼與解碼分離的架構(gòu)，將需要在兩個(gè)層面分別增加內(nèi)存，涵蓋流水線等各個(gè)方面。為優(yōu)化這一問(wèn)題，“玲瓏”VPU采用了編解碼融合的架構(gòu)，該架構(gòu)致力于內(nèi)部pipeline的復(fù)用，通過(guò)技術(shù)層面的細(xì)致分解，將任務(wù)劃分至加速器與數(shù)據(jù)流層級(jí)。
該架構(gòu)在控制方式上，是采用MCU控制而非純硬件控制，以應(yīng)對(duì)不同模式下數(shù)據(jù)流控制的顯著差異。此外，“玲瓏”VPU在數(shù)據(jù)處理中創(chuàng)新性地實(shí)施了條帶級(jí)任務(wù)劃分，并在架構(gòu)層面進(jìn)行了大量細(xì)致的分解與考量，從而實(shí)現(xiàn)了多核并行與性能的線性提升，同時(shí)也帶來(lái)了顯著的硅面積收益（較非融合編解碼架構(gòu)面積小1.3-1.4倍）。
周華補(bǔ)充道，這種架構(gòu)具有較高的門檻，在某種程度上類似于SoC，主要針對(duì)業(yè)務(wù)場(chǎng)景數(shù)據(jù)流的管理。安謀科技擅長(zhǎng)以這樣的思路為切入點(diǎn)進(jìn)行系統(tǒng)級(jí)架構(gòu)設(shè)計(jì)，在IP層面擁有強(qiáng)大的系統(tǒng)化能力。他強(qiáng)調(diào)，這種架構(gòu)是安謀科技與友商的一個(gè)關(guān)鍵差別。
在編解碼性能方面，針對(duì)H.266，該VPU系列具備每秒高達(dá)120幀的8K視頻編碼與解碼能力，且H.264/HEVC的性能和主客觀編碼質(zhì)量均得到全面提升。此外，該VPU系列廣泛支持包括H.266、H.265、H.264等在內(nèi)的主流視頻編碼標(biāo)準(zhǔn)，以及H.266、AV1、H.263等多種解碼標(biāo)準(zhǔn)，確保了廣泛的兼容性。
在視覺效果上，"玲瓏"V510/V710 VPU新增了屏幕顯示菜單OSD前處理，支持長(zhǎng)參考幀以節(jié)省傳輸帶寬并顯著提升圖像質(zhì)量，同時(shí)后處理功能支持按任意比率縮小，YUV2RGB轉(zhuǎn)換則能在不同類型面板上實(shí)現(xiàn)最佳內(nèi)容顯示。
值得注意的是，"玲瓏" VPU的處理內(nèi)核是MCU。周華表示，當(dāng)前全球VPU產(chǎn)品存在三大主流門派：純硬件、內(nèi)置小CPU（單核）以及安謀科技獨(dú)特的5個(gè)小型MCU內(nèi)置架構(gòu)。安謀科技這種創(chuàng)新架構(gòu)在市場(chǎng)上堪稱獨(dú)一無(wú)二，它賦予了產(chǎn)品極高的靈活性，當(dāng)然，這也大幅增加了驗(yàn)證的復(fù)雜性和資源投入。
這種獨(dú)特架構(gòu)的核心優(yōu)勢(shì)在于結(jié)合了硬件、MCU以及運(yùn)行在MCU上的firmware固件和軟件。MCU+firmware的配置解決了芯片開發(fā)中的一大痛點(diǎn)：流片后無(wú)法修改。
傳統(tǒng)上，任何改動(dòng)都需重新進(jìn)行EAC和流片，成本極高，有了firmware固件后，即使在流片后，開發(fā)者仍能對(duì)碼率控制、主觀質(zhì)量等進(jìn)行調(diào)整優(yōu)化，甚至解決一些硬件bug。此外，firmware與硬件的緊密交互大大減輕了主CPU的負(fù)擔(dān)，使得即便使用算力較低的老式單片機(jī)也能驅(qū)動(dòng)其VPU產(chǎn)品。
因此，這一架構(gòu)不僅獨(dú)特創(chuàng)新，而且?guī)?lái)了諸多好處，安謀科技一直沿用至今。
Arm獨(dú)特的無(wú)損壓縮技術(shù)AFBC是VPU或DPU開發(fā)中的常用技術(shù)，周華強(qiáng)調(diào)，“玲瓏”VPU/DPU能夠完全兼容Arm技術(shù)體系結(jié)構(gòu)，與Mali GPU之間的數(shù)據(jù)實(shí)現(xiàn)無(wú)縫鏈接，壓縮標(biāo)準(zhǔn)相互識(shí)別、格式相通。
結(jié)語(yǔ)
安謀科技預(yù)計(jì)從今年年底到明年，H.266的相關(guān)應(yīng)用會(huì)進(jìn)入布局周期。周華表示，目前能夠支持H.266的IP廠家不多，這將成為安謀科技的抓手，抓住一些高端場(chǎng)景和客戶，搶到先機(jī)，明年在客戶產(chǎn)品布局上會(huì)發(fā)揮更大的作用。
自2018年獨(dú)立運(yùn)營(yíng)以來(lái)，安謀科技始終致力于自研創(chuàng)新，先后推出了包括“周易”NPU、“星辰”CPU、“山?！盨PU、“玲瓏”VPU及DPU在內(nèi)的多款處理器產(chǎn)品線，構(gòu)建了一個(gè)成熟且高效協(xié)同的自研產(chǎn)品矩陣。此次“玲瓏”VPU及DPU新產(chǎn)品的發(fā)布，不僅進(jìn)一步完善了該公司的自研產(chǎn)品矩陣、推動(dòng)了市場(chǎng)應(yīng)用與商業(yè)化落地，也將進(jìn)一步強(qiáng)化其生態(tài)建設(shè)與合作，提升其行業(yè)競(jìng)爭(zhēng)力。
