以技術(shù)驅(qū)動(dòng)創(chuàng)新,以芯力量擁抱數(shù)智未來(lái)?!缎臼隆吩L談對(duì)話科技創(chuàng)新者、引領(lǐng)者,探索創(chuàng)芯之路,共建硬核算力,賦能科技創(chuàng)新。
本期《芯事》人物
丁然
全志科技CTO?
人類獲取和交換信息,80%以上來(lái)自于視頻圖像。隨著視覺(jué)感知在學(xué)習(xí)、工作和各種知識(shí)傳承中發(fā)揮越來(lái)越重要的作用,視頻技術(shù)應(yīng)用的前景也日趨廣闊。
這一過(guò)程一直由高清視頻技術(shù)的發(fā)展所推動(dòng),例如分辨率向8K的不斷提升,以及5G技術(shù)的高帶寬和低延遲的特性解決了高清視頻數(shù)據(jù)傳輸的痛點(diǎn),繼而帶動(dòng)整個(gè)視頻行業(yè)在采集、制作、傳輸、播放各方面升級(jí),使得高清視頻的應(yīng)用越來(lái)越廣。
與此同時(shí),AI正在成為一種新的通用技術(shù),并深入千行百業(yè),例如教育、實(shí)時(shí)智能翻譯,以及視覺(jué)智能等。能否利用AI的理念和技術(shù)解決現(xiàn)在和未來(lái)的問(wèn)題,是構(gòu)筑領(lǐng)先競(jìng)爭(zhēng)力的關(guān)鍵。
這些趨勢(shì)為AIoT芯片企業(yè)提供了前所未有的市場(chǎng)機(jī)會(huì)。“我們堅(jiān)信大視頻和智能化是行業(yè)發(fā)展的大趨勢(shì),擁有廣闊的市場(chǎng)機(jī)會(huì)?!比究萍糃TO丁然說(shuō)?;诖?,全志科技堅(jiān)持以大視頻、智能化為核心,全面展開(kāi)戰(zhàn)略布局和業(yè)務(wù)運(yùn)作,為市場(chǎng)和客戶提供超高清音視頻技術(shù)的價(jià)值解決方案。
全志科技是國(guó)內(nèi)AP級(jí)SoC設(shè)計(jì)行業(yè)的頭部企業(yè)之一,產(chǎn)品生態(tài)覆蓋智能硬件、消費(fèi)電子、車載應(yīng)用、工業(yè)互聯(lián)等領(lǐng)域,芯片年出貨量在億級(jí)以上。全志科技已推出全球首顆基于平頭哥玄鐵C906 RISC-V的應(yīng)用處理器D1,為萬(wàn)物互聯(lián)AIoT時(shí)代提供新的智能關(guān)鍵芯片,應(yīng)用于智慧城市、智能汽車、智能商顯、智能家電、智能辦公等多個(gè)領(lǐng)域市場(chǎng)。
本期《芯事訪談》專訪全志科技CTO丁然,一同探討AI和視頻相關(guān)市場(chǎng)、趨勢(shì)以及RISC-V在其中的發(fā)展機(jī)遇。
RISC-V產(chǎn)品化從兩端向中間逼近
從應(yīng)用端需求看,您觀察到有哪些重要趨勢(shì)值得關(guān)注?
丁然:視頻技術(shù)和人工智能,是我們看到的行業(yè)發(fā)展的大趨勢(shì)。
視頻技術(shù)的發(fā)展,一是隨著超高清時(shí)代加速到來(lái),國(guó)家在19年發(fā)布超高清視頻產(chǎn)業(yè)發(fā)展行動(dòng)計(jì)劃,行動(dòng)計(jì)劃提到“4K先行、兼顧8K”的總體技術(shù)路線,帶動(dòng)超高清視頻產(chǎn)業(yè)鏈各環(huán)節(jié)協(xié)同發(fā)展,加速8K產(chǎn)業(yè)鏈成熟。
二是版權(quán)保護(hù)加強(qiáng),隨著高品質(zhì)音視頻內(nèi)容供給日益增長(zhǎng),數(shù)字版權(quán)保護(hù)標(biāo)準(zhǔn)進(jìn)一步完善,與內(nèi)容制作標(biāo)準(zhǔn)、終端呈現(xiàn)標(biāo)準(zhǔn)協(xié)同構(gòu)建內(nèi)容保護(hù)生態(tài)體系。
三是大視頻與5G、AI技術(shù)深度融合,推進(jìn)新一代信息技術(shù)深度融合創(chuàng)新發(fā)展,催生了大量新場(chǎng)景、新應(yīng)用、新模式。
同時(shí),AI方面也在不斷發(fā)展。一是云、管、端物聯(lián)架構(gòu)創(chuàng)新,人工智能計(jì)算將從云往邊緣延伸,隨著應(yīng)用場(chǎng)景的豐富,未來(lái)在應(yīng)用端需要采集和運(yùn)算的數(shù)據(jù)越來(lái)越大,對(duì)運(yùn)算速度、網(wǎng)絡(luò)帶寬都提出了更高要求。同時(shí),個(gè)人隱私等信息的不斷增多,人們對(duì)安全的需求也更為迫切,單靠云難以完全解決這些痛點(diǎn),所以邊緣將與云互補(bǔ)協(xié)同。
二是端側(cè)計(jì)算機(jī)體系結(jié)構(gòu)的創(chuàng)新,隨著端側(cè)業(yè)務(wù)類型趨與多元化、業(yè)務(wù)海量增大等變化,端側(cè)數(shù)據(jù)量也呈現(xiàn)倍數(shù)級(jí)增長(zhǎng),傳統(tǒng)計(jì)算機(jī)架構(gòu)下算力面臨著極大的挑戰(zhàn)。圖靈獎(jiǎng)獲得者Patterson教授在論文《A New Golden Age for Computer Architecture 》提出了專用領(lǐng)域處理器架構(gòu)(DSA),專業(yè)領(lǐng)域利用DSA計(jì)算在數(shù)據(jù)并行處理、降低延時(shí)等方面具有優(yōu)勢(shì)。
三是軟硬件深度協(xié)同,計(jì)算機(jī)體系結(jié)構(gòu)的變化讓異構(gòu)計(jì)算不斷顯露鋒芒。異構(gòu),就是將CPU、GPU、DSP、各類DSA以及外部接口組合起來(lái)形成一個(gè)混合算力系統(tǒng)。異構(gòu)設(shè)計(jì)要考慮算法模型、數(shù)據(jù)類型、數(shù)據(jù)通路的特性,算法模型以及軟件協(xié)議也要根據(jù)芯片架構(gòu)去優(yōu)化設(shè)計(jì),做到軟硬協(xié)同、垂直優(yōu)化以實(shí)現(xiàn)產(chǎn)品高性能、低功耗、低延時(shí)的場(chǎng)景目標(biāo)。
上述變化,已經(jīng)對(duì)處理器的生態(tài)產(chǎn)生影響,例如RISC-V架構(gòu)的新興處理器開(kāi)始成為DSA的選擇。相較于x86、 Arm,在數(shù)據(jù)中心、物聯(lián)網(wǎng)等領(lǐng)域,RISC-V會(huì)有新機(jī)會(huì)嗎?
丁然:在服務(wù)器/數(shù)據(jù)中心/個(gè)人PC領(lǐng)域,未來(lái)X86仍然會(huì)占據(jù)大份額的PC/服務(wù)器等高算力市場(chǎng),ARM和RISC-V會(huì)取得一定發(fā)展。如阿里云推出的基于ARM架構(gòu)的磐久云服務(wù)器算力平臺(tái),蘋果基于ARM架構(gòu)推出了M1系列適用于PC的芯片平臺(tái)。同時(shí),RISC-V產(chǎn)業(yè)界也出現(xiàn)了還有多家廠商開(kāi)始布局高性能IP,目標(biāo)也是服務(wù)器或是數(shù)據(jù)中心。
據(jù)我觀察,由于RISC-V架構(gòu)具有模塊化、可擴(kuò)展等特性以及向量、DSP等專用指令,有機(jī)會(huì)成為服務(wù)器或數(shù)據(jù)中心等大型計(jì)算平臺(tái)專業(yè)場(chǎng)景的極佳解決方案。
在AIoT智能終端領(lǐng)域,ARM會(huì)繼續(xù)占據(jù)大部分市場(chǎng),尤其在高性能移動(dòng)終端領(lǐng)域,比如說(shuō)手機(jī)與平板;但是在多元的碎片化市場(chǎng),RISC-V的前景非常廣闊。應(yīng)用多元化往往意味著算力需要高度定制,RISC-V非常符合設(shè)計(jì)者的需求,這類場(chǎng)景通常對(duì)CPU性能及軟件的生態(tài)依賴度不高,RISC-V架構(gòu)更容易開(kāi)發(fā)量產(chǎn),比如工業(yè)控制、智能硬件、安防、車載等應(yīng)用場(chǎng)景。
總體來(lái)說(shuō),RISC-V產(chǎn)品化可能會(huì)從兩端開(kāi)始,向中間逼近。入門級(jí)系列從MCU過(guò)渡到入門級(jí)AP市場(chǎng),高端系列應(yīng)用服務(wù)器、數(shù)據(jù)中心領(lǐng)域。
桌面級(jí)RISC-V芯片極有可能出現(xiàn)
在您看來(lái),目前本土RISC-V的生態(tài)建設(shè)處在什么階段?
丁然:我們看到,RISC-V產(chǎn)業(yè)界缺少AP級(jí)處理器。由于缺少處理器及相關(guān)開(kāi)發(fā)板,導(dǎo)致RISC-V軟件生態(tài)發(fā)展速度緩慢,更談不上產(chǎn)品化。
總的來(lái)說(shuō),同國(guó)外相比,本土企業(yè)還處于起步階段,但我們也看到了一些積極信號(hào),比方說(shuō)平頭哥、Andes等企業(yè)已經(jīng)參與到社區(qū)架構(gòu)規(guī)范的討論和定制,在部分領(lǐng)域已經(jīng)成為規(guī)范主導(dǎo)者,中科院計(jì)算所包云崗老師團(tuán)隊(duì)的香山開(kāi)源項(xiàng)目,中科院軟件所武彥軍老師的團(tuán)隊(duì)正在積極參與GCC/LLVM/C庫(kù)/OPENJDK/V8等軟件開(kāi)源項(xiàng)目的建設(shè)。
在我看來(lái),本土企業(yè)應(yīng)該基于自身產(chǎn)業(yè)位置,配合自身優(yōu)勢(shì),積極參與生態(tài)建設(shè)及產(chǎn)業(yè)落地,比方說(shuō)IP公司參與架構(gòu)規(guī)范定制,SoC公司參與開(kāi)源硬件建設(shè),產(chǎn)品公司參與到應(yīng)用Runtime及Lib服務(wù)的建設(shè)。
全志科技作為一家本土SoC原廠,我們有豐富的架構(gòu)設(shè)計(jì)、SoC集成的經(jīng)驗(yàn),幾年前就參與RISC-V社區(qū)共建,并在2021年推出了D1開(kāi)源計(jì)算平臺(tái),為RISC-V架構(gòu)的生態(tài)推廣提供硬件保證。
越來(lái)越多的巨頭開(kāi)始關(guān)注并布局RISC-V領(lǐng)域,比如英特爾。您認(rèn)為未來(lái)是否會(huì)出現(xiàn)IP私有化的問(wèn)題?這種開(kāi)源性要如何健康持續(xù)發(fā)展?
丁然:RISC-V是否可能私有化,實(shí)際上是兩個(gè)問(wèn)題,一是RISC-V架構(gòu)是否會(huì)成為私有架構(gòu)?另一個(gè)是RISC-V架構(gòu)會(huì)不會(huì)出現(xiàn)私有IP?
前一種情況不會(huì)出現(xiàn),因?yàn)镽ISC-V是一種開(kāi)源架構(gòu),而且芯片產(chǎn)業(yè)鏈非常長(zhǎng),單靠幾家商業(yè)公司推廣RISC-V架構(gòu)是很難同ARM及X86架構(gòu)抗衡的,RISC-V必須借助社區(qū)的力量參與基金會(huì)公開(kāi)透明定制規(guī)范協(xié)議。
后一種情況是有可能的,商業(yè)公司可以基于開(kāi)源架構(gòu),結(jié)合企業(yè)自身優(yōu)勢(shì)進(jìn)行定制擴(kuò)展,在特定應(yīng)用領(lǐng)域設(shè)計(jì)自己的私有IP,獲取商業(yè)利潤(rùn)。
一款CPU架構(gòu)能否取得成功,并持續(xù)健康發(fā)展,強(qiáng)依賴軟件生態(tài)環(huán)境,尤其是工具鏈、C庫(kù)、操作系統(tǒng)等,當(dāng)前靠一家或幾家公司,不足以完成全產(chǎn)業(yè)鏈的開(kāi)發(fā)。
可期待的是,基金會(huì)社區(qū)開(kāi)發(fā)者不僅公開(kāi)定義架構(gòu)規(guī)范,同時(shí)還支持軟件生態(tài),企業(yè)正好可以借助這些機(jī)會(huì)參與到社區(qū)規(guī)范的討論、制定中去,參與到整個(gè)產(chǎn)業(yè)鏈上下游的建設(shè)中去,推動(dòng)RISC-V 領(lǐng)域的發(fā)展。
RISC-V架構(gòu)面臨的最大挑戰(zhàn)是什么?未來(lái)是否可能出現(xiàn)桌面級(jí)的RISC-V芯片?
丁然:從指令集架構(gòu)來(lái)看,RISC-V面臨的挑戰(zhàn)主要有硬件資源、軟件生態(tài)、開(kāi)發(fā)成本等幾個(gè)方面:
1)硬件資源上,RISC-V處理器的性能、面積、功耗、成本、穩(wěn)定性等各項(xiàng)因素,會(huì)被客戶直接對(duì)比。
2)芯片的軟件生態(tài)包括工具鏈、C庫(kù),啟動(dòng)固件、操作系統(tǒng)、Runtime、Lib服務(wù)等等,架構(gòu)要成功,除了硬件資源,軟件生態(tài)至關(guān)重要。當(dāng)前RISC-V架構(gòu)在基礎(chǔ)軟件領(lǐng)域幾乎可以滿足高端產(chǎn)品的需求了,可是在應(yīng)用層及中間件等方面還有不小的差距。
3)開(kāi)發(fā)成本上,由于研發(fā)人員對(duì)新架構(gòu)需要適應(yīng)和熟悉時(shí)間,有可能增加企業(yè)的產(chǎn)品化成本,還會(huì)延長(zhǎng)上市周期。
桌面級(jí)RISC-V芯片是否會(huì)出現(xiàn)?我覺(jué)得機(jī)會(huì)還是挺大的。我看到全志RISC-V的社區(qū)開(kāi)發(fā)者已經(jīng)基于D1及Nezha平臺(tái)移植了Linux發(fā)行版本,如debian、fedora、ubuntu等常見(jiàn)的桌面級(jí)操作系統(tǒng)。同時(shí),行業(yè)內(nèi)多家IP公司已經(jīng)推出高性能的算力IP產(chǎn)品,軟件方面社區(qū)也正在移植Openjdk、V8、Opencv等開(kāi)源軟件,相信未來(lái)桌面級(jí)的軟件生態(tài)和產(chǎn)品生態(tài)會(huì)越來(lái)越成熟。
全志與平頭哥強(qiáng)強(qiáng)聯(lián)手
持續(xù)推動(dòng)RISC-V生態(tài)建設(shè)
針對(duì)產(chǎn)業(yè)趨勢(shì)和行業(yè)現(xiàn)狀,全志是怎樣思考和布局的呢?
丁然:圍繞大視頻、智能化的戰(zhàn)略方向,我們提出MANS戰(zhàn)略主線:多媒體M(Multimedia)、模擬A(Analog)、網(wǎng)絡(luò)N(Network)、服務(wù)S(Service)等幾個(gè)方面協(xié)同發(fā)展的總稱。
其中,由多媒體衍生的大視頻是我們未來(lái)發(fā)展的機(jī)會(huì)點(diǎn),是我們的核心目標(biāo),也是MANS協(xié)同大陣中的陣眼所在。
在模擬方向,要解決視頻系統(tǒng)能源供給和管理問(wèn)題,要突破高速信息信號(hào)傳輸、接口轉(zhuǎn)化、音視頻信號(hào)的收發(fā)強(qiáng)化。
在網(wǎng)絡(luò)方向,實(shí)現(xiàn)短距離無(wú)線物聯(lián)網(wǎng)領(lǐng)域的突破,關(guān)注WIFI/BT的性能協(xié)同提升,在長(zhǎng)距離物聯(lián)網(wǎng)領(lǐng)域,關(guān)注5G技術(shù)來(lái)解決富媒體數(shù)據(jù)無(wú)線傳輸問(wèn)題。
在服務(wù)方向,我們的服務(wù)不僅包括軟件包、算法包、標(biāo)準(zhǔn)參考設(shè)計(jì)、量產(chǎn)技術(shù)支持、開(kāi)發(fā)者社區(qū)運(yùn)營(yíng)等傳統(tǒng)的技術(shù)供給領(lǐng)域,也包括幫助、引領(lǐng)、協(xié)同客戶一起定制產(chǎn)品量產(chǎn)計(jì)劃、市場(chǎng)推廣計(jì)劃、供應(yīng)鏈資源整合優(yōu)化等市場(chǎng)營(yíng)銷的供給領(lǐng)域;還將包括未來(lái)產(chǎn)業(yè)發(fā)展趨勢(shì)的內(nèi)外數(shù)據(jù)運(yùn)營(yíng),提升客戶體驗(yàn)需求的服務(wù)能力等方面的新興價(jià)值構(gòu)建領(lǐng)域。
全志選擇與平頭哥深入合作,能介紹一下嗎?
丁然:平頭哥處理器研發(fā)團(tuán)隊(duì)是國(guó)內(nèi)少有具備CPU架構(gòu)設(shè)計(jì)、量產(chǎn)能力的專業(yè)團(tuán)隊(duì),早在2018年平頭哥就推出了高性能處理器C910,這是當(dāng)時(shí)性能最高的RISC-V處理器,充分說(shuō)明了其過(guò)硬的研發(fā)能力。
玄鐵系列處理器布局范圍廣,處理器產(chǎn)品從MCU到AP,可以覆蓋大部分AIoT產(chǎn)品場(chǎng)景。同其他架構(gòu)相比,CPU的各項(xiàng)特性數(shù)據(jù)(PPA)非常有競(jìng)爭(zhēng)力,業(yè)界領(lǐng)先。
同時(shí),要把處理器IP做成產(chǎn)品,高質(zhì)量的IP只是基礎(chǔ),還要依賴產(chǎn)業(yè)鏈生態(tài)。平頭哥在生態(tài)方面布局比較早,Github上開(kāi)源玄鐵Linux平臺(tái)的驗(yàn)證環(huán)境,工具鏈支持向量擴(kuò)展,芯片開(kāi)發(fā)者社區(qū)為用戶解答問(wèn)題,這對(duì)后續(xù)產(chǎn)品開(kāi)發(fā)提供了很大的幫助。
全志科技和平頭哥在MCU和AP這兩個(gè)級(jí)別的處理器都有著深層次的合作,我們已經(jīng)量產(chǎn)了D1和F133等通用AP級(jí)算力平臺(tái)。
D1用于生態(tài)推廣、技術(shù)研究,配有NEZHA開(kāi)發(fā)板,所有的軟、硬件資料全部開(kāi)源,為高校、研究機(jī)構(gòu)、社區(qū)開(kāi)發(fā)者提供架構(gòu)研究、軟件算法實(shí)踐、產(chǎn)品孵化的算力平臺(tái)。
在產(chǎn)品化方面,基于F133的多款視頻解碼產(chǎn)品也已進(jìn)入了規(guī)模量產(chǎn)階段,比如HMI、視頻機(jī)、車載MP5等。這些產(chǎn)品是目前市面上最先見(jiàn)到基于RISC-V架構(gòu)的AP級(jí)別處理器量產(chǎn)的方案。
未來(lái),全志和平頭哥將會(huì)在安防、車載電子、無(wú)線連接等產(chǎn)品方向持續(xù)布局新產(chǎn)品。