移動(dòng)計(jì)算的未來：是什么在推動(dòng)變革？

楊凈 明敏 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

智能手機(jī)之后的下一塊屏幕，到底會(huì)是什么？

AR隱形眼鏡？可做到隨時(shí)隨地在眼球上完成圖像計(jì)算，在直徑不到2cm的鏡片上，集成了圖像處理芯片、顯示控制和無線通信系統(tǒng)等。

AR眼鏡的無線設(shè)計(jì)參考也來了，智能手機(jī)和 AR 眼鏡之間可以對(duì)計(jì)算負(fù)載進(jìn)行分配，二者的融合將會(huì)更為絲滑，不免讓人對(duì)消費(fèi)級(jí)AR眼鏡抱有更多期待。

另一邊，ARM for PC也逐漸成為行業(yè)共識(shí)。ARM架構(gòu)的低功耗、低耗電優(yōu)勢被移植到PC端，從而打破移動(dòng)PC“苦續(xù)航久矣”的局面。

不管是當(dāng)下火熱的元宇宙領(lǐng)域，還是上一代移動(dòng)計(jì)算平臺(tái)，似乎不約而同地向著一個(gè)趨勢發(fā)展——移動(dòng)性高、低功耗、長續(xù)航，還希望兼顧高性能。

而這些特性，不正是智能手機(jī)所具備的？同時(shí)也是它在十幾年內(nèi)成為主流移動(dòng)計(jì)算平臺(tái)的最重要原因。

不知道什么時(shí)候開始，智能手機(jī)已經(jīng)不是各種移動(dòng)計(jì)算平臺(tái)當(dāng)中的唯一主角了——至少從技術(shù)底層涌動(dòng)的潮水來看，已經(jīng)再明顯不過。

新型移動(dòng)計(jì)算平臺(tái)基于過往的升維和融合

我們確實(shí)已經(jīng)來到移動(dòng)計(jì)算發(fā)展的新節(jié)點(diǎn)。

從定義來看，移動(dòng)計(jì)算的范疇覆蓋了可移動(dòng)設(shè)備各類型數(shù)據(jù)的產(chǎn)生、分享、顯示等全鏈條過程，其中的數(shù)據(jù)可能來源于人機(jī)交互，也可能來自于設(shè)備感知等層面。

當(dāng)下最普及的移動(dòng)計(jì)算平臺(tái)非手機(jī)這一形態(tài)莫屬。

如今隨著5G和AI技術(shù)普及，人機(jī)交互進(jìn)一步革新，設(shè)備感知形式也逐漸發(fā)生變化，并進(jìn)一步催生出新型移動(dòng)計(jì)算形態(tài)，如XR硬件、傳統(tǒng)PC更新。

首先來看5G，無論移動(dòng)計(jì)算的平臺(tái)形態(tài)如何迭代，通信技術(shù)都是不可或缺的一環(huán)，甚至?xí)?duì)網(wǎng)絡(luò)連接提出更高質(zhì)量要求。

回望過去從2G、3G再到4G的發(fā)展，其實(shí)都聚焦于手機(jī)這一載體的應(yīng)用拓展。而來到5G，這種趨勢已悄然發(fā)生了變化。

標(biāo)準(zhǔn)制定組織3GPP最新釋出的5G功能，應(yīng)用場景不僅僅局限于手機(jī)，而是更加多元化。

而底層AI能力，則是驅(qū)動(dòng)移動(dòng)計(jì)算發(fā)展的另一大因素，能保證移動(dòng)設(shè)備在有限算力和電源的條件下，具備足夠的數(shù)據(jù)處理能力，以應(yīng)對(duì)多元化的場景，比如游戲、娛樂、拍照等與我們生活息息相關(guān)的功能。

在智能化、數(shù)字化的當(dāng)下，AI無疑成為了各大平臺(tái)廠商、芯片供應(yīng)商爭相競逐的對(duì)象。

于是，移動(dòng)計(jì)算隨著5G和AI的自然拓展和遷移，并催生了具有更新、更好體驗(yàn)的全新平臺(tái)，也就變得順理成章了。

而如果將5G當(dāng)做一種基礎(chǔ)能力，以AI能力為劃分，移動(dòng)計(jì)算的發(fā)展方向大致還可以分成兩類：一類是升維，一類是融合。

先說升維，以基于XR設(shè)備的移動(dòng)計(jì)算平臺(tái)為典型。人類幾千年傳播信息的媒介，無外乎都是二維、平面的介質(zhì)；而元宇宙的XR設(shè)備，直接將二維升成了三維。我們存在的整個(gè)空間都變成虛擬化和可計(jì)算。這對(duì)底層的算法、算力提出了更高的要求。

拿我們最能感知到的視覺算法來說，手機(jī)主要聚焦于二維拍照的場景，包括人臉檢測、超分降噪、畫質(zhì)增強(qiáng)、超清人像等。

以高通這一底層玩家為例，驍龍平臺(tái)的高通AI引擎屢屢在這方面進(jìn)階：目前的第七代高通AI引擎已經(jīng)將面部特征識(shí)別點(diǎn)增加到了300個(gè)，人臉檢測速度相比上一代提升300%，還有像多幀降噪、局部運(yùn)動(dòng)補(bǔ)償?shù)裙δ堋?/p>

而來到XR設(shè)備端，一戴上即開始全場景實(shí)時(shí)計(jì)算，包括位置跟蹤、3D對(duì)象跟蹤、平面檢測、空間映射和網(wǎng)格化、場景理解等；不僅算法從二維升階到三維，還對(duì)真實(shí)性、低時(shí)延提出了更高的要求。

另一類則是融合，這一趨勢又以基于PC的移動(dòng)計(jì)算為典型。隨著移動(dòng)辦公、遠(yuǎn)程辦公的需求興起，PC端市場在這幾年中正在迎來前所未有的增長。去年一年，全球PC市場創(chuàng)下了近十年來最大出貨量，達(dá)到3.41億臺(tái)。

值得注意的是，且不說一些芯片玩家開始ARM for PC，就是更多手機(jī)廠商、互聯(lián)網(wǎng)廠商也紛紛在布局平板、筆記本產(chǎn)品，軟件開發(fā)者們也開始在打破移動(dòng)與PC之間的邊界。

各種原因，其實(shí)不難理解，就是融合生態(tài)的優(yōu)勢。移動(dòng)手機(jī)的發(fā)展如火如荼，PC價(jià)值又無法替代。不如兩者打通、無縫切換，實(shí)現(xiàn)全場景的覆蓋。

這一點(diǎn)已成為業(yè)界共識(shí)。比如為了更好的“融合”，一些廠商原本在手機(jī)端的一些算法，比如視頻會(huì)議時(shí)的面部識(shí)別、語音識(shí)別以及端側(cè)AI加速等逐漸遷移到了PC端，還有像多屏協(xié)同、通用控制等新興功能，正在成為生產(chǎn)力必備。

綜上不難看出，以AI為驅(qū)動(dòng)的移動(dòng)計(jì)算的發(fā)展演變，正從基于手機(jī)這種單一形態(tài)，走向基于手機(jī)、XR、新型移動(dòng)PC等終端或平臺(tái)的多融合、多場景，而且速度迅猛。以XR設(shè)備為例，根據(jù)Counterpoint今年1月的數(shù)據(jù)，預(yù)計(jì)2025年，XR頭顯出貨量將達(dá)到1.05億臺(tái)，相較2021年的1100萬臺(tái)增長10倍。

但如何走怎么走，以及一些尚待解決的技術(shù)問題，比如算力、算法以及架構(gòu)兼容等，都是企業(yè)不小的難題，也將影響著未來移動(dòng)計(jì)算的發(fā)展迭代。

怎么看未來移動(dòng)計(jì)算的發(fā)展迭代？

從外在形式來看，移動(dòng)計(jì)算的當(dāng)下與未來，似乎落在了智能手機(jī)、XR設(shè)、移動(dòng)PC等表現(xiàn)形式各異的硬件上。

但無論用于移動(dòng)計(jì)算的終端或平臺(tái)形態(tài)如何變化，決定根本屬性的要素依舊是芯片、底層軟件和算法。

作為當(dāng)下移動(dòng)計(jì)算平臺(tái)的代表，智能手機(jī)的技術(shù)路線已經(jīng)發(fā)展成熟，且其移動(dòng)計(jì)算能力也還在不斷迭代升級(jí)。

由此一來，關(guān)于“移動(dòng)計(jì)算下一步該如何走”的問題，便不再完全是以0為起點(diǎn)的技術(shù)開創(chuàng)，而更多是如何讓已有技術(shù)實(shí)現(xiàn)跨界遷移。

具體該怎么做？

行業(yè)玩家高通給出了一種技術(shù)路線參考——將始于智能手機(jī)的通用硬件架構(gòu)和軟件特性作為關(guān)鍵因素，逐步擴(kuò)展至XR、PC等新型移動(dòng)計(jì)算平上。

而這條路線的最底層能力，還要從5G和AI看起。

一方面，兩者驅(qū)動(dòng)下，手機(jī)端的人機(jī)交互方式不再局限于觸摸屏幕。

如語音助手、手勢交互等功能，他們基于NLP、CV技術(shù)，實(shí)現(xiàn)了更符合人類自然信息交流方式的人機(jī)交互，并激發(fā)出了很多前所未有的應(yīng)用。如第七代高通AI引擎，可以實(shí)現(xiàn)通過分析用戶聲音判斷其心情是否抑郁、身體是否健康。

但是這些大量AI應(yīng)用數(shù)據(jù)要在移動(dòng)計(jì)算平臺(tái)上快速傳輸，這也就要求平臺(tái)同時(shí)具備強(qiáng)大的5G通信能力。

而這些在智能手機(jī)上“錦上添花”的功能，放到XR設(shè)備上則可能會(huì)是剛需，對(duì)5G能力的要求也會(huì)進(jìn)一步增強(qiáng)。

另一方面，海量算法加持讓手機(jī)性能一再突破極限。

比如攝像方面，降噪、自動(dòng)對(duì)焦、使用濾鏡、8K HDR等功能都可在算法的加持下實(shí)現(xiàn)，這些成為了手機(jī)拍攝大片的關(guān)鍵。

游戲方面，利用深度學(xué)習(xí)超級(jí)采樣技術(shù)（DLSS），手機(jī)上也能提取渲染場景的多維特征，并智能的組合多幀畫面細(xì)節(jié)來構(gòu)造高質(zhì)量圖像，實(shí)現(xiàn)超越傳統(tǒng)渲染的性能，比如云渲染了解一下，這就對(duì)5G和AI有著更高維的技術(shù)要求。

還有信號(hào)穩(wěn)定傳輸、電池續(xù)航等問題，也能通過AI來智能優(yōu)化。

這些方法思路同樣可以用在XR設(shè)備、移動(dòng)PC上來提升性能。

實(shí)際上，以AI作為共通的底層能力，為智能手機(jī)、XR設(shè)備、移動(dòng)PC提供技術(shù)驅(qū)動(dòng)，是行業(yè)內(nèi)已經(jīng)認(rèn)可的技術(shù)路線。

比如，基于“統(tǒng)一的技術(shù)路線圖”，高通的AI能力已經(jīng)逐步滲透到XR、PC等幾乎所有類型的終端。

XR領(lǐng)域，Meta Oculus、微軟Hololens、字節(jié)Pico、創(chuàng)維VR等幾乎所有主流XR廠商的頭顯設(shè)備，都采用了驍龍XR系列平臺(tái)。其中驍龍XR2是當(dāng)前的代表方案之一，高通稱這是首款將5G和AI結(jié)合的XR芯片。

它引入了七路攝像頭支持和定制化計(jì)算機(jī)視覺處理器，實(shí)現(xiàn)了實(shí)時(shí)追蹤用戶頭部、嘴唇和眼球，26點(diǎn)手部骨骼追蹤等功能。

場景理解和3D重建能夠?qū)⑻摂M信息與物理世界更好融合，帶來更為沉浸的交互體驗(yàn)。

但與此同時(shí)，設(shè)備還會(huì)感知用戶所在的外部環(huán)境，可以通過AI識(shí)別出門鈴、孩子哭聲等聲音，來提醒人們處理緊急事件。語音助手也會(huì)實(shí)時(shí)待命，并能在嘈雜環(huán)境中識(shí)別命令，基于5G信號(hào)的能力及時(shí)將消息發(fā)送至用戶終端（移動(dòng)計(jì)算平臺(tái)）上。

近日高通還發(fā)布了最新的第一代驍龍XR2+平臺(tái)，在帶來續(xù)航和散熱表現(xiàn)的大幅提升之外，還引入了全新圖像處理管線，支持并行感知技術(shù)，包括頭部、手勢和手柄追蹤、3D重建以及低時(shí)延視頻透視；該平臺(tái)的高像素密度能夠支持PC級(jí)虛擬景觀，并能夠同時(shí)支持多個(gè)傳感器和攝像頭，為更逼真的虛擬人物賦予細(xì)致入微的面部表情。

Meta已經(jīng)發(fā)布了基于該平臺(tái)的首款產(chǎn)品Meta Quest Pro，與同樣搭載驍龍平臺(tái)的手柄結(jié)合，可通過多個(gè)嵌入式定位攝像頭進(jìn)行自追蹤，并與頭顯之間實(shí)現(xiàn)超低時(shí)延；結(jié)合面部和眼球追蹤時(shí)，能夠在VR中為用戶打造更加自然的虛擬形象。這同樣不失為是一種以升維為核心的融合。

移動(dòng)PC領(lǐng)域，高通也在嘗試用5G和AI來提升移動(dòng)辦公的生產(chǎn)效率、保護(hù)終端隱私。

比如召開遠(yuǎn)程會(huì)議時(shí)，設(shè)備可以準(zhǔn)確感知到主體的面部，即便是在人口嘈雜的街邊咖啡店也可以實(shí)現(xiàn)精準(zhǔn)聚焦，周圍的路人也就不會(huì)出現(xiàn)在會(huì)議上。

在第三代驍龍8cx計(jì)算平臺(tái)上，高通AI引擎可以提供29+ TOPS的加速能力，最高性能提升達(dá)3倍。云端部署、本地運(yùn)行的方式，還能讓輕薄本挑戰(zhàn)高性能任務(wù)，并不占用過多資源。

除了自身應(yīng)用落地外，高通還將這些底層AI能力集成到一個(gè)統(tǒng)一AI軟件棧，實(shí)現(xiàn)移動(dòng)計(jì)算底層“大一統(tǒng)”。最上游還是統(tǒng)一的AI框架和AI引擎Direct。隨后通過不同的開發(fā)者服務(wù)、系統(tǒng)軟件、操作系統(tǒng)，分發(fā)給不同的移動(dòng)計(jì)算平臺(tái)，比如，智能手機(jī)、XR、ACPC（Always Connected PC，即始終連接的PC）等都在其中。

其中高通還為開發(fā)者準(zhǔn)備了一系列工具包，包括AI模型增效工具包、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索、模型分析器等。

這樣一來，它就能實(shí)現(xiàn)不同終端之間的應(yīng)用開發(fā)互聯(lián)互通，如手機(jī)到XR設(shè)備，以實(shí)現(xiàn)不同終端之間的能力打通。

以手機(jī)為始，拓展出XR和PC等新形態(tài)，最后再將其集成給開發(fā)者，構(gòu)建多元的開放生態(tài)，是有點(diǎn)“一生二，二生三，三生萬物”的感覺了。

而如果觀察高通在5G和AI前沿技術(shù)上的探索，會(huì)發(fā)現(xiàn)他們對(duì)移動(dòng)計(jì)算的想象還遠(yuǎn)不止于此。

高通的通信領(lǐng)導(dǎo)力自然不必多說。今年3月，高通發(fā)布了第五代5G基帶及射頻解決方案——“驍龍X70”。它不但是全球唯一支持從600MHz到41GHz全部5G商用頻段的廠商，還全球首個(gè)集成了5G AI處理器，它可以利用AI優(yōu)化Sub-6GHz、毫米波頻段的5G鏈路，提升速度、網(wǎng)絡(luò)覆蓋、移動(dòng)性、鏈路穩(wěn)健性、能效，并降低時(shí)延。

而在AI的探索中，今年4月高通發(fā)表了一篇論文，介紹了一種用于全景分割的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，基于對(duì)實(shí)例、語義關(guān)系的學(xué)習(xí)，它能像素級(jí)標(biāo)記圖像，有效識(shí)別事物特征并進(jìn)行預(yù)測，同時(shí)還能自動(dòng)關(guān)注重要的事物，并在所有基準(zhǔn)測試中都達(dá)到了SOTA。

該研究可應(yīng)用于自動(dòng)駕駛、AR等場景下，目前已被CVPR 2022收錄。

想象一下這項(xiàng)成果走向應(yīng)用，那不就是Free Guy（科幻電影《失控玩家》）走進(jìn)現(xiàn)實(shí)了嗎？

未來移動(dòng)計(jì)算還承載著人機(jī)交互變革

不可否認(rèn)的是，包括高通乃至更多玩家都已經(jīng)認(rèn)識(shí)到以XR、ACPC為代表的新型移動(dòng)計(jì)算平臺(tái)催生出的新興場景，有著前所未有的市場和價(jià)值。

用XR設(shè)備打開的元宇宙，可用于工業(yè)、娛樂、游戲、社交等一切可虛擬化的現(xiàn)實(shí)場景，在被廣泛應(yīng)用之后，未來幾年足以撬動(dòng)超8000億美元市場規(guī)模。而隨著以新型移動(dòng)PC為代表的移動(dòng)計(jì)算平臺(tái)的更加通用，以及與其他計(jì)算平臺(tái)的更加協(xié)同，更多場景與價(jià)值有待發(fā)掘……

如果說過去以手機(jī)延展出的場景，只是數(shù)以百計(jì)的垂直軟件生態(tài)；那么來到新型計(jì)算時(shí)代，則是帶來數(shù)以百計(jì)的橫向產(chǎn)業(yè)拓展，進(jìn)而帶來數(shù)以千計(jì)、數(shù)以萬計(jì)的開發(fā)者生態(tài)與企業(yè)機(jī)遇。

而這背后正是AI這一底層技術(shù)驅(qū)動(dòng)，所引發(fā)的由點(diǎn)到線及面的冪集創(chuàng)新。

包括前面幾期提到的汽車、物聯(lián)網(wǎng)等場景，未來整個(gè)移動(dòng)計(jì)算體系所承載著的，還有更為深遠(yuǎn)的人機(jī)交互變革。

縱覽整個(gè)機(jī)器革命，每一次人機(jī)交互的革新，都給人類生活方式帶來了巨大的改變。

以時(shí)間為軸，如今移動(dòng)計(jì)算平臺(tái)的革新，不正是當(dāng)下正在發(fā)生的人機(jī)交互革命？

以傳統(tǒng)PC為首的人機(jī)交互1.0，半導(dǎo)體技術(shù)飛躍進(jìn)步推動(dòng)個(gè)人計(jì)算機(jī)時(shí)代的到來。而像鼠標(biāo)、鍵盤以及圖形用戶界面的發(fā)明，更是讓計(jì)算機(jī)飛入尋常百姓家，即便那個(gè)家庭沒有受到過專業(yè)訓(xùn)練。

當(dāng)前，以智能手機(jī)為首的人機(jī)交互2.0，移動(dòng)計(jì)算平臺(tái)已經(jīng)開始占據(jù)主導(dǎo)地位。

2007年前后以iPhone和各品牌安卓終端為主的觸屏交互逐漸成為移動(dòng)時(shí)代下的主流。人們用手指替代鍵盤，更多生活相關(guān)的應(yīng)用，只需一部手機(jī)就可以搞定。因?yàn)槠浔銛y性，人人都可以擁有屬于自己的人機(jī)交互設(shè)備。

而在可預(yù)見的未來，在5G和AI技術(shù)驅(qū)動(dòng)下，由XR硬件等新型移動(dòng)計(jì)算平臺(tái)引領(lǐng)的人機(jī)交互3.0，更讓隨時(shí)隨地交互成為可能，就像那個(gè)AR隱形眼鏡，只需一睜開眼就能接收信息，動(dòng)動(dòng)嘴就能處理信息，一旦規(guī)模化普及開來，就是人機(jī)交互新時(shí)代的開始，如今只剩下最后的100米，要靠底層能力驅(qū)動(dòng)。

在人機(jī)交互3.0時(shí)代，一些舊有的移動(dòng)計(jì)算形態(tài)也在AI和5G連接等驅(qū)動(dòng)下，帶來新的價(jià)值創(chuàng)新，如更智能、便捷的新型移動(dòng)PC體驗(yàn)。

但交互方式等體驗(yàn)上的改變僅僅是表象，技術(shù)的普及普惠，才是移動(dòng)計(jì)算革新帶來的根本上的深遠(yuǎn)影響。

從過去每個(gè)家庭擁有一臺(tái)PC，到每個(gè)人都擁有一臺(tái)智能手機(jī)，人機(jī)交互發(fā)生了巨大的變革；而在不遠(yuǎn)的未來，每個(gè)人將都可以隨時(shí)隨地開啟各種全新形式的人機(jī)交互體驗(yàn)。當(dāng)AI、5G等技術(shù)更加深入影響到我們每個(gè)個(gè)體當(dāng)中，我們也可以如科幻電影主角那般，以更為多元的方式感知世界。

這從某種程度上也印證了，任何顛覆性的改變，不僅僅只有像高通這種位于AI、5G等基礎(chǔ)技術(shù)頂端的賦能型企業(yè)能夠感受到。其實(shí)，我們每個(gè)人都身處浪潮之中，能夠親身感受和丈量新的時(shí)代機(jī)遇，成為冪集創(chuàng)新的一份子。

論文鏈接：https://arxiv.org/abs/2204.05370