作者:路多,物聯(lián)網(wǎng)智庫 原創(chuàng)
2月初,Apple Vision Pro 頭顯設(shè)備終于開始銷售。產(chǎn)品一經(jīng)上市,就引來世界各地的科技愛好者的關(guān)注,大家紛紛慷慨解囊,爭相感受代表空間計算科技的硬件設(shè)備。這張渲染圖也終于走進了人們的生活當中,成為現(xiàn)實。
ifixit更是快速上線,祭出了全球VisionPro首個拆機視頻,從鏡頭到顯示屏幕,從攝像頭陣列到風扇、電機,3500美元的東西沒放過一個能拆的地方,甚至還做了X射線、CT掃描與顯微鏡拍攝。
Apple頭顯賣得火熱,競爭對手Meta的股價居然單日上漲了20%,創(chuàng)下美股的歷史紀錄。當然,主要原因還是因為Meta的四季度財務(wù)表現(xiàn),Quest VR頭顯也著實為Meta的業(yè)務(wù)做出了貢獻。
人們開始關(guān)注Vision Pro背后的技術(shù)——空間計算。
根據(jù)美國參數(shù)技術(shù)公司(PTC)的定義,空間計算是涉及機器、人、物體及其發(fā)生環(huán)境的活動的數(shù)字化,以實現(xiàn)和優(yōu)化操作和交互。
這項技術(shù)有潛力以數(shù)字方式改變工業(yè)企業(yè)優(yōu)化工廠、工作場所和倉庫一線工人運營的方式,并為企業(yè)行動和交互提供數(shù)字增強的維度環(huán)境。
同時拋出王炸的還有OpenAI,一個文生視頻的模型Sora,讓整個圈子高呼“現(xiàn)實不存在了”,甚至還有投資媒體表示“所有VC的會上都在談Sora”。
因為人們發(fā)現(xiàn),Sora模型基于大規(guī)模的視頻生成,與空間計算有天然的關(guān)聯(lián),未來二者的結(jié)合,可能開啟一種對世界物理世界更加深入的模擬和理解的新方法。
那么,空間計算這一先進技術(shù)的商業(yè)模式又將如何運轉(zhuǎn),將和AIoT各個領(lǐng)域碰撞出怎樣的火花,空間計算相關(guān)的產(chǎn)業(yè)鏈與技術(shù)如何,本文將一一進行介紹。
空間計算,算盤的算
為什么“VC都在看Sora”?為什么連紅衣大炮周鴻祎也對此表示震驚,甚至表示:Sora對物理世界的模擬,至少將會對機器人具身智能和自動駕駛帶來巨大的影響。
如果此前給AI喂大量的內(nèi)容,AIGC突然開竅(涌現(xiàn))是讀萬卷書的結(jié)果,那么Sora給人帶來的期待就是,將AI與現(xiàn)實進行深度結(jié)合,將帶來“行萬里路”、“有閱歷”的真實體驗。而這也必將為相關(guān)產(chǎn)業(yè)帶來加速。
根據(jù)研究機構(gòu)market.us數(shù)據(jù)顯示,預(yù)計全球空間計算市場規(guī)模將從2023年的1246億美元增長到2032年的6202億美元,預(yù)測期間的復(fù)合年增長率為18.2%。
接下來,我們以蘋果和Meta為例,分析他們各自立足頭顯和空間計算的商業(yè)模式。
蘋果
對蘋果而言,Vision Pro只是產(chǎn)品的一個接口,他們真正想做的是讓用戶覺得“我需要這個東西”,正如喬幫主此前的理念一樣——用戶并不知道自己想要什么,我給你最好的就行了。
一方面,蘋果希望通過其自研芯片和系統(tǒng)的性能優(yōu)勢,給用戶提供了“想要”的種子,一經(jīng)發(fā)售,就引來全球哄搶,有數(shù)據(jù)統(tǒng)計,Vision Pro已經(jīng)銷售20萬臺,收入近7億美元,更不用提正式發(fā)售之后的數(shù)量,盡管后期有報道稱,一些用戶表示佩戴不適將會退貨,對于龐大的銷售額來說不足構(gòu)成影響。
另一方面,Apple并沒有走社交模式,而是按照硬件+商店的方式進行空間計算產(chǎn)品的布局。
Meta
Meta的想法則是典型的互聯(lián)網(wǎng)商業(yè)模式。通過低成本+社交屬性吸引大量用戶進來,而后提升用戶黏性。同時提出了企業(yè)版本的訂閱模式,兼容多種企業(yè)應(yīng)用程序,可選個人模式和共享模式。
在Meta Connect 2023大會上,Meta開發(fā)者關(guān)系主管Melissa Brown在臺上宣布,Quest商店的游戲和應(yīng)用程序已經(jīng)創(chuàng)造了超過20億美元的收入。
當然,如果涉及到錢,Meta也樂于學(xué)習蘋果的模式。Meta自有的元宇宙平臺Horizon Worlds上,提出測試一系列的新工具,讓部分創(chuàng)作者可以在該平臺出售數(shù)字資產(chǎn)以獲利。對web端、移動端用戶從交易中抽取25%的傭金,對使用OculusVR頭顯的用戶則抽取高達47.5%的傭金,其中包括30%來自Meta Quest Store的硬件平臺費,以及Horizon Worlds收取的17.5%。此前痛斥蘋果稅的Meta也只有滿口的“真香”。
不過,空間計算技術(shù)也面臨一些新技術(shù)普遍面臨的挑戰(zhàn)——隱私問題。云計算、區(qū)塊鏈、人工智能/機器學(xué)習和XR支持下的空間計算,隱私是擴展現(xiàn)實市場的一個重大挑戰(zhàn),因為VR和AR等XR技術(shù)會收集用戶的大量個人數(shù)據(jù)。這些數(shù)據(jù)包括敏感信息,如用戶移動,生物特征數(shù)據(jù),甚至個人喜好。XR市場被盯上的原因之一,就是用戶的數(shù)據(jù)可以在不知情或不同意的情況下被收集。
空間計算作為智能產(chǎn)業(yè)的代表,融合了領(lǐng)先的軟硬件科技,覆蓋通信、感知、測繪、計算等等,可以說是自動駕駛行業(yè)之外另一個將先進技術(shù)集大成者的領(lǐng)域。接下來為大家介紹空間計算在AIoT等領(lǐng)域內(nèi)的兩大應(yīng)用。
空間計算應(yīng)用
空間計算與工業(yè)物聯(lián)網(wǎng)
有機構(gòu)預(yù)測,到2030年,空間計算應(yīng)用程序,依托精確定位和地圖的三維建模,能夠有效改善運營和最大限度地提高人,機器,物體和工作環(huán)境之間的交互將變得無處不在。
在過去的十年中,制造商通過工業(yè)物聯(lián)網(wǎng)計劃達到了新的效率水平。這些技術(shù)已經(jīng)在創(chuàng)建和利用大量數(shù)據(jù)的同時帶來降本、提質(zhì)增效。缺乏重要的空間信息可能是阻礙IIoT發(fā)展的一個問題。
從本質(zhì)上講,傳統(tǒng)的lloT對周圍的環(huán)境是盲目的。在選擇安裝什么傳感器和連接什么機器時,物聯(lián)網(wǎng)的采用者定義了自己數(shù)字感知的邊界。這些邊界可能導(dǎo)致操作的數(shù)字表示和其在三維環(huán)境中的物理執(zhí)行之間存在巨大的知識差距。
通過采用空間計算等新技術(shù),則可以彌補這些問題,真正實現(xiàn)數(shù)字化和智能化。
具體來說,空間計算可以對整條生產(chǎn)線進行全程數(shù)字監(jiān)控。它不僅能實時獲取各項生產(chǎn)數(shù)據(jù),還可以進行數(shù)據(jù)交叉比對,識別瓶頸,為管理人員提供決策參考。同時,它也可以通過影像識別和評估每名工人的工作動作,檢查動作是否合理高效,從而給予個性化指導(dǎo),幫助優(yōu)化工作流程和提高安全性能。將人員行為信息融入整體生產(chǎn)流程,更有利于培訓(xùn)和提升技能。
此外,空間計算使得人機協(xié)作能夠?qū)崿F(xiàn)個性化。它可以根據(jù)人員位置動態(tài)調(diào)整機器運行參數(shù),實現(xiàn)更高效的協(xié)同工作。更重要的是,它還可以不斷優(yōu)化整個生產(chǎn)環(huán)境布局,提升工作效率。
隨著空間計算技術(shù)逐漸成熟。它提供的數(shù)字化和智能化解決方案必將給傳統(tǒng)制造業(yè)帶來深遠影響,助推智能制造革新和產(chǎn)業(yè)升級。通過整合人機環(huán)境數(shù)據(jù),空間計算可能成為實現(xiàn)智能制造的有力技術(shù)手段。
空間計算與數(shù)字孿生
數(shù)字孿生是采用信息技術(shù)對物理實體的進行數(shù)字化定義和建模的過程,其核心理念在于通過對“數(shù)字孿生體”的仿真、控制、預(yù)測,對物理實體實現(xiàn)反哺優(yōu)化,因此數(shù)字孿生有時也會被稱為“工業(yè)元宇宙”。因此,空間計算技術(shù)與數(shù)字孿生技術(shù)有著天然的聯(lián)系,他們甚至就像兄弟一樣,你中有我,我中有你。
在數(shù)字孿生的應(yīng)用當中,智慧城市是其中的一個最典型、最容易收益的場景。而通過先進的空間計算技術(shù),能夠為智慧城市帶來更多精細化、
中國工程院院士、國際歐亞科學(xué)院院士、自然資源部國家基礎(chǔ)地理信息中心教授陳軍在數(shù)字孿生賦能空間治理”年度學(xué)術(shù)研討會上提到,現(xiàn)在數(shù)字化治理已經(jīng)被賦予了新的內(nèi)容,包括:時空信息的應(yīng)用、統(tǒng)籌數(shù)字化發(fā)展以及提升智慧化應(yīng)用水平等多方面。工業(yè)區(qū)、自然保護區(qū)等區(qū)域,數(shù)字孿生技術(shù)也逐漸滲透加深。城市交通、水務(wù)、文體活動等各種領(lǐng)域,都是數(shù)字孿生和空間計算的用武之地。
不論是空間計算也好,數(shù)字孿生也罷,都是能夠為智慧城市的建設(shè)提供提質(zhì)、降本、增效重要技術(shù),隨著政策和軟硬件能力的不斷發(fā)展,空間計算&數(shù)字孿生技術(shù)還會為城市發(fā)展帶來更多的驚喜。
此外,《數(shù)字孿生城市白皮書》為數(shù)字孿生城市發(fā)展提出了“預(yù)防針”:1.防止建設(shè)方“大干快上”盲目追求新技術(shù);2.控制數(shù)據(jù)源集中匯集和處理帶來的安全風險;3.建設(shè)具有當?shù)靥厣?、適應(yīng)地方環(huán)境的技術(shù)賦能;4.建立健全數(shù)據(jù)融合與技術(shù)集成相關(guān)標準;5.提升軟硬件自主可控水平;6.提升人才儲備。
空間計算技術(shù)要素
作為元宇宙和數(shù)字孿生的重要技術(shù),空間計算主要有以下幾類重要的技術(shù)要素:
1.三維重建
三維重建技術(shù)是指利用二維投影或影像恢復(fù)物體三維訊息(形狀等)的數(shù)學(xué)過程和計算機技術(shù)。
該技術(shù)包含主動方法和被動方法兩大類。主動方法是給定深度圖,通過數(shù)值近似方法重建3D輪廓并基于模型構(gòu)建場景中的對象,例如移動光源、彩色可見光、飛行時間激光到微波或3D 超聲波。這些方法使用測距儀以機械方式或輻射測量方式主動干擾重建對象,以便獲取足夠信息。而被動方法則不干擾重建對象,僅僅采用傳感器來測量物體表面反射或發(fā)射的輻射亮度,通過圖像理解來推斷其 3D 結(jié)構(gòu),往往只需要相機等光學(xué)設(shè)備。
2.空間感知
空間感知是指獲取人、物在空間中狀態(tài)的能力,包括位置、方向、速度等,且可以建立周圍環(huán)境的幾何和語義模型,是AR導(dǎo)航、AR多人協(xié)作及多種空間應(yīng)用的基礎(chǔ)。通常來說,空間感知是通過一系列傳感器之間的數(shù)據(jù)校準進行確認的。
這項技術(shù)在自動駕駛當中應(yīng)用廣泛,例如攝像頭、毫米波雷達、激光雷達等等,此外,空間感知也包括GPS、光通信、藍牙等不同的技術(shù)路線。
3.用戶感知
在空間計算中,用戶感知分為兩個重要組成部分。一是對用戶表達的信息處理,即設(shè)備或系統(tǒng)對用戶形象、狀態(tài)、行為表達等信息的捕捉、分析與理解,二是此基礎(chǔ)上進行的認知引導(dǎo)及交互驅(qū)動。
用戶感知往往聚焦在對于人類面部、姿態(tài)以及手勢的感知,通過各類信息采集設(shè)備理解用戶行為并幫助用戶進行相應(yīng)的交互操作。
4.空間數(shù)據(jù)管理
空間數(shù)據(jù)(Spatial Data)是指用來表示空間實體的位置、形狀、大小及其分布特征諸多方面信息的數(shù)據(jù),用來描述來自現(xiàn)實世界的目標??臻g數(shù)據(jù)管理技術(shù)主要包括數(shù)據(jù)存儲管理技術(shù)、數(shù)據(jù)高效檢索技術(shù)、數(shù)據(jù)可視化支撐技術(shù)及數(shù)據(jù)安全技術(shù)四方面??臻g數(shù)據(jù)管理技術(shù)是實現(xiàn)數(shù)據(jù)資產(chǎn)歸口和高效空間計算的重要保障,海量多模空間數(shù)據(jù)一庫統(tǒng)管成為熱點方向。
5.通信與云網(wǎng)
隨著5G這類低延遲,高帶寬通信模式的發(fā)展,為越來越多的算力基礎(chǔ)設(shè)施提供了通信保障。通過云化空間計算技術(shù)、算力網(wǎng)絡(luò)調(diào)度、算力分時復(fù)用、端邊異步渲染技術(shù)等技術(shù),能夠?qū)臻g計算的云網(wǎng)資源調(diào)用提供穩(wěn)定、彈性、安全的底層支持。此外,5G-A的發(fā)展,帶來的上行超寬帶、寬帶實時交互、通信感知融合的場景,也為空間計算帶來了更加穩(wěn)健的支撐。
空間計算產(chǎn)業(yè)鏈
對于空間計算產(chǎn)品來說,產(chǎn)業(yè)鏈涉及主要的硬件制造商、服務(wù)提供商等,從硬件來看,主要分為芯片、顯示、光學(xué)、結(jié)構(gòu)件、電池幾大部分,整機成本為1509美元,服務(wù)主要來自生產(chǎn)和裝配。其供應(yīng)商列表如圖所示,以下選取產(chǎn)業(yè)鏈當中較為重要部分具體介紹:
芯片
Vision Pro
蘋果Vision Pro搭載的是M2+R1芯片。
據(jù)了解,M2芯片為倒裝芯片封裝,臺積電加工晶圓、Amkor 的美國封裝工廠完成封測;R1芯片是一個專用協(xié)處理器,用于處理從各種傳感器獲得的數(shù)據(jù)。處理這些傳感器數(shù)據(jù)對于Apple Vision Pro向用戶渲染和提供混合現(xiàn)實環(huán)境至關(guān)重要。R1芯片的具體技術(shù)規(guī)格目前尚未向公眾公布?,F(xiàn)有信息顯示,該硬件基本上采用臺積電現(xiàn)有的5納米工藝技術(shù)制造。
其他設(shè)備
Meta quest系列、Pico 4 Pro、HTC XR Elite均采用高通驍龍為XR設(shè)備設(shè)計的專用芯片。
今年1月,高通推出了第二代驍龍XR2+平臺,用于MR和VR頭顯產(chǎn)品。據(jù)報道,這款芯片支持最高90FPS單眼4.3K顯示分辨率;支持超12路并行攝像頭,延遲12ms。包括三星和谷歌在內(nèi)的廠商都參與了這款芯片在XR優(yōu)化上的工作。
顯示
關(guān)于頭顯設(shè)備的顯示技術(shù),目前有較多的選擇,而Vision Pro(包括iWatch)選擇的Micro-OLED,正以其獨特的優(yōu)勢占領(lǐng)XR領(lǐng)域。Micro OLED之所以在OLED前面有個MINI,就是它可以在維持相近分辨率水平的基礎(chǔ)上顯示面積更小的OLED,這一特性使它擁有了更高的像素密度(PPI),并且具有讓顯示器更輕薄短小、耗電量更少、自發(fā)光、發(fā)光效率高等優(yōu)點,特別適用于AR、VR等顯示穿戴式設(shè)備。
此外,F(xiàn)ast-LCD、Mini-LED、AMOLED、Micro-LED等也占有相應(yīng)的份額。供應(yīng)商來自JDI、Sharp、京東方、LG、三星、天馬、Sony、JBD等等…..
光學(xué)
主流的頭顯機型都采用Pancake方案。因其在成像質(zhì)量和減薄效果好而受到廣泛關(guān)注和商用,不過Pancake 模組生產(chǎn)難度大、工藝要求高,光學(xué)膜在成像中重要性較高,故生產(chǎn)技術(shù)的難點集中于膜材料、貼膜工藝和組裝精度。
除此之外,依然還有一些更為前沿的光學(xué)技術(shù),包括多疊折返式自由曲面、異構(gòu)微透鏡陣列、液晶偏振全息、超表面/超透鏡等。只不過這些技術(shù)距離商用還很遙遠,這些前沿技術(shù)為 VR 設(shè)備的進化升級提供了更多可能。
裝配
盡管我們對蘋果在包裝盒上面標注“某某組裝”較為詬病,立訊精密還是拿下來Vision Pro的組裝大單。在包裝盒上,現(xiàn)在顯示的是Made In China,代表其組裝生產(chǎn)都在中國。
系統(tǒng)
對于可穿戴設(shè)備來說,輕量適配的操作系統(tǒng)能夠讓設(shè)備體驗更加流暢,因此企業(yè)都會針對設(shè)備進行適配和優(yōu)化:
蘋果 Vision Pro
VisionOS主要基于iOS的核心架構(gòu)開發(fā),并增加了與延展實境相關(guān)的框架以實現(xiàn)注視點渲染和實時互動。它采用3D使用者界面,通過手指追蹤、眼動追蹤和語音識別由使用者進行操控:例如,使用者可以輕觸拇指和食指的指尖來進行選擇操作,或輕拂手指使屏幕滾動,或注視檢索框并直接開口講話來輸入文字。
Meta Quest3
Quest3 搭載的是基于Android修改的Meta Quest Platform。用于為 Meta Platforms發(fā)布的 Meta Quest 系列設(shè)備開發(fā)應(yīng)用軟件。該平臺最初是為Oculus Rift和Oculus Rift S上的嵌入式操作系統(tǒng)開發(fā)的,自 2018 年Oculus Go發(fā)布以來,該平臺在Android 操作系統(tǒng)上運行。當前版本為v62,同樣支持類似Vision Pro的空間視頻,支持單指捏合手勢來打開/隱藏通用菜單或長按手勢來使顯示屏居中。
Pico
Pico 的操作系統(tǒng)PICO OS同樣是基于Android的,pico方面針對ui和系統(tǒng)進行了整體優(yōu)化,以提供干凈流暢的體驗。不知道是否受到了字節(jié)人員變動的影響,Pico系列設(shè)備系統(tǒng)的最新版本為2023年8月發(fā)布的5.8.2。
空間計算小史
空間計算這個詞來自2003年,麻省理工學(xué)院媒體實驗室西蒙·格林沃爾德 (Simon Greenwold) 在他的論文中創(chuàng)造了“空間計算”一詞,將其定義為:“人類與機器的交互,其中機器保留并操縱真實物體和空間的參照物?!?/p>
筆者本以為,空間計算彼時只是一個“將來完成時”的東西時,卻被狠狠打臉。
整理資料的時候想起了《蘭迪·波許教授的最后一課》(2007年),巧合的是,美國卡內(nèi)基梅隆大學(xué)的計算機科學(xué)、人機交互及設(shè)計教授蘭迪·波許,他的研究的方向正是虛擬現(xiàn)實,甚至在他1991年發(fā)布的《Virtual Reality on Five Dollars a Day(享受每天不到5美元的虛擬現(xiàn)實)》論文當中,第一句是這樣寫的:
利用頭顯和手套輸入的虛擬現(xiàn)實系統(tǒng)越來越受歡迎,只是成本高了點……
從虛擬現(xiàn)實的角度,讓空間計算“認祖歸宗”,空間計算其實也有三十年的發(fā)展歷史。
如果再往前數(shù),林克訓(xùn)練機某種程度上也算是虛擬現(xiàn)實技術(shù)的落地,并且成功實現(xiàn)了商業(yè)化。
1903年出生的林克發(fā)明了飛行模擬器,他生產(chǎn)發(fā)明的林克訓(xùn)練機,通過“訓(xùn)練用飛機” 提供俯仰、滾轉(zhuǎn)與偏航等模擬飛行動作,幫助飛行員快速領(lǐng)會飛行駕駛技能。二戰(zhàn)前夕,美軍直接從他那里訂購了六臺林克訓(xùn)練機用于飛行員訓(xùn)練,訓(xùn)練機的單價,非常巧合地,就是一臺VisionPro的價格——3500美元。
而更早的虛擬現(xiàn)實和空間計算,就是夢境了,生物記憶的本能讓你在夢境當中幾乎不會有現(xiàn)實差異的感覺,簡直是對現(xiàn)實世界的完美模擬,連芯片都是自適應(yīng)BPU(Brain Processing Unit)算力。所謂“莊生曉夢迷蝴蝶”這種將自己想象成昆蟲的場景,或許還是更高級的場景體驗。
過去幾年,人工智能 (AI)、攝像頭傳感器、計算機視覺、物聯(lián)網(wǎng) (IoT) 和增強現(xiàn)實 (AR) 等技術(shù)取得了巨大進步,使空間計算成為可能。通過這些改進,空間計算不僅成為可能,而且為改進我們的工作方式、分析數(shù)據(jù)的方式以及優(yōu)化流程的方式提供了重要的機會。《黑客帝國》(1999)的科幻或許有一天能照進現(xiàn)實,而馬斯克應(yīng)該已經(jīng)在著手做了。
盡管元宇宙的泡沫已經(jīng)褪去,但Vision Pro,包括Meta的Quest3、字節(jié)的Pico等產(chǎn)品依然給大家接觸空間計算提供了不同的選擇。未來也會誕生出超越頭顯設(shè)備基于不同類型硬件的技術(shù)體驗??臻g計算將在包括通信和共存、制造、游戲、人力資源、媒體、體育和娛樂以及數(shù)據(jù)可視化等領(lǐng)域快速發(fā)展,在醫(yī)療、教育培訓(xùn)等領(lǐng)域也將產(chǎn)生重要的影響。
空間計算的未來
作為元宇宙的重要技術(shù),甚至是未來工業(yè)的重要技術(shù),空間計算展示出了極為優(yōu)異的潛力。無論是通過數(shù)字孿生賦能工業(yè)物聯(lián)網(wǎng)、智慧城市或教育、醫(yī)療等,空間計算已經(jīng)開始為融入生活的方方面面,其產(chǎn)品形式也很快會像手機和PC一樣,既能作為生產(chǎn)力工具,也是娛樂與生活離不開的好物。
參考內(nèi)容
Spatial Computing,PTC
《5G空間計算白皮書》,中國電信
《數(shù)字孿生城市白皮書》,信通院
空間計算行業(yè)深度:相關(guān)設(shè)備、關(guān)鍵要素、產(chǎn)業(yè)鏈及相關(guān)公司深度梳理
Virtual Reality on Five Dollars a Day
MR:Vision Pro上市前夜,空間計算開啟iphone時刻?藍海市場開啟,設(shè)備投資先行,天風證券
What Leaders Need to Know About Spatial Computing,hbr.org
Spatial Computing Market,market.us