剛聽(tīng)說(shuō)Ambarella宣布收購(gòu)Oculii時(shí),確實(shí)有些讓人意外。
Ambarella通過(guò)對(duì)Oculii的收購(gòu)得到了一套雷達(dá)感知算法。如果Ambarella成功地在單個(gè)SoC中進(jìn)行視覺(jué)和雷達(dá)的融合,它可能會(huì)提高視覺(jué)芯片的性能標(biāo)準(zhǔn)和行業(yè)預(yù)期。這反過(guò)來(lái)又提出了一個(gè)問(wèn)題,即傳感器融合應(yīng)該在哪里做,以及誰(shuí)會(huì)最終控制傳感器融合堆棧。
Ambarella是視頻處理技術(shù)領(lǐng)域的頭部公司,其SoC主要部署在邊緣。它的芯片用于無(wú)人機(jī)、IoT設(shè)備到工業(yè)設(shè)備、機(jī)器人和ADAS等各種應(yīng)用。?但顯然他們的野心還不止于此,Ambarella表示:“我們不僅僅是視頻公司或計(jì)算機(jī)視覺(jué)公司,我們是一家傳感器融合公司。”
不錯(cuò)的選擇
在宣布收購(gòu)Oculii同時(shí),Ambarella還透露計(jì)劃在明年1月推出一款5nm制程的SoC,用于汽車架構(gòu)中的Zonal處理器。
貌似Zonal的概念目前在行業(yè)真的很流行,許多SoC公司都在談?wù)揨onal架構(gòu)。Ambarella的視覺(jué)加雷達(dá)的Zonal方式顯然是個(gè)不錯(cuò)的選擇,可能會(huì)推出一款低成本的ADAS平臺(tái)。
Ambarella此舉其實(shí)想想并不奇怪,近些年Ambarella一直在ADAS領(lǐng)域發(fā)力,通過(guò)收購(gòu)Oculii或許也可以來(lái)追趕Nvidia、Mobileye、TI、Renesas和Xilinx等公司了。
Ambarella需要的是雷達(dá)處理能力當(dāng)然,將視覺(jué)和雷達(dá)融合到一個(gè)平臺(tái)上并不新鮮,車廠和Tier1這樣操作已經(jīng)很久了,許多處理器廠商也同時(shí)支持視覺(jué)和雷達(dá)。
也許在不同程度上,所有的SoC供應(yīng)商都希望提供部分或全部的軟件堆棧。比如強(qiáng)大的Nvidia,再比如高通最近收購(gòu)Arriver。而車廠和Tier1也希望自己來(lái)開(kāi)發(fā)軟件堆棧(或者部分)。
不過(guò),Ambarella-Oculii的交易是值得關(guān)注的,因?yàn)锳mbarella不僅僅是“支持雷達(dá)”,且可能還會(huì)深入到雷達(dá)處理方面,其他SoC供應(yīng)商還沒(méi)有這樣做過(guò)。
Ambarella表示,他們考慮了許多潛在的雷達(dá)合作伙伴,因?yàn)橐庾R(shí)到雷達(dá)與計(jì)算機(jī)視覺(jué)處理相結(jié)合的戰(zhàn)略重要性。該公司認(rèn)為了解雷達(dá)算法對(duì)開(kāi)發(fā)他們的算法優(yōu)化架構(gòu)至關(guān)重要。
Ambarella與2015年收購(gòu)的基于AI的計(jì)算機(jī)視覺(jué)公司VisLab一起,評(píng)估了幾家先進(jìn)雷達(dá)解決方案的公司。結(jié)果他們認(rèn)為Oculii的性能明顯優(yōu)于其他公司。此外,Oculii在功耗和成本方面也具有優(yōu)勢(shì)。
在Ambarella考慮的解決方案中,也有像Uhnder和Arbe等公司的分辨率成像雷達(dá),它們配備了更多的天線和特別的處理架構(gòu)。但Ambarella更喜歡Oculii的解決方案的簡(jiǎn)單性,它使用標(biāo)準(zhǔn)的量產(chǎn)射頻芯片。
軟件定義的傳感器
Oculii代表了一波新的傳感器初創(chuàng)公司,他們正在將重點(diǎn)從硬件轉(zhuǎn)向軟件。當(dāng)我們談?wù)?a class="article-link" target="_blank" href="/tag/%E8%BD%AF%E4%BB%B6%E5%AE%9A%E4%B9%89%E6%B1%BD%E8%BD%A6/">軟件定義汽車的時(shí)候,類似的趨勢(shì)也在傳感器領(lǐng)域出現(xiàn)了。
雷達(dá)的分辨率傳統(tǒng)上是由天線模式的大小決定的,并由物理設(shè)備決定。高分辨率成像雷達(dá)最終往往使用數(shù)百個(gè)天線,當(dāng)然這樣也增加了雷達(dá)芯片的成本、尺寸和功率。
Oculii表示他們是解決了天線與分辨率之間的難題。Oculii的雷達(dá)不只是一遍一遍地發(fā)送相同的信號(hào),而是使用一種能從環(huán)境中學(xué)習(xí)的動(dòng)態(tài)波形,并在不同時(shí)間能適應(yīng)和嵌入不同的信息。這個(gè)過(guò)程讓Oculii幫助其合作伙伴重新設(shè)計(jì)他們的天線陣列,使其變得非常稀疏。這種稀疏使他們能夠物理地?cái)U(kuò)大孔徑,然后使用軟件來(lái)彌補(bǔ)缺失的信息,并虛擬地?cái)U(kuò)大陣列。
可擴(kuò)展性是Oculii給Ambarella帶來(lái)的另一個(gè)關(guān)鍵因素。
Oculii表示,他們的軟件可用于任何硬件上,即任何數(shù)量的物理硬件天線。而且根據(jù)計(jì)算能力的多少,可以將有效分辨率或虛擬天線的數(shù)量乘以很大的倍數(shù)。
簡(jiǎn)而言之,Oculii的軟件既可用于低端的角雷達(dá),也可用于下一代雷達(dá)設(shè)計(jì),可與高性能的LiDAR相媲美。
Oculii表示,目前正在與10-15家頂級(jí)企業(yè)合作,并拿到了幾家車廠的項(xiàng)目訂單。這都是因?yàn)樗麄兊能浖苁宫F(xiàn)有的、經(jīng)過(guò)驗(yàn)證的硬件表現(xiàn)得更好。
Ambarella表示,即使在收購(gòu)之后,Oculii目前的商業(yè)模式(銷售硬件或?qū)⒓夹g(shù)授權(quán)給Tier1)也將繼續(xù)下去。同時(shí),Ambarella會(huì)很快把Oculii的軟件放到他們的CVflow系列SoC上。在Ambarella看來(lái),收購(gòu)Oculii的收益將在Ambarella推出下一代處理器時(shí)顯現(xiàn)出來(lái),將會(huì)有很明顯的提升。
視覺(jué)和雷達(dá)
視覺(jué)與雷達(dá)的融合可能是一個(gè)約定俗成的方式,但其實(shí)在汽車行業(yè)一直是個(gè)挑戰(zhàn)。
原則上,雷達(dá)的優(yōu)勢(shì)很明顯,它可以測(cè)量速度和距離。經(jīng)典的雷達(dá)在移動(dòng)物體和追蹤上表現(xiàn)較好。
但傳統(tǒng)雷達(dá)的分辨率缺陷給自動(dòng)駕駛車輛帶來(lái)了安全問(wèn)題。傳統(tǒng)的雷達(dá)可能會(huì)在經(jīng)過(guò)標(biāo)識(shí)牌或橋梁時(shí)觸發(fā)誤報(bào),因?yàn)樗恢来_切位置,也不知道看到了什么。雷達(dá)所知道的這是前方有物體,且認(rèn)為此時(shí)車輛需要做出反應(yīng)。ACC的幽靈剎車就是由這樣的誤報(bào)引起的。
因此,車廠和Tier1一直在降低他們的誤報(bào)閾值。但這最終又會(huì)影響到整體安全,因?yàn)樗矞p少了真正的陽(yáng)性警報(bào)的數(shù)量。
視覺(jué)與雷達(dá)的分辨率不一致,也影響了基于AI的訓(xùn)練。
由于雷達(dá)在惡劣的天氣條件下工作,并能同時(shí)測(cè)量一個(gè)物體的距離和徑向速度,因此雷達(dá)應(yīng)該在傳感器融合中提供重要的數(shù)據(jù)。但大多數(shù)經(jīng)典的深度學(xué)習(xí)模型傾向于避開(kāi)雷達(dá),更喜歡使用激光雷達(dá)或攝像頭的數(shù)據(jù)表示。
事實(shí)上,一直以來(lái)視覺(jué)數(shù)據(jù)集既被用來(lái)訓(xùn)練視覺(jué)和也用來(lái)訓(xùn)練雷達(dá)系統(tǒng)。低分辨率的雷達(dá)無(wú)法通過(guò)其輸出來(lái)識(shí)別物體,必須查看與雷達(dá)圖像相關(guān)的攝像頭圖像,才能解釋雷達(dá)看到了什么。
視覺(jué)和雷達(dá)數(shù)據(jù)的傳感器融合已經(jīng)用于物體分類,但到目前為止,還是比較有限的。但當(dāng)視覺(jué)圖像和雷達(dá)圖像都有足夠的分辨率,融合的優(yōu)勢(shì)將變得非常明顯。
簡(jiǎn)而言之,高分辨率的雷達(dá)是雷達(dá)和視覺(jué)融合系統(tǒng)中的關(guān)鍵。
所有人都在關(guān)注著Oculii的軟件是否能夠像該公司聲稱的那樣,使用目前既有的雷達(dá)芯片就能實(shí)現(xiàn)更高分辨率的雷達(dá)感知。
傳感器融合堆棧的歸屬
對(duì)傳感器融合堆棧的控制仍然是一個(gè)開(kāi)放的問(wèn)題,也可能是個(gè)敏感問(wèn)題。部分車廠和Tier1希望更多參與,也有公司要求交鑰匙解決方案。?所以有很大的空間,挑戰(zhàn)是我們?nèi)绾卧u(píng)估這些不同的方法。
到目前為止,像寶馬這樣的大型車廠希望擁有這一塊,而較小的車廠則需要從外部獲得這塊資源。隨著市場(chǎng)的分化,預(yù)計(jì)會(huì)出現(xiàn)更多外部的融合解決方案。以Baselabs為例,它現(xiàn)在與Vector合作,他們將傳感器融合作為一個(gè)可授權(quán)和可配置的軟件組件。
同時(shí),傳感器融合并不局限于汽車應(yīng)用。Ambarella認(rèn)為,他們的SoC不會(huì)只用于汽車或安防領(lǐng)域。一些新的領(lǐng)域,比如機(jī)器人,都會(huì)有視覺(jué)加雷達(dá)感知。 我們不知道將攝像頭和雷達(dá)做到單個(gè)SoC中能在多大程度上增強(qiáng)前視攝像頭的應(yīng)用。這些增強(qiáng)的前視攝像頭做成獨(dú)立的模塊,還是將處理做到域控制器里也是一個(gè)問(wèn)題。畢竟在車載環(huán)境中,考慮到后視鏡的安裝位置,對(duì)功耗要求是比較嚴(yán)苛的。
現(xiàn)在就下結(jié)論說(shuō)Ambarella在ADAS或AV的傳感器融合領(lǐng)域已經(jīng)確保了優(yōu)勢(shì)還為時(shí)過(guò)早,這些領(lǐng)域是處理器市場(chǎng)上的重量級(jí)公司都在覬覦的。但視覺(jué)加雷達(dá)的SoC可能會(huì)幫助Ambarella在嵌入式視覺(jué)市場(chǎng)上樹(shù)立一個(gè)新標(biāo)準(zhǔn)。