Oculi的“軟件定義”視覺傳感器

在創(chuàng)立Oculi之前，Charbel Rizk是一名自動系統(tǒng)設(shè)計(jì)師，他對市場上的計(jì)算機(jī)視覺系統(tǒng)感到失望。傳統(tǒng)的傳感器通常是為人類使用而設(shè)計(jì)的，會產(chǎn)生大量數(shù)據(jù)，導(dǎo)致系統(tǒng)需要更多帶寬，延遲也會增加。Rizk能否說服其他系統(tǒng)設(shè)計(jì)者接受Oculi最初為實(shí)現(xiàn)自己的愿望清單而開發(fā)的新視覺架構(gòu)呢？?

Baltimore的一家初創(chuàng)公司Oculi是約翰-霍普金斯大學(xué)研究團(tuán)隊(duì)的分支，該公司開發(fā)出了一種視覺技術(shù)架構(gòu)，其中傳感和處理都位于像素級。該公司稱之為傳感與處理單元（SPU）。

Oculi創(chuàng)始人兼CEO Charbel Rizk說：“我的主張是，我們將始終實(shí)現(xiàn)功耗、帶寬、延遲和最終成本最低的計(jì)算機(jī)視覺解決方案，并保護(hù)隱私?！?/p>

這是傳感與處理領(lǐng)域眾多玩家的大話題，他們都在廣泛的嵌入式系統(tǒng)中追求終極的AI解決方案。

SPU方法顛覆了機(jī)器視覺和成像傳感器市場數(shù)十年的慣例。

傳統(tǒng)供應(yīng)商競相制造更高分辨率的傳感器，同時(shí)將更多數(shù)據(jù)傳輸到處理平臺。然后，系統(tǒng)供應(yīng)商獲取輸出，并在傳感器外部的處理器上運(yùn)行算法。這樣，系統(tǒng)就可以提取他們可以使用的信息。

這一過程導(dǎo)致了永無止境的百萬像素競爭，對從傳感器向感知模塊傳輸數(shù)據(jù)的帶寬的需求不斷增長（導(dǎo)致延遲），以及最后為提高運(yùn)行更好或更強(qiáng)大算法所需的處理能力（從而帶來更大的功耗）而進(jìn)行的TFLOPS處理器競賽。

而Oculi則承諾以極低的帶寬和延遲實(shí)現(xiàn)“實(shí)時(shí)視覺智能”。例如，Oculi的解決方案使用的帶寬僅為每秒千比特（而非千兆比特），延遲時(shí)間為微秒而非數(shù)十秒。這得益于SPU已經(jīng)在像素級處理傳感和處理。

不過，Oculi的SPU更為出眾的地方在于其可編程性。

傳感器可以通過軟件定義，提供一系列感測輸出選項(xiàng)。

Oculi的Rizk指出：“你可以像其他圖像傳感器一樣獲得全畫幅視頻。但你也可以開始獲得越來越少的數(shù)據(jù)，包括我們所說的‘可操作信息’或‘可操作信號’?！焙喍灾?，SPU可以生成最少的數(shù)據(jù)，但有足夠的信息供系統(tǒng)根據(jù)這些數(shù)據(jù)采取行動。

可編程性可持續(xù)實(shí)時(shí)提供。因此，任何使用SPU并需要為某些檢測提供更多信息的人，都可以調(diào)整設(shè)置來增加像素?cái)?shù)（從可操作信號到全幀），以及介于兩者之間的所有信息。

此外，Oculi的SPU還是獨(dú)立于傳感器的。Rizk介紹，它不僅可以與傳統(tǒng)的CMOS傳感器配合使用，還可以與紅外甚至深度/ToF傳感器配合使用。“我們開發(fā)的架構(gòu)可以應(yīng)用于RGB、紅外或深度模式。我們開發(fā)的架構(gòu)可以應(yīng)用于所有這些模式，我們已經(jīng)在實(shí)際的硬件原型中進(jìn)行了演示?！?/p>

Rizk 堅(jiān)持認(rèn)為，Oculi的目標(biāo)是簡化機(jī)器視覺并提高其效率。

但是，在電子工業(yè)中，人們習(xí)慣于根據(jù)適合不同應(yīng)用的不同模式選擇不同的傳感器，而SPU所提供的多功能性和可編程性則是既新鮮又陌生的概念。
這就是Oculi的難題所在。

顛覆是要付出代價(jià)的??

很多初創(chuàng)公司都將業(yè)務(wù)建立在“新”技術(shù)上，這些技術(shù)聲稱能在現(xiàn)有公司已經(jīng)發(fā)揮重要作用的成熟、明確的細(xì)分市場中實(shí)現(xiàn)卓越性能。

一家初創(chuàng)公司的技術(shù)，其基本架構(gòu)與行業(yè)已知的技術(shù)大相徑庭，理應(yīng)被稱為“顛覆性”技術(shù)。

然而，顛覆是有代價(jià)的，會給初創(chuàng)公司的小型工程團(tuán)隊(duì)帶來巨大壓力。他們需要時(shí)間和資源，向市場闡明新技術(shù)能給產(chǎn)品帶來的優(yōu)勢和變化。

更困難的是，在花費(fèi)了大量精力教育市場之后，并不能保證潛在客戶會接受這種顛覆，更不用說費(fèi)心想象他們?nèi)绾卧谧约旱挠布蜍浖?yīng)用中利用這種顛覆了。

Rizk承認(rèn)這一挑戰(zhàn)。不過，好消息是，SPU的性能改進(jìn)不是漸進(jìn)式的，而是實(shí)質(zhì)性的。Rizk聲稱：“與市場上最好的傳感器和最好的處理器相比，我們的性能有了顯著提高（延遲-能量提高了150倍到600多倍）。

這位CEO還補(bǔ)充說：“對于任何需要保護(hù)隱私的應(yīng)用，目前唯一的選擇就是使用雷達(dá)或激光雷達(dá)，但這兩種設(shè)備都要昂貴、復(fù)雜得多，而且提供的視覺智能也很有限。SPU可以填補(bǔ)這一空白?！?/p>

三十年未解決的問題??

Oculi是一家自信滿滿的公司，其基礎(chǔ)是Rizk及其團(tuán)隊(duì)在2019年創(chuàng)立Oculi之前在約翰霍普金斯大學(xué)進(jìn)行了長達(dá)十八年的研究。

在介紹Oculi時(shí)，Rizk強(qiáng)調(diào)了自己幾十年來在計(jì)算機(jī)視覺系統(tǒng)方面遇到的挫折。三十多年前，在設(shè)計(jì)一架完全自動的無人機(jī)時(shí)，“我無法將計(jì)算機(jī)視覺系統(tǒng)安裝在無人機(jī)上，因?yàn)楸M管攝像頭相對較小，但所需的處理量和功耗卻使其不切實(shí)際”。三十年后，Rizk說：“我在約翰霍普金斯大學(xué)教我的學(xué)生如何做機(jī)器人。這些完全自動的機(jī)器人實(shí)際上相對復(fù)雜。它們能完成很多任務(wù)。然而，它們卻沒有搭載視覺技術(shù)?！彼忉屨f，問題在于，盡管機(jī)器人的攝像頭本身體積小、價(jià)格便宜，但隨后的處理過程在成本和功耗方面都很昂貴。

三十年過去了，計(jì)算機(jī)視覺的挑戰(zhàn)依然存在?！坝?jì)算機(jī)視覺沒有意識到應(yīng)該聚焦在哪里，應(yīng)該尋找什么，應(yīng)該捕捉什么信息。因此，它捕捉了一切。這也阻礙了算法的實(shí)際發(fā)展。他們將更多的處理能力投入其中，與邊緣計(jì)算機(jī)視覺應(yīng)該做的事情背道而馳?！?/p>

Rizk的專業(yè)經(jīng)驗(yàn)涵蓋無人機(jī)、機(jī)器學(xué)習(xí)、傳感器融合和自動感知，他一直是個(gè)“系統(tǒng)”專家。他曾在Rockwell Aerospace、McDonnell Douglas、Boeing和約翰霍普金斯大學(xué)應(yīng)用物理實(shí)驗(yàn)室做出過重要貢獻(xiàn)。

Rizk強(qiáng)調(diào)，SPU不是在真空中開發(fā)出來的。他解釋說，他的目標(biāo)始終是開發(fā)機(jī)器視覺的最佳架構(gòu)（從光子到可執(zhí)行信號或眼睛+大腦），“也是完全可編程的”。

他說：”傳感器上的智能是解決成像傳感器數(shù)據(jù)泛濫的必要條件，而數(shù)據(jù)泛濫是造成延遲、功耗和成本的罪魁禍?zhǔn)??！?/p>

但為什么要堅(jiān)持可編程性呢？

他說，首先，他希望實(shí)現(xiàn)“動態(tài)優(yōu)化”。沒有一個(gè)單一的、可重復(fù)的用例需要傳感器做同樣的事情。其次，他想讓一個(gè)硬件支持多個(gè)市場和產(chǎn)品。

幾年前汽車行業(yè)的經(jīng)歷就是一個(gè)很好的例子。Rizk說：“汽車上的所有攝像頭都開始出現(xiàn)LED閃爍的問題，所有圖像傳感器供應(yīng)商都不得不回到繪圖板上，開發(fā)具有閃爍緩解功能的新傳感器。在這方面，SPU的靈活性和可編程性可能會有所幫助?！彼J(rèn)為，LED閃爍不可能是車廠面臨的最后一個(gè)問題。

Prophesee與Oculi??

在SPU的動態(tài)數(shù)據(jù)輸出中，事件觸發(fā)數(shù)據(jù)是其中之一。與Prophesee一樣，Oculi也采用了集成神經(jīng)形態(tài)傳感和處理技術(shù)。?

不過，Rizk堅(jiān)持認(rèn)為，將Oculi與Prophesee相提并論是一種誤導(dǎo)。他指出：“這是蘋果與香蕉的比較?！?/p>

也許是這樣，但分析界還是將Oculi歸入了事件傳感器公司一類。

Yole Intelligence全球半導(dǎo)體首席分析師Pierre Cambou稱Oculi的技術(shù)是“基于事件的傳感器，與Prophesee開發(fā)的方法類似。但I(xiàn)P可能有所不同。

Yole Intelligence成像部高級技術(shù)與市場分析師Florian Domengie對此表示贊同。Oculi采用的事件模式原理與其他動態(tài)視覺傳感器相同，“如果像素的光電流發(fā)生顯著變化，它就會輸出一個(gè)尖峰，整個(gè)像素可以獨(dú)立地、異步地點(diǎn)亮?！盌omengie補(bǔ)充說，“這里的不同之處在于，Oculi的架構(gòu)可以部署在各種傳感器上，包括RGB、深度和類似Prophesee的基于事件的傳感器，具有像素級可編程處理功能。”

Prophesee的業(yè)務(wù)是推廣事件傳感器，而Oculi則側(cè)重于其SPU的可編程性或軟件定義方面。SPU提供一系列感測輸出，從全畫幅圖像（Prophesee沒有）和基于事件的數(shù)據(jù)，一直到Oculi的可操作信息和可操作信號。后兩種數(shù)據(jù)類型大幅減少，但仍保留了公司所需的信息系統(tǒng)，具體取決于應(yīng)用情況。

Rizk承認(rèn)，他一直在拉開Oculi與事件傳感器的距離。他指出，盡管市場已經(jīng)意識到事件傳感器的重要性，但市場還未形成。在他看來，許多投資者和對該技術(shù)進(jìn)行過評估的人或多或少已經(jīng)到了幻想破滅的階段。

Rizk指出，當(dāng)Oculi被誤認(rèn)為是“另一家事件傳感器公司”時(shí)，它在融資和吸引客戶方面都遇到了困難。

幸運(yùn)的是，在Oculi推出之前，其技術(shù)開發(fā)已經(jīng)獲得了4000萬美元的支持。此后，Oculi又籌集了約450萬美元。它已經(jīng)擁有了第一代SPU的真正硬件，由Global Foundries使用其55nm CMOS工藝技術(shù)制造。

Oculi的下一步

Oculi不僅展示了其SPU，還在各種應(yīng)用中進(jìn)行了概念驗(yàn)證，使其能夠展示SPU在許多計(jì)算機(jī)/機(jī)器視覺應(yīng)用中的不同之處。

這些應(yīng)用包括人員檢測、AR/VR和智能交通基礎(chǔ)設(shè)施。這些應(yīng)用甚至包括將“眼睛”（SPU）放置在目前不可能使用攝像頭的地方。Rizk解釋說：“想想目前使用接近傳感器或運(yùn)動傳感器的一些傳統(tǒng)應(yīng)用，比如經(jīng)常不打開的水龍頭，以及對所有運(yùn)動而不只是對人的接近做出反應(yīng)的自動滑門。SPU可以增加情景感知功能，只提取必要的信息來觸發(fā)系統(tǒng)?！?/p>

Rizk說：“現(xiàn)在有很多使用案例?！弊鳛橐患倚」?，我們現(xiàn)在面臨的挑戰(zhàn)只是如何選擇我們首先要關(guān)注的用例。有鑒于此，我們不能繼續(xù)與這么多公司共舞?！?/p>

Oculi迄今走過的道路并不平坦。但由于該公司看到了SPU可以進(jìn)入的大量應(yīng)用領(lǐng)域，CEO表示，Oculi將在未來幾周內(nèi)決定團(tuán)隊(duì)將重點(diǎn)關(guān)注的最初應(yīng)用領(lǐng)域。