OPPO,銳思智芯,高通近期發(fā)布,合作推動創(chuàng)新性融合視覺傳感(Hybrid Vision Sensing, HVS?)技術(shù)在智能手機領(lǐng)域應(yīng)用。通過HVS?傳感器來更高效地提取運動信息和圖像數(shù)據(jù),從而幫助進(jìn)一步改善拍照性能并實現(xiàn)影像的AI Motion功能。
三方將合作開發(fā)一套完整方案,包括從Hybrid Vision Sensor獲取原始視覺信息,傳輸至驍龍? 移動平臺,并搭配專用算法。該合作方案將幫助實現(xiàn)智能手機影像創(chuàng)新功能,如拍照去模糊,超分辨率,和視頻超慢動作重建等需要基于圖像和運動信息結(jié)合的算法來實現(xiàn)的功能特性,具有開創(chuàng)性意義。
高通產(chǎn)品管理副總裁(Vice President of Product Management)Judd Heape表示:與傳統(tǒng)圖像傳感技術(shù)相比,EVS技術(shù)在捕捉運動信息方面具有更大優(yōu)勢。而HVS?解決方案結(jié)合了圖像和事件傳感技術(shù)各自的優(yōu)勢。在平臺硬件和算法的支持下,智能手機的影像能力得到顯著提升。我們很高興與OPPO和銳思智芯合作,共同為這項技術(shù)的產(chǎn)品化貢獻(xiàn)力量。我們也相信,這項技術(shù)將會在各個領(lǐng)域得到更廣泛的應(yīng)用。
OPPO影像產(chǎn)品總監(jiān)張璇:“多年來,我們在前沿傳感器技術(shù)上進(jìn)行了廣泛的研究,尤其在 HVS?(融合視覺傳感)技術(shù)領(lǐng)域投入較大精力。我們與銳思智芯和高通有著深度的合作,參與芯片和算法的多次迭代開發(fā)。我們對這項技術(shù)的潛力充滿信心,未來也將持續(xù)投入其中,與合作伙伴共同期待這一技術(shù)在OPPO超光影圖像引擎的應(yīng)用?!?/p>
運動信息在攝影和機器視覺中至關(guān)重要。傳統(tǒng)的圖像傳感器將一段時間(即曝光時間)內(nèi)的運動信息重疊到一幀圖像里,但這容易導(dǎo)致運動模糊和有效運動數(shù)據(jù)的丟失。
利用視覺傳感器有效獲取高精度的運動信息是當(dāng)今各領(lǐng)域的首要需求之一?;趥鹘y(tǒng)圖像傳感器,業(yè)內(nèi)通常通過提升幀率來獲取高精度運動信息,但同時也不得不付出承擔(dān)龐大冗余數(shù)據(jù)的代價,隨之而來的是資源消耗、系統(tǒng)成本的增加,以及系統(tǒng)處理效率的降低。另外,高幀率意味著過短的曝光時間,從而大大削弱了相機對環(huán)境光線的適應(yīng)能力。
因此,對于許多應(yīng)用而言,通過提升幀率獲取更多有效的高精度運動信息,性價比低且不切實際。需要性價比更高的技術(shù)路徑實現(xiàn)對運動信息的高效捕捉。
事件相機(Event-based Vision senor, EVS)是一種無快門連續(xù)記錄變化/運動信息機制的成像技術(shù)。通過其獨特的像素內(nèi)處理機制,能夠在記錄運動信息時實現(xiàn)高幀率、高動態(tài)范圍和低數(shù)據(jù)冗余之間的平衡。
由于EVS對靜態(tài)信息不敏感,在捕捉許多機器視覺應(yīng)用所需的關(guān)鍵靜態(tài)圖像信息時能力欠佳,通常需要搭配一顆傳統(tǒng)圖像傳感器 (RGB)使用,不過這兩項技術(shù)的融合也并非易事,要面臨兩種類型視覺信息(EVS和RGB)的時空配準(zhǔn)方面的挑戰(zhàn),同時成本和系統(tǒng)復(fù)雜度加大,一定程度上也遏制了EVS發(fā)揮原本的技術(shù)優(yōu)勢。。
銳思智芯于2019年推出的融合視覺傳感 (HVS?) 技術(shù)將 EVS 和傳統(tǒng)圖像功能融合到同一顆傳感器芯片上。銳思智芯的 ALPIX? 系列傳感器可同時輸出高質(zhì)量RGB圖像和EVS數(shù)據(jù)流,為捕獲帶有運動信息的圖像提供經(jīng)濟高效且算法友好的解決方案。
銳思智芯創(chuàng)始人兼首席執(zhí)行官鄧堅表示:“在當(dāng)前的視覺傳感器領(lǐng)域,人們不僅對2D RGB信息的期望越來越高;還迫切希望傳感器能夠提供額外的數(shù)據(jù),例如距離、光譜和運動信息。我們與OPPO和高通合作,共同推動將 ALPIX-Eiger?無縫集成到手機應(yīng)用中。它作為增強型RGB圖像傳感器,其圖像質(zhì)量可與市場上領(lǐng)先的圖像傳感器相媲美,同時引入了EVS捕捉運動信息。能夠見證和參與這項技術(shù)從概念到產(chǎn)品落地,我們感到無比興奮與自豪?!?/p>
“真正改變世界的不是技術(shù)本身,而是技術(shù)衍生出來的產(chǎn)品應(yīng)用為社會帶來的價值。我們希望將融合視覺傳感技術(shù) (HVS?) 帶給每個用戶。這是我們的初衷,我們期待這次合作取得豐碩的成果”,鄧堅補充道。