加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專(zhuān)業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入
  • 正文
    • 透光率:屏下結(jié)構(gòu)光的阿克琉斯之踵
    • 三種解法:屏幕、元器件和算法
    • 國(guó)產(chǎn)屏下結(jié)構(gòu)光之殤
    • 總結(jié)
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

砍掉 20% 劉海,蘋(píng)果「擠牙膏」的背后:屏下 3D 視覺(jué)技術(shù)的苦與痛

2021/09/24
429
閱讀需 13 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

全面屏,怎么就那么難?

剛過(guò)不久的蘋(píng)果發(fā)布會(huì)上,新 iPhone 的亮點(diǎn)之一是:劉??车袅?0%。對(duì)于“苦劉海久矣”的人而言,20%幾乎沒(méi)什么變化,因而也被調(diào)侃成擠牙膏式的設(shè)計(jì)。

不過(guò),侃歸侃,從技術(shù)層面來(lái)講,這20%其實(shí)來(lái)之不易。 

因?yàn)樵谶@片劉海里,一共有前置攝像頭麥克風(fēng)、激光發(fā)射器等8個(gè)重要元器件。其中對(duì)于 Face ID 功能和前置攝像起著決定作用的元器件主要有兩個(gè)部分:激光發(fā)射器模組和接收裝置。

“從結(jié)構(gòu)光的基礎(chǔ)原理來(lái)看,激光發(fā)射器和接收裝置之間必須要隔有一定距離,才能保持成像精度,而且等效距離越長(zhǎng),精度越高,反之亦然。這是蘋(píng)果保留劉海的根本原因。”光鑒科技首席科學(xué)家呂方璐告訴 AI 掘金志。

此前,在iPhone 12上,這一距離大約是27毫米。此次劉??s減了20%,蘋(píng)果官方表示,這“得益于傳感器重排、微縫聽(tīng)筒等技術(shù)引入”。

“如果要縮短等效距離且保持精度,技術(shù)方面的難度很大。”呂方璐表示,蘋(píng)果應(yīng)該是采取了另一種方法,即通過(guò)積累的人臉數(shù)據(jù)來(lái)優(yōu)化其3D 人臉?biāo)惴P?,放寬?duì)3D 成像的精度要求。

換句話說(shuō),就是用算法來(lái)彌補(bǔ)傳感器重排帶來(lái)的數(shù)據(jù)感知導(dǎo)致的精度問(wèn)題,這其實(shí)是一種取巧的辦法,要求也比較高,要有大量的人臉數(shù)據(jù)做支撐,對(duì)算法持續(xù)優(yōu)化。

但這種方法不具備可復(fù)制性,一是算法本身存在缺陷,需要不斷利用數(shù)據(jù)進(jìn)行反饋和調(diào)整;二是現(xiàn)在人臉數(shù)據(jù)集采的監(jiān)管日趨嚴(yán)格。

實(shí)際上,最佳的解決方法是將原有的相機(jī)模組,放入屏下,即行業(yè)經(jīng)常提及的“屏下結(jié)構(gòu)光解決方案”。這既符合全面屏的發(fā)展趨勢(shì),又能解決因縮短激光發(fā)射器和接收裝置距離造成的成像精度低這一問(wèn)題。

早在今年2月份,光鑒科技就和中興手機(jī)推出了全球首款屏下結(jié)構(gòu)光技術(shù),引起輿論重視。呂方璐表示,屏下3D 技術(shù)已達(dá)量產(chǎn)要求,但該技術(shù)在具體機(jī)型上還涉及到產(chǎn)品化的開(kāi)發(fā)和優(yōu)化,因而未能實(shí)際量產(chǎn)。并且,屏下3D 技術(shù)也還有一些問(wèn)題需要解決。

透光率:屏下結(jié)構(gòu)光的阿克琉斯之踵

在說(shuō)屏下結(jié)構(gòu)光之前,先簡(jiǎn)單談?wù)?iPhone 3D 結(jié)構(gòu)光的技術(shù)原理。 

3D結(jié)構(gòu)光模組包括發(fā)射端(點(diǎn)陣投影器和泛光感應(yīng)元件)和接收端(紅外攝像頭),原理如下:

1)激光發(fā)射器發(fā)出特定波長(zhǎng)的近紅外光,形成橫截面積很窄的平行光束,經(jīng)過(guò)擴(kuò)束器后,其橫截面積均勻放大;

2)放大后的光束,通過(guò)準(zhǔn)直鏡頭實(shí)現(xiàn)平行,從而均勻入射在光學(xué)衍生元件(DOE)上,光束在經(jīng)過(guò)該器件時(shí)會(huì)形成特定的光學(xué)圖案,經(jīng)過(guò)投影透鏡后發(fā)射出去;

3)這些光束在投射到物體表面時(shí),光信號(hào)會(huì)產(chǎn)生變化;

4)接收端(攝像頭)在接收到這些變化后,會(huì)計(jì)算物體的位置及深度等信息,再經(jīng)過(guò)特定的算法來(lái)復(fù)原三維空間。

點(diǎn)陣投影器及結(jié)構(gòu)光原理示意圖

 

泛光照射器由低功率VCSEL激光器和擴(kuò)散片等組成,其作用是發(fā)射不可見(jiàn)的紅外光線,使得紅外攝像頭在黑暗中也能接收反射自面部的點(diǎn)陣圖案。 

屏下結(jié)構(gòu)光,其實(shí)就是將包含這些元器件的相機(jī)模組置于一塊“透明”的屏幕之下,既能保持?jǐn)z像功能,又最大化利用屏幕面積。

但隨之而衍生的問(wèn)題是:這塊透明的屏幕,對(duì)相機(jī)模組的成像精度影響多大?如何來(lái)彌補(bǔ)光在通過(guò)屏幕時(shí)所造成的能量損耗?

光從激光發(fā)射器發(fā)出、抵達(dá)物體表面,再到被傳感器吸收,要兩次透過(guò)屏幕,會(huì)帶來(lái)能量損耗,這就是屏下結(jié)構(gòu)光面臨的“透光率”問(wèn)題。

“對(duì)于紅外線來(lái)講,目前的屏幕經(jīng)過(guò)特殊處理后,光的透過(guò)率大概在30%,甚至更低一些。”

呂方璐表示,屏下結(jié)構(gòu)光只能采用 OLED 屏幕,因?yàn)?OLED 屬于有機(jī)材料發(fā)光,不需要類(lèi)似 LCD 的背光源。

不過(guò),有機(jī)發(fā)光材料發(fā)光需要電流,并且電極層一般不透光,所以激光發(fā)射器發(fā)出的光在透過(guò)屏幕時(shí),大部分光會(huì)被電極層擋住或散射掉,這就造成可利用的光只有很小的一部分。

此外,光在透過(guò)屏幕時(shí),由于屏幕本身是一種周期性結(jié)構(gòu),像素在不停重復(fù),因此會(huì)導(dǎo)致一種衍射效應(yīng),比如一束光會(huì)衍射為幾束光,光的傳播方向也會(huì)受到影響。

而在實(shí)際場(chǎng)景中,透光率還會(huì)受到各種噪聲的影響。

比如,在室外,太陽(yáng)光里面的紅外線,照射在人臉上,會(huì)成為激光發(fā)射器發(fā)出的紅外線能量的噪聲。如果激光發(fā)射器的能量不夠,那么就會(huì)被噪聲干擾,嚴(yán)重影響成像效果。

“屏下結(jié)構(gòu)光首先要保證屏幕效果顯示正常,不能影響用戶體驗(yàn),在此條件之下,再解決光的透過(guò)率這個(gè)問(wèn)題,是最大的難點(diǎn)。”呂方璐表示,這也是阻礙屏下結(jié)構(gòu)光“量產(chǎn)”的根本原因。

三種解法:屏幕、元器件和算法

問(wèn)題已提出,剩下的就是對(duì)癥下藥找解決方法。

屏下結(jié)構(gòu)光最大的難題是“透光率”,這道題可以從三個(gè)維度來(lái)解。

一是從 OLED 屏幕出發(fā),提高面板透光率,或者做屏幕的定制化。

比如,三星推出的可折疊屏手機(jī),用的是UPC(Under Panel Camera,屏下攝像頭)技術(shù),核心是提高面板透光率的“Eco OLED”和優(yōu)化像素孔徑。

提高透光率和定制屏幕雖然是最直接有效的解法,但這依賴于面板技術(shù)的進(jìn)步,并且涉及到面板供應(yīng)商、屏下結(jié)構(gòu)光解決方案商和手機(jī)廠商之間的合作。

“屏幕從設(shè)計(jì)到開(kāi)發(fā)再到實(shí)際運(yùn)用,周期相對(duì)較長(zhǎng)。”呂方璐表示,在面板技術(shù)尚未取得開(kāi)創(chuàng)性突破和大規(guī)模運(yùn)用之前,要提高透光率,就要另辟蹊徑。

二是從器件模組入手。

既然光在透過(guò)屏幕時(shí)發(fā)生損耗,那么可以在發(fā)射端增強(qiáng)光的能量,來(lái)抵消這部分能耗。就好比一個(gè)10瓦的燈泡,光的能量怎么也比不過(guò)100瓦的燈泡。

但這個(gè)方法的癥結(jié)在于,增強(qiáng)光的能量,就要加大功率,進(jìn)而增加功耗。如何在增強(qiáng)光能量的同時(shí),又不增加能耗,是這套方案的核心,也是技術(shù)難點(diǎn)。

三是利用算法來(lái)做補(bǔ)償。

接收端在接收到光信息之后,會(huì)進(jìn)行計(jì)算,就會(huì)用到算法。那么就可以優(yōu)化算法來(lái)補(bǔ)償因“透光率”帶來(lái)的部分能量損耗。

如果數(shù)據(jù)量夠大,算法足夠成熟,便可以降低對(duì)成像精度的要求。

比如蘋(píng)果的 Face ID,就利用了人臉數(shù)據(jù)做3D 算法模型優(yōu)化。 這個(gè)方法的缺陷也很明顯:需要大量數(shù)據(jù),并且算法在面對(duì)特定場(chǎng)景時(shí)也會(huì)出現(xiàn)偏差。

這三種解法,雖然從不同方面來(lái)提高“透光率”,但其實(shí)是相互交叉的,比如做面板定制,要適應(yīng)于器件模組,要與算法相結(jié)合;而相關(guān)算法雖然可以優(yōu)化成像精度,卻只能作為輔助。

“要實(shí)現(xiàn)屏下結(jié)構(gòu)光的量產(chǎn),實(shí)際上需要整個(gè)產(chǎn)業(yè)鏈的合作與進(jìn)步。”呂方璐表示。

國(guó)產(chǎn)屏下結(jié)構(gòu)光之殤

從劉海屏到打孔屏,縮小劉海以擴(kuò)大屏幕的使用面積,最終達(dá)到全面屏,一直以來(lái)是手機(jī)廠商的終極目標(biāo)。

屏下3D 結(jié)構(gòu)光被視為最佳解決方案,雖然有一個(gè)“透光率”的問(wèn)題亟待解決,但方法總比問(wèn)題多,上述三種解法實(shí)際上可以解決很大一部分難點(diǎn)。

然而國(guó)內(nèi)廠商要發(fā)展屏下結(jié)構(gòu)光,還要面臨技術(shù)之外的一道大坎:專(zhuān)利。

3D 結(jié)構(gòu)光需要激光發(fā)射器發(fā)射數(shù)萬(wàn)個(gè)激光散斑,這對(duì)激光器本身的性能和功耗的要求很高,目前基本上采用的 VCSEL 激光發(fā)射器;另外,光線還要通過(guò)衍生光學(xué)器件(DOE)進(jìn)行“衍射”,將光線進(jìn)行“切分”,以實(shí)現(xiàn)投射激光散斑的功能。

遺憾的是,這兩大元器件,VCSEL 激光器和衍射光學(xué)元件(DOE)的制造,基本上為美國(guó)、英國(guó)及中國(guó)臺(tái)灣地區(qū)的廠商壟斷,國(guó)內(nèi)目前僅有三安光電可進(jìn)行 VCSEL 芯片的代工。

蘋(píng)果無(wú)疑是“VCSEL+DOE”3D 結(jié)構(gòu)光方案的核心受益者,同時(shí)也掌握著該項(xiàng)技術(shù)的專(zhuān)利。在專(zhuān)利保護(hù)愈加重視的背景下,這就給蘋(píng)果以外的廠商留下了難題:如何做一套具備完全知識(shí)產(chǎn)權(quán)的方案?

光鑒科技對(duì)此的解法是:以邊緣發(fā)射激光器(EEL)為光源,然后利用自研的波前調(diào)制器(WFP),通過(guò)在亞波長(zhǎng)尺度實(shí)現(xiàn)對(duì)光場(chǎng)的調(diào)制,來(lái)實(shí)現(xiàn)投射激光散斑的功能。

這種方法避免了“VCSEL+DOE”的技術(shù)專(zhuān)利,邊發(fā)射激光器(EEL)的制程工藝比較成熟,成本上也可控,國(guó)內(nèi)廠商有相應(yīng)的生產(chǎn)能力。 

“光鑒科技的WFP芯片,其制程工藝大概在250nm左右,國(guó)內(nèi)廠商已能實(shí)現(xiàn)量產(chǎn)。”呂方璐表示。 

對(duì)于屏下結(jié)構(gòu)光的難點(diǎn),光鑒科技主要從器件模組和算法上來(lái)做突破,通過(guò)與 OLED 屏幕廠商長(zhǎng)期的研發(fā)合作,來(lái)實(shí)現(xiàn)對(duì)3D 成效效果和屏幕顯示效果的優(yōu)化。

在元器件方面,光鑒科技提高了激光發(fā)射模組從電到光的整體轉(zhuǎn)換效率,也就是在發(fā)射端來(lái)增強(qiáng)光的能量;同時(shí)基于EEL邊緣發(fā)射激光器,來(lái)減短脈沖,提升光線強(qiáng)度,從而補(bǔ)償因“透光率”帶來(lái)的能量損耗。 

據(jù)悉,其激光發(fā)射模組從電到光的整體轉(zhuǎn)換效率相較于VSCEL方案提高了80%;而EEL邊光發(fā)射器每個(gè)脈沖的亮度是VSCEL方案的4倍左右。

在算法上,光鑒科技通過(guò)自研算法來(lái)實(shí)現(xiàn)對(duì)激光信息的構(gòu)建,在保持同樣效果的情況下縮減算力,不必依靠ASIC芯片,以減少計(jì)算成本。

“光鑒科技和蘋(píng)果是不同的技術(shù)路徑,避免了與蘋(píng)果專(zhuān)利沖突的風(fēng)險(xiǎn),并且在核心元器件上都已實(shí)現(xiàn)國(guó)產(chǎn)化。”呂方璐表示,目前國(guó)內(nèi)廠商也正在進(jìn)行技術(shù)創(chuàng)新,比如奧比中光,屏下3D 技術(shù)越來(lái)越受到重視。

總結(jié)

從蘋(píng)果Face ID 采用3D 結(jié)構(gòu)光,到現(xiàn)在行業(yè)共推的全面屏,“劉海”不斷縮小的背后是技術(shù)的不斷更迭與演進(jìn)。

“未來(lái)視覺(jué)必然會(huì)從2D 向3D 轉(zhuǎn)變,因?yàn)?D 信息更豐富全面。”呂方璐表示,3D 信息能簡(jiǎn)化計(jì)算量,不需要做過(guò)多的數(shù)據(jù)采集和模型訓(xùn)練。屏下3D 結(jié)構(gòu)光作為全面屏的核心技術(shù),雖然技術(shù)本身還有要攻克的難點(diǎn),國(guó)產(chǎn)化能力也需要加強(qiáng),但應(yīng)用前景比較樂(lè)觀。

“未來(lái)一兩年的時(shí)間里,屏下3D 結(jié)構(gòu)光技術(shù)應(yīng)該就能大規(guī)模運(yùn)用。”

作者 | 秀松

編輯 | 余快

蘋(píng)果

蘋(píng)果

蘋(píng)果公司(Apple Inc.),是美國(guó)的一家跨國(guó)科技公司,總部位于美國(guó)加州庫(kù)比蒂諾硅谷,由史蒂夫·喬布斯和斯蒂夫·蓋瑞·沃茲尼亞克共同創(chuàng)立。公司最初從事電腦設(shè)計(jì)與銷(xiāo)售業(yè)務(wù),后發(fā)展為包括設(shè)計(jì)和研發(fā)電腦、手機(jī)、穿戴設(shè)備等電子產(chǎn)品,提供計(jì)算機(jī)軟件、在線服務(wù)等業(yè)務(wù) 。

蘋(píng)果公司(Apple Inc.),是美國(guó)的一家跨國(guó)科技公司,總部位于美國(guó)加州庫(kù)比蒂諾硅谷,由史蒂夫·喬布斯和斯蒂夫·蓋瑞·沃茲尼亞克共同創(chuàng)立。公司最初從事電腦設(shè)計(jì)與銷(xiāo)售業(yè)務(wù),后發(fā)展為包括設(shè)計(jì)和研發(fā)電腦、手機(jī)、穿戴設(shè)備等電子產(chǎn)品,提供計(jì)算機(jī)軟件、在線服務(wù)等業(yè)務(wù) 。收起

查看更多

相關(guān)推薦

電子產(chǎn)業(yè)圖譜