7906
“一夜修復(fù)”的背后，是國(guó)產(chǎn)SoC工程師接續(xù)多年堅(jiān)持自研芯片的奮斗。
最近華為mate60Pro的發(fā)售引爆了國(guó)內(nèi)機(jī)圈，悄悄上線(xiàn)，無(wú)宣發(fā)無(wú)預(yù)告，不僅打懵了眾多消費(fèi)者，還順便“奇襲”OPPO，奪走了絕大部分線(xiàn)上流量。很多長(zhǎng)期蹲守的用戶(hù)在第一時(shí)間拿到手機(jī)，全方位測(cè)試后卻發(fā)現(xiàn)一個(gè)重要缺陷：盡管在芯片上華為實(shí)現(xiàn)了對(duì)美國(guó)芯片封鎖的突破，但很多用戶(hù)在測(cè)試攝像功能的時(shí)候遇到偏色、調(diào)光不正常、穩(wěn)定性不佳等現(xiàn)象。當(dāng)時(shí)很多用戶(hù)都猜測(cè)華為這次端上來(lái)的是一道“半成品菜”，還有很多功能并沒(méi)有開(kāi)發(fā)完全。好在很快華為就在一次更新中修復(fù)了這一漏洞。修復(fù)后，華為Mate 60 Pro終于展現(xiàn)出了它應(yīng)有的攝影能力，消費(fèi)者也終于放心它的最終質(zhì)量。
也有更多人提出疑問(wèn)，拍攝不應(yīng)該是看鏡頭或傳感器的質(zhì)量嗎？為什么軟件的更新會(huì)影響如此多的功能？其實(shí)如果我們把國(guó)產(chǎn)手機(jī)依次拆開(kāi)，你可能會(huì)發(fā)現(xiàn)，絕大多數(shù)廠(chǎng)商的圖像傳感器模塊都采用了索尼一家的產(chǎn)品。例如以挑戰(zhàn)卡片相機(jī)出名的小米12S Ultra就采用了索尼IMX989。OPPO剛剛推出的K11手機(jī)，它的圖像傳感器就采用了索尼IMX890，采用了該款傳感器的手機(jī)還有OPPO Find X6、OPPO 9 Pro+、realmeGT Neo5、一加11、一加Ace 2等。最近爆火的“爭(zhēng)氣機(jī)”華為Mate 60 Pro的主攝也同樣采用來(lái)自索尼的IMX766傳感器。
既然索尼已經(jīng)“一統(tǒng)天下”，那為什么各廠(chǎng)商手機(jī)的攝影質(zhì)量還是有很大不同？有些采用同樣傳感器的型號(hào)的手機(jī)拍出來(lái)的照片仍舊天差地別？這就不得不提到手機(jī)攝影的關(guān)鍵——計(jì)算攝影，以及站在鏡頭與傳感器身后默默工作的最大功臣ISP圖像處理芯片。
何為ISP？
過(guò)去的膠片時(shí)代，用相機(jī)拍攝一張照片很簡(jiǎn)單。我們只需要在相機(jī)中放入膠卷，將鏡頭對(duì)準(zhǔn)拍攝對(duì)象，然后調(diào)整焦距、光圈與快門(mén)速度到合適的程度，就可以按下快門(mén)，留下美好的瞬間。膠卷攝影時(shí)代相機(jī)可調(diào)節(jié)的參數(shù)并沒(méi)有今天那么多，看似流程簡(jiǎn)單，是因?yàn)閿z影師唯一能做的只有這么多，相機(jī)看到了什么，我們就只能記錄什么，但無(wú)法后期調(diào)整的特性讓攝影師在調(diào)整構(gòu)圖、測(cè)光、更改參數(shù)的時(shí)候要花費(fèi)比現(xiàn)在多得多的精力。
不過(guò)愛(ài)美的你我自然無(wú)法接受按下快門(mén)一切都將注定的結(jié)果。在數(shù)碼攝影時(shí)代，相機(jī)工程師對(duì)于光的掌握更進(jìn)了一步。這其中最重要的變化就是承載光線(xiàn)的“基底”發(fā)生了變化——由膠卷上的感光物質(zhì)的化學(xué)反應(yīng)變?yōu)榱藗鞲衅鲗?duì)光線(xiàn)強(qiáng)度的收集。
相機(jī)傳感器也有很多種類(lèi)，過(guò)去CCD（charge coupled device）相機(jī)與CMOS（Complementary Metal-Oxide-Semiconductor）傳感器都流行過(guò)一段時(shí)間，不過(guò)隨著技術(shù)進(jìn)展，CMOS逐漸占了上風(fēng)，目前我們能見(jiàn)到的民用相機(jī)基本都為CMOS，它目前通常也指代所有手機(jī)或相機(jī)的傳感器。當(dāng)傳感器接收到從鏡頭與快門(mén)傳來(lái)的光信號(hào)后，它上面的每個(gè)像素點(diǎn)都會(huì)根據(jù)光線(xiàn)強(qiáng)弱感應(yīng)出電信號(hào)，再通過(guò)接口將這些獨(dú)立的電信號(hào)傳遞給后方芯片，這時(shí)ISP芯片登場(chǎng)了。
ISP芯片即“Image Signal Processor”（圖像信號(hào)處理器），它誕生于美國(guó)登月探測(cè)時(shí)代。彼時(shí)NASA在月球探測(cè)中發(fā)現(xiàn)，月球車(chē)上的模擬相機(jī)拍攝的照片非常微弱且不清晰，根本看不清月球地貌。此后，基于當(dāng)時(shí)的CCD傳感器技術(shù)，研究人員研發(fā)了對(duì)圖像信號(hào)處理的專(zhuān)用模塊，ISP信號(hào)處理器就誕生了。
可以看到，ISP主要任務(wù)就是處理攝像頭模塊傳來(lái)的圖像信號(hào)，相當(dāng)于人類(lèi)視覺(jué)系統(tǒng)中大腦中處理視覺(jué)信息的模塊。ISP芯片的應(yīng)用不僅在相機(jī)與手機(jī)中，在依賴(lài)攝像頭的自動(dòng)駕駛系統(tǒng)中也同樣有著重要作用。
ISP的功能有很多，最重要的就是實(shí)現(xiàn)高清畫(huà)面的高性能處理，包括拜耳變換（將數(shù)字信號(hào)轉(zhuǎn)為帶有RGB數(shù)值的圖片）、去馬賽克、降噪以及圖像銳化等功能，由于ISP芯片的功能較為固定，因此很多ISP芯片都采用專(zhuān)用標(biāo)準(zhǔn)產(chǎn)品（ASSP）甚至專(zhuān)用集成電路（ASIC）。芯片接收到信號(hào)后，就可以通過(guò)算法處理，最終輸出一個(gè)RGB空間域的清晰圖像。這個(gè)過(guò)程中，ISP芯片還可以將圖像質(zhì)量實(shí)時(shí)反饋給鏡頭驅(qū)動(dòng)模塊，來(lái)實(shí)現(xiàn)手機(jī)鏡頭的自動(dòng)對(duì)焦、調(diào)整曝光以及設(shè)定白平衡等功能。
相對(duì)手機(jī)中的CPU與GPU等高算力芯片，ISP芯片所執(zhí)行的任務(wù)很“輕”，因此在手機(jī)內(nèi)部寸土寸金的地方，ISP模塊通常會(huì)被集成到SoC中。不過(guò)到了今天，包括蘋(píng)果和三星在內(nèi)的幾乎所有手機(jī)廠(chǎng)商都會(huì)選擇獨(dú)立ISP芯片模塊，華為Mate 60 Pro則在麒麟9000S中自帶一塊完全自研的ISP模塊。
這也引出了當(dāng)前ISP芯片要走的兩條道路，內(nèi)部ISP與外部ISP。內(nèi)部ISP被集成到SoC中，負(fù)責(zé)執(zhí)行圖像傳感器執(zhí)行信號(hào)處理功能。與外部圖像信號(hào)處理器相比，內(nèi)部ISP提供的圖像質(zhì)量和性能較低，但它們更便宜且更易于使用。外部ISP相當(dāng)于一個(gè)獨(dú)立設(shè)備，專(zhuān)門(mén)設(shè)計(jì)用于執(zhí)行圖像信號(hào)處理功能。它通常用于高端數(shù)碼相機(jī)和其他需要高圖像質(zhì)量的成像設(shè)備。外部ISP可提供最佳的圖像質(zhì)量和性能，但它們也是最昂貴且使用復(fù)雜的。
與非網(wǎng)自制
如果說(shuō)手機(jī)鏡頭與圖像傳感器決定了攝影上限，那ISP芯片或模塊則是決定照片能否使用的下限。這里舉幾個(gè)例子。傳感器在不工作（無(wú)光）的時(shí)候，畫(huà)面是純黑色的，這時(shí)候的信號(hào)電平為0。不過(guò)受到暗電流影響，傳感器發(fā)出的信號(hào)并不總是維持在0電平狀態(tài)，這就會(huì)導(dǎo)致畫(huà)面中的黑色偏灰。ISP芯片則可以校正信號(hào)，過(guò)濾暗電流，讓黑色更“純粹”。
除了黑平衡外，對(duì)于綠色的平衡矯正也值得關(guān)注。2016年前后，小米手機(jī)拍照有一條令人詬病的缺點(diǎn)——祖?zhèn)骶G。彼時(shí)小米手機(jī)拍照，無(wú)論在何種情況下總會(huì)散發(fā)隱隱的綠色。這種問(wèn)題的根源其實(shí)在于傳感器的設(shè)計(jì)與電路上。當(dāng)前CMOS上感光像素并不遵循RGB三色1:1，而是RGBG的形式，G綠色的像素點(diǎn)數(shù)量是其他顏色的兩倍。受到鏡頭色散影響，傳感器的邊緣區(qū)域接收到的RGB光強(qiáng)與中心并不相同。如果不通過(guò)ISP芯片進(jìn)行調(diào)整或調(diào)整效果不佳，屏幕邊緣就會(huì)呈現(xiàn)偏綠或偏紫（綠的相反色）的顏色。受到“祖?zhèn)骶G”的影響，很長(zhǎng)一段時(shí)間內(nèi)小米的品牌形象都被冠以“拍照差”的標(biāo)簽。
此外，除了上文提到的重要作用外，ISP芯片還負(fù)責(zé)鏡頭陰影校正、壞點(diǎn)校正、伽馬校正等重要參數(shù)調(diào)整。任何一點(diǎn)除了問(wèn)題都回導(dǎo)致拍照質(zhì)量受到嚴(yán)重影響。因此對(duì)ISP芯片的調(diào)教已經(jīng)成為手機(jī)廠(chǎng)商的必修課。
AI賦能ISP
近年來(lái)，計(jì)算攝影的快速普及，也對(duì)ISP芯片在新時(shí)代提出了全新要求。AI-ISP架構(gòu)結(jié)合了兩者的優(yōu)勢(shì),給傳統(tǒng)ISP芯片加一個(gè)全新的AI大腦。小米集團(tuán)高級(jí)副總裁曾學(xué)忠曾表示：AI賦能是芯片研發(fā)的重點(diǎn)之一,將在計(jì)算攝影領(lǐng)域用AI算法與硬件進(jìn)行深入結(jié)合。
計(jì)算攝影，其實(shí)并不只是“智能美顏”這么簡(jiǎn)單?；A(chǔ)為攝影，但本質(zhì)在“算”。打開(kāi)手機(jī)相機(jī)專(zhuān)業(yè)模式，我們能發(fā)現(xiàn)除了快門(mén)速度、ISO、焦距等傳統(tǒng)參數(shù)調(diào)整外，通常還會(huì)找到諸如HDR、夜景模式、人像模式甚至多攝像頭融合模式等。
以HDR功能舉例。HDR（High Dynamic Range）即高動(dòng)態(tài)范圍，使用該技術(shù)可以盡可能的保證畫(huà)面中不會(huì)出現(xiàn)過(guò)曝過(guò)暗的現(xiàn)象。它可以讓相機(jī)連續(xù)拍攝三次，按照高光部分拍攝，正常拍攝以及按照暗景部分拍攝，最后三張照片經(jīng)過(guò)運(yùn)算合成一張圖片，就可以保證盡可能多的細(xì)節(jié)不會(huì)丟失。不過(guò)這個(gè)合成過(guò)程對(duì)于ISP來(lái)說(shuō)充滿(mǎn)挑戰(zhàn)。ISP芯片需要對(duì)齊輸入的LDR（Low Dynamic Range），再將多張圖片選擇合適的細(xì)節(jié)進(jìn)行合成。
與AI結(jié)合的ISP芯片首先通過(guò)機(jī)器學(xué)習(xí)的方式，校正圖像的伽馬值到人眼感知的區(qū)域內(nèi)；接著再選取圖片特征點(diǎn)或者進(jìn)行光流匹配，使得多張圖片都能對(duì)齊；最后，AI算法會(huì)識(shí)別圖像中特定區(qū)域（往往是像素級(jí)別大?。┑脑朦c(diǎn)量，評(píng)估該區(qū)域是否予以保留，最后生成一張HDR圖片。隨著AI技術(shù)的持續(xù)進(jìn)展，如今的HDR甚至可以不需要連續(xù)拍攝三張圖片，僅需單張圖片就能生成。AI算法可以利用三維反卷積網(wǎng)絡(luò)，通過(guò)學(xué)習(xí)曝光增加或減少時(shí)，像素值的相對(duì)變化等，可在不引入自然噪聲的情況下實(shí)現(xiàn)調(diào)色與調(diào)光。
無(wú)論采用哪種AI技術(shù)，讓圖片更清晰永遠(yuǎn)是第一要領(lǐng)。愛(ài)芯元智公司曾在網(wǎng)絡(luò)上分享、暗光條件下的AI技術(shù)應(yīng)用：“在我們的pipeline中，只將其中重要的模塊進(jìn)行AI化，將有限的算力集中于整個(gè)AI ISP中，最關(guān)鍵、人眼最可知的這些功能中，比如像HDR、去噪的3DNR、tone mapping，還有demosaic這樣的功能中進(jìn)行AI化，以實(shí)現(xiàn)整個(gè)AI ISP的最佳效果?！痹诩夹g(shù)文章中，該公司表示已在ISP中增添NPU，和傳統(tǒng)其他芯片中的NPU并不完全一樣，除了強(qiáng)調(diào)計(jì)算單元之外，還有Pre-Process（預(yù)處理）、Post-Process（后處理）和一個(gè)更大的Shared Memory（共享內(nèi)存），以及一些針對(duì)AI ISP的流式處理和CV的處理操作，可以使我們的算力在AI的圖像處理中能夠有更好的提升。
恩智浦也同樣在ISP中增加了機(jī)器學(xué)習(xí)加速器。恩智浦邊緣處理事業(yè)部技術(shù)總監(jiān)、系統(tǒng)架構(gòu)師和首席工程師Ben Eckermann在技術(shù)文章中表示：“采用為機(jī)器學(xué)習(xí)和視覺(jué)系統(tǒng)而優(yōu)化的芯片架構(gòu)，擁有強(qiáng)大的機(jī)器學(xué)習(xí)能力，配合高清攝像頭系統(tǒng)，能夠讓設(shè)備看得更清晰、更遠(yuǎn)?！?/p>
除了上述對(duì)畫(huà)面的增強(qiáng)效果外，AI賦能下的ISP芯片讓攝像頭的應(yīng)用范圍進(jìn)一步擴(kuò)大。不只是消費(fèi)電子，越來(lái)越多的場(chǎng)景中都出現(xiàn)了攝像頭的身影，例如智能安防、自動(dòng)駕駛、醫(yī)療影像、工業(yè)檢測(cè)等。不同應(yīng)用領(lǐng)域?qū)τ趫D像的處理需求也不盡相同。AI+ISP的組合，并不是簡(jiǎn)單的1+1=2，AI賦予了ISP芯片對(duì)于不同領(lǐng)域的適應(yīng)能力，在應(yīng)對(duì)愈加復(fù)雜的圖形時(shí)，AI ISP還能依靠機(jī)器學(xué)習(xí)不斷“成長(zhǎng)”，輕松超越傳統(tǒng)單ISP芯片的能力上限。
國(guó)產(chǎn)替代的先鋒
目前的國(guó)產(chǎn)手機(jī)廠(chǎng)商，尤其是華、米、O、V四家，對(duì)于自研ISP芯片情有獨(dú)鐘。2015年11月05日上午，華為正式發(fā)布了麒麟950，首次搭載了自研ISP模塊。自此之后，華為手機(jī)的攝影能力逐漸提升，P系列手機(jī)依靠強(qiáng)勁的拍攝能力在幾年之內(nèi)就躋身第一梯隊(duì)。
其余三家盡管起步較晚，但也陸續(xù)推出了自研ISP芯片。2021年，小米推出首顆自研ISP芯片澎湃C1。該芯片是小米自2017年推出澎湃S1后，四年來(lái)的又一次自研芯片嘗試。澎湃S1是小米自研的第一顆SoC，但推出后反響平平，甚至“差”評(píng)不斷。而澎湃C1則選擇了ISP芯片作為切入點(diǎn)，推出則廣受好評(píng)，其接續(xù)者澎湃C2則助力小米12s ultra站在了安卓陣營(yíng)攝影頂尖位置。2022年，OPPO哲庫(kù)團(tuán)隊(duì)也推出過(guò)馬里亞納X芯片，盡管哲庫(kù)的故事劃上了句點(diǎn)，但仍讓搭載該芯片的OPPO手機(jī)在攝影領(lǐng)域不輸同行。VIVO則在2021年自研V1 ISP芯片作為自研芯片的起點(diǎn)。
所以，為什么華、米、O、V四家都默契的選擇了ISP芯片作為自研芯的起點(diǎn)呢？原因則是在ISP芯片本身的架構(gòu)上。
一顆ISP芯片，其實(shí)就是一個(gè)SoC核心，內(nèi)部包含CPU、SUP IP、IF 等單元，可以運(yùn)行各種算法程序，實(shí)時(shí)處理圖像信號(hào)。盡管ISP芯片應(yīng)用范圍與CPU、GPU相差較大，且設(shè)計(jì)難度有數(shù)量級(jí)的差別，但I(xiàn)SP仍舊是一顆完整的SoC，能幫助工程師完成全流程的SoC流片測(cè)試與軟件配套工作。因此，更加簡(jiǎn)單成本更低的ISP芯片就成為各廠(chǎng)商自研的起點(diǎn)。此外，ISP芯片的應(yīng)用場(chǎng)景較貼近用戶(hù)的日常使用范圍。畢竟日常使用很難用到一顆SoC的全部性能，但打開(kāi)相機(jī)，按下快門(mén)的那一刻，用戶(hù)就能直觀的感知到芯片性能的強(qiáng)弱。
如今ISP芯片早已成為手機(jī)中及其重要的一部分，國(guó)產(chǎn)ISP芯片也早已脫胎消費(fèi)電子領(lǐng)域，在更廣闊的工業(yè)與汽車(chē)領(lǐng)域大展身手。本次華為Mate 60 Pro發(fā)布后風(fēng)光無(wú)限，所有人都將目光聚焦在CPU與GPU上，那顆自研的ISP模塊再一次成為了配角。
我們?yōu)槿A為自研芯片振奮的同時(shí)，ISP芯片完成國(guó)產(chǎn)替代帶給中國(guó)半導(dǎo)體行業(yè)的信心與自研SoC芯片的寶貴經(jīng)驗(yàn)更加彌足珍貴，簡(jiǎn)單的一次更新讓華為影像系統(tǒng)覺(jué)醒，看似是驅(qū)動(dòng)修復(fù)，背后是在重重阻礙下中國(guó)企業(yè)執(zhí)著堅(jiān)定的信念和無(wú)數(shù)工程師不夜的努力付出。
下載ECAD模型
