9月25日,華為一年一度的秋季全場景新品發(fā)布會舉行,這可能是華為歷史上最為特殊、關(guān)注度最高的一場產(chǎn)品發(fā)布會,被許多媒體認(rèn)為是華為強(qiáng)勢回歸的“儀式”。
最近一個月來,是獨屬于華為的高光時刻,從8月底華為Mate 60 pro手機(jī)“未發(fā)先售”,麒麟9000s芯片實現(xiàn)華為手機(jī)媲美5G上網(wǎng)速度,“遙遙領(lǐng)先”全網(wǎng)熱議,任正非和孟晚舟先后發(fā)表“第四次工業(yè)革命”、“全面智能化時代”等講話,華為正在全面回歸。
當(dāng)然,在這場發(fā)布會上行,大家更期待的是,聽到更多華為手機(jī)的聲音。然而,并沒有,華為 Mate 60 RS Ultimate Design手機(jī)在劉德華的宣傳視頻中淺淺地漏了一面,此外就是余承東提了一下華為Matepad用的芯片與手機(jī)一樣——也即是麒麟9000s芯片——這看起來麒麟9000s芯片的產(chǎn)能似乎還比較充足。
但是,最近華為發(fā)布一大批發(fā)明專利信息情況,其中包含了多款傳感器發(fā)明專利,涉及光纖傳感器、激光雷達(dá)、MEMS等多種傳感器技術(shù),據(jù)查詢,華為迄今已經(jīng)公布了1000+項傳感器技術(shù)專利。
在這次發(fā)布會上,我們也發(fā)現(xiàn)華為發(fā)布的多款產(chǎn)品使用了這些傳感器專利,創(chuàng)造了多個突破性人機(jī)交互應(yīng)用。華為,在傳感器技術(shù)領(lǐng)域布局這么深了!詳情見下文。
11999起!華為Mate 60手機(jī)缺席,發(fā)布全新獨創(chuàng)人機(jī)交互技術(shù),發(fā)布會背后,1000+項傳感器專利技術(shù)公開!
9月25日下午的華為秋季新品發(fā)布會上,余承東一登場,就先介紹了此前“先鋒計劃”計劃的火爆——也即是華為Mate 60系列“未發(fā)先售”,對于當(dāng)下的缺貨情況,余承東也說到,他們正在“加班加點緊急生產(chǎn)”。
在發(fā)布會上,我們看到了華為平板產(chǎn)品MatePadPro 13.2英寸、非凡大師智能手表、華為智慧屏V5 Pro、FreeBuds Pro 3旗艦耳機(jī)、華為智能眼鏡 2、華為Watch GT4、華為路由BE3 Pro等系列新產(chǎn)品。
此外,余承東還預(yù)告了首款轎車智界S7,預(yù)計11月下旬與大家見面;大家期待已久的問界M9,12月如期而至。
關(guān)于本次華為華為發(fā)布會新品信息如下:?
1、“全球最輕薄”的大屏平板,手機(jī)同款旗艦芯片,首次支持星閃技術(shù),配套手寫筆寫畫體驗媲美專業(yè)的數(shù)位板。
7、華為智選車業(yè)務(wù)首款轎車智界S7正式亮相,搭載HarmonyOS 4智能座艙、華為高階智能駕駛,定位超越特斯拉Model S,將在今年11月下旬正式發(fā)布。
關(guān)于華為Mate 60 系列手機(jī)產(chǎn)品,發(fā)布會中較少提及,華為 Mate 60 RS | Ultimate Design,在發(fā)布會中只在劉德華的宣傳視頻中,露了一臉而在發(fā)布會后,華為官方公眾號發(fā)布了一條“HUAWEI Mate 60 RS 非凡大師”的消息,向大家介紹這款新機(jī)型的信息和價格——起售價11999起。
值得一提的是, 本次發(fā)布會中,華為帶來了全球首創(chuàng)的人機(jī)交互方式——華為靈犀指向遙控,該創(chuàng)新的交互技術(shù)與華為智慧屏 V5 Pro 一同亮相,該交互方式基于華為多項傳感器技術(shù)的創(chuàng)新。
靈犀指向遙控交互應(yīng)用于電視領(lǐng)域,主要是解決巨幕時代下,大屏電視的操控難題,這也是首次有廠商開辟這一新操控方式,號稱開創(chuàng)“巨幕手機(jī)”新時代。
其中,靈犀指向遙控技術(shù)信息,就在這些公開的發(fā)明專利里,在一項今年剛剛公開的名為“遙控方法、遙控設(shè)備和被控制設(shè)備”的專利中,我們能夠知道華為怎么進(jìn)行指向遙控——這基于多傳感器的感知及算法融合技術(shù)。
該專利申請?zhí)枮椋?02210248607 .6,在2022年3月份申請, 根據(jù)專利信息摘要介紹:
本發(fā)明實施例提供了一種遙控方法、遙控設(shè) 備和被控制設(shè)備。本發(fā)明實施例提供的技術(shù)方案中,所述被控制設(shè)備包括屏幕,所述方法包括:接收遙控設(shè)備的第一信息;根據(jù)所述第一信息確定所述遙控設(shè)備正對所述屏幕的目標(biāo)位置;根據(jù)所述目標(biāo)位置在屏幕上執(zhí)行第一操作。本發(fā)明實施例能夠使得用戶在不需要對五向?qū)Ш芥I進(jìn)行機(jī)械頻繁操作的前提下,實現(xiàn)對被控制設(shè)備的遠(yuǎn)程 操作,提升用戶在使用過程中的體驗感。
此外,發(fā)明專利說明書中,提到了:
目前被控制設(shè)備的遙控方法需要用戶對五向?qū)Ш芥I進(jìn)行機(jī)械頻繁的操作來實現(xiàn)對大屏的遠(yuǎn)程操作,導(dǎo)致使用過程中體驗感較差。有鑒于此,本發(fā)明實施例提供了一種遙控方法、遙控設(shè)備和被控制設(shè)備,能夠使得用戶在不需要對五向?qū)Ш芥I進(jìn)行機(jī)械頻繁操作的前提下,實現(xiàn)對被控制設(shè)備的遠(yuǎn)程操作,提升用戶在使用過程中的體驗感。
因此不難看出,該專利也即是本次發(fā)布會中,華為靈犀指向遙控所采用的技術(shù)。那么,怎么實現(xiàn)呢?
專利原文介紹較詳細(xì),這里簡單翻譯下,專利主要使用雙目攝像頭(即雙目視覺傳感器),拍攝電視圖像輪廓,然后將圖像數(shù)據(jù)傳送到算法模塊進(jìn)行解析,算法解析出坐標(biāo)發(fā)送給屏幕,屏幕顯示對應(yīng)的坐標(biāo)圖像并進(jìn)行相應(yīng)的操作。
這個過程看起來,是不是很像我們用人眼觀看屏幕然后用手指操控觸摸屏?
其中的算法模塊可以放置于遙控設(shè)備或者被控制設(shè)備(屏幕)中,而無線傳輸也有藍(lán)牙、紅外、移動網(wǎng)絡(luò)或者WLAN傳輸等多種方式,因此該發(fā)明專利包含多個實施方案可供選擇。
▲來源:華為專利公開信息
原理看起來并不復(fù)雜,但做起來卻一點都不簡單。要不然憑什么是華為首先發(fā)布這項全新的交互技術(shù),此前沒有廠商公布呢?
首先,是在自由空間下,傳感器的標(biāo)定。標(biāo)定傳感器是傳感器感知的必要環(huán)節(jié),是后續(xù)傳感器融合的必要步驟和先決條件,其目的是將兩個或者多個傳感器變換到統(tǒng)一的時空坐標(biāo)系,使得傳感器融合具有意義。
這里面包括左目攝像頭標(biāo)定、右目攝像頭標(biāo)定、確定攝像頭之間的平移旋轉(zhuǎn)關(guān)系,以及焦距、圖像中心、畸變系數(shù)等。
此外,還要進(jìn)行雙目深度估計,具體地計算兩個圖像之間像素的相對匹配關(guān)系,包括匹配誤差計算、誤差集成、視差圖計算、視差圖優(yōu)化和視差圖矯正5個步驟。
具體有多復(fù)雜,可看下方部分專利原文對操控過程的描述(可上下滑動查看):
[0106] 需要說明的是,如圖3所示,遙控設(shè)備100正對屏幕時,遙控設(shè)備100的中心點與屏幕上目標(biāo)位置之間的連線與遙控設(shè)備100較長的兩個側(cè)邊平行。
[0107] 其中,如圖5所示,算法模塊具體用于:在離線狀態(tài)下對雙目攝像頭進(jìn)行標(biāo)定;通過對屏幕的兩個圖像進(jìn)行矯正,以去除雙目攝像頭帶來的畸變;通過雙目匹配計算矯正后的兩個圖像之間的匹配點,得到視差圖;根據(jù)視差圖,通過3D坐標(biāo)計算得到遙控設(shè)備100正對屏幕的位置坐標(biāo)。
[0108] 其中,在離線狀態(tài)下對雙目攝像頭進(jìn)行標(biāo)定的目的是通過獲取兩個攝像頭的內(nèi)參和外參對齊兩個攝像頭。首先對左目攝像頭標(biāo)定,獲取左目攝像頭的內(nèi)參和外參;其次,對右目攝像頭標(biāo)定,獲取右目攝像頭的內(nèi)參和外參;最后,對雙目攝像頭標(biāo)定,獲取左目攝像頭和右目攝像頭之間的平移旋轉(zhuǎn)關(guān)系。其中,內(nèi)參包括焦距、圖像中心、畸變系數(shù)等;外參包括旋轉(zhuǎn)矩陣、平移矩陣。
[0109] 其中,通過對屏幕的兩個圖像進(jìn)行矯正可得到兩個圖像在X方向上的差異,能夠提高視差計算的準(zhǔn)確性。具體的,對屏幕的兩個圖像進(jìn)行矯正包括畸變矯正和轉(zhuǎn)化為標(biāo)準(zhǔn)形式。
[0110] 其中,雙目匹配是雙目深度估計的核心部分,主要目的是計算兩個圖像之間像素的相對匹配關(guān)系。具體的,雙目匹配包括匹配誤差計算、誤差集成、視差圖計算、視差圖優(yōu)化和視差圖矯正5個步驟。
[0111] 其中,根據(jù)視差圖中的匹配信息以及三角測量原理重建圖片中屏幕的三維信息,通過3D坐標(biāo)計算得到遙控設(shè)備100正對屏幕的位置坐標(biāo)。
[0112] 其中,第一操作,包括:在目標(biāo)位置顯示指針;或者,將與目標(biāo)位置對應(yīng)的控件高亮顯示或者陰影顯示。
[0113] 需要說明的是,當(dāng)用戶移動遙控設(shè)備100時,遙控設(shè)備100采集到的包含屏幕輪廓的圖像會發(fā)生變化,需要重新計算遙控設(shè)備100正對屏幕的位置坐標(biāo),被控制設(shè)備200根據(jù)新的位置坐標(biāo)刷新指針位置,指針根據(jù)遙控設(shè)備的指向移動;或者,被控制設(shè)備200根據(jù)新的位置坐標(biāo)刷新高亮顯示或者陰影顯示的控件。
雙目攝像頭也叫雙目景深攝像頭,即使用兩個圖像傳感器,像人類的雙眼,通過兩幅圖像的視差計算來確定距離,雙目攝像頭不需要知道障礙物是什么,只要通過計算就可以測距。
而在華為的這個專利中,雙目視覺傳感器感知到的圖像數(shù)據(jù),除了進(jìn)行測距外,還用來進(jìn)行復(fù)雜的3D坐標(biāo)計算。
因此,這個專利除了傳感器外,更涉及到復(fù)雜的算法計算和處理能力,以及對專用算法的芯片級開發(fā),以做到在移動設(shè)備下的高效率和低能耗。
這也是未來智能傳感器的重大方向,試想一下,當(dāng)前,機(jī)器學(xué)習(xí)已經(jīng)無處不在。如果算法不僅僅放在機(jī)器設(shè)備里,而是也可以放在最小的感知單元——傳感器中,那么嵌入式人工智能,就會大力推動智能時代的發(fā)展。
具體來看,智能傳感器集傳感就是芯片、通信芯片、微處理器、驅(qū)動程序、軟件算法等于一體,其核心優(yōu)勢就在于高復(fù)雜度的信息處理能力,以及高集成度的信息傳輸能力。
除了關(guān)鍵的雙目攝像頭外,該專利中還包含了傳感器模塊,可以添加包括壓力傳感器、陀螺儀傳感器、氣壓傳感器、磁傳感器……等等眾多傳感器,實現(xiàn)遙控設(shè)備的更多功能。
目前,華為傳感器技術(shù)領(lǐng)域的專利中,以傳感器為主要關(guān)鍵字的有約923件,此外,在激光雷達(dá)/雷達(dá)、MEMS等領(lǐng)域還有超過250+件專利數(shù)。其中,這些專利大部分以發(fā)明專利為主。
應(yīng)用這些專利技術(shù),華為已經(jīng)推出了首款光纖傳感產(chǎn)品OptiXsense EF3000、首款車規(guī)級高性能96線中長距激光雷達(dá)、首款毫米波AI超感傳感器、首款S-TAG運(yùn)動傳感器等產(chǎn)品。
來源:天眼查
此外,華為還大力投資了多家傳感器上下游企業(yè),包括了激光器、CMOS圖像傳感器、TOF傳感器、MEMS陀螺儀、旋變傳感器等多條賽道。
發(fā)布加速行業(yè)智能化白皮書,華為的全面智能化時代,以傳感器為感知底座,創(chuàng)造數(shù)以億計的需求
在5天前的華為全聯(lián)接大會上,CFO孟晚舟發(fā)布了華為未來10年的重要戰(zhàn)略規(guī)劃——全面智能化(All Intelligence)戰(zhàn)略,這個戰(zhàn)略將是未來10年華為發(fā)展的重點方向,也預(yù)示著華為研判的未來科技產(chǎn)業(yè)發(fā)展的趨勢。(相關(guān)信息參看《華為發(fā)布未來10年重要戰(zhàn)略》)
全面智能化戰(zhàn)略提到“所有對象可聯(lián)接”、“讓所有應(yīng)用可模型”、“讓所有決策可計算”。
會后,華為發(fā)布了《加速行業(yè)智能化白皮書》,其中,“智能感知”將是全面智能化的重要底座之一,包含了雷達(dá)、機(jī)器視覺、傳感器、計量表等眾多傳感器領(lǐng)域應(yīng)用。
華為的全面智能化戰(zhàn)略,在推動傳統(tǒng)行業(yè)向智能化轉(zhuǎn)型過程中,也必然將創(chuàng)造數(shù)以億計的海量傳感器需求。
結(jié)語
本次發(fā)布會上,華為發(fā)布了靈犀遙控等多個創(chuàng)新的人機(jī)交互操作,而這些操作則基于華為多年來深厚的傳感器專利技術(shù)基礎(chǔ)。
未來,隨著全面智能化時代的到來,除了傳感器數(shù)量上的巨大需求外,對傳感器的智能化也提出了更高的要求,傳感器+算法的各種智能傳感器將創(chuàng)造新的產(chǎn)品定義,創(chuàng)造新的市場需求。
中國正是因為有華為這些鏈主級別的科技企業(yè),不斷推動進(jìn)行技術(shù)創(chuàng)新,推出新的產(chǎn)品,才能拉動芯片、傳感器等上下游技術(shù)的不斷進(jìn)步!
中國科技,且看未來!并且,這個未來不遠(yuǎn)了!