3366
每次看到“幽靈剎車”上熱搜，記者首先想到的就是特斯拉。
原因很簡單，長期以來，特斯拉的自動駕駛方案采用純視覺方案，該方案有一個很大的缺點，那就是很難判斷前方物體的具體形狀。激光雷達的探測方式不同于攝像頭，點云反射測距方法讓雷達方案可以很容易檢測到前方物體的具體形狀與深度，進而快速判斷前方物體是“平面”還是“物塊”，可以很好的規(guī)避“幽靈剎車”發(fā)生。
然而最近理想也被爆出“幽靈剎車”事件。據(jù)網(wǎng)絡上流傳的一段視頻顯示，四川甘孜時先生在駕駛理想L7在路上正常行駛，突然車速從車速突然從80km/h快速降到20km/h左右，隨后直接剎停。
值得關注的一點在于，理想L7 Max版配備了激光雷達，此外還有6個800萬像素攝像頭、5個200萬像素攝像頭、1 個前向毫米波雷達以及安全冗余系統(tǒng)；Pro版則為1個800萬像素攝像頭、9個200萬像素攝像頭、1個前向毫米波雷達。
事件發(fā)酵后，理想官方對此事件回復：“因為激光雷達把廣告牌上準備起跑的人物，識別成了在路中間的真人，所以才緊急剎停?！焙髞砝硐胧酆罂头肿龀龌貞Q激光雷達有一個視覺感知的效果，識別廣告牌剎停這種情況也要看當時用車環(huán)境，具體原因需要工程師做分析診斷。其實在此之前，理想還發(fā)生過“墓地憑空出現(xiàn)大量人員”以及“車速140邁有人跟跑”事件（真的嚇人），官方都解釋為傳感器出現(xiàn)問題。
從官方回復中得知，該款車型為搭載激光雷達的理想L7 MAX版，而激光雷達相比攝像頭的一項重要優(yōu)勢就是可以識別物體深度，也就是說，理想L7本應該知道前方的是廣告牌而不是真人。
為什么用了激光雷達仍會“幽靈剎車”？激光雷達在與攝像頭協(xié)同工作的時候會出現(xiàn)哪些問題？輔助駕駛還能用嗎？本文將帶你了解自動駕駛傳感融合模式的差別，深挖激光雷達出現(xiàn)“失誤”的真正原因。
不同方案的傳感融合
挖掘理想“幽靈剎車”真相的第一步，我們先簡單了解一下自動駕駛方案的區(qū)別。
當前，常見的自動駕駛解決方案有三種：純視覺方案、毫米波雷達方案、激光雷達方案。其實，它們本質上的區(qū)別就是基于何種傳感器建立的識別體系。
攝像頭、激光雷達或毫米波雷達等感知傳感器在不同的環(huán)境場景下各有優(yōu)缺點。攝像頭提供了豐富的顏色和視覺信息，但缺乏提供深度信息。激光雷達給出物體的深度信息，但是非常稀疏，且沒有顏色信息。毫米波雷達不受光照影響，探測范圍遠，但與激光雷達相比，它的分辨率較低。因此不同傳感器在不同環(huán)境中的能力有較大差別。
圖源：自制
從對比中我們可以得出結論，激光雷達用于中程自動駕駛汽車的高精度探測領域。攝像頭提供了更多視覺信息，但激光雷達和攝像頭都會受到惡劣天氣的影響。由于毫米波雷達能發(fā)射穿透雨霧的無線電磁波，因此它具有較大的探測范圍，還可以在惡劣的天氣條件下工作。激光雷達相比毫米波雷達具有更高的準確度，但也有更高的成本。
因此，我們需要一種由激光雷達、毫米波雷達和攝像頭組成的車輛來應對所有天氣情況。從車輛成本與性能平衡的角度出發(fā)，我們應該至少在激光雷達或毫米波雷達中二選一，再搭配攝像頭來完成自動駕駛的探測任務。這時就需要用到傳感融合，然而傳感融合是一項十分復雜的技術或算法，不是簡單的將兩者相加。
傳感融合，本質上是數(shù)據(jù)融合。激光雷達與攝像頭的融合方式主要有兩種，即前期融合（Early Fusion）與后期融合（Late Fusion）。
在前期融合中，來自激光雷達的點云、毫米波雷達與相機的圖像，會在處理之前進行融合。我們以激光雷達和攝像頭融合方案為例。首先通過齊次坐標（投影空間坐標，具有N個維），加以一些平移旋轉等過程，將3D的激光雷達點云投影到2D的攝像頭圖像中，最終獲得外界物塊的歐幾里得坐標（即在笛卡爾空前內(nèi)標注，也就是我們中學學到的空間坐標系）。隨后，系統(tǒng)會通過深度學習的方式識別標注的物體。
在后期融合中，激光雷達、毫米波雷達與攝像頭會獨立獲得結果。首先激光雷達會獨立完成3D物體的圖像檢測，然后系統(tǒng)會將攝像頭中得到的2D物體投影到3D空間中，再進行匹配最終得到結果。
目前傳感融合仍舊面臨著許多問題，例如遮擋、截斷、環(huán)境的動態(tài)分析等，而且還有相當多的算法依賴物體表面問題特征進行判斷，這都非常容易造成混淆，進而影響算法準確率。
這里補充一點，無人駕駛系統(tǒng)包括感知層、認知層、決策層、控制層四種。傳感器探測外界信息并進行融合，這些都屬于感知層。鑒于幾乎所有的廠商都面臨此類問題，外加理想還有“前科”，因此記者認為理想大概率是在后面的步驟出現(xiàn)問題。
為什么會剎車？
目前市場上的多傳感器感知系統(tǒng)很大程度上依賴于后期傳感器融合，其中傳感器的輸出僅在對象級別組合。這意味著每個傳感器完全獨立運行，所有未超過檢測閾值的低級信息都將被完全丟棄。
可能有的讀者會產(chǎn)生疑問，為什么我們要選擇保存信息量少的后期融合，而不是盡可能的在前期融合，來保證數(shù)據(jù)的準確呢？事實上，有相當多的文獻均表明越靠前期的傳感融合，它提供的目標檢測越精確。但這里面臨一個問題，某個傳感器可能會探測到其他傳感器無法探測到的物體，這種信息是無法在融合算法中進行處理的。
首先，為了減少無法融合的物體數(shù)量，車輛就需要盡可能多的搭載傳感器（甚至需要多個激光雷達），這在成本上難以接受。其次，該類數(shù)據(jù)在硬件上很難進行優(yōu)化。最后，整車廠采購的傳感器往往來自不同的供應商，這意味著大量傳感器的接口并不互通，建立統(tǒng)一的數(shù)據(jù)轉換平臺工程量很大。因此，后期傳感融合成為當前的主流模式，這也間接造成了部分判斷的失誤。
無論是Early還是Late，傳感融合都需要結合物體識別步驟，也就是將數(shù)據(jù)導入認知層，這時就要用到3D計算機視覺技術了。該技術的經(jīng)典方法則是利用統(tǒng)計學和概率學模型，在預先深度學習過大量數(shù)據(jù)后才能實現(xiàn)對物體的準確識別。
目前基于卷積神經(jīng)網(wǎng)絡 (CNN) 的模型分析被廣泛用于對象檢測和分類上。它可以簡單的分成輸入、提取、優(yōu)化、分類、輸出、監(jiān)控（預測）。首先，傳感融合得出的圖像數(shù)據(jù)會被提供給輸入層，然后卷積層會從圖像中提取出重要特征，并通過算法將重要信息保留同時剔除冗余信息來降低復雜度。最后，CNN中的所有神經(jīng)元會通過算法將物體分類進行判斷，最終輸出。即最終輸出的結果，仍舊需要用分類概率產(chǎn)生，即讓算法“猜”出來。因此，這里可能會有算法判斷失誤的可能性。
關鍵的一點來了，CNN還具有對物體未來運動的預測功能，尤其在車輛高速行駛狀態(tài)下，對物體運動的提前預測可以幫助車輛留夠剎車距離。預測模塊的輸入依賴感知模塊的輸出，這些輸入內(nèi)容包括物體的位置、速度、朝向、物體分類（如車輛，行人，自行車）等信息。
從本次理想“幽靈剎車”爆出的視頻來看，廣告牌正好置于車道右前方，而車輛剛好處于高速行駛的時刻。此時在激光雷達的“眼”中，在忽略掉距離、形狀等問題后，它向后端判斷層輸出的是：該物體正向車輛快速移動。而攝像頭看到的，則是一個做起跑動作的人在向汽車移動。
所以，記者綜合以上內(nèi)容判斷：由于車輛采用后期融合的方案，激光雷達與攝像頭同時判斷這是一個快速向車輛移動的物體，同時結果中還疊加了攝像頭對于人的判斷。因此，基于對外界物體未來移動路徑的分析，理想L7 ADAS系統(tǒng)的決策層認為此時應該緊急剎車，來避免與前方大概率為 “人”的物體的碰撞。
應該怎么避免？
綜合目前自動駕駛的發(fā)展勢頭，杜絕“幽靈剎車”現(xiàn)象，可能不久就能實現(xiàn)。
在傳感融合層面，車廠應該讓傳感器數(shù)據(jù)做到盡量前期融合，這樣在本次事件中，ADAS系統(tǒng)就能很容易判斷出來，這是一個向汽車飛奔的廣告牌，而不是真實的人類。但這就要面臨前文提到的問題，成本、優(yōu)化以及接口問題。
成本。目前車載傳感器中，激光雷達是最貴的，而且遙遙領先其他任何一款傳感器。不過隨著目前國產(chǎn)激光雷達廠商發(fā)力，以及激光雷達大規(guī)模上車攤平成本，產(chǎn)品的價格已經(jīng)在飛速降低了。
2023年3月，禾賽科技2022 年第四季度財報披露，其四季度毛利率已從52.4%大幅下滑至30%，季度出貨量同比漲幅高達739%，禾賽在“虧本賺吆喝”的路上一去不復返。幾乎在同一時期，覽沃發(fā)布的業(yè)內(nèi)首款360°混合固態(tài)激光雷達，將激光雷達價格壓到3999元。華為此前也高調(diào)宣稱，未來計劃將激光雷達成本降低至200美元，甚至是100美元。相信在不遠的未來，激光雷達相比其他傳感器的價格劣勢將會快速消失。當然，在此之前激光雷達市場可能會經(jīng)歷一次嚴酷的“重新洗牌”。
優(yōu)化。更多的傳感器，更前期的融合，就需要芯片處理更大的數(shù)據(jù)量，也就需要更大的算力。最近英偉達市值一度沖破1萬億美元。從業(yè)務上看，它的成功其實在于壓中兩大風口，一個是AI，另一個則是自動駕駛。英偉達本季度汽車板塊收入達到2.96億美元。其中英偉達2019年推出了DRIVE AGX Orin平臺，據(jù)官方消息比亞迪新車將采用該芯片。Orin最高算力達到2000TOPS，能夠覆蓋從L2到L5自動駕駛全場景。因此，基于自動駕駛芯片算力的高速增長，數(shù)據(jù)優(yōu)化也將不再是問題。
接口，或者說是整合。最近幾年，中國電動汽車產(chǎn)業(yè)飛速發(fā)展，在新能源汽車領域已經(jīng)成為名副其實的世界第一強國。但快速進化的技術也造成產(chǎn)業(yè)鏈的大調(diào)整，這也導致汽車主機廠商的話語權不斷增大，很多曾經(jīng)的Tier2、Tier3廠商都與主機廠建立聯(lián)系。因此，在未來或許可以看到較為強勢的廠商能夠整合產(chǎn)業(yè)鏈，開發(fā)統(tǒng)一的數(shù)據(jù)交換接口，從而降低床傳感融合的難度。
綜上，避免 “幽靈剎車”出現(xiàn)，車廠應在傳感融合上發(fā)力，采用前期融合技術來提升判斷精確度。
寫在最后
盡管理想的"幽靈剎車"事件引發(fā)了人們對輔助駕駛技術的擔憂，但我們可以對未來的發(fā)展保持樂觀態(tài)度。這次事件的根本原因在于傳感融合技術的缺陷，而隨著半導體行業(yè)不斷推進技術的發(fā)展，這些缺陷很快將得到解決。同時，業(yè)內(nèi)對于安全性和可靠性的關注也在不斷增加，廠商們正在采取各種措施來確保他們的產(chǎn)品符合高標準的質量和可靠性要求。
綜上所述，雖然理想的"幽靈剎車"事件給人們帶來了擔憂，但我們應該對輔助駕駛技術的未來保持信心。
下載ECAD模型
