Vector(Vector)為汽車及相關(guān)產(chǎn)業(yè)的OEM及供應(yīng)商,提供專業(yè)的開放式開發(fā)平臺(tái)。Vector提供的CANoe、CANape工具,可助力ADAS數(shù)據(jù)系統(tǒng)迎接不同傳感器同步傳輸、數(shù)據(jù)延時(shí)預(yù)估、數(shù)據(jù)可視化等諸多挑戰(zhàn)。
Vector汽車技術(shù)(上海)有限公司商業(yè)開發(fā)經(jīng)理周云鵬以《Vector 助力ADAS試驗(yàn)與測(cè)試》為主題展開演講,以下是演講內(nèi)容整理:
Vector汽車技術(shù)(上海)有限公司商業(yè)開發(fā)經(jīng)理周云鵬
本次分享的技術(shù)是Vector對(duì)于L3自動(dòng)駕駛記錄系統(tǒng)的理解和認(rèn)識(shí),將從以下五方面來(lái)進(jìn)行:
第一,明確L3自動(dòng)駕駛系統(tǒng)的定義。第二,L3自動(dòng)駕駛對(duì)于記錄的需求。第三,Vector針對(duì)于ADAS數(shù)據(jù)記錄系統(tǒng)的解決方案。第四,數(shù)據(jù)記錄完畢之后,怎樣做數(shù)據(jù)物流。第五,如何利用所記錄數(shù)據(jù)。
L3自動(dòng)駕駛系統(tǒng)的定義
現(xiàn)階段,L3 ADAS域控的硬件部分基本上是由微控制器、微處理器組成,對(duì)應(yīng)的軟件架構(gòu)是Classic AUTOSAR與Adaptive AUTOSAR。由于圖像處理與傳感器融合需要大量計(jì)算,因此對(duì)SoC提出了非常高的算力需求。在域控運(yùn)行期間會(huì)產(chǎn)生較大功耗,一般情況下采用水冷散熱的模式。在開發(fā)調(diào)試階段,域控制器的對(duì)外接口可能包含XCP標(biāo)定協(xié)議、SOME/IP、DDS等,根據(jù)不同的需求,其中釋放的數(shù)據(jù)可能包含視頻、激光雷達(dá)點(diǎn)云、Debug信號(hào)等,通信方式可能包括CAN,LIN總線或者以太網(wǎng)、萬(wàn)兆網(wǎng),也有用PCle的,以上是我從數(shù)據(jù)采集角度對(duì)ADAS域控制器的認(rèn)識(shí)和理解。
傳感器端,比如相機(jī)的圖像數(shù)據(jù)有可能會(huì)在5-10路,甚至超過(guò)10路,L2級(jí)別的像素可能是兩百萬(wàn)、三百萬(wàn),L3級(jí)別則會(huì)提升至800萬(wàn)。它的數(shù)據(jù)接口包括GMSL/FPD LINK, ISP圖像處理芯片一般是放到域控當(dāng)中。部分攝像頭可能通過(guò)GPIO同步曝光。對(duì)于毫米波雷達(dá),L3自動(dòng)駕駛會(huì)配置前雷達(dá)、角雷達(dá),甚至高級(jí)別的4D雷達(dá),雷達(dá)提供點(diǎn)云、目標(biāo)信息等數(shù)據(jù),主要使用CAN或以太網(wǎng)接口;還有激光雷達(dá),也是用以太網(wǎng)提供原始的點(diǎn)云信息;最后是超聲波雷達(dá),一般使用DSI3這種總線協(xié)議,還有一些使用LIN的協(xié)議。
L3的ADAS系統(tǒng)還會(huì)配置一個(gè)真值系統(tǒng),可能采用激光雷達(dá)、相機(jī)、毫米波雷達(dá)結(jié)合的方式去提供真值信息,其提供的數(shù)據(jù)測(cè)量接口通常是以太網(wǎng)接口,有自己的時(shí)間域,并通過(guò)PTP去做數(shù)據(jù)同步。以上是我從ADAS記錄角度對(duì)L3的系統(tǒng)架構(gòu)認(rèn)識(shí)。
L3自動(dòng)駕駛數(shù)據(jù)記錄系統(tǒng)對(duì)于記錄的需求
L3系統(tǒng)對(duì)于數(shù)據(jù)記錄有什么要求?首先是同步性,同時(shí),記錄系統(tǒng)需要適配不同車型、不同傳感器的數(shù)量、記錄各種接口的數(shù)據(jù)。第二是足夠的數(shù)據(jù)吞吐量,由于L3系統(tǒng)會(huì)適配很多傳感器和ECU,內(nèi)置CAN總線、LIN總線、以太網(wǎng)等多種接口,對(duì)應(yīng)不同的數(shù)據(jù)協(xié)議,總的數(shù)據(jù)帶寬可能達(dá)到甚至超過(guò)1GByte/s。第三是滿足交互的可視化需求,在整車測(cè)試階段,測(cè)試人員需要通過(guò)可視化窗口,確認(rèn)數(shù)據(jù)的準(zhǔn)確性和功能是否可觸發(fā)。最后是數(shù)據(jù)物流的安全性,數(shù)據(jù)在上傳數(shù)據(jù)中心之前必須要做脫敏,可能會(huì)和云提供商或者圖商做一些合作。
接下來(lái)是各個(gè)傳感器對(duì)于數(shù)據(jù)記錄的不同需求。
首先是攝像頭傳感器,需要記錄原始的圖像,一種采集方式是記錄系統(tǒng)需要串在攝像頭和域控制器之間,將數(shù)據(jù)記錄下來(lái)。另外一種是域控接收攝像頭的視頻后,再通過(guò)LVDS接口輸出,記錄系統(tǒng)需要直接連接域控的LVDS接口記錄視頻。同時(shí),由于記錄的數(shù)據(jù)量較大,有時(shí)必須考慮到數(shù)據(jù)的無(wú)損壓縮。對(duì)于視頻帶寬,可以通過(guò)相機(jī)的分辨率、圖像輸出格式、幀率計(jì)算得出,以此評(píng)估記錄系統(tǒng)要滿足多大的帶寬吞吐量。
基本上,八百萬(wàn)像素的相機(jī)一秒鐘需要超過(guò)300M的字節(jié)數(shù)據(jù)量,而一輛自動(dòng)駕駛汽車有可能會(huì)安裝超過(guò)5個(gè)或者超過(guò)10個(gè)相機(jī),總的數(shù)據(jù)帶寬會(huì)非常龐大。
圖片來(lái)源:Vector
另一種情況下,攝像頭的數(shù)據(jù)在經(jīng)過(guò)域控制器處理之后,采用SOME/IP或者DDS等協(xié)議,通過(guò)以太網(wǎng)、PCIe等方式輸出。Vector針對(duì)這種數(shù)據(jù)會(huì)做一個(gè)記錄模塊,這其中會(huì)考慮客戶的需求,進(jìn)行數(shù)據(jù)的同步和可視化處理。
對(duì)于毫米波雷達(dá)而言, 原始數(shù)據(jù)更有助于調(diào)試corner case,這些原始數(shù)據(jù)包括來(lái)自天線的ADC數(shù)據(jù)、傅里葉變換后的FFT數(shù)據(jù)、XCP數(shù)據(jù)等等。這里要注意的一點(diǎn)是,如果雷達(dá)安裝位置發(fā)生改變,整體的測(cè)試要不要重新做,比如重新采集一些場(chǎng)景信息,需要OEM和Tier1仔細(xì)考慮。針對(duì)國(guó)際芯片廠商的雷達(dá)芯片,如Infineon,NXP,TI等,Vector的VX1000硬件支持用來(lái)采集雷達(dá)原始的ADC數(shù)據(jù)、XCP數(shù)據(jù)。對(duì)于國(guó)內(nèi)的芯片廠商,如加特蘭,Vector的VX1000也同樣支持采集雷達(dá)原始數(shù)據(jù)。
激光雷達(dá)對(duì)于記錄系統(tǒng)來(lái)說(shuō)較簡(jiǎn)單。因?yàn)榧す饫走_(dá)參與到域控的數(shù)據(jù)融合,只需要通過(guò)以太網(wǎng)連接到激光雷達(dá)和域控回路中,完成數(shù)據(jù)記錄。并確保在硬件沒(méi)供電的情況下,激光雷達(dá)和ECU也是物理連接的。
Vector針對(duì)于ADAS數(shù)據(jù)記錄系統(tǒng)的解決方案
首先,Vector的記錄系統(tǒng)是硬件可擴(kuò)展的,針對(duì)傳感器、控制器的數(shù)量增減,可以通過(guò)接口卡的通道數(shù)增減來(lái)適配,如果數(shù)據(jù)帶寬較大,記錄儀可以進(jìn)行級(jí)聯(lián),Vector的記錄平臺(tái)支持PTP時(shí)間同步,可以確保記錄儀PTP master和各個(gè)接口卡PTP slave都是PTP時(shí)間同步的。
再是軟件部分,Vector通過(guò)CANape進(jìn)行數(shù)據(jù)記錄。針對(duì)每一種傳感器可以做單獨(dú)的記錄模塊——DHPR recorder。像視頻、激光雷達(dá),都是通過(guò)DHPR recoder進(jìn)行記錄,這些記錄模塊都是通過(guò)CANape進(jìn)行調(diào)用,記錄的數(shù)據(jù)可以回傳給CANape進(jìn)行顯示。有一些用戶可能使用DDS傳輸數(shù)據(jù),Vector可以針對(duì)DDS開發(fā)相應(yīng)的DHPR recorder模塊。
圖片來(lái)源:Vector
Vector觀察到的一個(gè)需求是:部分用戶希望可以在線獲取數(shù)據(jù)。比如泊車場(chǎng)景中,用戶需要測(cè)試泊車功能,需要在線獲取泊車的數(shù)據(jù),Vector提供 SL-API DLL,用戶的應(yīng)用集成此API,可以在線獲取記錄儀中的預(yù)定義數(shù)據(jù),用戶通過(guò)應(yīng)用也可以控制記錄儀的啟動(dòng)和停止。
以上是測(cè)量和記錄介紹,接下來(lái)是可視化的功能。我們使用的軟件是CANape,它提供兩類可視化窗口:第一類是場(chǎng)景視圖,可以變換BEV,Driver view等不同視角。另一個(gè)就是視頻窗口。軟件所能采集到的數(shù)據(jù),比如信號(hào)、結(jié)構(gòu)體、目標(biāo)等信息,CANape都可以將其疊加到場(chǎng)景和視頻窗口中顯示,對(duì)于測(cè)試人員來(lái)說(shuō)非常友好。在L3系統(tǒng)穩(wěn)定運(yùn)行的情況下,CANape log可以支持脫機(jī)模式記錄,這種情況可以不需要隨車測(cè)試人員,記錄儀上電后自動(dòng)開始進(jìn)行記錄。
數(shù)據(jù)物流
目前我們看到主要有兩種數(shù)據(jù)物流方式,一種方式是將記錄盤抽取下來(lái),寄送到公司,然后拷貝至數(shù)據(jù)中心。還有一種方式就是由用戶準(zhǔn)備額外的物流硬盤,把硬盤抽取出來(lái)插入數(shù)據(jù)拷貝設(shè)備,通過(guò)拷貝機(jī)把數(shù)據(jù)拷到物流硬盤中??截愔髮⒂脖P物流到公司,上傳到云端或者數(shù)據(jù)中心。當(dāng)然,數(shù)據(jù)物流也可以直接使用云提供商的服務(wù),這樣更方便。
目前,國(guó)家對(duì)于車內(nèi)數(shù)據(jù)安全性的要求越來(lái)越高,法律法規(guī)要求,記錄的視頻需要去掉個(gè)人的隱私信息,尤其對(duì)于人臉和車牌都要模糊化處理,Vector針對(duì)這一方面研發(fā)了AI和機(jī)器學(xué)習(xí)的算法,可以去除隱私信息,比如說(shuō)模糊化車牌與人臉,或者直接生成隨機(jī)的車牌信息。
利用記錄數(shù)據(jù)
最后是Vector對(duì)于數(shù)據(jù)該如何使用的思考。Vector視頻reHIL的方案:1.硬件:VP75作為硬件處理平臺(tái),運(yùn)行數(shù)據(jù)回灌軟件;VX1161作為視頻板卡,緩存VP75發(fā)過(guò)來(lái)的視頻,并回灌給ECU。2.同步:VP75作為PTP的master,同步各個(gè)視頻板卡以及CAN或ETH板卡。3.軟件: CANoe負(fù)責(zé)HIL測(cè)試,Stream provider負(fù)責(zé)視頻回灌,CANoe通過(guò)CAPL腳本調(diào)用stream provider實(shí)現(xiàn)視頻回灌,其他總線回灌也是通過(guò)CANoe CAPL腳本實(shí)現(xiàn)。
(以上內(nèi)容來(lái)自Vector汽車技術(shù)(上海)有限公司商業(yè)開發(fā)經(jīng)理周云鵬于2022年9月15日由蓋世汽車主辦的2022第五屆自動(dòng)駕駛與人機(jī)共駕論壇發(fā)表的《Vector 助力ADAS試驗(yàn)與測(cè)試》主題演講。)
來(lái)源:蓋世汽車
作者:薈薈