端到端已來，智駕仿真測試該怎么做？

一、前言

隨著智能駕駛技術(shù)的發(fā)展，端到端的解決方案被越來越多的開發(fā)者提及，各大汽車企業(yè)爭先恐后將端到端智駕方案部署到量產(chǎn)新車型上。過去，智能駕駛方案一直是按照感知、決策、規(guī)劃、控制這類規(guī)則驅(qū)動（rule-based）的模塊化方法推進，然而規(guī)則驅(qū)動的模塊化方案存在“規(guī)則難以窮舉、ODD邊界模糊、擴展與維護升級困難”等局限性。因此端到端的學(xué)習(xí)驅(qū)動（learning-based）方案應(yīng)運而生。

端到端的方案具有很多顯而易見的優(yōu)勢，首先，它具備較強的泛化能力，可以通過數(shù)據(jù)發(fā)現(xiàn)潛在規(guī)律，適應(yīng)多樣化和復(fù)雜場景；其次，端到端可實現(xiàn)全面優(yōu)化，學(xué)習(xí)驅(qū)動直接將輸入（如傳感器數(shù)據(jù)）映射到輸出（如車輛控制指令），避免了模塊化方案中的中間過程（如感知、決策和控制分離）可能導(dǎo)致的信息丟失或誤差累積；此外，端到端可持續(xù)學(xué)習(xí)和升級，模型可以通過在線學(xué)習(xí)或周期性訓(xùn)練，不斷吸收新數(shù)據(jù)，從而適應(yīng)動態(tài)變化的環(huán)境需求，如更新的道路法規(guī)、復(fù)雜的新場景等。

圖 1 自動駕駛傳統(tǒng)模塊化方案與端到端方案

可見，端到端智駕方案優(yōu)勢非常明顯，但是對于仿真測試來說卻是“災(zāi)難性的挑戰(zhàn)”。過去模塊化智駕方案中，感知與規(guī)控之間有顯性接口。無論是SIL仿真還是HIL仿真，可以輕松繞過感知模塊，直接對規(guī)控進行仿真測試（即使輸入合成的低置信度圖像或點云，也不對感知進行評測）。而端到端方案的到來，不再有所謂感知與規(guī)控接口，原有SIL或HIL仿真方案需要重構(gòu)。面向端到端的智駕仿真必須從傳感器輸出數(shù)據(jù)切入，提供一種置信度高、一致性好、覆蓋率全面、故障注入便捷的全鏈路閉環(huán)仿真方案。

我們探索了一種有效的端到端智駕仿真解決方案，在仿真引擎和數(shù)據(jù)傳輸上進行了大幅優(yōu)化，以應(yīng)對端到端帶來的挑戰(zhàn)，整體框架如圖2所示。本方案充分利用了智能駕駛的中間件技術(shù)，將仿真引擎生成的傳感器原始數(shù)據(jù)（部分為結(jié)構(gòu)化數(shù)據(jù)）直接傳遞給智駕應(yīng)用層，繞過了傳感器硬件和驅(qū)動，縮短了仿真數(shù)據(jù)傳輸鏈路，規(guī)避了仿真系統(tǒng)開發(fā)過程帶來的復(fù)雜適配與調(diào)試工作。大大縮短開發(fā)周期的同時，還顯著降低了整個仿真系統(tǒng)的成本。

圖 2 基于軟件定義接口和中間件的閉環(huán)測試

二、XIL架構(gòu)仿真

方案核心架構(gòu)基于aiSim仿真器，采用XIL架構(gòu)，并提供開放靈活的API接口，滿足不同仿真測試需求。無論是傳感器模型、車輛動力學(xué)，還是場景構(gòu)建，都有對應(yīng)的功能模組來實現(xiàn)。

圖 3 aiSim XIL架構(gòu)示意圖

aiSim Air引擎支持如Raster、Raytrace等多種渲染方案，并兼容3DGS/NeRF等技術(shù)，能夠在平衡渲染效率和置信度的同時，優(yōu)化資源占用和數(shù)據(jù)傳輸效率。此外作為通過ISO 26262 ASIL D認(rèn)證的仿真工具，aiSim能夠在不同傳感器和天氣條件下提供完全的確定性和一致性。

圖 4 Raster和Raytrace渲染支持

圖 5 兼容三維重建場景

三、靈活先進的場景構(gòu)建方案

此外，我們采用了多種先進的場景構(gòu)建方案，極大地增強了測試的靈活性和廣度。交互式圖形化場景編輯工具支持OpenScenario和aiSim自定義的AimScenario兩種場景格式，能夠逐幀回放編輯過程。

圖 6 圖形化場景編輯工具

高斯?jié)姙R渲染器（GGSR）則可以在3D重建場景中動態(tài)插入物體，優(yōu)化環(huán)境條件，減少偽影，修復(fù)鏡頭下的非一致性問題。

圖 7 非一致性修正

圖 8 三維重建場景天氣環(huán)境編輯

圖 9 任意視角下多模態(tài)效果圖

LogSim2WorldSim進一步通過云端自動化處理和分析原始數(shù)據(jù)，實現(xiàn)了基于EuroNCAP等法規(guī)場景的切片、預(yù)測試和回放功能。

圖 10 LogSim2WorldSim方案轉(zhuǎn)換流程

在完成場景構(gòu)建后，通過VRU、建筑物、道路標(biāo)志和天氣等動靜態(tài)元素，對場景的邊緣條件進行探索，確保端到端測試全面覆蓋。

圖 11 場景泛化方案

四、高保真物理傳感器模型

在傳感器仿真方面，通過物理級相機、激光雷達和毫米波雷達模型等豐富模型庫的支持，可以實現(xiàn)快速配置和參數(shù)調(diào)整。此外通過精準(zhǔn)仿真HDR、高動態(tài)范圍、動態(tài)模糊、曝光等不同的視覺效應(yīng)，能夠確保各種駕駛環(huán)境和天氣條件下的高保真度測試。

圖 12 相機模型鏡頭效應(yīng)

圖 13 鏡頭不同曝光次數(shù)下HDR圖像

圖 14 不同天氣條件下鏡頭效果

激光雷達和毫米波雷達模型也能有效模擬不同天氣條件下的傳感器行為，為高效的多目標(biāo)檢測和車道線檢測任務(wù)提供可靠數(shù)據(jù)支持。

圖 15 激光雷達BRDF材質(zhì)反射

圖 16 雨雪天氣激光雷達點云輸出效應(yīng)

圖 17 激光雷達點云置信度驗證

圖 18 毫米波雷達點云

五、置信度與仿真結(jié)果分析

我們還對采用此方案的仿真結(jié)果進行了詳細(xì)的驗證。例如，在車道線檢測任務(wù)中，aiSim仿真與真實世界數(shù)據(jù)之間的召回率一致，達到了98.45%的高準(zhǔn)確率。多個目標(biāo)檢測任務(wù)的測試結(jié)果也表明，仿真與實際表現(xiàn)高度契合，尤其在近距離目標(biāo)的檢測中，召回率表現(xiàn)優(yōu)異。

圖 19 置信度測試1：車道線檢測算法

圖 20 置信度測試2：多目標(biāo)檢測

端到端智駕仿真方案還在多個測試環(huán)境中展現(xiàn)了出色的表現(xiàn)，包括實車靜態(tài)和動態(tài)測試、車輛模型與動力學(xué)模型的集成，支持FMU接口快速接入第三方動力學(xué)模型。

圖 21 動力學(xué)測量和建模

每次仿真結(jié)束后，系統(tǒng)會自動生成SQLite數(shù)據(jù)庫文件，方便進行深入的分析和數(shù)據(jù)挖掘，確保測試結(jié)果的全面性和準(zhǔn)確性。

圖 22 測試結(jié)果可視化分析

六、應(yīng)用案例分享

隨著自動駕駛測試需求的日益復(fù)雜，基于aiSim為核心的端到端仿真方案憑借其易于擴展的特性，可以支持SiL/HiL等多種應(yīng)用場景，并提供了與ROS2、Simulink、Matlab等系統(tǒng)的無縫集成。

圖 23 基于DMA視頻注入閉環(huán)測試方案及監(jiān)測窗口

我們還嘗試探索了專為GNSS集成域控制器、決策功能快速測試等場景的測試方案，進一步提高了測試效率，降低了硬件成本。

圖 24 GNSS聯(lián)合仿真方案

七、結(jié)語

本次介紹的端到端智駕仿真測試方案，以aiSim引擎和XIL架構(gòu)為核心支撐，憑借其開放的接口設(shè)計、靈活的場景構(gòu)建與測試功能，為自動駕駛技術(shù)的驗證與優(yōu)化提供了強有力的支持。無論客戶面臨的是提升測試效率的迫切需求，還是降低成本的現(xiàn)實壓力，端到端智駕仿真測試方案都能幫助客戶輕松應(yīng)對自動駕駛測試中的種種復(fù)雜挑戰(zhàn)，實現(xiàn)技術(shù)難題的快速解決。