康謀分享 | Nerf和3DGS神經重建技術在自動駕駛模擬中的應用

驗證自動駕駛軟件需要數(shù)百萬公里的測試。這不僅意味著系統(tǒng)開發(fā)周期長，而且系統(tǒng)的復雜度也會不斷增加，同時，大規(guī)模的實車測試也會耗費巨量的資源并且可能會面臨未知的安全問題。aiSim這樣的虛擬仿真工具可以減輕真實世界測試的負擔。

AD和ADAS系統(tǒng)依靠閉環(huán)驗證來確保安全性和性能。然而，實現(xiàn)閉環(huán)評估需要一個能夠準確代表真實世界場景的3D環(huán)境。雖然這些3D環(huán)境可以由3D設計工程師手工構建，但這種方案很難解決Sim2Real的差距并且在可擴展方面存在一定的局限性。為此，本文為您介紹神經重建如何打破限制，在自動駕駛模擬中的具體應用。

一、神經渲染——彌合差距

神經渲染可以利用深度學習技術來緩解這個問題，它可以從一個新的視角上逼真地渲染靜態(tài)（和動態(tài)）環(huán)境。當然這種方法也存在一定的優(yōu)劣點：

1、優(yōu)點：

（1）高保真的仿真質量：神經渲染可以產生幾乎和現(xiàn)實無異的場景，增強現(xiàn)實感。

（2）數(shù)據(jù)驅動和可擴展：這種方法具有可擴展性，使其適用于實時應用（如3D高斯?jié)姙R）。

2、缺點：

（1）分布外的對象：神經渲染很難將分布外（即以前未見過的）的對象插入 3D 環(huán)境中。

（2）偽影對動態(tài)物體的影響：偽影可能會影響動態(tài)物體的外觀。

（3）幾何不一致：在深度預測中，可能會出現(xiàn)幾何不一致。

二、現(xiàn)有生成模型的挑戰(zhàn)

目前的生成模型能夠創(chuàng)建高度逼真的圖像和視頻，但它們在幾個方面存在不足，例如:

（1）僅 2D 信息：這些模型不提供 3D 信息，僅在 2D 圖像空間中操作。

（2）射影幾何的空白：更多內容請參見https://arxiv.org/abs/2311.17138

（3）有限的傳感器模態(tài):這些模型不能用于生成其他傳感器模態(tài)(例如，激光雷達)。

總之，當前的生成模型不適合汽車級驗證。

三、康謀混合解決方案：集成式神經重建

為了解決這些限制，aiSim5提供了一種混合方案。在成熟的基于物理的渲染方案中集成最前沿的神經重建技術，使我們能夠在任意位置虛擬地插入動態(tài)對象，調整環(huán)境條件，并渲染以前未見過的相機視角。

通過這種方式，我們能實現(xiàn)以下的功能：

1、虛擬動態(tài)內容插入：

（1）添加具有逼真光照和環(huán)境光遮蔽的動態(tài)對象。

（2）模擬如雨、雪、霧等環(huán)境效果，以創(chuàng)建更多樣化的模擬場景。

2、多模態(tài)渲染：

（1）從任意相機視角生成精確的RGB圖像、深度圖和激光雷達強度圖（如下圖所示，第一行為GT）。

（2）未來的工作將包括語義分割掩碼和雷達仿真。

3、相機虛擬化:

（1）模擬各種虛擬相機設置，包括不同的相機的安裝和定向以及模型。

（2）下圖展示了模擬的前置魚眼（左）、前置廣角（中）和前置長距（右）相機的渲染效果，這些圖像是通過一個沒有直接使用前置相機數(shù)據(jù)訓練的模型生產的，也就是說，這些視角并沒有專門采集數(shù)據(jù)進行訓練。