在6月21日的華為開發(fā)者大會(HDC 2024)上,華為云發(fā)布了盤古大模型5.0,其創(chuàng)新的多模態(tài)生成能力,可以為自動駕駛領域提供更高質(zhì)量的數(shù)據(jù)支持。
華為常務董事、華為云CEO張平安表示,盤古5.0通過創(chuàng)新的可控時空生成,大規(guī)模的生成和實際場景相一致的駕駛視頻數(shù)據(jù),有機會重塑自動駕駛的開發(fā)。
華為云盤古大模型5.0可控時空生成技術(STCG),賦予了模型理解并遵循物理規(guī)律的能力,這意味著,生成的視頻不僅在視覺上逼真,更重要的是在車輛行為、環(huán)境互動等方面與現(xiàn)實情況保持高度同步。例如,車輛在不同攝像頭視角間的平滑過渡,以及在不同天氣和光照條件下行駛的自然表現(xiàn),都顯示了模型對空間和時間維度精準把握的能力。
通過盤古大模型生成的六攝像頭視角視頻,自動駕駛系統(tǒng)可以直接獲取到全方位、高仿真度的訓練素材。這些視頻涵蓋了從無車街道到復雜多車交互的不同場景,甚至包括不同氣候條件下的行車情況,極大地豐富了訓練數(shù)據(jù)集的多樣性。尤為值得注意的是,模型在生成雨天視頻時,還能細膩地模擬出車輛尾燈因光線昏暗而開啟的細節(jié),體現(xiàn)了其對真實世界復雜規(guī)律的深刻理解和學習能力。
張平安表示:未來,盤古的多模態(tài)生成還會支持更多的場景,更好的為自動駕駛服務。