1475
賈浩楠 發(fā)自 副駕寺，智能車參考 | 公眾號(hào) AI4Auto
商湯絕影，正在展現(xiàn)“CVPR最佳論文”之外的實(shí)力。
首先是在超越車端算法的AI大模型實(shí)力：自動(dòng)駕駛的云端世界模型，和智能座艙的流式多模態(tài)大模型。
作為智能汽車供應(yīng)商，還完成了350萬輛+的產(chǎn)品上車搭載里程碑。
更重要到，商湯絕影作為技術(shù)絕對(duì)領(lǐng)先的端到端“T0”級(jí)別玩家，現(xiàn)出對(duì)主機(jī)廠的合作吸引力和落地加速度。
商湯絕影CTO肖楓直接說：“地大華魔”的頭部格局，已經(jīng)是過去式了。
絕影新進(jìn)展：云端世界模型和車端多模態(tài)大腦
商湯絕影剛剛辦了自己的第一個(gè)AI DAY，其實(shí)說成是一場(chǎng)“交卷答辯”更為合適。
交的卷可以分成技術(shù)和落地兩方面。
首先是量產(chǎn)智駕方面，絕影首次公開了自己的世界模型——開悟。
簡(jiǎn)單的理解就是一個(gè)自動(dòng)駕駛專用版的Sora大模型，用來解決端到端研發(fā)體系中的仿真問題。
開悟世界模型可以理解真實(shí)世界中的物理法則和交通規(guī)則，在這個(gè)基礎(chǔ)上準(zhǔn)確的生成場(chǎng)景（這是與sora的最大不同）。
具體來說，生成的視頻基于11個(gè)攝像頭， 11V保持時(shí)空一致的時(shí)間間隔，最長(zhǎng)可以達(dá)到 150 秒，分辨率能夠達(dá)到1080P。
同時(shí)開悟生成的場(chǎng)景也是可控的，能夠細(xì)微的做到元素級(jí)別。
晴天下周邊環(huán)境的投影、夜間車輛遠(yuǎn)近近光的投射，都是符合物理法則的真實(shí)呈現(xiàn)。
這種感覺有點(diǎn)像游戲工業(yè)著名的虛幻引擎，但開悟世界模型的的不同之處在于，它通過海量數(shù)據(jù)的學(xué)習(xí)物理法則，而且同時(shí)還學(xué)會(huì)了交通規(guī)則，比如車輛剎車的時(shí)候視屏中車輛會(huì)適當(dāng)?shù)谋３周嚲嗖⒑侠韱⑼！?/p>
而與行業(yè)內(nèi)其他先發(fā)的世界模型相比，開悟的優(yōu)勢(shì)在于多視角和清晰度。
目前業(yè)內(nèi)最好的水平現(xiàn)在是6V視角，而開悟通過行人車輛3D框和時(shí)空軌跡作為精準(zhǔn)的輸入，控制信號(hào)來生成 11V 的視頻數(shù)據(jù)，保證了11個(gè)攝像頭在仿真空間中的時(shí)空一致性。
另外，開悟生成的是1080P視頻會(huì)更加清晰，更加方便模型進(jìn)行訓(xùn)練。借助商湯日日新原生多模態(tài)的基模型，開悟可以達(dá)到元素級(jí)別的精準(zhǔn)度，可以生成不同的場(chǎng)景和各種的 corner case，比如同一路段雨天變晴天、增加車輛種類數(shù)目等等。
有了開悟世界模型，絕影目前打造了覆蓋 1024 類場(chǎng)景，包括了 50 多類天氣、光照等條件的基礎(chǔ)場(chǎng)景， 200 多類不同的交通標(biāo)志、 300 多類道路的連接的場(chǎng)景，比如說路口、環(huán)島還有隧道等等，而在這個(gè)基礎(chǔ)上可以構(gòu)建千萬級(jí)別的場(chǎng)景庫(kù)，覆蓋更多的長(zhǎng)尾場(chǎng)景。
智能座艙層面，絕影發(fā)布了「A New Member For U」（你的家庭新成員），號(hào)稱讓汽車擁有「有趣的靈魂」。
核心技術(shù)是我們?cè)敿?xì)介紹過的商湯原生流式多模態(tài)大模型，以及車載類人記憶框架和持續(xù)運(yùn)行框架。
體驗(yàn)的亮點(diǎn)是更加“叛逆”，智能座艙不再只是一問一答的工具，而是能夠主動(dòng)學(xué)習(xí)，自我進(jìn)化。
例如，在旅途中，后排的孩子睡著了，New Member會(huì)主動(dòng)把空調(diào)溫度升高、音樂的聲量調(diào)低，底盤和駕駛模式都調(diào)整為舒適模式，給小朋友一個(gè)舒適安心的睡眠環(huán)境。
不需要用戶下指令，而是它觀察到了，思考和推理之后，主動(dòng)的服務(wù)。既不打擾，又有溫度。
車載類人記憶框架，與人類的記憶機(jī)制非常相似，包括臨時(shí)記憶、長(zhǎng)期記憶和場(chǎng)景記憶三部分，三者結(jié)合讓系統(tǒng)實(shí)現(xiàn)類人的記憶能力。
例如，車內(nèi)的小朋友看到路上其他小孩吃棉花糖，拿出棒棒糖想偷吃，New Member「家庭新成員」看到了這個(gè)小動(dòng)作，「記得」小朋友剛看完牙醫(yī)，不能吃糖，進(jìn)行主動(dòng)提醒。
此外，商湯絕影還打造了能夠持續(xù)推理的Always-on運(yùn)行框架，能夠?qū)⒍嗄B(tài)感知到的信息與各種記憶相結(jié)合，進(jìn)行高效的處理和反饋，做到時(shí)刻感知需求，主動(dòng)為用戶服務(wù)。
兩個(gè)技術(shù)進(jìn)展“交卷”，分別來自量產(chǎn)智駕和智能座艙領(lǐng)域。
對(duì)應(yīng)在商業(yè)落地層面的，絕影橫跨智駕、座艙，同樣給出了最新的落地進(jìn)展。
商湯絕影，量產(chǎn)走到哪一步
商湯絕影商業(yè)化進(jìn)展，包含在這張圖中：智駕智艙產(chǎn)品上車數(shù)量超過350萬輛，覆蓋超過30家車企100多款車型。
其中，智能座艙的AI軟件產(chǎn)品，絕影的市場(chǎng)份額是行業(yè)目前絕對(duì)的No.1，連續(xù)五年。舉幾個(gè)例子，比如極氪X上的B柱智慧人臉識(shí)別系統(tǒng)、小米SU7上小愛同學(xué)識(shí)別路上汽車品牌、建筑類別等等復(fù)雜目標(biāo)任務(wù)等等，都是絕影的提供的底層能力。
量產(chǎn)智駕上，目前公開的有6款車，覆蓋3個(gè)車企：
產(chǎn)品方案上，包括基礎(chǔ)智駕方案、覆蓋全場(chǎng)景的高階智駕，以及基于UniAD打造的端到端量產(chǎn)智駕方案。
地平線J6E和J6M兩個(gè)平臺(tái)，絕影打造了AD Pro和AD Max兩個(gè)量產(chǎn)智駕方案，其中AD Max能夠?qū)崿F(xiàn)城區(qū)無圖NOP。J6平臺(tái)的智駕方案預(yù)計(jì)明年2季度就會(huì)量產(chǎn)交付。
200+TOPS的車載算力平臺(tái)上，絕影已經(jīng)具備量產(chǎn)無圖，無激光雷達(dá)的1R11V高階智駕方案，實(shí)現(xiàn)不挑城市不挑路段的“門到門”智駕。
這套“無圖純視覺”端到端方案，奇瑞旗下的大卓智能和東風(fēng)集團(tuán)剛剛和絕影達(dá)成協(xié)議，共同推進(jìn)量產(chǎn)上車。
新的合作模式中，絕影也不再是一個(gè)簡(jiǎn)單的智艙或智駕模塊供應(yīng)商，而是和主機(jī)廠深度合作，分享商湯積累已久的AI大算力裝置、云服務(wù)、工具鏈等等能力。
為什么會(huì)出現(xiàn)這樣的轉(zhuǎn)變？商湯聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影CEO王曉剛認(rèn)為：
AGI時(shí)代，單打獨(dú)斗的車企和AI公司都很難脫穎而出。
并且給出了技術(shù)層面的解析。
王曉剛：決戰(zhàn)端到端，車端遠(yuǎn)遠(yuǎn)不夠
所謂“地大華魔”的格局，是指去年圈內(nèi)流行開的量產(chǎn)智駕頭部玩家名單，以定點(diǎn)數(shù)量、輿論聲勢(shì)等作為參考：地平線、大疆、華為、Momenta。
商湯認(rèn)為這樣的評(píng)價(jià)體系已經(jīng)成為過去式，但理由卻不是常見的端到端帶來的體驗(yàn)優(yōu)越性。
王曉剛博士以絕影最新的技術(shù)架構(gòu)作為依據(jù)：端到端給了所有智駕玩家重新上桌出牌的機(jī)會(huì)，但這個(gè)機(jī)會(huì)并不平等。
因?yàn)槎说蕉说臄?shù)據(jù)驅(qū)動(dòng)本質(zhì)，決定了它本身上限極高，下限也極低的技術(shù)特征，所謂garbage in，garbage out。
所以商湯提出的第一個(gè)觀點(diǎn)，是決勝不在車，不在端到端算法本身，而在云端更加龐大和關(guān)鍵的世界模型，生成仿真數(shù)據(jù)，形成雙輪驅(qū)動(dòng)車云、車輪一車云一體。
關(guān)鍵是獲取大量、高質(zhì)量的路測(cè)數(shù)據(jù)，當(dāng)然還必須能持續(xù)獲得。
也給出了具體的數(shù)據(jù)尺度：
目前絕影智駕研發(fā)中20%的數(shù)據(jù)，都是由開悟世界模型生成。在一塊A100 GPU上，世界模型平均每天可以生產(chǎn)大約2萬個(gè)bundle，相當(dāng)于100臺(tái)路測(cè)車的數(shù)據(jù)采集能力，或500 臺(tái)量產(chǎn)車回傳有效數(shù)據(jù)的效率。
而這樣的GPU，商湯一共有超過5.4萬塊，另外世界模型生成的訓(xùn)練數(shù)據(jù)，往后還會(huì)進(jìn)一步占比達(dá)到80%。
這其實(shí)才是“絕影”真正一日千里的核心，也是車企和AI公司無法“獨(dú)贏”的底層邏輯。
特斯拉因其不可復(fù)制的歷史原因，率先擁有了 700 萬輛高階智駕量產(chǎn)車，和算力達(dá)到 10萬PFLOPS的基礎(chǔ)設(shè)施，已經(jīng)拿穩(wěn)了L2+終局的門票。
但根據(jù)第三方統(tǒng)計(jì)，我們國(guó)內(nèi)支持城區(qū)輔助駕駛高階支架的車的數(shù)量約為數(shù)十萬輛，并且不同的車型數(shù)據(jù)的基礎(chǔ)設(shè)施也不統(tǒng)一，云端算力與特斯拉也有兩個(gè)數(shù)量級(jí)的差距。
國(guó)內(nèi)車廠要想追趕上，必須要通過新的模式來革新數(shù)據(jù)基礎(chǔ)設(shè)施。
商湯絕影，同樣因其難以復(fù)制的歷史原因，形成了傳統(tǒng)自動(dòng)駕駛創(chuàng)業(yè)公司無法具備的大算力、大模型能力。
所以大卓、東風(fēng)和絕影的合作模式，超越傳統(tǒng)的地方不僅在于絕影愿意白盒交付，更關(guān)鍵在于絕影愿意把基礎(chǔ)設(shè)施、底層工具直接部署到主機(jī)廠，合作開發(fā)。
換言之，將傳統(tǒng)智駕模塊用AI算法替代實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)并不難，甚至如今連“門檻”都算不上。端到端上車的體驗(yàn)、效率，關(guān)鍵是背后的數(shù)據(jù)能力。
所以從這個(gè)角度看，商湯絕影是目前智能供應(yīng)商中的唯一：頂尖AI大牛團(tuán)隊(duì)、全棧智艙智駕交付能力、“純血”一段式端到端算法、自有超算基礎(chǔ)設(shè)施、完善齊全的各類大模型應(yīng)用。
以及完全To B，沒有任何主導(dǎo)C端整車意愿的產(chǎn)品策略。
