「大模型+大算力」加持，通用人工智能和智能駕駛雙向奔赴

開(kāi)年以來(lái) ChatGPT、GPT-4 的相繼面世再度掀起計(jì)算機(jī)科學(xué)領(lǐng)域通用人工智能（AGI）研究熱潮，也不斷刷新我們對(duì) AI 的認(rèn)知。

作為具有人類(lèi)水平表現(xiàn)的大型多模態(tài)模型，GPT-4 被視為邁向 AGI 的重要一步，標(biāo)志著創(chuàng)新范式的深度變革和生產(chǎn)力的重新定義，也必將帶來(lái)更多元的產(chǎn)品遷移。

截至目前，全球已經(jīng)有超百萬(wàn)家初創(chuàng)公司聲稱(chēng)使用這一秘密武器來(lái)創(chuàng)造新產(chǎn)品，而這些產(chǎn)品將徹底改變從法律到股票交易，從游戲到醫(yī)療診斷的近乎一切領(lǐng)域。

盡管其中很多是營(yíng)銷(xiāo)泡沫，但與所有技術(shù)突破一樣，總會(huì)存在炒作周期和意想不到的遠(yuǎn)期效果。

事實(shí)上在另一邊，進(jìn)入 2023 年智能汽車(chē)領(lǐng)域同樣十分熱鬧。

智能化已然成為上海車(chē)展全場(chǎng)關(guān)注的最大焦點(diǎn)，除了激光雷達(dá)等關(guān)鍵傳感器的單點(diǎn)式突破，各大巨頭也紛紛展示智能駕駛全產(chǎn)品矩陣，城市場(chǎng)景輔助駕駛量產(chǎn)落地加速推進(jìn)。

更加值得注意的是，BEV、大模型、超算中心等計(jì)算機(jī)熱詞正在與自動(dòng)駕駛、行泊一體、城市 NOA 等智駕焦點(diǎn)火速排列組合，頗有相互交融、雙向奔赴的味道。

在這背后，一方面是近年來(lái)智駕、智艙持續(xù)升級(jí)對(duì) AI 在汽車(chē)場(chǎng)景落地的數(shù)據(jù)、算法、算力不斷提出更高要求，另一方面，AGI 的重大突破也已將觸角伸向智能汽車(chē)，將其視為實(shí)現(xiàn)閉環(huán)應(yīng)用的重要場(chǎng)景，很多企業(yè)布局已經(jīng)相當(dāng)高調(diào)。

日前，商湯科技 SenseTime 舉辦技術(shù)交流日活動(dòng)，分享了以「大模型+大算力」推進(jìn) AGI 發(fā)展的戰(zhàn)略布局，并公布該戰(zhàn)略下的「日日新 SenseNova」大模型體系。

在「大模型+大算力」加持下，本次上海車(chē)展商湯絕影駕、艙、云一體產(chǎn)品體系已全棧亮相，近 30 款合作量產(chǎn)車(chē)型集中展出，商湯也再度分享了智能汽車(chē)時(shí)代的 AGI 落地新思考。

本次上海車(chē)展亮相的部分絕影合作車(chē)型展示

01、算法：AI 正式步入大模型時(shí)代

如商湯科技聯(lián)合創(chuàng)始人、首席科學(xué)家、絕影智能汽車(chē)事業(yè)群總裁王曉剛所言，「AGI 催生了新的研究范式，即基于一個(gè)強(qiáng)大的多模態(tài)基模型，通過(guò)強(qiáng)化學(xué)習(xí)和人類(lèi)反饋不斷解鎖基模型新的能力，從而更高效地解決海量的開(kāi)放式任務(wù)?！?/p>

通用大模型并非為自動(dòng)駕駛而生，或?yàn)闈M(mǎn)足自動(dòng)駕駛的特定任務(wù)需求而設(shè)計(jì)。但智能駕駛開(kāi)發(fā)的諸多新需求已在推動(dòng)算法從專(zhuān)用小模型向通用大模型快速演進(jìn)。

首先是應(yīng)對(duì)海量數(shù)據(jù)處理和 Corner Case 問(wèn)題的迫切需求。

對(duì)于感知系統(tǒng)低頻出現(xiàn)但至關(guān)重要的小目標(biāo)及帶來(lái)的潛在安全隱患，算法開(kāi)發(fā)需要面對(duì)海量數(shù)據(jù)，傳統(tǒng)的 AI 小模型將難以同時(shí)處理大數(shù)據(jù)量和高復(fù)雜度的任務(wù)。通用大模型則可用在長(zhǎng)尾目標(biāo)的初篩過(guò)程，并疊加語(yǔ)料文字處理得到很好的效果。

再比如智駕算法開(kāi)發(fā)對(duì)自動(dòng)化數(shù)據(jù)標(biāo)注、降低人工成本的訴求。相比于人工標(biāo)注，通用大模型將自動(dòng)化對(duì)海量數(shù)據(jù)完成標(biāo)注任務(wù)，大幅降低標(biāo)注數(shù)據(jù)獲取的時(shí)間成本和本身的金錢(qián)成本，從而縮短研發(fā)周期、提升成本效益。

處于類(lèi)似的考量，近年來(lái)國(guó)內(nèi)外巨頭企業(yè)已圍繞大模型紛紛展開(kāi)各自智駕布局。

繼 Google 于 2017 年提出將 Transformer 結(jié)構(gòu)應(yīng)用在 CV 領(lǐng)域圖像分類(lèi)，大模型已在 GPT-2、GPT-3、BERT 等當(dāng)中不斷證明實(shí)力，特斯拉率先站臺(tái) Transformer 大模型征戰(zhàn)圖像視覺(jué)。

國(guó)內(nèi)企業(yè)也緊隨其后：

毫末智行已宣布自動(dòng)駕駛認(rèn)知大模型正式升級(jí)為 DriveGPT，百度表示利用大模型來(lái)提升自動(dòng)駕駛感知能力并將大模型運(yùn)用到數(shù)據(jù)挖掘，華為也已宣布加入大模型爭(zhēng)霸賽，自研「盤(pán)古」即將對(duì)外上線(xiàn)。

作為行業(yè)領(lǐng)先的人工智能公司，商湯在大模型領(lǐng)域可謂乘風(fēng)破浪，過(guò)去一兩年則全面將大模型能力在各業(yè)務(wù)線(xiàn) 20 多個(gè)場(chǎng)景落地，包括智能駕駛。

商湯「日日新 SenseNova」大模型體系背后是大模型研發(fā)中深厚的積累。商湯有自己的全棧大模型研發(fā)體系，其中就包括針對(duì)大模型的底層訓(xùn)練及實(shí)施過(guò)程中的各種系統(tǒng)性?xún)?yōu)化。

例如，商湯近期向社區(qū)發(fā)布的用于真實(shí)感知、重建和生成的多模態(tài)的數(shù)據(jù)集 OmniObject3D 中包含 190 類(lèi) 6000 個(gè)物體，數(shù)據(jù)質(zhì)量非常高。

再比如，商湯在 2019 年就已首次發(fā)布 10 億參數(shù)的視覺(jué)大模型，到 2022 年參數(shù)規(guī)模已達(dá)到 320 億，這也是世界上迄今為止最大的視覺(jué)模型。

此外，商湯也在智駕領(lǐng)域持續(xù)展示大模型能力。2021 年開(kāi)發(fā)的 BEV 感知算法在 Waymo 挑戰(zhàn)賽以絕對(duì)優(yōu)勢(shì)取得冠軍，2021 年 BEV Former 的 Transformer 結(jié)構(gòu)至今仍是行業(yè)最有影響力的 BEV 工作，今年開(kāi)發(fā)的 UniAD 是業(yè)內(nèi)首個(gè)感知決策一體化的端到端自動(dòng)駕駛解決方案。

在技術(shù)實(shí)力的另一端是量產(chǎn)進(jìn)度。商湯也給出了自己的智能駕駛量產(chǎn)公式：

自動(dòng)駕駛技術(shù)能力=場(chǎng)景數(shù)據(jù) x 數(shù)據(jù)獲取效率 x 數(shù)據(jù)利用效率2 =場(chǎng)景數(shù)據(jù) x 數(shù)據(jù)獲取效率 x 先進(jìn)算法 x 先進(jìn)算力。

而先進(jìn)的算法大模型不僅將通過(guò)跨行業(yè)數(shù)據(jù)匯聚提升駕駛場(chǎng)景數(shù)據(jù)資源，通過(guò)數(shù)據(jù)閉環(huán)開(kāi)發(fā)模式和自動(dòng)數(shù)據(jù)標(biāo)注提升數(shù)據(jù)獲取效率，更將大幅提升感知精度和感知豐富度進(jìn)而成倍提升數(shù)據(jù)利用效率。

依托原創(chuàng) AI 算法和模型積累，商湯領(lǐng)先的 BEV 感知算法推進(jìn)國(guó)內(nèi)首批量產(chǎn)應(yīng)用，并采用 Domain Adaption 算法有效解決跨域泛化問(wèn)題。商湯首創(chuàng)的自動(dòng)駕駛 GOP 感知體系將目標(biāo)數(shù)據(jù)獲取的人力成本降低 94%，實(shí)現(xiàn)低成本的車(chē)端模型開(kāi)發(fā)，目前也已投入量產(chǎn)應(yīng)用。

02、算力：智能汽車(chē)時(shí)代的重要基礎(chǔ)設(shè)施

隨電子電氣架構(gòu)技術(shù)由分布式不斷向集中式演進(jìn)，大算力芯片成為新型電子電氣架構(gòu)實(shí)現(xiàn)的物理基礎(chǔ)。

近年來(lái)車(chē)端芯片算力發(fā)展突飛猛進(jìn)，如英偉達(dá)規(guī)劃中的 Atlan 單顆芯片算力超 1000TOPS，Thor 單顆算力超 2000TOPS，將大幅提升單車(chē)感知決策能力。

而在云端，AGI 在自動(dòng)駕駛、網(wǎng)聯(lián)等場(chǎng)景的泛化應(yīng)用將提出比車(chē)端指數(shù)級(jí)更高的算力要求——從數(shù)據(jù)標(biāo)注到模型訓(xùn)練，從場(chǎng)景仿真到算法迭代。

算力將是智能汽車(chē)時(shí)代的新型基礎(chǔ)設(shè)施。

在此背景下，近年來(lái)主流企業(yè)紛紛開(kāi)啟雙線(xiàn)并行探索，車(chē)端自研算力平臺(tái)，云端建立超算中心。而進(jìn)入大模型時(shí)代后，數(shù)據(jù)量隨著多模態(tài)的引入也將大規(guī)模增長(zhǎng)，因此必然也會(huì)導(dǎo)致 AGI 對(duì)算力需求的劇增。

可以看到，英偉達(dá)車(chē)端云端同步布局并將提供端到端的全棧式 AI 加速計(jì)算解決方案，特斯拉也早在 2021 年 8 月發(fā)布自研云端超算中心 Dojo。

據(jù)近期報(bào)道，埃隆·馬斯克也將成立一家人工智能公司來(lái)與 OpenAI 競(jìng)爭(zhēng)，已購(gòu)買(mǎi)數(shù)千個(gè)英偉達(dá) GPU 并一直招募 AI 研究人員和工程師。

國(guó)內(nèi)方面，吉利、蔚來(lái)、特斯拉、毫末智行、小鵬等企業(yè)也已跟進(jìn)布局云端算力集群，投入巨大以提升智駕開(kāi)發(fā)算力儲(chǔ)備。

對(duì)于商湯來(lái)說(shuō)，如果說(shuō)大模型將是支撐智能駕駛的上層建筑，那么大算力就是數(shù)字基座。

商湯科技董事長(zhǎng)兼 CEO 徐立表示，目前大模型對(duì)基礎(chǔ)算力、基礎(chǔ)設(shè)施的需求非常旺盛，基礎(chǔ)算力對(duì)并行效率的要求也非常高，但真正好用的基礎(chǔ)設(shè)施其實(shí)十分稀缺。

出于這一原因，商湯歷時(shí)五年自建了業(yè)界領(lǐng)先的 AI 大裝置 SenseCore，完成 2.7 萬(wàn)塊 GPU 的部署并實(shí)現(xiàn) 5.0 exa FLOPS 的算力輸出能力，是亞洲目前最大的智能計(jì)算平臺(tái)之一，可同步支持 20 個(gè)千億規(guī)模參數(shù)量的超大模型同時(shí)訓(xùn)練。

位于上海臨港的 AIDC 人工智能計(jì)算中心將為智能汽車(chē)的數(shù)據(jù)存儲(chǔ)、標(biāo)注、脫敏、仿真訓(xùn)練、算法迭代到部署的閉環(huán)提供算力支持，打通基于數(shù)據(jù)驅(qū)動(dòng)的算法生產(chǎn)全流程，加速高級(jí)別智能駕駛技術(shù)的 AI 模型生產(chǎn)和持續(xù)迭代，推動(dòng)實(shí)現(xiàn)規(guī)?；慨a(chǎn)。

在 AIDC 的基礎(chǔ)上，AI 大裝置也將提供支持大模型生產(chǎn)的一系列服務(wù)：

處理大模型需要的自動(dòng)化數(shù)據(jù)標(biāo)注，將使智能標(biāo)注效率提升百倍；大模型推理部署，使得推理效率提升 100% 以上；大模型并行訓(xùn)練，最大 4000 塊卡并聯(lián)的單集群，可訓(xùn)練參數(shù)量超 5000 億的稠密模型，可訓(xùn)練超萬(wàn)億參數(shù)；大模型增量訓(xùn)練，增量微調(diào)成本降低 90%；開(kāi)源模型和大模型訓(xùn)練開(kāi)發(fā)者工具，大規(guī)模提升開(kāi)發(fā)效率。

如此規(guī)模的算力設(shè)施即使特斯拉同期也尚難以望其項(xiàng)背，也必將推動(dòng)大模型的高效閉環(huán)。

03、「大模型+大算力」推動(dòng)智能汽車(chē)行業(yè)整體進(jìn)程

汽車(chē)行業(yè)正在面臨百年未有之大變革。盡管此次以「大模型+大算力」推進(jìn) AGI 發(fā)展是商湯提出的戰(zhàn)略布局，但事實(shí)上，這一理念早已在行業(yè)層面達(dá)成共識(shí)。

基于感知、決策規(guī)控和 AI 云三大核心能力，商湯「大模型+大算力」已賦能絕影駕、艙、云三位一體產(chǎn)品體系量產(chǎn)落地：

除智能駕駛領(lǐng)域的全棧能力和行泊一體量產(chǎn)解決方案外，「大模型+大算力」也正在助力商湯打造智能座艙跨場(chǎng)景生態(tài)。

車(chē)展期間，與商湯「日日新 SenseNova」大模型體系深度融合的絕影未來(lái)展示艙升級(jí)亮相，語(yǔ)言大模型「商湯商量 SenseChat」以及 AIGC 文生圖平臺(tái)「商湯秒畫(huà) SenseMirage」也已上車(chē)，多點(diǎn)融合重構(gòu)人車(chē)交互方式，打造第三空間。

以「商量」為例，作為千億級(jí)參數(shù)的自然語(yǔ)言處理模型，其使用大量數(shù)據(jù)訓(xùn)練并充分考慮中文語(yǔ)境，展示出出色的多輪對(duì)話(huà)和超長(zhǎng)文本的理解能力。

商湯也展示了語(yǔ)言大模型支持的諸多汽車(chē)場(chǎng)景創(chuàng)新應(yīng)用，如在行車(chē)過(guò)程中化身「郵件助手」自動(dòng)提煉關(guān)鍵信息，作為「會(huì)議助理」自動(dòng)生成會(huì)議紀(jì)要，大大節(jié)省用戶(hù)行車(chē)時(shí)處理工作的時(shí)間和精力，為未來(lái)出行的應(yīng)用場(chǎng)景拓展帶來(lái)豐富的想象空間。

此外，以人工智能大模型開(kāi)發(fā)、生產(chǎn)、應(yīng)用為核心，一站式、自主研發(fā)的 AI 云也為商湯自動(dòng)駕駛數(shù)據(jù)閉環(huán)賦能，為 AGI 在智駕、智艙領(lǐng)域的技術(shù)遷移奠定基礎(chǔ)。

自 2021 年推出「SenseAuto 絕影」智能汽車(chē)平臺(tái)以來(lái)，商湯持續(xù)展現(xiàn)在這一行業(yè)的技術(shù)迭代和產(chǎn)品落地速度。

在本次上海車(chē)展上，數(shù)十款絕影合作量產(chǎn)車(chē)型悉數(shù)亮相，6 款座艙產(chǎn)品行業(yè)首發(fā)，截至目前，商湯絕影已與全球范圍內(nèi)超過(guò) 30 家車(chē)企合作，擁有超 50 個(gè)生態(tài)合作伙伴，累計(jì)前裝定點(diǎn)數(shù)量超 3100 萬(wàn)臺(tái)，深入詮釋 AGI 時(shí)代智能汽車(chē)量產(chǎn)落地新范式。

面向更長(zhǎng)遠(yuǎn)的未來(lái)，「大模型+大算力」將不僅推動(dòng) AGI 在智能汽車(chē)這一縱深領(lǐng)域的產(chǎn)業(yè)演進(jìn)，并將使其持續(xù)賦能百業(yè)——現(xiàn)在將這項(xiàng)技術(shù)「放回原處」為時(shí)已晚。

期待 AGI 在未來(lái)為我們釋放無(wú)限的可能性，幫助人類(lèi)應(yīng)對(duì)各領(lǐng)域的全球共同挑戰(zhàn)。