1087
和 ChatGPT 在 AIGC（AI- Generated Content，人工智能生成內容）領域一樣具備顛覆性的事情正在發(fā)生。
4 月 11 日，自動駕駛技術公司毫末智行在其第八屆 HAOMO AI DAY 上，重磅發(fā)布行業(yè)首個自動駕駛生成式大模型 DriveGPT，中文名「雪湖·海若」，該模型參數規(guī)模達到 1200 億，可用于解決自動駕駛研發(fā)過程中困擾已久的認知決策問題，并通過能力迭代，最終實現(xiàn)端到端自動駕駛。
此前，受制于傳統(tǒng)模型「數據量小、基于規(guī)則」等局限性，智能駕駛技術進展一度較為緩慢，甚至不少從業(yè)者都對未來產生了自我懷疑，在這樣的背景下，兩年前，毫末率先投入到大模型技術的研發(fā)之中，旨在尋找新的突破。
經歷了先行探索和反復驗證，毫末成功找到了突破口——生成式大模型，通過在行業(yè)首個將 GPT 落地到自動駕駛領域，大大加速了更高階智能駕駛的落地應用。
「生成式大模型將成為自動駕駛系統(tǒng)進化的關鍵，基于 Transformer 大模型訓練的感知、認知算法會逐步在車端進行落地部署?！购聊┒麻L張凱在 HAOMO AI DAY 上對行業(yè)未來發(fā)展趨勢作出論斷。
毫末 CEO 顧維灝也表示：「DriveGPT 雪湖·海若將會重塑汽車智能化技術路線，讓輔助駕駛進化更快，讓自動駕駛更早到來?！?/p>
顧維灝在自動駕駛技術領域的眼光獨到，布局非常領先。
事實上，毫末在 2021 年就已經開始了 Transformer 大模型技術的探索，并快速落地應用到 BEV 視覺感知算法當中，然后又以五大模型的方式來實現(xiàn)自動駕駛感知、認知算法的快速升級，現(xiàn)在這些大模型將統(tǒng)一到 DriveGPT 生成式大模型當中，目標將實現(xiàn)端到端自動駕駛。
毫末的探索始終走在行業(yè)技術探索的前列。
據了解，新摩卡 DHT-PHEV 即將首發(fā)搭載 DriveGPT 雪湖·海若量產上市，屆時，用戶市場還將迎來一輪新的震撼。
「毫末真正重塑了行業(yè)信心，」一位業(yè)內人士略微激動地說道，「這將是一場革命?！?/p>
DriveGPT 雪湖·海若，如何顛覆智能駕駛
在介紹 DriveGPT 雪湖·海若之前，先回顧一下 ChatGPT 的概念，其全稱是 Chat Generative Pre-trained Transformer，字面意思是用于聊天的生成式預訓練 Transformer 大模型。
其中 Transformer 是 ChatGPT 的重點，最早由谷歌在 2017 年提出，該模型基于注意力機制的設計，可以實現(xiàn)出色的算法并行性，因而迅速在自然語言處理（NLP) 領域流行起來，ChatGPT 就是其最新成果。
Transformer 大模型對于智能駕駛來說也不陌生，在 NLP 中奠定了核心地位之后，被逐漸被引入計算機視覺（CV）領域，后又被特斯拉、毫末智行等行業(yè)龍頭先行引入自動駕駛系統(tǒng)中，用于提升感知端的模型效果。
如今，毫末在 Transformer 大模型的應用上更進一步，將其率先拓展到智能駕駛系統(tǒng)認知端，DriveGPT 雪湖·海若由此誕生。
從同樣使用 Transformer 大模型的角度來說，ChatGPT 和 DriveGPT 雪湖·海若屬于同宗同源。
其中，ChatGPT 是對話式的生成式自然語言模型，輸入是自然語言的文本串，輸出是自然語言的文本，可以完成通用的下游語言生成任務，比如多輪對話、代碼生成、翻譯、數學 運算等能力。
而毫末 DriveGPT 雪湖·海若是用于自動駕駛場景的生成式大模型，輸入是感知融合后的文本序列，輸出是自動駕駛場景文本序列，即將自動駕駛場景 Token 化，形成「Drive Language」，最終完成自車的決策規(guī)控、障礙物預測以及決策邏輯鏈的輸出等任務。
DriveGPT 雪湖·海若首先在預訓練階段通過引入量產駕駛數據，訓練初始模型，再通過引入駕駛接管 Clips 數據完成反饋模型 (Reward Model) 的訓練，然后再通過強化學習的方式，使用反饋模型去不斷優(yōu)化迭代初始模型，形成對自動駕駛認知決策模型的持續(xù)優(yōu)化。
具體來說，DriveGPT 雪湖·海若會通過人類反饋強化學習的方式進行迭代，用 DriveGPT 雪湖·海若最新模型 (Active Model) 對真實場景 Case 做生成，產出多種場景序列結果，再用反饋模型給這些結果進行打分排序，目標是把好的結果排上來，差的結果排下去，然后與初始模型 (Pretrain-Model) 的生成概率做比較，放大比分。最后通過強化學習的方式將參數再次更新到最新模型 (Active Model) 中，一直反復這個迭代過程。
其中，Reward Model(反饋模型) 的訓練過程是獨立的，使用帶有偏序關系的 Pair 樣本對來訓練，這些樣本對來自于接管 Case，毫末將與人類駕駛結果相似的模型結果作為正樣本，與被接管軌跡相似的作為負樣本，這樣來構建偏序對集合，再利用 LTR(Learning To Rank) 的思路去訓練 Reward Model，進而得到一個打分模型。
此外，DriveGPT 雪湖·海若還可以輸出決策邏輯鏈：即在輸入端提供 Prompts(提示語)，根據提示輸出含有決策邏輯鏈 (Chain of Thought) 的未來序列。
毫末 CSS 自動駕駛場景庫是 CoT 的重要輸入，擁有超過幾十萬個細顆粒度場景，將 Prompt 提示語和完整決策過程的樣本交給模型去學習，學到推理關系，從而將完整駕駛策略拆分為自動駕駛場景的動態(tài)識別過程，完成可理解、可解釋的推理邏輯鏈生成。
除了用作認知決策，DriveGPT 雪湖·海若還可以逐步應用到城市 NOH、捷徑推薦、智能陪練以及脫困場景中。
有了 DriveGPT 雪湖·海若的加持，車輛行駛會更安全；動作更人性、更絲滑，并有合理的邏輯告訴駕駛者，車輛為何選擇這樣的決策動作。
對于普通用戶來說，車輛越來越像老司機，用戶對智能產品的信任感會更強，理解到車輛的行為都是可預期、可理解的。
盡管 DriveGPT 雪湖·海若剛出世就擁有強大的功能，但這還不是它的「終局」，毫末對于 DriveGPT 雪湖·海若的目標是實現(xiàn)端到端自動駕駛，后續(xù)毫末會持續(xù)將多個大模型的能力整合到 DriveGPT 雪湖·海若中。
與此同時，毫末也對外構建 DriveGPT 雪湖·海若生態(tài)，通過對行業(yè)提供開放服務，促進自動駕駛的從業(yè)者和研究機構，快速構建基礎能力，釋放創(chuàng)新。
汽車之心獲知，毫末 DriveGPT 雪湖·海若首批定向邀請了北京交通大學計算機與信息技術學院、高通、火山引擎、華為云、京東科技、四維圖新、魏牌新能源、英特爾等加入。
事實上，毫末對于大模型的開放從 DriveGPT 雪湖·海若的中文名「雪湖·海若」即可窺見。
據了解，「海若」一詞出自《莊子·秋水》中的神話人物北海若，在該書中，另一神話人物河伯請教北海若，何謂大小之分，北海若教導河伯說，不因天地而覺大，不因毫末而覺小。
毫末據此把 DriveGPT 中文名命名為「海若」，寓意著智慧包容、海納百川，為行業(yè)發(fā)展貢獻力量。
自動駕駛生成式大模型「第一槍」，為何由毫末打響
自動駕駛領域頂級玩家眾多，毫末憑何在全球首個推出了自動駕駛生成式大模型 DriveGPT 雪湖·海若？
要回答這個問題，首先要理清楚毫末 DriveGPT 雪湖·海若的本質，它是應用在智能駕駛上的人工智能，就必然離不開人工智能三要素：算法、數據和算力，而這三者恰恰是毫末具備領先性優(yōu)勢的地方。
首先在算法的技術路線上，毫末早早就堅定選擇走漸進式發(fā)展路線，比「躍進式」玩家的量產時間更早，更快形成規(guī)模化，從用戶真實使用場景中積累足夠多的數據。
毫末還清晰地提出了從自動駕駛 1.0 時代到自動駕駛 3.0 時代的演進路徑，并率先進入以數據驅動為核心的新時代。
從這時開始，自動駕駛獲取的數據量與數據多樣性將呈現(xiàn)指數級膨脹，在深度學習主導中，與大模型相輔相成，真正去解決自動駕駛最后的長尾難題。
在 2021 年 12 月第四屆 HAOMO AI DAY 上，毫末發(fā)布中國首個數據智能體系 MANA，其由四大板塊組成，分別是 TARS、LUCAS、VENUS 和 BASE。
其中，BASE 是整個系統(tǒng)架構的底層，包括數據底座、數據融合、PoseidonOS 等。
其他三大板塊置于上層：
TARS 代表毫末智行的開發(fā)的原型算法，包括感知、規(guī)劃決策、地圖定位、仿真引擎；
LUCAS 是提取數據價值，以數據驅動系統(tǒng)能力持續(xù)迭代的核心子系統(tǒng)，解決場景泛化，評測和部署的問題；
VENUS 則是數據看板，以參考標準評價算法的好壞。
在 MANA 的加持下，毫末輔助駕駛系統(tǒng)持續(xù)迭代，并不斷積累數據，目前用戶使用毫末輔助駕駛的行駛里程超過 4000 萬公里，而這即成就了 DriveGPT 雪湖·海若的數據底座。
毫末 DriveGPT 雪湖·海若使用了基于這 4000 萬公里的駕駛數據做 Pretrain(預訓練)，為了對生成決策結果進行調優(yōu)，又引入大約 5 萬段駕駛接管 Clips 數據，完成模型的訓練和推理。
距離上一屆 HAOMO AI DAY 三個月時間過去，毫末在數據驅動六大閉環(huán)體系上又實現(xiàn)多重進展：
在用戶需求閉環(huán)方面，毫末在道路曲率限速、換道時機、換道平順性、跟車控制平順性等產品性能上持續(xù)優(yōu)化，并進行新功能的體驗反饋；
在研發(fā)效能閉環(huán)方面，毫末將數據驅動理念深入到包括產品需求定義、感知與認知算法開發(fā)、系統(tǒng)驗證環(huán)節(jié)等產品開發(fā)流程的各個環(huán)節(jié)，使得整體開發(fā)效率較去年提升 30%；
數據積累閉環(huán)方面，毫末在車端部署診斷服務的相關數據場景標簽覆蓋 92% 的駕駛場景，在離線評測升級上，實現(xiàn)場景數據庫到仿真測試用例的自動化轉化，覆蓋 97% 的用戶使用高頻場景，同時在大規(guī)模純視覺 4D 標注和場景編輯的能力和效率上均達到行業(yè)頂尖水平；
在數據價值閉環(huán)方面，毫末大模型正在持續(xù)挖掘自動駕駛數據價值并解決自動駕駛的關鍵問題；
關于產品自完善閉環(huán)，毫末實現(xiàn)售后問題處理速度較傳統(tǒng)方式的十倍效率提升，實現(xiàn)最快 10 分鐘定位售后問題。
兩年時間有效挖掘產品提升點，問題閉環(huán)率達 76%，并且實現(xiàn) 8 輪 HWA 性能提升和 5 輪 NOH 軟件迭代，幫助客戶成功實現(xiàn) 8 次 OTA 產品在線升級；
最后在業(yè)務工程化閉環(huán)方面，毫末進一步完善了從采集回流環(huán)節(jié)、標注訓練環(huán)節(jié)、系統(tǒng)標定環(huán)節(jié)、仿真驗證環(huán)節(jié)到最終 OTA 釋放環(huán)節(jié)的產品研發(fā)全流程工程化閉環(huán)。
毫末不斷進步的數據驅動六大閉環(huán)能力，進一步加速毫末沖刺進入自動駕駛 3.0 時代的步伐，并形成相應的護城河。
除了在技術路線和數據積累上保持領先，毫末之所以能讓 DriveGPT 雪湖·海若橫空出世的原因還在于提前布局算力。
2023 年 1 月 5 日，第七屆 HAOMO AI DAY 上，毫末與火山引擎聯(lián)手發(fā)布了智算中心「雪湖·綠洲」（MANA OASIS），這也是中國自動駕駛行業(yè)首個也是最大的智算中心，每秒浮點運算達到 67 億億次。
基于雪湖·綠洲，毫末得以訓練出參數規(guī)模達 1200 億的 DriveGPT 雪湖·海若模型。
從首個提出在技術路線上步入自動駕駛 3.0，到發(fā)布中國首個數據智能體系 MANA，再到建設中國自動駕駛行業(yè)首個也是最大的智算中心，毫末在前期如此多的積累，讓其在自動駕駛生成式大模型的推出上，再次奪下「首個」，變得順理成章。
盡管已經走在最前面，毫末的腳步也沒有停下。
在本屆 HAOMO AI DAY 上，顧維灝透露，為給 DriveGPT 雪湖·海若做好算力支持，毫末對智算中心 MANA OASIS(雪湖·綠洲) 進行了三大升級，首先是與火山引擎全新搭建了「全套大模型訓練保障框架」，以保障毫末大模型訓練的穩(wěn)定性。
據了解，訓練保障框架包括 Monitor&Alert、Tracer&Log、Profile&Checkpoint 等功能，通過訓練保障框架，集群調度器可以實時獲取服務器異常、并及時將異常節(jié)點從訓練 pod group 中刪除，再結合 CheckPoint 功能，利用 VePFS 高性能存儲和 RDMA 網絡高效分發(fā)。此外，訓練保障框架實現(xiàn)了異常任務分鐘級捕獲和恢復能力，可以保證千卡任務連續(xù)訓練數個月沒有任何非正常中斷，有效地保障了大模型訓練的穩(wěn)定性。
其次，毫末還將「增量式學習」推廣到大模型訓練，構建 DriveGPT 雪湖·海若大模型學習系統(tǒng)。
具體來說：
（1）基于量產自動駕駛規(guī)模優(yōu)勢，毫末研發(fā)出以真實數據回傳為核心的增量學習技術;
（2）針對不同時段數據回傳量差異巨大，MANA OASIS 訓練平臺依靠彈性調度能力，自適應數據規(guī)模大小。同時將增量學習推廣到了大模型訓練，構建了一個大模型持續(xù)學習系統(tǒng)，自主研發(fā)任務級彈性伸縮調度器，分鐘級調度資源，集群計算資源利用率達到 95%;
（3）結合增量學習數據以動態(tài)數據流的形式，持續(xù)不斷將量產回傳和篩選的存量數據，傳入感知和認知 Pre-train 大模型。系統(tǒng)定時采樣評測模型學習狀態(tài)，出現(xiàn)異常快速回滾。持續(xù)提取最佳模型版本。
最后，毫末優(yōu)化關鍵算子，以提升數據吞吐量，提升 DriveGPT 雪湖·海若大模型訓練效率。
針對 Transformer 大矩陣計算，通過對內外循環(huán)的數據拆分，盡量保持數據在 SRAM 中，以提升計算的效率。
「Transformer 類大模型計算復雜度高，訓練難度大。在傳統(tǒng)訓練框架中，例如 PyTorch，算子流程很長，包括 Attention、LayerNorm、Dropout、Softmax 等多個環(huán)節(jié)，通過引入火山引擎提供的 Lego 算子庫實現(xiàn)算子融合，端到端吞吐提升 84%?！诡櫨S灝介紹道。
2023 年智駕競爭白熱化，毫末也開始干掉超聲波雷達？
過去幾年，智能駕駛在國內市場增長迅速，第三方數據顯示，2022 年在乘用車上，L2/L2+功能的搭載率接近 30%，時間來到 2023 年，行業(yè)更是全線爆發(fā)。
高速 NOA 等 L2+功能正成為標配，搭載行泊一體功能的智駕產品也迎來前裝量產潮，而另一邊，城市 NOA 也開啟搶位戰(zhàn)，玩家們紛紛比拼在多城市落地的速度以及真實用戶覆蓋面。
這其中，智駕方案性價比以及用戶價值被前所未有地凸顯出來。前者關系到智能駕駛能不能被更廣泛的用戶使用到，后者則與智能駕駛好不好用直接掛鉤。
張凱也提到：「車主的使用頻率和滿意度開始成為產品競爭力的重要衡量標準。」毫末的應對之策其一是修煉好內功，進而向外擠出「成本」，降低智能駕駛使用門檻；其二是通過領先的技術布局、數據閉環(huán)體系等，為用戶提供最優(yōu)選擇。
在降本上，毫末的第一步是開始像特斯拉一樣，驗證能否使用魚眼相機進行測距滿足泊車要求，以成功去掉超聲波雷達，進一步降低整體智駕成本。
據了解，毫末把視覺 BEV 感知框架引入到車端魚眼相機，目前做到了在 15 米范圍內達到 30cm 的測量精度，2 米內精度高于 10cm 的視覺精度效果，未來還有望進一步提高對于障礙物的輪廓邊界識別和測量的精度。
此外，毫末還升級 MANA 視覺感知能力，可實現(xiàn)單趟和多趟純視覺 NeRF 三維重建和虛擬動態(tài)物體合成，重建道路場景更逼真，肉眼幾乎看不出差異。
通過 NeRF 進行場景重建后，就可以編輯合成真實環(huán)境難以收集到的 Corner Case，模擬城市復雜交通環(huán)境，用更低成本測試提升城市 NOH 能力邊界，更好提升應對城市復雜交通環(huán)境。
在提升用戶價值上，毫末的打法是在技術上「增效」，成功實現(xiàn) MANA 視覺感知對于三維空間結構和圖片紋理的同時學習，讓模型練好內功理解場景中的結構、速度和紋理等核心信息，最終將輸出渲染得到結果和真實的后續(xù)視頻保持一致。
顧維灝表示，這一過程使用了 400 萬 Clips 訓練數據集，使 MANA 視覺感知性能提升了 20%。
「我們一直提到，基于真實用戶場景的反饋數據能夠讓我們更好的優(yōu)化產品，讓產品進步的更快。所有技術都要轉化為對人有用的產品才最有價值?，F(xiàn)在，毫末的產品正在為用戶提供著更多價值?！?/p>
除了在技術上不斷收獲進步，毫末在商業(yè)化進展上也取得重大勝利，張凱透露，毫末已與 3 家主機廠簽署戰(zhàn)略合作協(xié)議，達成面向 L2+級別智能駕駛領域的全方位戰(zhàn)略合作，相關項目已經在交付中。
2023 年一季度，毫末又迎來了映馳科技、中國自動化學會等更多合作伙伴，秉持著「6P 開放合作原則」，至此，毫末生態(tài)伙伴已達近百家。
基于以上取得的種種成就，毫末為 2023 定下的四大戰(zhàn)役正在全面突圍。
首先在智能駕駛裝機量王者之戰(zhàn)上，毫末三代乘用車產品搭載車型近 20 款，HPilot2.0 日均里程使用率 12.6%；
此外，HPilot 還在歐盟、以色列等地區(qū)和國家得到使用，墨西哥、俄羅斯、中東、南非、澳大利亞等市場也將陸續(xù)投放。
其次在大模型巔峰之戰(zhàn)中，毫末自動駕駛生成式大模型 DriveGPT 雪湖·海若已經發(fā)布，接下來，將攜手合作伙伴率先探索包括智能駕駛、駕駛場景識別、駕駛行為驗證、困難場景脫困等四大應用能力。
例如在駕駛場景識別中，毫末建立起一套基于 4D Clips 的方案，相比行業(yè)對一張圖片給出正確標注結果，需要付出約 5 元的代價，使用 DriveGPT 雪湖·海若的場景識別服務，單幀圖片整體標注成本直線下降到 0.5 元，僅相當于前者的 1/10。
接下來，毫末會逐步向行業(yè)開放圖像幀及 4D Clips 自動標注服務的使用，此舉將大幅降低行業(yè)使用數據的成本，提高數據質量，從而加速自動駕駛技術的快速發(fā)展。
此外，在城市 NOH 百城大戰(zhàn)里，毫末城市 NOH 將在北京、保定、上海等第一批城市率先落地，具體到車型，除了前面提到的新摩卡 DHT-PHEV，還將搭載魏牌藍山，并以安全為先、用戶為先、規(guī)模為先的原則，到 2024 年有序落地 100 城，目前量產落地至少領先業(yè)內一年以上時間。
最后，需要指出的是末端物流自動配送車商業(yè)之戰(zhàn)也已經打響，毫末末端物流自動配送車小魔駝 2.0 獲北京亦莊無人配送車車輛編碼，開啟亦莊運營，截止目前，已履約商超、智慧社區(qū)、校園配送、 餐飲零售、機場巡邏、高校教育、快遞自提、智慧園區(qū)、大氣環(huán)評等九大場景。
2023 年，AI大模型一夜火爆，讓所有人驚呼人工智能的時代真正開啟，英偉達 CEO 黃仁勛稱這是「iPhone 時刻」，比爾·蓋茨大贊堪比互聯(lián)網的發(fā)明，然而事實上，任何技術的爆發(fā)都不是一刻之間，往往前期已經經歷了較深的鋪墊。
毫末 DriveGPT 雪湖·海若也是如此，其源自于大模型、大數據和超算中心的深厚積累，才得以一鳴驚人，率先在業(yè)內開啟自動駕駛技術發(fā)展的黃金時代。
借用顧維灝在本屆 HAOMO AI AI DAY 上的結束語：
「很多人問我，為什么自動駕駛領域的 GPT 是毫末先做出的? 毫末成立到現(xiàn)在接近三年半時間。這三年多時間，很多事物都發(fā)生了變化，但是毫末對技術的堅定投入始終未變。我們始終熱愛技術，枕戈待旦，全力沖刺。再難，我們都不會放棄?！?/p>
