1717
作者：沈丹陽，編輯：李墨天
歐洲人工智能產(chǎn)業(yè)在全球分工里找到了自己的定位：開會(huì)。
ChatGPT橫空出世的2023年，歐洲能喊得上名號(hào)的全球性AI峰會(huì)有近20個(gè)，大約是美國的3倍、中國的5倍[1]。在人工智能權(quán)威雜志（AI Magazine）年末總結(jié)的“2023 Top10 AI Events”中，歐洲承辦的會(huì)議占比高達(dá)70%[2]。
如此高密度的文山會(huì)海，顯性成果只有一個(gè)——推出了以《人工智能法案》為代表的一系列管理辦法。
一系列監(jiān)管舉措逗樂了大洋對(duì)岸的美國人，紐約研究機(jī)構(gòu)CB Insights的首席執(zhí)行官表示，歐洲現(xiàn)在擁有的AI法規(guī)比像樣的AI公司還要多：“衷心祝賀歐盟制定了具有里程碑意義的AI立法，繼續(xù)努力做一個(gè)技術(shù)創(chuàng)新的空心市場吧[3]”。
拋開諷刺挖苦的成分，歐洲在人工智能領(lǐng)域的建樹的確遜色，獨(dú)角獸公司的稀有程度也堪比野生雪豹。
去年召開的VivaTech峰會(huì)上，法國總統(tǒng)馬克龍就點(diǎn)名表揚(yáng)了一家來自革命老區(qū)巴黎的AI公司Mistral，稱其為“法國的OpenAI”。
Mistral的知名度不如OpenAI，但包括英偉達(dá)、Salesforce和谷歌前任董事長施密特在內(nèi)的這些投資者，暗示了它的份量。去年底，Mistral在推特上低調(diào)發(fā)布了其開源模型Mixtral 8x7B，迅速引爆了各大開發(fā)者社群。
但這樣一家被馬克龍稱為“歐洲的希望”的公司，它的每一個(gè)橫截面都折射著歐洲人工智能產(chǎn)業(yè)的尷尬。
大學(xué)生支援家鄉(xiāng)建設(shè)
去年12月，Mistral在A輪融資中斬獲20億美元估值，震驚歐洲投資圈。
這家公司2023年5月才宣告成立，初創(chuàng)團(tuán)隊(duì)只有六個(gè)人，靠著7頁P(yáng)PT拿下了1.13億美元的種子輪投資。有位早期投資人將Mistral視為“歐洲的尤里卡時(shí)刻”，意思是歐洲人非常善于搞科研，但商業(yè)化水平差勁，而Mistral將改變這一切。
Mistral之所以備受矚目，核心在于其大模型的“混合專家模式”的MoE（Mixture of Experts）架構(gòu)。
MoE架構(gòu)主要由兩個(gè)關(guān)鍵部分組成：專家網(wǎng)絡(luò)和門控機(jī)制。
（1）專家網(wǎng)絡(luò)：傳統(tǒng)Tranformer架構(gòu)的FFN（前饋網(wǎng)絡(luò)）層是一個(gè)完全連接的神經(jīng)網(wǎng)絡(luò)，MoE架構(gòu)的FFN層則劃分成稀疏性的神經(jīng)網(wǎng)絡(luò)，這些被稱之為“專家”的小FFN，每個(gè)都有自己的權(quán)重和激活函數(shù)，它們并行工作、專注于處理特定類型的信息。
（2）門控機(jī)制：用來決定每個(gè)token被發(fā)送到哪個(gè)專家網(wǎng)絡(luò)的調(diào)配器，比如下圖中“More”這個(gè)token在輸入概率（p)為0.65時(shí)被分配到FFN2，而“Parameters”則在輸入概率（p）為0.8時(shí)被分配到了FFN1。
通俗一些說，經(jīng)典的Tranformer架構(gòu)在運(yùn)行時(shí)，無論下達(dá)的推理指令是什么，都會(huì)把系統(tǒng)中所有的員工全部調(diào)動(dòng)起來問個(gè)遍，頗有些勞民傷財(cái)；MoE架構(gòu)則是“術(shù)業(yè)有專攻”，把不同的問題交給相應(yīng)領(lǐng)域的專家來解決。
這意味著MoE架構(gòu)在推理時(shí)，最大程度實(shí)現(xiàn)了性能和參數(shù)規(guī)模之間的平衡，節(jié)省了科技大廠談之色變的算力成本。
正因如此，Mistral 8x7B模型一經(jīng)問世，讓Meta的LLaMA2大模型都有些黯然失色，其背后是MoE架構(gòu)對(duì)Transformer的創(chuàng)新性改造。
近期，Mistral又發(fā)布了性能逼近GPT-4的超大杯模型Mistral Large，雖然并未開源，但上線閉源大模型，意味著Mistral正式加入AI的商業(yè)化競爭。
Mistral在領(lǐng)英的頁面也顯示，近期從事商務(wù)拓展的員工比例大幅增加，已占其整體的近40%[4]。
按照其CEO Arthur Mensch的說法，Mistral Large的訓(xùn)練成本僅為2000萬美元左右，而OpenAI的模型則超過5000萬美元。
對(duì)于一家如此罕見的科技新貴，歐洲各國政府自然是捧在手里怕摔了，在監(jiān)管政策上也對(duì)Mistral大開綠燈，采用了“AI基礎(chǔ)模型豁免，AI應(yīng)用重點(diǎn)監(jiān)管”的分層處理思路。這意味著Mistral的產(chǎn)品僅需承擔(dān)有限的披露義務(wù)。
然而，舉歐洲上下扶持的Mistral，本質(zhì)上卻是一家徹頭徹尾的美國公司。
美國的錢，美國的人，美國的市場
與“注冊(cè)地”這個(gè)法律層面證明公司國籍的事實(shí)信息相比，人才、資本、市場三大經(jīng)營要素也許更能代表一家企業(yè)的內(nèi)核。從這個(gè)意義上講，Mistral的確更像一家美國公司。
Mistral的三位聯(lián)合創(chuàng)始人人生經(jīng)歷非常雷同：都是土生土長的巴黎人，都有在美國公司的工作經(jīng)驗(yàn)，也都有著與程序員身份不符的發(fā)量。
CEO Arthur Mensch在巴黎讀到了博士后，與另外兩位創(chuàng)始人彼此相識(shí)于巴黎求學(xué)生涯。博士期間，Arthur發(fā)表了深度學(xué)習(xí)領(lǐng)域大作《結(jié)構(gòu)性預(yù)測與注意力中的可微分動(dòng)態(tài)編程》。
依靠這篇論文，Arthur一畢業(yè)就加入了DeepMind巴黎團(tuán)隊(duì)，從事語言模型的開發(fā)。
首席科學(xué)家Guillaume Lample與首席技術(shù)官Timothee Lacroix則在畢業(yè)后遠(yuǎn)赴美國鍍金，轉(zhuǎn)崗至Meta位于巴黎的AI分支機(jī)構(gòu)，主攻大模型項(xiàng)目。Meta的開源大模型LLaMA，就由Guillaume Lample領(lǐng)銜開發(fā)。
CEO Arthur并非人們眼中典型技術(shù)極客的樣子，他是個(gè)狂熱的馬拉松愛好者，對(duì)硅谷大公司的官僚文化深惡痛絕。這讓三個(gè)姓氏連起來就是“L.L.M(大語言模型)”縮寫的青年，命運(yùn)再次交織在一起。
Mistral的“含美量”不僅體現(xiàn)在創(chuàng)始團(tuán)隊(duì)的履歷，大部分Mistral員工的上一份工作，也在美國科技公司位于歐洲的分支機(jī)構(gòu)。
而在Mistral成立八個(gè)月內(nèi)的兩次融資中，背后的核心力量也是美國的風(fēng)投基金和產(chǎn)業(yè)資本。
Mistral的走紅雖然吸引了一眾歐洲本土的Old Money捧場，包括菲亞特背后的阿涅利家族、老佛爺百貨的家族辦公室Motier Ventures、英國風(fēng)投基金First Minute Capital。
但在1.13億美元的種子投資里，領(lǐng)投方其實(shí)是美國老牌基金Lightspeed。
而在A輪融資中，另一家老牌基金a16z，與微軟、英偉達(dá)和Salesforce這些美國產(chǎn)業(yè)資本搶盡了風(fēng)頭，Mistral不僅是用了微軟的Azure云服務(wù)，還與亞馬遜達(dá)成協(xié)議，使其成為Amazon Bedrock客戶的基礎(chǔ)模型開發(fā)商。
盡管CEO Arthur曾多次公開表示Mistral的主要目標(biāo)市場是歐洲，并強(qiáng)調(diào)歐洲在人工智能領(lǐng)域的獨(dú)特優(yōu)勢。但同樣身不由己的是，Mistral目前一半的客戶都來自美國市場。
Mistral的軌跡似乎重復(fù)著某種輪回。憑借AlphaGo紅極一時(shí)的DeepMind誕生在英國，但在創(chuàng)辦第四年就被谷歌收入囊中。
曾經(jīng)的“英偉達(dá)殺手”——英國芯片公司Graphcore受困于財(cái)務(wù)壓力；文生圖模型Stable Diffusion背后的Stability AI其實(shí)是家英國公司，但似乎所有人都默認(rèn)它是美國公司。
歐洲科技公司的理想似乎總是由美國最后買單。歷史的前車之鑒高懸在Mistral頭頂，時(shí)刻提醒著它難以擺脫的命運(yùn)。
宿命般的輪回
2018年4月，杰夫·辛頓、約書亞·本吉奧，以及德國計(jì)算機(jī)科學(xué)家尤爾根等200多名學(xué)者，共同簽署了一封聯(lián)名公開信，尖銳地提出了一個(gè)警告：歐洲在人工智能領(lǐng)域正在遠(yuǎn)遠(yuǎn)落后于美國和中國。
當(dāng)時(shí)，OpenAI剛剛發(fā)布基于Transformer的GPT模型，眼看著人工智能在美國加速，歐洲成立了一個(gè)旨在打造全球人工智能強(qiáng)國的研究機(jī)構(gòu)ELLIS應(yīng)對(duì)。但信中的警告還是成為了預(yù)言，猜中了生成式人工智能的全球競爭格局。
歐洲并不缺少頂尖的高校和人才，“人工智能三巨頭”杰弗里·辛頓、約書亞·本吉奧和楊立昆都是如假包換的歐洲人。歐洲人工智能遇到的的真正問題，是軟件和互聯(lián)網(wǎng)這門“前置產(chǎn)業(yè)”的缺位。
2012年，在斯坦福教書的吳恩達(dá)教授以顧問的身份進(jìn)入谷歌，主持The Cat Neurons項(xiàng)目（即“谷歌貓”）的研究。這個(gè)項(xiàng)目動(dòng)用了遍布谷歌各個(gè)數(shù)據(jù)中心的16000個(gè)CPU來訓(xùn)練（內(nèi)部以過于復(fù)雜和成本高為由拒絕使用GPU），這是當(dāng)時(shí)科技公司能擁有的最大規(guī)模的算力。
谷歌之所以興建大規(guī)模的數(shù)據(jù)中心，是因?yàn)榇罅康幕ヂ?lián)網(wǎng)公司都是谷歌云服務(wù)的客戶。如今大模型的“萬模之母”Transformer架構(gòu)，同樣來自谷歌。
就像不能脫離電商談直播帶貨一樣，英偉達(dá)在AI時(shí)代大殺四方，是因?yàn)橐淮笈螒蛲婕医o黃總報(bào)銷過研發(fā)成本；歐洲汽車工業(yè)的底子，也是因?yàn)樗箍逻_(dá)在1895年就開始造大炮了。
人工智能、互聯(lián)網(wǎng)和軟件，都屬于“計(jì)算機(jī)科學(xué)”這門大產(chǎn)業(yè)的子集。美國人工智能的繁榮，是因?yàn)槲④?、谷歌和亞馬遜在互聯(lián)網(wǎng)時(shí)代為人工智能儲(chǔ)備了大量的“人才預(yù)備役”。
高等教育可以培養(yǎng)人才，但吸引人才靠的是產(chǎn)業(yè)的繁榮。豐田的電動(dòng)車工程師跳槽去比亞迪，總不會(huì)是因?yàn)槟茉谏钲诮簧绫０伞?/p>
與美國互聯(lián)網(wǎng)的Magnificent 7、中國的BAT相比，歐洲的互聯(lián)網(wǎng)產(chǎn)業(yè)幾乎是一片鹽堿地。
全球市值最高的50家互聯(lián)網(wǎng)公司中，中美兩國占據(jù)了39家，歐洲公司只擠進(jìn)了一家Spotify。而歐洲最大的互聯(lián)網(wǎng)獨(dú)角獸，居然是估值180億美元的Onlyfans[5]。
互聯(lián)網(wǎng)產(chǎn)業(yè)的荒蕪，造成了人工智能“人才蓄水池”的缺失。
“人工智能三巨頭”中，辛頓和本吉奧選擇移民加拿大，前者把公司賣給了谷歌，后者進(jìn)入蒙特利爾大學(xué)任教。楊立昆則在紐約大學(xué)教書，后來跳槽到了Meta。
AGI噴涌的2023年，美國風(fēng)險(xiǎn)投資支出的主力是以Magnificent 7為代表的科技公司，其規(guī)模是美國其他投資機(jī)構(gòu)的兩倍、更是歐洲的近六倍[6]。歐洲并不缺錢，但從Mistral的融資就能看出，Old Money們更愿意扮演錦上添花的角色。
對(duì)前沿技術(shù)的投資，本質(zhì)上是上一個(gè)時(shí)代的成功者，面對(duì)下一個(gè)時(shí)代來臨時(shí)的避險(xiǎn)行為。只是愛馬仕和LV不需要擔(dān)心這個(gè)問題。
尾聲
人工智能產(chǎn)業(yè)的中美競爭一直是輿論場熱度最高的話題，中國公司則常以追趕者的身份亮相。但在怒其不爭之余，我們常常忽略，成為追趕者也是有門檻的。
繁榮的互聯(lián)網(wǎng)和消費(fèi)電子產(chǎn)業(yè)帶動(dòng)了芯片設(shè)計(jì)、數(shù)據(jù)中心、云計(jì)算等一系列細(xì)分門類的建立，它們都是發(fā)展人工智能重要的基礎(chǔ)設(shè)施。同時(shí)，它為相關(guān)人才提供了一個(gè)重要的培養(yǎng)與輸送的體系。
ChatGPT橫空出世時(shí)，“為什么又是美國”的聲音此起彼伏。但如果把時(shí)間拉長，會(huì)發(fā)現(xiàn)從晶體管、集成電路，到Unix、x86架構(gòu)，再到如今的機(jī)器學(xué)習(xí)，美國學(xué)界和產(chǎn)業(yè)界幾乎都是領(lǐng)跑者的角色。
關(guān)于美國“產(chǎn)業(yè)空心化”的討論不絕于耳，但以軟件為核心的計(jì)算機(jī)科學(xué)這門產(chǎn)業(yè)，不僅從未“外流”到其他經(jīng)濟(jì)體，反而優(yōu)勢越來越大。
追趕與模仿并不可鄙，產(chǎn)業(yè)的進(jìn)步從來沒有拔地而起的故事。反倒是不同行業(yè)間隱藏的遞進(jìn)與鏈接，決定著一個(gè)經(jīng)濟(jì)體面對(duì)技術(shù)浪潮時(shí)的姿態(tài)與命運(yùn)。
近期，Mistral宣布與OpenAI的主要投資方微軟達(dá)成重要合作，這一消息火速引起了歐盟相關(guān)部門的注意，該部門稱合作可能涉及潛在風(fēng)險(xiǎn)，需要就此進(jìn)行深入調(diào)查[7]。與此同時(shí)，歐盟也在針對(duì)微軟與OpenAI之間的投資進(jìn)行并購合規(guī)方面的審查。
人工智能的全球分工，好像走向了互聯(lián)網(wǎng)與消費(fèi)電子時(shí)代發(fā)生過的故事：
美國創(chuàng)新，中國模仿，歐洲罰款，印度抓人。
參考資料
[1] Microsoft shifts AI focus off Sam Altman，AXIOS[2] Top 10 artificial intelligence events in 2023，AI Magazine[3] Europe should worry less and learn to love AI，F(xiàn)inancial Times[4] LinkedIn[5] Companiesmarketcap[6] 2024年歐洲風(fēng)險(xiǎn)與增長潛望，Lazard[7] Microsoft’s tie-up with French startup Mistral AI is getting antitrust review from EU，F(xiàn)ortune[8] 深度學(xué)習(xí)革命，凱德·梅茨[9] 不是OpenAI也不是Google，這家估值20億美元的小公司成了AI社區(qū)的最愛，硅星人[10] 大模型前瞻研究：解碼MoE架構(gòu)，Alpha Engineer[11] ‘It’s just a matter of time’: why AI could help Europe create its own Apple or Google, The Guardian[12] Artificial intelligence: Europe needs to start dreaming again，Niccolò Bianchini, ?Lorenzo Ancona[13] Europe Regulates Its Way to Last Place，WSJ[14] 2012，改變?nèi)祟惷\(yùn)的180天，遠(yuǎn)川研究所[15] 2023人工智能行業(yè)現(xiàn)狀報(bào)告，騰訊研究院
編輯：李墨天，視覺設(shè)計(jì)：疏睿，責(zé)任編輯：李墨天
研究支持：陳彬/王一川
下載ECAD模型
