昆侖萬維CEO方漢演講實錄：語言大模型的技術進展和應用前景

5月31日，由品玩主辦的「模型思辨」國內大模型產業(yè)生態(tài)研討會在北京舉辦。360集團創(chuàng)始人周鴻祎、百度、阿里巴巴、商湯科技、昆侖萬維、Zilliz、瀚博半導體等來自大模型產業(yè)鏈上的頭部互聯(lián)網公司、芯片、數(shù)據庫、應用項目、投資機構等100多位VP級的嘉賓參與此次研討會，深度探討中國大模型產業(yè)生態(tài)的建設。

會中，昆侖萬維CEO方漢進行了主題分享《語言大模型的技術進展和應用前景》。他認為：要想AI市場天花板足夠高，一定不是做針對B端或者針對C端的工具，而是做端到端的內容生成工具，更多用戶能夠直接創(chuàng)造內容，從而形成新的社區(qū)。只有端到端的內容生成工具催生的內容社區(qū)才是天花板比較高的發(fā)展方向，中國廠商在這方面是大有可為的。

以下是方漢演講全文：昆侖萬維是一家A股上市公司，目前在全球大概有4億月活用戶，海外收入占比78%，目前在七十多個國家和地區(qū)都有業(yè)務開展，二十個國家以上有自己的海外團隊。

我們是從2020年底開始做大模型研發(fā)，并于今年4月發(fā)布「天工」大模型。應該說我們在預訓練大模型賽道做得比較久，剛開始是比較機緣巧合進入這一賽道。我們是一家內容+社交的公司，因此對內容賽道的任何科技進展和第二曲線是非常敏感的。

記得在2020年6月GPT-3發(fā)布的時候，我是集團CTO，花了很多精力去研究，得出的認知是GPT-3是內容生成領域的里程碑。說一說我們對大模型生態(tài)的認知，大模型的出現(xiàn)會帶來應用市場的重構。

首先，任何一個應用是否能夠在線上完成閉環(huán)，一旦能夠完成閉環(huán)的應用就一定是值得大模型重塑?，F(xiàn)在所有的生產力工具仍然是PC電腦，完成閉環(huán)的工作都有哪些？首先是微軟Office系列或者中國的WPS，這是在線上完成閉環(huán)工作的第一個分類，第二個分類是美術人員使用Adobe全家桶來進行美術工作，第三個分類是編程人員使用各種各樣的編程工具在線上完成業(yè)務工作?？梢钥吹酱竽Ｐ驮谖谋旧蓤D像、輔助寫作、輔助編程方面極大的應用，這也印證了我們的觀點，就是線上完成閉環(huán)的產品和應用都是值得用大模型重做的。

再來分析應用場景的容錯率，對容錯率容忍度越高的場景越是容易應用大模型，現(xiàn)在大模型對美術行業(yè)沖擊是最大的，所有中國做電商的去做商品圖片或者拍商品照片、拍模特照片都已經是被文本生成圖像大模型所取代，我覺得這是非常自然的事情。大家都知道最早文本生成圖像的圖片都有一個缺點，就是手指頭畫不好，一個圖片有六個手指頭和五個手指頭對我們有什么損害？大模型是可以容忍的，但如果是在金融方面少一兩個小數(shù)點，其實可能就非常致命。整個內容行業(yè)大模型的應用一定是最快和最早的，因為大家對內容出錯的容忍度是非常高的，這也是現(xiàn)在大模型各行各業(yè)的應用可以驗證的。

我們現(xiàn)在的策略是對國內市場To B和To C并重，大模型在B端應用的經驗是什么？大家都知道ChatGPT訓練的時候百分之九十二的語料是英文，中文語料占比非常低。很多人說中文語料質量不高，但可以說中文有一項數(shù)據是領先英文的，就是中小學生的全科題庫，大概一億五千萬道，高質量的大概兩千萬道，但沒辦法直接給大模型使用。因為我們所有的題都是以圖片的格式，很少有文本描述，我們能用這些數(shù)據干什么？就是把所有題轉化為純文本描述的格式丟給大模型訓練，然后大模型才能理解。我們近兩年多時間的大模型研發(fā)，花了特別多的時間去做數(shù)據處理，怎樣把行業(yè)數(shù)據生成大模型可以用的數(shù)據，其實這是最難的事情。

打個比方，大家平時去看中學或者小學的數(shù)學題，往往是有題目、有答案，但如果不寫解題過程，大模型是沒有辦法解題的，只能背答案。很多行業(yè)數(shù)據只有題和答案，但缺少解題過程，要把解題過程補上就非常工程化，非常需要時間和經驗積累。

全世界最大的金融信息服務提供商Bloomberg，發(fā)布了BloombergGPT產品，大家認為OpenAI能不能快速趕上？經過我和他們內部技術人員的溝通，應該還是很難的，他們內部有將近60名算法工程師花了七、八年時間只干一件事情，就是把金融財報數(shù)據化。大家可能覺得這是很簡單的事情，因為有PDF，格式基本都是成立的，我們只是把圖表和表格結構化，但這里有太多工程的技巧。每個材料表格都有行、列，每一列數(shù)據都是DAU、ROI，如何把不同來源的數(shù)據格式單位轉成統(tǒng)一的單位，這些是非常工程化的事情。

在B端所有人都要干一個事，幫助各行各業(yè)生產或者轉化大模型可以理解的數(shù)據格式。大家知道OpenAI在海外訂閱制模式已經取得非常大的成功，但在中國對C端收費采用訂閱制是不會成立的，一定是以免費模式為主。

海外所有AIGC創(chuàng)業(yè)的小公司基本都是想做SaaS和公開服務，中國私有化部署大模型將是一個更主要的趨勢?，F(xiàn)在我們有很多做硬件的廠商正在全力以赴去做NVIDIA的替代品，除了硬件廠商的努力以外，NVIDIA已經掌握了前所未有的高度，整個市值已經超過一萬億。大家只看到硬件廠商的努力，很多人沒有看到由于現(xiàn)在硬件成本高昂，導致大學教授和博士手上沒有卡就沒有辦法做科研，全部都在想方設法利用手上有限的消費顯卡資源去做一些工作，主要工作就是優(yōu)化。

最新的優(yōu)化成果就是可以把65B的預訓練大模型弄到只有24GB顯存的4090去跑。軟件優(yōu)化速度是以每年一百倍的進化速度迭代，相信人人手機自帶ChatGPT的時代一定會到來，人人消費級顯卡可以跑類ChatGPT的大模型沒有任何問題。大家可能不知道，ChatGPT-3.5的AI是不到30B的模型，微軟為了優(yōu)化，不斷地降低模型參數(shù)，到現(xiàn)在個人判斷已經不會超過10B。我們認為這種私有化部署會極大地刺激大模型在低端GPU的運行效率，因為在中國免費以及私有化部署都是非常值得關注的方向。

目前海外的策略主要是針對To C市場，因為昆侖萬維出海經驗比較豐富，曾經孵化的DAU在一千萬以上的產品有四五個，覆蓋社交、音樂、瀏覽器和工具場景，針對海外C端拓展經驗非常豐富?，F(xiàn)在我們的判斷是，在C端做內容生成工具本身是沒有太大商業(yè)前景的，一定要做端到端的內容生成社區(qū)才有前景。

全世界游戲研發(fā)公司百分之九十以上都是使用兩家公司的產品：一家叫做Unreal，一家叫做Unity，但其實他們的游戲收入是非常低的。Unreal自己下場做《戰(zhàn)爭機器》系列也沒有賺錢，后來做了一個產品叫做《絕地求生》，這個產品也成為Unreal的主力收入產品。當產品收入開始走下坡路，他們的CEO提到一個概念，叫做元宇宙。Unity的引擎部分也是不賺錢的，就做了Unity S廣告聯(lián)盟。

個人認為，要想AI市場天花板足夠高，一定不是做針對B端或者針對C端的工具，而是做端到端的內容生成工具，更多用戶能夠直接創(chuàng)造內容，從而形成新的社區(qū)。我們認為只有端到端的內容生成工具催生的內容社區(qū)才是天花板比較高的發(fā)展方向，中國廠商在這方面是大有可為的。

“與志同道合的人創(chuàng)造出改變世界的產品”是我們公司的愿景，我從1995年開始做互聯(lián)網，目睹了兩次大的技術革命：一次是互聯(lián)網，一次是移動互聯(lián)網，等到快退休的時候又趕上AIGC這一波大的浪潮。個人認為，AIGC這一波浪潮是所有人的機會，同時對中國企業(yè)來說也是在全球市場上開疆拓土的一個非常好的機會。原因無它，如果說美國是全世界AIGC領域的老大，中國肯定是排在第二位的位置，其他國家距離前兩位的差距都比較遠，希望大家能夠在AIGC領域取得自己的一席之地。