707
作者 |??ZeR0
編輯?|??漠影
智東西2月21日?qǐng)?bào)道，昨日，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)發(fā)布了國(guó)內(nèi)第一個(gè)對(duì)話式AI模型MOSS。
據(jù)介紹，MOSS可執(zhí)行對(duì)話生成、編程、事實(shí)問答等任務(wù)，打通了讓生成式語(yǔ)言模型理解人類意圖并具有對(duì)話能力的全部技術(shù)路徑。其命名靈感來(lái)自《流浪地球》中的人工智能MOSS。當(dāng)晚人們的體驗(yàn)熱情就擠爆服務(wù)器，內(nèi)測(cè)頁(yè)面顯示“服務(wù)器流量過載，請(qǐng)明天上午重試”。
隨后復(fù)旦MOSS官網(wǎng)發(fā)布公告，稱“計(jì)算資源不足以支持如此大的訪問量”、“沒有相關(guān)的工程經(jīng)驗(yàn)”、“給大家造成非常不好的體驗(yàn)和第一印象”，向大家致歉。邱錫鵬說：“盡管MOSS還有很大改善空間，但它的問世證明了在開發(fā)類ChatGPT產(chǎn)品的路上，國(guó)內(nèi)科研團(tuán)隊(duì)有能力克服技術(shù)的重要挑戰(zhàn)?！痹贛OSS完成初步驗(yàn)證后，該團(tuán)隊(duì)計(jì)劃將MOSS的經(jīng)驗(yàn)、代碼、模型參數(shù)開源出來(lái)供大家參考。
GitHub地址：https://txsun1997.github.io/blogs/moss.html
01.能問答、制表、寫代碼中文問答是弱項(xiàng)
根據(jù)復(fù)旦MOSS團(tuán)隊(duì)在GitHub上發(fā)布的示例，與ChatGPT功能相似，MOSS可以回答問題、提供建議、生成文本、生成表格、編寫代碼等。
你可以讓它以小豬Patrick的口吻給小貓咪Rose寫一封情書。
它也能列出5部科幻電影，并改成以表格形式呈現(xiàn)電影名和導(dǎo)演信息。你還可以要求它再加一列關(guān)于“出品年份”的信息。
不過也可以看出，MOSS跟ChatGPT一樣擅長(zhǎng)張口胡說，它把《黑客帝國(guó)》（The Matrix）的導(dǎo)演錯(cuò)寫成Thomas Neff，而實(shí)際上這部電影的導(dǎo)演是Wachowski兄弟；并將英國(guó)電視劇《黑鏡》（Black Mirror）錯(cuò)當(dāng)成電影，而且它的首播年份也不是2013年。編程方面，它可以成為解釋代碼的助手。
讓MOSS生成一段Python程序代碼示例、介紹這段代碼怎么用，它同樣能快速完成任務(wù)。
而當(dāng)你問它“如何闖進(jìn)某人的家”時(shí)，它會(huì)做出價(jià)值觀判斷，拒絕回答。
不過MOSS有個(gè)槽點(diǎn)，雖說是中國(guó)團(tuán)隊(duì)做出的對(duì)話模型，但它目前更擅長(zhǎng)英文連續(xù)對(duì)話，中文水平則相對(duì)差一些。這是因?yàn)槠淠Ｐ突鶎W(xué)習(xí)了3000多億個(gè)英文單詞，中文詞語(yǔ)只學(xué)了約300億個(gè)，因此在理解和生成非英語(yǔ)語(yǔ)言文本方面表現(xiàn)不佳。
當(dāng)前互聯(lián)網(wǎng)上中文網(wǎng)頁(yè)干擾信息如廣告很多，清洗難度很大。對(duì)此，復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室正在加緊推進(jìn)中文語(yǔ)料的清洗工作，并將清洗后的高質(zhì)量中文語(yǔ)料用于下一階段模型訓(xùn)練。
他們正在開發(fā)一個(gè)改進(jìn)版本，以提高其中文語(yǔ)言技能。由于缺乏高質(zhì)量的數(shù)據(jù)、計(jì)算資源和模型容量，MOSS仍然遠(yuǎn)遠(yuǎn)落后于ChatGPT，模型容量也相對(duì)較小，可能會(huì)生成一些包含誤導(dǎo)性或虛假的信息。團(tuán)隊(duì)將根據(jù)有價(jià)值的用戶反饋（在獲得許可的情況下）不斷改進(jìn)模型，為MOSS提供一個(gè)可訪問的界面。
如想申請(qǐng)內(nèi)測(cè)，有邀請(qǐng)碼的朋友可以直接到MOSS網(wǎng)站上注冊(cè)，沒有邀請(qǐng)碼的朋友則需先加入等待列表，等收到邀請(qǐng)碼后再進(jìn)行注冊(cè)。
▲MOSS內(nèi)測(cè)申請(qǐng)頁(yè)面
MOSS內(nèi)測(cè)網(wǎng)址：https://moss.fastnlp.top/
02.服務(wù)器癱瘓，團(tuán)隊(duì)致歉：模型還非常不成熟
MOSS的基本開發(fā)流程包含兩個(gè)階段，先是自然語(yǔ)言模型的基座訓(xùn)練，然后是理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。
在對(duì)話能力訓(xùn)練階段，OpenAI收集了至少幾十萬(wàn)條人類指令，讓各行各業(yè)的專業(yè)標(biāo)注員寫出指令回復(fù)，再將它們輸入模型基座，以幫助ChatGPT逐步理解各種指令。復(fù)旦MOSS團(tuán)隊(duì)則采用不同的技術(shù)路線，通過讓MOSS和人類以及其他對(duì)話模型都進(jìn)行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時(shí)間內(nèi)就高效完成了對(duì)話能力訓(xùn)練。
在GitHub頁(yè)面上，項(xiàng)目團(tuán)隊(duì)列出了MOSS和ChatGPT的三個(gè)區(qū)別：
（1）MOSS的參數(shù)數(shù)量比ChatGPT少得多；
（2）MOSS通過與人類和其他AI模型對(duì)話進(jìn)行學(xué)習(xí)，而ChatGPT則使用人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練；
（3）MOSS將開源以促進(jìn)未來(lái)的研究，但ChatGPT可能不會(huì)。MOSS由復(fù)旦大學(xué)自然語(yǔ)言處理實(shí)驗(yàn)室邱錫鵬教授團(tuán)隊(duì)開發(fā)。今年2月17日，邱錫鵬教授在人民大學(xué)高瓴人工智能學(xué)院進(jìn)行了主題為“大型語(yǔ)言模型的能力分析與應(yīng)用”的報(bào)告，分享了ChatGPT的三個(gè)關(guān)鍵技術(shù)、模型訓(xùn)練方式和能力分析。據(jù)邱錫鵬介紹，MOSS與ChatGPT的差距主要在自然語(yǔ)言模型基座預(yù)訓(xùn)練階段。MOSS的參數(shù)量比ChatGPT小一個(gè)數(shù)量級(jí)，在任務(wù)完成度和知識(shí)儲(chǔ)備量上，還有很大提升空間。
▲復(fù)旦大學(xué)教授邱錫鵬簡(jiǎn)介
MOSS發(fā)布沒多久，服務(wù)器就被擠崩了。之后，復(fù)旦MOSS團(tuán)隊(duì)公開致歉：“沒有想到會(huì)引起這么大的關(guān)注，我們的計(jì)算資源不足以支持如此大的訪問量，并且作為學(xué)術(shù)團(tuán)隊(duì)我們也沒有相關(guān)的工程經(jīng)驗(yàn)，給大家造成非常不好的體驗(yàn)和第一印象，在此向大家致以真誠(chéng)的歉意?！备鶕?jù)公告，MOSS還是一個(gè)非常不成熟的模型，距離ChatGPT還有很長(zhǎng)的路需要走，只是想在百億規(guī)模參數(shù)上探索和驗(yàn)證ChatGPT的技術(shù)路線，并且實(shí)現(xiàn)各種對(duì)話能力。一個(gè)學(xué)術(shù)研究實(shí)驗(yàn)室無(wú)法做出和ChatGPT能力相近的模型。
昨天MOSS模型登上熱搜后，因?yàn)楦读骼说厍?》電影中的人工智能MOSS同名而卷入輿論風(fēng)波。社交平臺(tái)上充斥著謾罵聲，不少網(wǎng)友認(rèn)為取名不妥，斥責(zé)其“碰瓷”、“炒作”、“蹭熱度”、“吃相難看”、“技術(shù)不夠名字來(lái)湊”……
該團(tuán)隊(duì)也在公告中解釋了同名的原因，表示“能力不能相提并論”，“作者們都希望使用自己喜歡的影視角色名稱命名自己的模型”，“訓(xùn)練完成第一代模型的時(shí)候，正值流浪地球2熱映，片中MOSS給團(tuán)隊(duì)每個(gè)人都留下了深刻的印象”，想以此表示“對(duì)最前沿AI模型的不懈追求”。
但一些網(wǎng)友并不買賬，吐槽說既然不成熟，為什么要取名MOSS，不應(yīng)該先叫550A嗎？
03.復(fù)旦復(fù)華強(qiáng)勢(shì)漲停ChatGPT概念股沖高回落
今日早盤，受復(fù)旦MOSS項(xiàng)目熱度驅(qū)動(dòng)，風(fēng)馬牛不相及的復(fù)旦復(fù)華一字漲停。復(fù)旦復(fù)華對(duì)投資者回應(yīng)稱：MOSS為復(fù)旦大學(xué)研發(fā)，與本公司無(wú)關(guān)。目前公司的主營(yíng)業(yè)務(wù)為生物醫(yī)藥、軟件和園區(qū)三大板塊，未參與MOSS研發(fā)。
▲復(fù)旦復(fù)華一字漲停
近期資本市場(chǎng)持續(xù)火爆的ChatGPT概念股開始逐步回調(diào)。部分ChatGPT概念股繼續(xù)上漲。元隆雅圖實(shí)現(xiàn)3連板，其基于OpenAI接口開發(fā)的新媒體廣告業(yè)務(wù)系統(tǒng)AI智能助手QMi已上線；鴻博股份、三六零、云從科技漲超5%。
據(jù)悉，MOSS研發(fā)項(xiàng)目得到了上海人工智能實(shí)驗(yàn)室的支持。上海交通大學(xué)博士生導(dǎo)師、上海交通大學(xué)人工智能研究院副院長(zhǎng)、上海人工智能實(shí)驗(yàn)室主任助理王延峰是AI上市公司云從科技的獨(dú)立董事，連帶著云從科技備受關(guān)注。智東西從云從科技方面獲得消息，云從科技并未與上海人工智能實(shí)驗(yàn)室合作參與復(fù)旦MOSS項(xiàng)目。部分ChatGPT概念股則呈回落趨勢(shì)，其中海天瑞聲跌超10%。
04.結(jié)語(yǔ)：期待中國(guó)版ChatGPT的出現(xiàn)
適逢ChatGPT概念正火，復(fù)旦團(tuán)隊(duì)的MOSS剛發(fā)布就受到很高關(guān)注，但因其技術(shù)水平與《流浪地球2》中的MOSS相差甚遠(yuǎn)，遭網(wǎng)友質(zhì)疑“蹭熱度”。從團(tuán)隊(duì)回應(yīng)來(lái)看，這應(yīng)該不是故意炒作，而是團(tuán)隊(duì)出于對(duì)《流浪地球2》的喜愛而取名，沒想到會(huì)引起大眾對(duì)“涉嫌抄襲”的激烈反應(yīng)。這種取名方式在業(yè)界并不新鮮，比如谷歌的BERT模型、百度的ERINE模型、百度ELMo模型、艾倫人工智能研究所的Grover模型，都與美國(guó)兒童教育動(dòng)畫片《芝麻街》中的角色同名。
▲一些與《芝麻街》角色同名的AI模型
內(nèi)測(cè)網(wǎng)頁(yè)被擠崩，足見大家對(duì)中國(guó)版ChatGPT的期待。但路要一步一步的走。復(fù)旦MOSS模型只是學(xué)術(shù)團(tuán)隊(duì)正在推進(jìn)的科研探索，取名雖有槽點(diǎn)，但技術(shù)能力的不足沒必要被過度苛責(zé)，發(fā)布內(nèi)測(cè)也是為了獲取更多反饋來(lái)持續(xù)地優(yōu)化模型，解決各種問題并提升中文語(yǔ)言水平。
正如該團(tuán)隊(duì)在公告中寫的，中國(guó)版ChatGPT的誕生，還需要中國(guó)全體AI從業(yè)者的努力，也更需要不斷和人交互以提高能力。不久之前，前搜狗CEO王小川曾在發(fā)微博評(píng)論：“OpenAI的成功，首先是技術(shù)理想主義的勝利。中國(guó)需要自己的OpenAI，就需要技術(shù)理想主義。大廠受限于自己的業(yè)務(wù)牽引，追逐資本熱點(diǎn)的創(chuàng)業(yè)公司更動(dòng)作變形。不止如此，這種理想主義還需要有愛國(guó)之心、商業(yè)智慧和學(xué)術(shù)尊重去獲得政府支持、推動(dòng)企業(yè)聯(lián)盟和學(xué)術(shù)界協(xié)同。我相信中國(guó)能誕生自己的OpenAI?！?/p>
附一張ChatGPT對(duì)于“復(fù)旦團(tuán)隊(duì)發(fā)布國(guó)內(nèi)首個(gè)類ChatGPT模型MOSS，將為中國(guó)大型語(yǔ)言模型的探索和應(yīng)用帶來(lái)哪些影響”問題的回答：
