AI產業(yè)的“全民狂歡”：大模型賽道迎來“開源熱”

隨著科技的飛速發(fā)展，人工智能已經成為當今世界最為炙手可熱的話題。盡管如今人工智能、大模型的發(fā)展頻頻陷入“抄襲”泥潭，但不可否認的是，這些技術正切實地為各個行業(yè)的發(fā)展“添磚加瓦”。

近日，中國電信宣布將自研的星辰大模型全面開源，同時開放1T高質量清洗數據集，正式成為央企中首個完成LLM開源的“選手”。去年12月，阿里云正式發(fā)布并開源“業(yè)界最強開源大模型”通義千問720億參數模型Qwen-72B。今年1月17日，商湯科技與上海AI實驗室聯(lián)合香港中文大學和復旦大學發(fā)布的新一代大語言模型書?·浦語2.0也宣布開源。隨著國內外越來越多的大模型官宣開源，大模型賽道正式迎來“開源熱”。

01、開源正在改變大模型的發(fā)展路徑

長久以來，開源都是互聯(lián)網時代的主流模式之一。2017年，中國發(fā)布的《新一代人工智能發(fā)展規(guī)劃》將開源、開放作為基本原則寫入了規(guī)劃。2023年，科技部副部長吳朝暉也表示，中國堅持開源協(xié)作，加強大模型技術持續(xù)創(chuàng)新，協(xié)同解決透明性、穩(wěn)定性等共性問題，進一步推動算力資源和數字資源開放共享，加快形成大模型的產業(yè)生態(tài)。

2023年4月，由復旦大學自然語言處理實驗室開發(fā)的新版MOSS模型正式上線，成為國內首個插件增強的開源對話語言模型，MOSS的成功開源成為我國人工智能領域的重要突破之一。大模型開源可促進大模型的研究和開發(fā)，有助于提高模型的應用價值，推動人工智能技術的普及，增強模型的可靠性和安全性。

據了解，目前我國國內開源大模型包括大語言模型、多模態(tài)大模型、向量大模型、編程大模型和AI Agent框架/模型等5類；開源的參數規(guī)模分為五類：7B、13B、34B、65B、100B。目前國產開源大模型的最高參數規(guī)模為浪潮信息的“源2.0”大模型，最大參數規(guī)模為102B，達到千億級。

來源：天翼智庫

不僅僅是國內大模型，不少國外知名大模型也進行了開源，如Meta的LLama、OPT，谷歌的T5、MT5、FLAN-T5以及UU2，BigScience的BLOOM、T0、BLOOMZ等等。Meta 首席 AI 科學家、圖靈獎獲得者 Yann LeCun 就曾表示，開源人工智能模型正走在超越專有模型的路上。

02、“向陽而生”的開源大模型

隨著開源技術占據各大新興領域的技術路線，其不斷豐富人工智能領域的應用場景。開源大模型可以促進技術的共享和交流，加速人工智能的發(fā)展，但也存在數據隱私安全風險、許可協(xié)議尚未形成共識、產業(yè)生態(tài)不健全、商業(yè)模式不清晰等問題。中國信通院云計算開源產業(yè)聯(lián)盟發(fā)布的《可信開源人工智能大模型案例匯編》中指出，模型框架、模型代碼、模型參數、訓練數據四個方面是衡量其開源成熟度的重要評定等級。

訓練大模型需極大的算力，開發(fā)成本高昂，而開源大模型雖然節(jié)省了企業(yè)訓練階段的算力消耗，但據統(tǒng)計達到一定用戶量級的應用，推理階段的算力消耗為訓練階段的5-10倍。大模型開源以及其背后的開放生態(tài)，將帶來廣泛滲透的多場景大模型應用以及更大的算力消耗，為算力產業(yè)培育“模型越強、應用越多、用戶越廣、算力越大”的市場飛輪。技術本身不斷迭代演進，第三方參與者匯聚成洪流，未來才可能成為大模型時代的技術底座。

作為我國首個開源的運營商大模型，星辰系列大模型由中國電信完全自主研發(fā)的，從2022年12月份開始投入研發(fā)，不到1年時間實現(xiàn)了多項技術的創(chuàng)新突破。在模型結構方面，通過引入Embedding LayerNorm等創(chuàng)新方法，強化模型穩(wěn)定性，提高模型訓練速度20%；通過創(chuàng)新位置編碼的方式，提升模型上下文推理長度至96k，推理長度還在持續(xù)增加；在產業(yè)應用方面，為了增強模型的商用性，千億級星辰語義大模型在業(yè)界首次提出緩解多輪幻覺的解決方案，通過關鍵信息注意力增強技術、多輪知識記憶和強化技術等手段，幻覺率下降了40%；在模型加速方面，通過3D模型訓練的方式配合量化技術，實現(xiàn)訓練顯存降低50%，推理提速4.5倍。

目前在我國，開源人工智能大模型已應用于醫(yī)療、政務、法律、汽車、娛樂、金融、互聯(lián)網、教育、制造業(yè)、企業(yè)服務等多個場景。作為運營商，中國電信的優(yōu)勢不僅在于目標客戶群體的儲備體量驚人，更在于能夠為他們提供廣泛服務。而模型開源將推動實現(xiàn)大模型產業(yè)發(fā)展的供給側、需求側雙向發(fā)力，對大模型基礎設施運營、技術迭代創(chuàng)新、開放生態(tài)建設帶來積極影響，將加速推動大模型產業(yè)化應用，助力產業(yè)升級。

在國際技術和算力封鎖的雙重壓力下，高質量的數據、高水平的技術人才，以及大模型的算法創(chuàng)新都是AI行業(yè)發(fā)展的短板。持續(xù)開源基礎大模型，廣泛地賦能更多的用戶場景加速應用落地，聯(lián)合各類合作伙伴打造大模型信創(chuàng)產業(yè)體系，不管2024年是開源大模型的爆發(fā)之年，還是開源大模型不斷超越專有模型的一年，相信我國大模型發(fā)展都將在全球大模型發(fā)展的繪卷上留下了濃墨重彩的一筆。

作者：王鶴迦

責編/版式：王禹蓉

審校：王 濤?梅雅鑫

監(jiān)制：劉啟誠