1280
中國研發(fā)能在垂直領(lǐng)域取得全球的SOTA。2024中國生成式AI大會(huì)于4月18-19日在北京舉行，在大會(huì)首日的主會(huì)場開幕式上，昆侖萬維董事長兼CEO方漢以《從天工SkyMusic音樂大模型談SOTA紅利》為題發(fā)表演講。
方漢強(qiáng)調(diào)了“技術(shù)領(lǐng)先”在AI領(lǐng)域的重要性，不同于互聯(lián)網(wǎng)時(shí)代產(chǎn)品的商業(yè)模式導(dǎo)向，大模型時(shí)代技術(shù)導(dǎo)向才能帶來市場上的領(lǐng)先優(yōu)勢(shì)，吸引大量用戶并獲取紅利。OpenAI在AI創(chuàng)企中的地位，本質(zhì)上是其文本大模型的SOTA（當(dāng)前技術(shù)指標(biāo)第一）能力帶來的。
對(duì)于當(dāng)前的AI創(chuàng)業(yè)者，在圖像、視頻、音樂等任何賽道，只要能取得SOTA，就能通過技術(shù)優(yōu)勢(shì)獲得大量用戶，后續(xù)再通過產(chǎn)品創(chuàng)新、商業(yè)模式創(chuàng)新把用戶固化在平臺(tái)上，形成自己的護(hù)城河。
在AGI和AIGC領(lǐng)域，昆侖萬維研發(fā)出了天工3.0模型，包含音樂大模型SkyMusic和全球最大規(guī)模的開源MoE大模型。其中音樂大模型SkyMusic就處于音樂領(lǐng)域的SOTA地位。
SkyMusic音樂大模型支持多種方言輸出，具有辨識(shí)度的自然人聲、降低音樂創(chuàng)作門檻和成本等，便于內(nèi)容行業(yè)發(fā)展?；谝糍|(zhì)、自然度和理解度方面的優(yōu)勢(shì)，即使是沒有音樂背景的普通人也能夠利用該技術(shù)進(jìn)行音樂創(chuàng)作，而這也將極大地?cái)U(kuò)展音樂創(chuàng)作的可能性和范圍。
此外，天工3.0大模型數(shù)學(xué)、推理、代碼等方面能力大幅提升，同時(shí)具有多輪搜索與綜合工具的調(diào)用能力，將帶來內(nèi)容行業(yè)的爆發(fā)，同時(shí)也將促進(jìn)文化平權(quán)和打破壟斷，讓每個(gè)人更好地塑造和表達(dá)自我。
以下為方漢的演講實(shí)錄：SOTA其實(shí)是一個(gè)學(xué)術(shù)上用得非常多的專有名詞，全稱是“State of the Art”，這個(gè)比較拗口，其實(shí)是當(dāng)前技術(shù)指標(biāo)第一的意思。這本來是在機(jī)器學(xué)習(xí)領(lǐng)域用來評(píng)估模型的一個(gè)技術(shù)指標(biāo)，原本是個(gè)學(xué)術(shù)詞，為什么會(huì)備受關(guān)注？
1.在垂類領(lǐng)域拿到SOTA，才能將技術(shù)紅利轉(zhuǎn)化市場紅利
縱觀這一波大模型的投資以及創(chuàng)業(yè)浪潮，可以發(fā)現(xiàn)一個(gè)明顯的現(xiàn)象。在上一波移動(dòng)互聯(lián)網(wǎng)，所有創(chuàng)業(yè)公司的CEO或者Leader基本上都是產(chǎn)品或者是商務(wù)背景，也就是說移動(dòng)互聯(lián)網(wǎng)是商業(yè)模式和產(chǎn)品模式的創(chuàng)新，而這一波AI創(chuàng)業(yè)的大潮，所有AI公司的CEO基本上都是技術(shù)背景。
為什么呢？因?yàn)?strong>在AI領(lǐng)域技術(shù)遠(yuǎn)遠(yuǎn)超過產(chǎn)品商業(yè)模式，技術(shù)的領(lǐng)先才能帶來業(yè)務(wù)上的紅利。舉幾個(gè)例子，首先不可避免要談到這個(gè)行業(yè)的第一名，OpenAI。OpenAI為什么現(xiàn)在估值這么高，為什么全世界對(duì)它這么期許？因?yàn)楸举|(zhì)上在ChatGPT之后，它在文本大模型上的SOTA地位一直非常穩(wěn)固。直到Claude 3出來之后，才第一次有大模型可以接近GPT-4的位置，所以它趕忙拋出Sora，這是在視頻生成領(lǐng)域的SOTA。也就是說在最泛化的通用人工智能、文本大模型領(lǐng)域，OpenAI的SOTA紅利非常明顯。
但是我們看圖像生成賽道，DALL·E 3出來得非常早，但是很快像Midjourney、Stable Diffusion出來之后，這些中小型的創(chuàng)業(yè)公司獲取大量的用戶，遠(yuǎn)遠(yuǎn)超過OpenAI的DALL·E 3。為什么？就是因?yàn)镈ALL·E 3沒有達(dá)到SOTA。SOTA被Midjourney以及后面的一些中小創(chuàng)業(yè)公司拿到，用戶肯定會(huì)選擇中小公司的產(chǎn)品，而不會(huì)選擇其他公司的產(chǎn)品。也就是說在任何一個(gè)領(lǐng)域，對(duì)于我們所有的創(chuàng)業(yè)者和后來者，只要你能在這個(gè)領(lǐng)域拿到技術(shù)指標(biāo)上的第一，你就能夠獲取大量的用戶。
在獲取大量用戶之后，才可以用你的產(chǎn)品模式、商業(yè)模式把這些用戶固化在你的平臺(tái)上。從長期來看，只要新的大模型和新的競爭者沒有明顯的代際壓制的話，你仍然能夠繼續(xù)靠這些用戶獲取紅利。就像Midjourney V6出來之后，它的SOTA地位已經(jīng)不是很穩(wěn)固了，但是用戶基礎(chǔ)仍然很堅(jiān)實(shí)。
前面是我的一些背景介紹，當(dāng)然中國企業(yè)因?yàn)檫M(jìn)入大模型賽道，其實(shí)大家都蠻晚的，但是我們?cè)谌虻母偁幹行娜匀皇?strong>堅(jiān)持技術(shù)第一，我們一定要在某個(gè)垂類領(lǐng)域拿到SOTA之后，才能夠由技術(shù)上的紅利，轉(zhuǎn)化為用戶和市場上的紅利。
2.以天工大模型為底座，形成六大業(yè)務(wù)矩陣
首先給大家匯報(bào)一下昆侖萬維是從什么時(shí)候開始做AGI和AIGC這件事情。我們是2020年GPT-3出來的時(shí)候就成立了一支團(tuán)隊(duì)做文本大模型的預(yù)訓(xùn)練工作，2021年開始做音樂大模型的生成預(yù)研工作，當(dāng)然我們也走過很多彎路，比如音樂大模型一開始走的符號(hào)生成，再轉(zhuǎn)到端到端?，F(xiàn)在所有垂直賽道到終局一定是端到端。
2022年12月，我們發(fā)布了中國首個(gè)開源文本大模型，當(dāng)時(shí)海外的各種開源大模型也沒出來，這是來自中國企業(yè)的第一個(gè)基于中文的13B開源文本大模型。2023年4月17日，我們發(fā)布了天工1.0；8月23號(hào)發(fā)布了國內(nèi)首個(gè)AI搜索“天工AI搜索”。今年4月17日，我們發(fā)布天工3.0，包含首個(gè)中國的音樂AIGC賽道的SOTA，也就是SkyMusic音樂生成模型，以及4000億參數(shù)的全球最大規(guī)模的開源MoE大模型。
目前我們有六大業(yè)務(wù)矩陣，包括AI大模型、AI搜索、AI音樂、AI視頻、AI社交和AI游戲。雖然矩陣這么多，但我們目標(biāo)非常清晰。首先我們一定要做底座模型——天工大模型，從原來的文本大模型到現(xiàn)在的MoE大模型，再到下一代多模態(tài)大模型，我們一定要在底座大模型上持續(xù)去演進(jìn)。為什么？因?yàn)楝F(xiàn)在有一個(gè)明顯的現(xiàn)象，所有垂直賽道的各種垂類模型，不管音頻、音樂、視頻、圖像還是3D模型其實(shí)都嚴(yán)重依賴于底座文本大模型的能力，如果底座文本大模型能力不行，各種垂類模型能力上限比較低。社交、音樂、游戲和視頻都屬于AIGC垂類賽道，我們認(rèn)為在這些垂類賽道上只要進(jìn)行持續(xù)和長期的投入，就一定可以達(dá)到SOTA，從而獲取市場上的領(lǐng)先優(yōu)勢(shì)。
3.中國首個(gè)音樂AIGC上的SOTA，近2000萬首全量音樂數(shù)據(jù)集
首先給大家介紹一下天工音樂大模型SkyMusic，這個(gè)現(xiàn)在已經(jīng)對(duì)全量用戶開放了，大家在App Store和應(yīng)用商店搜索“天工”，“天工”里面有一個(gè)音樂的type，大家可以立刻去使用，這是中國第一個(gè)音樂AIGC上的SOTA。這是我們把剁椒魚頭的菜譜做成一首歌的案例演示，是用粵語演唱出來的。
這是天工AI音樂和龐博聯(lián)合的案例，我們把龐博寫的詞做成了一首歌。
下面說一下技術(shù)指標(biāo)，目前SkyMusic和Suno V3版本相比，在人聲、BGM音質(zhì)、人聲自然度、發(fā)音可懂度方面都已經(jīng)擊敗了Suno。我們相信在下一個(gè)版本里面可以把這個(gè)差距繼續(xù)拉大。
AI音樂大模型，自2021年開始研發(fā)到現(xiàn)在走過三年歷程，我們技術(shù)路線也在不斷地演進(jìn)。去年8月份Sora沒有出來，我們就已經(jīng)轉(zhuǎn)向Diffusion Transformer架構(gòu)，因?yàn)檫@個(gè)架構(gòu)是最為Scale up的一種架構(gòu)。我們的數(shù)據(jù)集包含將近兩千萬首全量的音樂數(shù)據(jù)集，并且經(jīng)過三年多的清洗和處理，其數(shù)據(jù)質(zhì)量是有保障的。我們采用類DiT架構(gòu)做了SkyMusic音樂大模型的研發(fā)，目前這個(gè)大模型還只是我們的第一個(gè)版本，后續(xù)在實(shí)驗(yàn)室版本會(huì)實(shí)現(xiàn)更多的功能。
下面介紹一下我們有哪些非常獨(dú)特的優(yōu)勢(shì)。用過Suno的都知道，你選擇的是文本標(biāo)簽和風(fēng)格。我們現(xiàn)在的制作方法是，上傳一首你喜歡聽的歌，甚至你自己錄的一個(gè)旋律，我們都能根據(jù)這個(gè)生成音樂。這其實(shí)更像傳統(tǒng)的音樂工作者創(chuàng)作音樂的一個(gè)邏輯，很多音樂工作者先在腦?；蛘咦彀秃叱鲆欢吻?，然后寫下來，根據(jù)這個(gè)再做主歌、副歌、編曲的工作，SkyMusic示例音源生成音樂的能力非常強(qiáng)。
第二，我們支持單一語種方言的輸出能力。目前中文版本已經(jīng)支持四川話、粵語、北京話、天津話、上海話等多種方言版本，這個(gè)對(duì)于用戶來說是非常有意義的。最后是更具辨識(shí)度的自然人聲。人聲的音源質(zhì)量，以及對(duì)于各種人群，女聲、男聲、幼兒聲和成人聲，SkyMusic都有非常好的一個(gè)泛化。當(dāng)
做到技術(shù)上的SOTA時(shí)，怎么把技術(shù)上的SOTA轉(zhuǎn)為產(chǎn)品上的紅利？
我們認(rèn)為所有的AIGC，包括音樂創(chuàng)作的大模型出來后，首先極大降低了音樂創(chuàng)作門檻。就像我發(fā)的朋友圈，“人人皆可以歌明志”。以前我們做一首歌的邏輯是什么？首先要從四五歲就開始學(xué)鋼琴、學(xué)樂理、學(xué)樂譜。我自己的孩子在鋼琴方面可能花了七八年才考到一個(gè)專業(yè)級(jí)別，這個(gè)訓(xùn)練時(shí)間很長。如果他能成為一個(gè)作曲家，可能還要在大學(xué)里面再學(xué)四年，學(xué)完四年之后這還只是作曲，作完曲還要編曲，編曲完還要找歌手演唱、找錄音棚來錄。
我們?cè)谑袌錾箱浺皇赘鑿念^到尾，哪怕用最簡化的配置、最普通的設(shè)備也要兩萬人民幣左右。這就導(dǎo)致了整個(gè)音樂創(chuàng)作，實(shí)際上僅僅依靠一個(gè)人是沒有能力創(chuàng)作歌曲的，但是有了SkyMusic大模型之后，所有人只要花1分鐘時(shí)間，只要你有歌詞，就能生成一首完整的歌曲，極大降低了音樂創(chuàng)作的門檻和造福全體內(nèi)容行業(yè)。
以前大家知道所謂的配樂全是拿現(xiàn)有的曲子往視頻內(nèi)容上配，今天可以把這個(gè)話題極大泛化，比如今天的主題演講，可以給每一位主題演講者配一首歌，比如微博上每一個(gè)大V給他們寫一首關(guān)于他們的歌曲，這個(gè)對(duì)于全體的內(nèi)容行業(yè)都非常便利。
最后，SkyMusic證明中國研發(fā)也可以在垂直領(lǐng)域取得全球的SOTA，從而讓中國企業(yè)在全球的AIGC市場上去和國外的同行正面競爭，獲取我們應(yīng)有的市場份額。
4.4000億參數(shù)開源MoE大模型天工3.0，拉低全領(lǐng)域創(chuàng)作門檻
下面介紹一下天工3.0，我們4月17日開啟公測(cè)的4000億參數(shù)的全球最大規(guī)模的開源MoE大模型，目前性能已經(jīng)全部超越xAI發(fā)布的3140億參數(shù)的MoE大模型Grok-1。這是天工3.0 400B參數(shù)的MoE大模型的技術(shù)底座，目前在MMBench推理能力測(cè)試中標(biāo)藍(lán)色的是處于領(lǐng)先的技術(shù)指標(biāo)，我們?cè)谶@個(gè)技術(shù)指標(biāo)上還是遙遙領(lǐng)先的。
天工3.0，功能全面升級(jí)，它更聰明，模型的技術(shù)知識(shí)能力提升超過20%；數(shù)學(xué)、推理、代碼、文創(chuàng)能力提升30%；內(nèi)容創(chuàng)作能力，包括能搜索、能寫作、能閱讀、能聊天，能夠語音對(duì)話，能夠文生圖，能夠給你作詞作曲。給大家演示一下多輪搜索與綜合工具的調(diào)用能力。圖中問題是成都迪士尼怎么去，成都迪士尼實(shí)際上是一個(gè)梗，它是成都的一個(gè)小區(qū)，并不是真正的迪斯尼樂園。這時(shí)候通過搜索和大模型結(jié)合就判斷出來成都迪士尼實(shí)際上是一個(gè)網(wǎng)絡(luò)梗，但它還是把怎么去成都迪士尼這個(gè)小區(qū)規(guī)劃做出來。當(dāng)你問到上海迪士尼天氣時(shí)候，大模型又生成一張?zhí)鞖饪ㄆ?，告訴你今天上海迪士尼下雨，最后再調(diào)用文生圖給你生成一張圖片。
第二個(gè)研究模式，做研究需要寫大綱、寫知識(shí)圖譜和思維導(dǎo)圖，而天工3.0在自動(dòng)搜索之后不僅僅能生成表格，而且可以迅速生成大綱和自動(dòng)生成腦圖，最后自動(dòng)生成腦圖，可以即貼即用。智能體廣場可以構(gòu)建超強(qiáng)的AI智能體，去幫助你完成相應(yīng)的工作。例如造一個(gè)智能體，幫助研究小米汽車和特斯拉汽車的一個(gè)差別，進(jìn)行大量搜索獲取大量資料后，模型開始生成文圖俱備的對(duì)比表格，對(duì)于做文案工作的同學(xué)非常關(guān)鍵。
5.昆侖萬維新使命：實(shí)現(xiàn)AGI，讓每個(gè)人更好地塑造和表達(dá)自我
昆侖萬維作為一家中國的互聯(lián)網(wǎng)企業(yè)，現(xiàn)在的戰(zhàn)略是All in AGI與AIGC。我們?cè)?023年宣布了公司的新使命：實(shí)現(xiàn)通用人工智能，讓每個(gè)人更好地塑造和表達(dá)自我。
為什么要做這樣一個(gè)使命的修正？因?yàn)閷?shí)現(xiàn)通用人工智能，本質(zhì)上是基于文本大模型把人類所有的知識(shí)壓縮到我們的通用大模型里面，這樣是通向通用人工智能的必經(jīng)之路。但是大家知道通用人工智能在現(xiàn)實(shí)中的落地是有先后之分的，什么樣的場景會(huì)更容易落地？
其實(shí)也比較簡單，有人開玩笑說，大模型剛出來的時(shí)候大家都覺得所有做生產(chǎn)工作的同學(xué)會(huì)最早失業(yè)，所有做創(chuàng)意藝術(shù)的同學(xué)應(yīng)該是位置是最穩(wěn)固的。但實(shí)際上經(jīng)過這段時(shí)間的發(fā)展，大家可以看到，所有做文藝創(chuàng)作的同學(xué)失業(yè)概率會(huì)更大一些，也就是說在內(nèi)容生成領(lǐng)域，其實(shí)AI的落地更容易。很簡單，因?yàn)閮?nèi)容生成領(lǐng)域容錯(cuò)率極高，用戶對(duì)于內(nèi)容錯(cuò)誤忍耐度非常高。我們可以容忍我們畫上、視頻的人多一根手指頭、少一根手指頭。但是我們工作中，你哪怕小數(shù)點(diǎn)后面少一位，這都是巨大的生產(chǎn)事故。
也就是說在容錯(cuò)率高的內(nèi)容賽道，這一波大模型和人工智能的發(fā)揮空間是非常大的。我們?cè)谌斯ぶ悄堋IGC領(lǐng)域，研究目的就是降低創(chuàng)作的門檻。不管是文生圖、文生視頻、文生音樂、文生音效還是文生3D資產(chǎn)，本質(zhì)上就是移除所有前序我們所需要的長期的專業(yè)訓(xùn)練，而讓任何一個(gè)人覺得只要你會(huì)講故事，就可以創(chuàng)造出相應(yīng)的內(nèi)容來表達(dá)你自己。
這會(huì)帶來什么樣的影響？首先大家知道創(chuàng)作內(nèi)容的成本極大降低了，創(chuàng)作內(nèi)容的門檻降低了。我們知道創(chuàng)作內(nèi)容方面只要門檻降低，創(chuàng)作內(nèi)容的人數(shù)會(huì)急劇膨脹。舉個(gè)例子，我小時(shí)候拍視頻都是電視臺(tái)記者扛幾十公斤的攝像機(jī)拍，這時(shí)候創(chuàng)作者非常少。但是智能手機(jī)出現(xiàn)之后把拍攝者變成全中國十幾億人，人人可以拍視頻，結(jié)果就是短視頻行業(yè)的巨大發(fā)展。這一波AI把全領(lǐng)域的創(chuàng)作門檻都拉低了，結(jié)果是什么？整個(gè)內(nèi)容行業(yè)會(huì)迎來一個(gè)巨大的爆發(fā)。
同時(shí)，它還帶來另外一個(gè)文化平權(quán)和打破壟斷的作用。為什么？我在非洲待了蠻長時(shí)間，在尼日利亞的時(shí)候，了解到尼日利亞拍一部在院線上線電影的平均成本是兩萬美金到二十萬美金之間，這樣拍出來的片子和中國四五億人民幣拍出來的《流浪地球》、美國四五億美金拍出來的“漫威”系列電影相比，是毫無競爭力的。但是在我們下一代AIGC技術(shù)出來之后，我們認(rèn)為全世界所有的弱勢(shì)文化的人都可以用非常低廉的成本，創(chuàng)造出媲美歐美強(qiáng)勢(shì)文化的內(nèi)容。
這樣的結(jié)果是什么？每個(gè)弱勢(shì)文化的族群都可以通過AIGC技術(shù)來產(chǎn)生適合自己民族的文化、產(chǎn)生適合自己小語種的文化，這個(gè)對(duì)于全世界的文化平權(quán)是非常有意義的。這也就是第二條，讓每個(gè)人更好塑造和表達(dá)自我，這也是研發(fā)人員在文生音樂、文生視頻、文生小說、文生漫畫等內(nèi)容創(chuàng)作領(lǐng)域持續(xù)不斷迭代改進(jìn)的一個(gè)終極目的。
以上是方漢演講內(nèi)容的完整整理。
下載ECAD模型
