最近這兩年,隨著AIGC大模型的崛起,整個(gè)社會(huì)掀起了一股強(qiáng)勁的AI浪潮。
人們?cè)陉P(guān)注AI,企業(yè)在擁抱AI,資本在追逐AI。凡是和AI有關(guān)的概念,都會(huì)吸引大量的目光。
那么,AI是如何一步一步走到今天的呢?它經(jīng)歷了哪些發(fā)展階段,又發(fā)生過(guò)哪些精彩的故事?
今天這篇文章,我們就來(lái)仔細(xì)回顧一下,人類(lèi)AI的發(fā)展歷程。
█ 萌芽階段
人類(lèi)對(duì)人造智能體的追求和暢想,最早可以追溯到古希臘時(shí)代。
在古希臘神話(huà)中,火與工匠之神赫菲斯托斯,曾經(jīng)制作了一組金制的女機(jī)器人,“有心能解意,有嘴能說(shuō)話(huà),有手能使力,精通手工制造”。
在中國(guó)的古代史籍中,也出現(xiàn)過(guò)“人工智能”的影子。
《列子·湯問(wèn)篇》中,偃師向周穆王進(jìn)獻(xiàn)了一個(gè)機(jī)械人,會(huì)唱歌、會(huì)跳舞,還會(huì)挑逗周穆王的嬪妃。周穆王醋意爆發(fā),認(rèn)為機(jī)械人是真人假扮,要?dú)⒌糍葞煛Y葞熩s緊將機(jī)械人拆散,周穆公才罷休。
上面的這些文字記載,顯然都不靠譜。在遙遠(yuǎn)且漫長(zhǎng)的古代,以人類(lèi)當(dāng)時(shí)的技術(shù)水平,肯定是造不出智能體的。能造出一些簡(jiǎn)單的機(jī)械(例如諸葛亮的木牛流馬),都已經(jīng)很了不起了。
人們對(duì)智能體的寄望,很多都依托于鬼神等宗教信仰——將人的靈魂附身于機(jī)械,才能夠?qū)崿F(xiàn)“人工智能”。
到了近現(xiàn)代,隨著工業(yè)革命的爆發(fā),人類(lèi)開(kāi)始逐漸進(jìn)入機(jī)械計(jì)算、電氣計(jì)算時(shí)代。計(jì)算能力的不斷增長(zhǎng),使得通過(guò)“算力”來(lái)驅(qū)動(dòng)“智能”,成為一種可行選項(xiàng)。
17世紀(jì),萊布尼茨、托馬斯·霍布斯和笛卡兒等率先提出:是否可以將人類(lèi)理性的思考系統(tǒng),轉(zhuǎn)化為代數(shù)學(xué)或幾何學(xué)體系?
萊布尼茨認(rèn)為:“人類(lèi)的思想,可以簡(jiǎn)化成某種運(yùn)算?!?/p>
霍布斯也提出:“推理就是計(jì)算。”
這些偉大的思想,為后來(lái)的計(jì)算機(jī)和人工智能發(fā)展指明了方向。
再后面的事情,大家都比較清楚了——
在查爾斯·巴貝奇(Charles Babbage)的分析機(jī)、赫爾曼·何樂(lè)禮(Herman Hollerith)的制表機(jī)、阿蘭·圖靈(Alan Turing)的圖靈機(jī),以及Z3、珍妮機(jī)、Mark I、ENIAC等一系列發(fā)明的接力推動(dòng)下,人類(lèi)終于進(jìn)入了數(shù)字電子計(jì)算機(jī)時(shí)代,也開(kāi)啟了波瀾壯闊的信息技術(shù)革命。(不清楚的,看這里:算力簡(jiǎn)史)
█?第一次高潮階段(1950年-1973年)
數(shù)字電子計(jì)算機(jī)正式誕生之后,很快就有科學(xué)家開(kāi)始探索,是否可以通過(guò)計(jì)算機(jī)來(lái)實(shí)現(xiàn)“智能”。
1950年,阿蘭·圖靈在《心靈(Mind)》雜志上發(fā)表了一篇非常重要的論文,名叫《計(jì)算機(jī)器與智能(Computing Machinery and Intelligence)》。
在論文開(kāi)頭,他就提出了一個(gè)靈魂之問(wèn):
“I propose to consider the question, ‘Can machines think?’"“我提議思考這樣一個(gè)問(wèn)題:‘機(jī)器可以思考嗎?’”
圖靈在論文中仔細(xì)討論了創(chuàng)造“智能機(jī)器”的可能性。由于“智能”一詞很難定義,他提出了著名的圖靈測(cè)試(以下為大致意思):
“一個(gè)人在不接觸對(duì)方的情況下,通過(guò)一種特殊的方式和對(duì)方進(jìn)行一系列的問(wèn)答。如果在相當(dāng)長(zhǎng)時(shí)間內(nèi),他無(wú)法根據(jù)這些問(wèn)題判斷對(duì)方是人還是計(jì)算機(jī),那么,就可以認(rèn)為這個(gè)計(jì)算機(jī)是智能的?!?/em>
圖靈的論文,在學(xué)術(shù)界引起了廣泛的反響。越來(lái)越多的學(xué)者被這個(gè)話(huà)題所吸引,參與到對(duì)“機(jī)器智能”的研究之中。其中,就包括達(dá)特茅斯學(xué)院的年輕數(shù)學(xué)助教約翰·麥卡錫(J. McCarthy),以及哈佛大學(xué)的年輕數(shù)學(xué)和神經(jīng)學(xué)家馬文·明斯基(M. L. Minsky)。
達(dá)特茅斯會(huì)議
1955年9月,約翰·麥卡錫、馬文·明斯基、克勞德·香農(nóng)(C. E. Shannon)、納撒尼爾·羅切斯特(N. Rochester)四人,共同提出了一個(gè)關(guān)于機(jī)器智能的研究項(xiàng)目。在項(xiàng)目中,首次引入了“Artificial Intelligence”這個(gè)詞,也就是人工智能。
1956年6月,在剛才那4個(gè)人的召集下,在洛克菲勒基金會(huì)的資助下,十余位來(lái)自不同領(lǐng)域的專(zhuān)家,聚集在美國(guó)新罕布什爾州漢諾威鎮(zhèn)的達(dá)特茅斯學(xué)院,召開(kāi)了一場(chǎng)為期將近兩月的學(xué)術(shù)研討會(huì),專(zhuān)門(mén)討論機(jī)器智能。
這次研討會(huì),就是著名的達(dá)特茅斯會(huì)議(Dartmouth workshop)。
達(dá)特茅斯會(huì)議并沒(méi)有得出什么重要的結(jié)論或宣言,但是認(rèn)可了“人工智能(Artificial Intelligence)”的命名,也大致明確了后續(xù)的研究方向。
這次會(huì)議,標(biāo)志著人工智能作為一個(gè)研究領(lǐng)域正式誕生,也被后人視為現(xiàn)代人工智能的起點(diǎn)。
AI三大學(xué)派
達(dá)特茅斯會(huì)議之后,人工智能進(jìn)入了一個(gè)快速發(fā)展階段。參與研究的人變得更多了,而且,也逐漸形成了幾大學(xué)術(shù)派系。
在這里,我們要提到人工智能最著名的三大學(xué)派——符號(hào)主義、聯(lián)結(jié)主義(也叫聯(lián)接主義、連結(jié)主義)、行為主義。
符號(hào)主義是當(dāng)時(shí)最主流的一個(gè)學(xué)派。
他們認(rèn)為,世界中的實(shí)體、概念以及它們之間的關(guān)系,都可以用符號(hào)來(lái)表示。人類(lèi)思維的基本單元,也是符號(hào)。如果計(jì)算機(jī)能像人腦一樣,接收符號(hào)輸入,對(duì)符號(hào)進(jìn)行操作處理,然后產(chǎn)生符號(hào)輸出,就可以表現(xiàn)出智能。
這個(gè)思路,關(guān)鍵在于把知識(shí)進(jìn)行編碼,形成一個(gè)知識(shí)庫(kù),然后通過(guò)推理引擎和規(guī)則系統(tǒng),進(jìn)行推斷,以此解決復(fù)雜的問(wèn)題。
符號(hào)主義早期的代表性成果,是1955年赫伯特·西蒙(Herbert A. Simon,也譯為司馬賀)和艾倫·紐維爾(Allen Newell)開(kāi)發(fā)的一個(gè)名為“邏輯理論家(Logic Theorist)”的程序。
“邏輯理論家”被認(rèn)為是人類(lèi)歷史上第一個(gè)人工智能程序,并且在達(dá)特茅斯會(huì)議上進(jìn)行了演示。它將每個(gè)問(wèn)題都表示成一個(gè)樹(shù)形模型,然后選擇最可能得到正確結(jié)論的那條線(xiàn),來(lái)求解問(wèn)題。
1957年,赫伯特·西蒙等人在“邏輯理論家”的基礎(chǔ)上,又推出了通用問(wèn)題解決器(General Problem Solver,GPS),也是符號(hào)主義的早期代表。
進(jìn)入1960年代,符號(hào)主義也進(jìn)入了一個(gè)鼎盛時(shí)期。在自然語(yǔ)言理解、微世界推理、專(zhuān)家系統(tǒng)(注意這個(gè)詞,后面會(huì)再次提到它)等領(lǐng)域,人工智能取得了突破性的進(jìn)展,也逐漸成為公眾關(guān)注的對(duì)象。
1958年,約翰·麥卡錫正式發(fā)布了自己開(kāi)發(fā)的人工智能編程語(yǔ)言——LISP(LIST PROCESSING,意思是"表處理")。后來(lái)的很多知名AI程序,都是基于LISP開(kāi)發(fā)的。
1966年,美國(guó)麻省理工學(xué)院的魏澤鮑姆(Joseph Weizenbaum),發(fā)布了世界上第一個(gè)聊天機(jī)器人——ELIZA。
ELIZA的名字源于蕭伯納戲劇作品《賣(mài)花女》中的主角名。它只有200行程序代碼和一個(gè)有限的對(duì)話(huà)庫(kù),可以針對(duì)提問(wèn)中的關(guān)鍵詞,進(jìn)行答復(fù)。
ELIZA其實(shí)沒(méi)有任何智能性可言。它基于規(guī)則運(yùn)作,既不理解對(duì)方的內(nèi)容,也不知道自己在說(shuō)什么。但即便如此,它還是在當(dāng)時(shí)引起了轟動(dòng)。ELIZA可以說(shuō)是現(xiàn)在Siri、小愛(ài)同學(xué)等問(wèn)答交互工具的鼻祖。
再來(lái)看看聯(lián)結(jié)主義。
聯(lián)結(jié)主義,強(qiáng)調(diào)模仿人腦的工作原理,建立神經(jīng)元之間的聯(lián)結(jié)模型,以此實(shí)現(xiàn)人工神經(jīng)運(yùn)算。
大家可能會(huì)有點(diǎn)激動(dòng)。沒(méi)錯(cuò),這就是現(xiàn)在非常熱門(mén)的神經(jīng)網(wǎng)絡(luò)模型。
神經(jīng)網(wǎng)絡(luò)的概念其實(shí)誕生得很早。1943年,美國(guó)神經(jīng)生理學(xué)家沃倫·麥卡洛克(Warren McCulloch)和數(shù)學(xué)家沃爾特·皮茨(Walter Pitts),基于人類(lèi)大腦的神經(jīng)網(wǎng)絡(luò),創(chuàng)建了一個(gè)形式神經(jīng)元的計(jì)算機(jī)模型,并將其取名為MCP(McCulloch&Pitts)模型。
1951年,馬文·明斯基(就是前面提到的那個(gè))和他的同學(xué)鄧恩·埃德蒙(Dunn Edmund),建造了第一臺(tái)神經(jīng)網(wǎng)絡(luò)機(jī)SNARC。
1957年,美國(guó)康奈爾大學(xué)的心理學(xué)家和計(jì)算機(jī)科學(xué)家弗蘭克·羅森布拉特(Frank Rosenblatt),在一臺(tái)IBM-704計(jì)算機(jī)上,模擬實(shí)現(xiàn)了一種他發(fā)明的叫“感知機(jī)?(Perceptron)?”的神經(jīng)網(wǎng)絡(luò)模型。
這個(gè)“感知器”包括三層結(jié)構(gòu),一端是400個(gè)光探測(cè)器,模擬視網(wǎng)膜。光探測(cè)器多次連接一組512個(gè)電子觸發(fā)器。當(dāng)它通過(guò)一個(gè)特定的可調(diào)節(jié)的興奮閥值時(shí),就會(huì)像神經(jīng)元一樣激發(fā)。這些觸發(fā)器連接到最后一層,當(dāng)一個(gè)物體與感知器受訓(xùn)見(jiàn)過(guò)的對(duì)象相互匹配時(shí),它就會(huì)發(fā)出信號(hào)。
“感知機(jī)”是聯(lián)結(jié)主義的一項(xiàng)重要成果,在人工智能發(fā)展史上具有里程碑式的意義。但是,后來(lái)的一盆冰水,徹底澆滅了聯(lián)結(jié)主義的熱情。
1969年,馬文·明斯基和西蒙·派珀特(Seymour Papert)寫(xiě)了一本書(shū)《感知機(jī): 計(jì)算幾何學(xué)導(dǎo)論》的書(shū),對(duì)羅森布萊特的感知器提出了質(zhì)疑。馬文·明斯基認(rèn)為:
“神經(jīng)網(wǎng)絡(luò)具有很大的局限性(單層感知機(jī)無(wú)法解決線(xiàn)性不可分問(wèn)題),沒(méi)有實(shí)際研究?jī)r(jià)值?!?/em>
來(lái)自大神的否定,等于直接宣判了神經(jīng)網(wǎng)絡(luò)(聯(lián)結(jié)主義)路線(xiàn)的死刑。于是,這個(gè)非常有價(jià)值的研究方向,被中止了。
羅森布萊特后來(lái)死于意外(也有人說(shuō)是自殺),馬文·明斯基也因?yàn)檫@個(gè)錯(cuò)誤的判斷,被一些學(xué)者抨擊。(需要注意,馬文·明斯基雖然有誤判,但他對(duì)人工智能事業(yè)的功遠(yuǎn)大于過(guò),甚至也被譽(yù)為“人工智能之父”。)
等到神經(jīng)網(wǎng)絡(luò)(聯(lián)結(jié)主義)重新崛起,已經(jīng)是十多年后的事情了。我們待會(huì)再詳細(xì)說(shuō)。
最后,說(shuō)說(shuō)行為主義。
行為主義,也稱(chēng)為進(jìn)化主義或控制論學(xué)派。他們認(rèn)為,通過(guò)與環(huán)境的互動(dòng)來(lái)學(xué)習(xí)和適應(yīng),從而改進(jìn)自身行為,就是行為主義認(rèn)為的智能。智能取決于感知和行動(dòng),不需要知識(shí)、表示和推理,只需要將智能行為表現(xiàn)出來(lái)就好。
簡(jiǎn)單來(lái)說(shuō),行為主義AI系統(tǒng)基于“感知-動(dòng)作”的閉環(huán)控制,強(qiáng)調(diào)即時(shí)反饋和適應(yīng)性學(xué)習(xí)。智能體通過(guò)感知環(huán)境信息,基于這些信息執(zhí)行動(dòng)作,并根據(jù)動(dòng)作結(jié)果調(diào)整后續(xù)行為。
行為主義在后來(lái)的機(jī)器人學(xué)、自動(dòng)化控制、游戲AI、自動(dòng)駕駛汽車(chē)等領(lǐng)域有著重要應(yīng)用。
好了,以上是AI三大重要學(xué)派的介紹,作為學(xué)習(xí)AI的知識(shí)鋪墊,也有助于閱讀后面的文章。
請(qǐng)大家注意,AI的學(xué)派和思想路線(xiàn)并不止這三個(gè),還有一些小學(xué)派,例如進(jìn)化計(jì)算、模糊邏輯、貝葉斯網(wǎng)絡(luò)等。它們雖不構(gòu)成獨(dú)立的大學(xué)派,但在AI的某些子領(lǐng)域內(nèi)有著重要的應(yīng)用和影響。而且,AI學(xué)派之間,邊界也比較模糊,有時(shí)候會(huì)互相融合。
其它重要成果
再簡(jiǎn)單介紹一下當(dāng)時(shí)另外幾項(xiàng)重要的研究成果。
首先必須是亞瑟·塞繆爾(Arthur Samuel)的跳棋程序。
1959年,IBM科學(xué)家亞瑟·塞繆爾在自家首臺(tái)商用計(jì)算機(jī)IBM701上,成功編寫(xiě)了一套西洋跳棋程序。這個(gè)程序具有“學(xué)習(xí)能力”,可以通過(guò)對(duì)大量棋局的分析,逐漸辨識(shí)出“好棋”和“壞棋”,從而提高自己的下棋水平。
這個(gè)程序很快就下贏了薩繆爾自己,后來(lái),它還戰(zhàn)勝了當(dāng)時(shí)的西洋跳棋大師羅伯特尼賴(lài)。
因?yàn)槭状翁岢隽恕?a class="article-link" target="_blank" href="/tag/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/">機(jī)器學(xué)習(xí)(Machine Learning)”的概念,亞瑟·塞繆爾被后人譽(yù)為“機(jī)器學(xué)習(xí)之父”。
1959年,美國(guó)發(fā)明家喬治·德沃爾(George Devol)與約瑟夫·英格伯格(Joseph Engelberger)發(fā)明了人類(lèi)首臺(tái)工業(yè)機(jī)器人——Unimate。
Unimate重達(dá)兩噸,安裝運(yùn)行于通用汽車(chē)生產(chǎn)線(xiàn)。它可以控制一臺(tái)多自由度的機(jī)械臂,搬運(yùn)和堆疊熱壓鑄金屬件。
1966年,查理·羅森(Charlie Rosen)領(lǐng)導(dǎo)的美國(guó)斯坦福研究所(SRI),研發(fā)成功了首臺(tái)人工智能機(jī)器人——Shakey。
Shakey全面應(yīng)用了人工智能技術(shù),裝備了電子攝像機(jī)、三角測(cè)距儀、碰撞傳感器以及驅(qū)動(dòng)電機(jī),能簡(jiǎn)單解決感知、運(yùn)動(dòng)規(guī)劃和控制問(wèn)題。它是第一個(gè)通用移動(dòng)機(jī)器人,也被稱(chēng)為“第一個(gè)電子人”。
█ 第一次低谷階段(1974年-1979年)
剛才說(shuō)了,1960年代是符號(hào)主義的鼎盛時(shí)期。其實(shí),在符號(hào)主義的帶動(dòng)下,當(dāng)時(shí)整個(gè)人工智能研究都進(jìn)入了一個(gè)高速發(fā)展的階段,也被稱(chēng)為AI的黃金時(shí)代(Golden Time,1960-1973年)。
那時(shí),除了定理證明、人機(jī)互動(dòng)、游戲博弈和機(jī)器人之外,人工智能很多領(lǐng)域都產(chǎn)出了不錯(cuò)的成果。加上冷戰(zhàn)時(shí)期,美國(guó)政府愿意掏錢(qián)資助,使得AI研究變得異常火爆。
在這一背景下,學(xué)術(shù)界對(duì)AI的預(yù)期,開(kāi)始變得盲目樂(lè)觀。有些研究者認(rèn)為:
“二十年內(nèi),機(jī)器將能完成人能做到的一切工作?!?/em>
1970年,馬文·明斯基甚至放言:“在未來(lái)3-8年內(nèi),會(huì)誕生和人類(lèi)智慧相當(dāng)?shù)臋C(jī)器人,可能我們?nèi)祟?lèi)會(huì)成為AI的寵物。”
盲目的樂(lè)觀,肯定不會(huì)有什么好結(jié)果。
隨著時(shí)間的推移,學(xué)者們逐漸發(fā)現(xiàn),基于推理規(guī)則的“智能”,實(shí)際上能力非常有限。加上當(dāng)時(shí)計(jì)算機(jī)的算力和存力尚處于早期階段,系統(tǒng)根本達(dá)不到預(yù)期的效果。
之前介紹的那些AI程序和工具,陸續(xù)開(kāi)始出現(xiàn)瓶頸,甚至鬧出笑話(huà)。
以機(jī)器翻譯為例。當(dāng)時(shí)美國(guó)政府投入了2000多萬(wàn)美元作為機(jī)器翻譯的經(jīng)費(fèi),結(jié)果相關(guān)團(tuán)隊(duì)研發(fā)多年,發(fā)現(xiàn)完全低估了這個(gè)項(xiàng)目的難度。
翻譯工具經(jīng)常出現(xiàn)一些低級(jí)錯(cuò)誤。例如,將“Out of sight,out of mind(眼不見(jiàn),心不煩)”翻譯成“又瞎又瘋”,把“The spirit is willing but the flesh is weak(心有余而力不足)”翻譯成“酒是好的,但肉變質(zhì)了”,把“Time flies like an arrow(光陰似箭)”翻譯成“蒼蠅喜歡箭”。
接二連三的失敗,慢慢耗盡了政府金主的耐心。加上不久后美國(guó)經(jīng)濟(jì)出現(xiàn)了一些問(wèn)題(1974-1975年出現(xiàn)歷史上罕見(jiàn)的連續(xù)兩年GDP負(fù)增長(zhǎng)),政府開(kāi)始決定“斷糧”。
1973年,數(shù)學(xué)家萊特希爾(Lighthill)向英國(guó)政府提交了一份關(guān)于人工智能的研究報(bào)告(著名的《萊特希爾報(bào)告》)。報(bào)告對(duì)當(dāng)時(shí)的機(jī)器人技術(shù)、語(yǔ)言處理技術(shù)和圖像識(shí)別技術(shù)進(jìn)行了嚴(yán)厲且猛烈的批評(píng),指出人工智能那些看上去宏偉的目標(biāo)根本無(wú)法實(shí)現(xiàn),研究已經(jīng)徹底失敗。
很快,英國(guó)政府、美國(guó)國(guó)防部高級(jí)研究計(jì)劃局(DARPA)和美國(guó)國(guó)家科學(xué)委員會(huì)等,開(kāi)始大幅削減甚至終止了對(duì)人工智能的投資。
人工智能進(jìn)入了第一個(gè)發(fā)展低谷,也被稱(chēng)為“AI Winter(AI之冬)”。
█ 第二次高潮階段(1980年-1987年)
AI之冬的持續(xù)時(shí)間其實(shí)并不是很久。六年后,1980年,第二次AI發(fā)展高潮開(kāi)始了。
第二次浪潮,其實(shí)還是符號(hào)主義掀起的。這次的主角,是符號(hào)主義的一個(gè)新階段——專(zhuān)家系統(tǒng)(Expert System)。
專(zhuān)家系統(tǒng)
專(zhuān)家系統(tǒng),就是一個(gè)面向?qū)I(yè)領(lǐng)域的超級(jí)“知識(shí)庫(kù)+推理庫(kù)”。
它找來(lái)很多人,對(duì)大量的專(zhuān)家知識(shí)和經(jīng)驗(yàn)進(jìn)行整理,分析并編寫(xiě)出海量的規(guī)則,導(dǎo)入系統(tǒng)。然后,系統(tǒng)根據(jù)這些基于知識(shí)整理出來(lái)的規(guī)則,進(jìn)行邏輯推理,來(lái)模擬和延伸人類(lèi)專(zhuān)家的決策能力,解決復(fù)雜的問(wèn)題。
大家能看出來(lái),專(zhuān)家系統(tǒng)走的仍然是符號(hào)主義的“規(guī)則”路線(xiàn)。所以,專(zhuān)家系統(tǒng),也叫做規(guī)則基礎(chǔ)系統(tǒng)。
1968年,美國(guó)科學(xué)家愛(ài)德華·費(fèi)根鮑姆(Edward Feigenbaum)提出了第一個(gè)專(zhuān)家系統(tǒng)——DENDRAL,并對(duì)知識(shí)庫(kù)給出了初步的定義。這標(biāo)志著專(zhuān)家系統(tǒng)的誕生。
DENDRAL面向的是化學(xué)行業(yè)。它可以幫助化學(xué)家判斷物質(zhì)的分子結(jié)構(gòu)。系統(tǒng)推出之后,因?yàn)槟軌驕p少人力成本并且提升工作效率,受到了化學(xué)行業(yè)的歡迎和認(rèn)可。
和DENDRAL差不多時(shí)間出現(xiàn)的專(zhuān)家系統(tǒng),還有威廉·馬?。╓illiam A. Martin)開(kāi)發(fā)的Macsyma,以及安東尼·赫恩(Anthony C. Hearn)開(kāi)發(fā)的“Reduce”。
這兩套都是數(shù)學(xué)領(lǐng)域的專(zhuān)家系統(tǒng)(用于求解數(shù)學(xué)問(wèn)題),都采用了約翰·麥卡錫的LISP語(yǔ)言進(jìn)行開(kāi)發(fā)。
1972年,美國(guó)醫(yī)生兼科學(xué)家愛(ài)德華·H·肖特利夫(Edward H. Shortliffe)創(chuàng)建了可以幫助進(jìn)行醫(yī)學(xué)診斷的專(zhuān)家系統(tǒng)——MYCIN。
MYCIN也是基于LISP語(yǔ)言編寫(xiě),擁有500多條規(guī)則,能夠識(shí)別51種病菌,正確地處理23種抗菌素。
它能夠協(xié)助醫(yī)生診斷、治療細(xì)菌感染性血液病,為患者提供最佳處方。當(dāng)時(shí),它成功地處理了數(shù)百個(gè)病例,并通過(guò)了嚴(yán)格的測(cè)試,顯示出了較高的醫(yī)療水平。
1977年,愛(ài)德華·費(fèi)根鮑姆在第五屆國(guó)際人工智能聯(lián)合會(huì)議上,提出了“知識(shí)工程(Knowledge Engineering)”的概念,進(jìn)一步推動(dòng)了專(zhuān)家系統(tǒng)的普及。
進(jìn)入1980年代,隨著技術(shù)的演進(jìn),計(jì)算機(jī)的計(jì)算和存儲(chǔ)能力增加,專(zhuān)家系統(tǒng)開(kāi)始在各個(gè)行業(yè)爆發(fā)。
1980年,卡耐基梅隆大學(xué)研發(fā)的專(zhuān)家系統(tǒng)XCON(eXpertCONfigurer)正式商用,為當(dāng)時(shí)的計(jì)算機(jī)巨頭公司DEC每年省下數(shù)千萬(wàn)美金。
1983年,通用電氣公司搞出了柴油電力機(jī)車(chē)維修專(zhuān)家系統(tǒng)(DELTA)。這個(gè)系統(tǒng)封裝了眾多GE資深現(xiàn)場(chǎng)服務(wù)工程師的知識(shí)和經(jīng)驗(yàn),能夠指導(dǎo)員工進(jìn)行故障檢修和維護(hù)。
當(dāng)時(shí),美國(guó)運(yùn)通公司也搞了一個(gè)信用卡認(rèn)證輔助決策專(zhuān)家系統(tǒng),據(jù)說(shuō)每年可節(jié)省2700萬(wàn)美金。
總而言之,那時(shí)候的專(zhuān)家系統(tǒng),是大公司趨之若鶩的神器。它能夠帶來(lái)實(shí)實(shí)在在的經(jīng)濟(jì)效益,所以,行業(yè)用戶(hù)愿意為之投資。這是第二次AI浪潮的根本原因。
我們也可以這么說(shuō),第一次AI浪潮,是政府投資帶動(dòng)的。第二次AI浪潮,是企業(yè)投資帶動(dòng)。AI,開(kāi)始進(jìn)入產(chǎn)業(yè)化的階段。
企業(yè)投資的成效,反過(guò)來(lái)又讓各國(guó)政府對(duì)AI恢復(fù)了一些信心。
1981年,經(jīng)濟(jì)高速增長(zhǎng)的日本,率先開(kāi)始對(duì)AI進(jìn)行投入。
那一年,日本經(jīng)濟(jì)產(chǎn)業(yè)省撥款8.5億美元,支持第五代計(jì)算機(jī)項(xiàng)目。這個(gè)項(xiàng)目的最終目的,是造出一臺(tái)人工智能計(jì)算機(jī),能夠與人對(duì)話(huà)、翻譯語(yǔ)言、解釋圖像、完成推理。
美國(guó)和英國(guó)政府,也很快采取了行動(dòng)。
1983年,美國(guó)國(guó)防部高級(jí)研究計(jì)劃局(DARPA)通過(guò)“戰(zhàn)略計(jì)算促進(jìn)會(huì)(Strategic Computing Initiative)”,重啟對(duì)人工智能研究的資助。
同年,英國(guó)投資3.5億英鎊,啟動(dòng)了Alvey(阿爾維)計(jì)劃,全面推進(jìn)軟件工程、人機(jī)接口、智能系統(tǒng)和超大規(guī)模集成電路等領(lǐng)域的研發(fā)。
關(guān)于專(zhuān)家系統(tǒng),還有一個(gè)雄心勃勃的項(xiàng)目值得一提。那就是1984年啟動(dòng)的Cyc項(xiàng)目。
Cyc項(xiàng)目由美國(guó)微電子與計(jì)算機(jī)技術(shù)公司發(fā)起,是一個(gè)“超級(jí)百科全書(shū)”項(xiàng)目。它試圖將人類(lèi)擁有的所有一般性知識(shí)都輸入計(jì)算機(jī),建立一個(gè)巨型數(shù)據(jù)庫(kù)。
這個(gè)項(xiàng)目,據(jù)說(shuō)到現(xiàn)在還在進(jìn)行之中。
█?第二次低谷階段(1987年-1993年)
好景不長(zhǎng),到了1980年代的后半段,人工智能又開(kāi)始走下坡路了。
原因是多方面的。
首先,專(zhuān)家系統(tǒng)(符號(hào)主義)基于規(guī)則和已有知識(shí)的“檢索+推理”,面對(duì)復(fù)雜的現(xiàn)實(shí)世界,顯然還是有能力瓶頸。
它的應(yīng)用領(lǐng)域狹窄、缺乏常識(shí)性知識(shí)、知識(shí)獲取困難、推理方法單一、缺乏分布式功能、難以與現(xiàn)有數(shù)據(jù)庫(kù)兼容等……所有這些問(wèn)題,都給它的進(jìn)一步發(fā)展造成了困擾。
其次,80年代PC(個(gè)人電腦)技術(shù)革命的爆發(fā),也給專(zhuān)家系統(tǒng)造成了沖擊。
當(dāng)時(shí)專(zhuān)家系統(tǒng)基本上都是用LISP語(yǔ)言編寫(xiě)的。系統(tǒng)采用的硬件,是Symbolics等廠(chǎng)商生產(chǎn)的人工智能專(zhuān)用計(jì)算機(jī)(也叫LISP機(jī))。
1987年,蘋(píng)果和IBM公司生產(chǎn)的臺(tái)式機(jī),在性能上已經(jīng)超過(guò)了Symbolics的AI計(jì)算機(jī),導(dǎo)致AI硬件市場(chǎng)需求土崩瓦解。
專(zhuān)家系統(tǒng)的維護(hù)和更新也存在很多問(wèn)題。不僅操作復(fù)雜,價(jià)格也非常高昂。
結(jié)合以上種種原因,市場(chǎng)和用戶(hù)逐漸對(duì)專(zhuān)家系統(tǒng)失去了興趣。
到了80年代晚期,戰(zhàn)略計(jì)算促進(jìn)會(huì)大幅削減對(duì)AI的資助。DARPA的新任領(lǐng)導(dǎo)也認(rèn)為AI并非“下一個(gè)浪潮”,削減了對(duì)其的投資。
AI,進(jìn)入了第二次低谷階段。
█?第三次高潮階段(1994年-現(xiàn)在)
在進(jìn)入1990年代之前,小棗君還是要再講講1980年代。
1980年代,專(zhuān)家系統(tǒng)掀起了第二次AI浪潮,也推動(dòng)了AI技術(shù)的發(fā)展。但從上帝視角來(lái)看,真正對(duì)后來(lái)的AI發(fā)展產(chǎn)生深遠(yuǎn)影響的,其實(shí)不是專(zhuān)家系統(tǒng),而是另外一個(gè)被遺忘了二十多年的賽道。
沒(méi)錯(cuò),這個(gè)賽道,就是當(dāng)年被馬文·明斯基一句話(huà)給干廢的“神經(jīng)網(wǎng)絡(luò)”賽道。
機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)
前文我們提到,神經(jīng)網(wǎng)絡(luò)是聯(lián)結(jié)主義的一個(gè)代表性研究方向。但是,因?yàn)轳R文·明斯基的否定,這個(gè)方向在1969年被打入冷宮。
1980年,越來(lái)越多的科學(xué)家意識(shí)到專(zhuān)家系統(tǒng)存在不足。符號(hào)主義這條路,很可能走不通。人們認(rèn)為,人工智能想要實(shí)現(xiàn)真正的智能,就必須擁有自己的感知系統(tǒng),能夠自主學(xué)習(xí)。
于是,倡導(dǎo)讓機(jī)器“自動(dòng)地從數(shù)據(jù)中學(xué)習(xí),并通過(guò)訓(xùn)練得到更加精準(zhǔn)的預(yù)測(cè)和決策能力”的研究思想,開(kāi)始逐漸活躍起來(lái)。這就是前面提到過(guò)的機(jī)器學(xué)習(xí)。
機(jī)器學(xué)習(xí)包含多種方法和理論學(xué)派。源于聯(lián)結(jié)主義學(xué)派的神經(jīng)網(wǎng)絡(luò),就在這一時(shí)期開(kāi)始“復(fù)活”。
1982年,約翰·霍普菲爾德(John Hopfield)在自己的論文中重點(diǎn)介紹了Hopfield網(wǎng)絡(luò)模型(模型原型早期由其他科學(xué)家提出)。這是一種具有記憶和優(yōu)化功能的循環(huán)(遞歸)神經(jīng)網(wǎng)絡(luò)。
1986年,戴維·魯梅爾哈特(David Rumelhart)、杰弗里·辛頓(Geoffrey Hinton,記住這個(gè)名字?。?/strong>和羅納德·威廉姆斯(Ronald Williams)等人共同發(fā)表了一篇名為《Learning representations by back-propagation errors(通過(guò)反向傳播算法的學(xué)習(xí)表征)》的論文。
在論文中,他們提出了一種適用于多層感知器(MLP)的算法,叫做反向傳播算法(Backpropagation,簡(jiǎn)稱(chēng)BP算法)。
該算法通過(guò)在輸入層和輸出層之間設(shè)定一個(gè)中間層(隱藏層),以反向傳播的方式實(shí)現(xiàn)機(jī)器的自我學(xué)習(xí)。
算法咱們以后再研究。大家只需要記住,BP算法不僅為多層神經(jīng)網(wǎng)絡(luò)的發(fā)展奠定了基礎(chǔ),也打破了馬文·明斯基當(dāng)年提出的“神經(jīng)網(wǎng)絡(luò)具有局限性”魔咒,意義非常重大。
1980年代是人工智能研究方向發(fā)生重大轉(zhuǎn)折的時(shí)期。機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)(聯(lián)結(jié)主義)加速崛起,逐漸取代專(zhuān)家系統(tǒng)(符號(hào)主義),成為人工智能的主要研究方向。
我們也可以理解為,人工智能原本由知識(shí)驅(qū)動(dòng)的方式,逐漸變成了由數(shù)據(jù)驅(qū)動(dòng)。
機(jī)器學(xué)習(xí)的代表性算法包括決策樹(shù)、支持向量機(jī)、隨機(jī)森林等。
1995年,克里娜·柯?tīng)柼厮梗–orinna Cortes)和弗拉基米爾·萬(wàn)普尼克(Vladimir Vapnik)開(kāi)發(fā)了支持向量機(jī)(Support Vector Machine,SVM)。支持向量機(jī)是一種映射和識(shí)別類(lèi)似數(shù)據(jù)的系統(tǒng),可以視為在感知機(jī)基礎(chǔ)上的改進(jìn)。
神經(jīng)網(wǎng)絡(luò)方面,非常重要的CNN(Convolutional Neural Network,卷積神經(jīng)網(wǎng)絡(luò))和RNN(Recursive Neural Networks,遞歸神經(jīng)網(wǎng)絡(luò)),也在那一時(shí)期崛起了。
1988年,貝爾實(shí)驗(yàn)室的Yann LeCun(他是法國(guó)人,網(wǎng)上翻譯的中文名有很多:楊立昆、楊樂(lè)春、燕樂(lè)存、揚(yáng)·勒丘恩)等人,提出了卷積神經(jīng)網(wǎng)絡(luò)。大家應(yīng)該比較熟悉,這是一種專(zhuān)門(mén)用于處理圖像數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)模型。
1990年,美國(guó)認(rèn)知科學(xué)家、心理語(yǔ)言學(xué)家杰弗里·艾爾曼(Jeffrey Elman)提出了首個(gè)遞歸神經(jīng)網(wǎng)絡(luò)——艾爾曼網(wǎng)絡(luò)模型。遞歸神經(jīng)網(wǎng)絡(luò)能夠在訓(xùn)練時(shí)維持?jǐn)?shù)據(jù)本身的先后順序性質(zhì),非常適合于自然語(yǔ)言處理領(lǐng)域的應(yīng)用。
1997年,德國(guó)計(jì)算機(jī)科學(xué)家瑟普·霍克賴(lài)特(Sepp Hochreiter)及其導(dǎo)師于爾根·施密德胡伯(Jürgen Schmidhuber)開(kāi)發(fā)了用于遞歸神經(jīng)網(wǎng)絡(luò)的LSTM(長(zhǎng)短期記憶網(wǎng)絡(luò))。
1998年,Yann LeCun等人提出了LeNet,一個(gè)用于手寫(xiě)數(shù)字識(shí)別的卷積神經(jīng)網(wǎng)絡(luò),初步展示了神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別領(lǐng)域的潛力。
總而言之,20世紀(jì)90年代,神經(jīng)網(wǎng)絡(luò)在開(kāi)始商用于文字圖像識(shí)別、語(yǔ)音識(shí)別、數(shù)據(jù)挖掘以及金融預(yù)測(cè)。在模式識(shí)別、信號(hào)處理、控制工程等領(lǐng)域,也有嘗試應(yīng)用,盡管當(dāng)時(shí)受到計(jì)算資源限制,應(yīng)用范圍和規(guī)模有限。
想要推動(dòng)人工智能技術(shù)的進(jìn)一步爆發(fā),既需要算法模型的持續(xù)演進(jìn),也需要算力的深入增強(qiáng)。此外,還有一個(gè)短板,也需要補(bǔ)充,那就是數(shù)據(jù)。
大家應(yīng)該看出來(lái)了,AI的三要素,就是算法、算力和數(shù)據(jù)。
深藍(lán)
1990年代最重要的AI事件,當(dāng)然是1997年IBM超級(jí)電腦“深藍(lán)(DEEP BLUE)”與國(guó)際象棋大師卡斯帕洛夫(KASPAROV)的世紀(jì)之戰(zhàn)。
此前的1996年2月,深藍(lán)已經(jīng)向卡斯帕洛夫發(fā)起過(guò)一次挑戰(zhàn),結(jié)果以2-4敗北。
1997年5月3日至11日,“深藍(lán)”再次挑戰(zhàn)卡斯帕羅夫。在經(jīng)過(guò)六盤(pán)大戰(zhàn)后,最終“深藍(lán)”以2勝1負(fù)3平的成績(jī),險(xiǎn)勝卡斯帕羅夫,震驚了世界。
這是AI發(fā)展史上,人工智能首次戰(zhàn)勝人類(lèi)。
作為80后的小棗君,對(duì)這件事情也印象深刻。當(dāng)時(shí)“深藍(lán)”所引起的熱潮,絲毫不亞于后來(lái)的ChatGPT。幾乎所有的人都在想——人工智能時(shí)代是否真的到來(lái)了?人工智能,到底會(huì)不會(huì)取代人類(lèi)?
進(jìn)入21世紀(jì),得益于計(jì)算機(jī)算力的進(jìn)一步飛躍,以及云計(jì)算、大數(shù)據(jù)的爆發(fā),人工智能開(kāi)始進(jìn)入一個(gè)更加波瀾壯闊的發(fā)展階段。
2006年,多倫多大學(xué)的杰弗里·辛頓(就是1986年發(fā)表論文的那個(gè)大神)在science期刊上,發(fā)表了重要的論文《Reducing the dimensionality of data with neural networks(用神經(jīng)網(wǎng)絡(luò)降低數(shù)據(jù)維數(shù))》,提出深度信念網(wǎng)絡(luò)(Deep Belief Networks,DBNs)。
深度學(xué)習(xí)(Deeping Learning),正式誕生了。
2006年被后人稱(chēng)為深度學(xué)習(xí)元年,杰弗里·辛頓也因此被稱(chēng)為“深度學(xué)習(xí)之父”。
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支。更準(zhǔn)確來(lái)說(shuō),機(jī)器學(xué)習(xí)底下有一條“神經(jīng)網(wǎng)絡(luò)”路線(xiàn),而深度學(xué)習(xí),是加強(qiáng)版的“神經(jīng)網(wǎng)絡(luò)”學(xué)習(xí)。
經(jīng)典機(jī)器學(xué)習(xí)算法使用的神經(jīng)網(wǎng)絡(luò),具有輸入層、一個(gè)或兩個(gè)“隱藏”層和一個(gè)輸出層。數(shù)據(jù)需要由人類(lèi)專(zhuān)家進(jìn)行結(jié)構(gòu)化或標(biāo)記(監(jiān)督學(xué)習(xí)),以便算法能夠從數(shù)據(jù)中提取特征。
深度學(xué)習(xí)算法使用“隱藏”層更多(數(shù)百個(gè))的深度神經(jīng)網(wǎng)絡(luò)。它的能力更強(qiáng),可以自動(dòng)從海量的數(shù)據(jù)集中提取特征,不需要人工干預(yù)(無(wú)監(jiān)督學(xué)習(xí))。
2006年,在斯坦福任教的華裔科學(xué)家李飛飛,意識(shí)到了業(yè)界在研究AI算法的過(guò)程中,沒(méi)有一個(gè)強(qiáng)大的圖片數(shù)據(jù)樣本庫(kù)提供支撐。于是,2007年,她發(fā)起創(chuàng)建了ImageNet項(xiàng)目,號(hào)召民眾上傳圖像并標(biāo)注圖像內(nèi)容。
2009年,大型圖像數(shù)據(jù)集——ImageNet,正式發(fā)布。這個(gè)數(shù)據(jù)庫(kù)包括了1400萬(wàn)張圖片數(shù)據(jù),超過(guò)2萬(wàn)個(gè)類(lèi)別,為全球AI研究(神經(jīng)網(wǎng)絡(luò)訓(xùn)練)提供了強(qiáng)大支持。
從2010年開(kāi)始,ImageNet每年舉行大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽,邀請(qǐng)全球開(kāi)發(fā)者和研究機(jī)構(gòu)參加,進(jìn)行人工智能圖像識(shí)別算法評(píng)比。
2012年,杰弗里·辛頓和他的學(xué)生伊利亞·蘇茨克沃(Ilya Sutskever)和亞歷克斯·克里切夫斯基(Alex Krizhevsky)參加了這個(gè)比賽。
他們?cè)O(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)模型AlexNet在這次競(jìng)賽中大獲全勝,以壓倒性?xún)?yōu)勢(shì)獲得第一名(將Top-5錯(cuò)誤率降到了15.3%,比第二名低10.8%),引起了業(yè)界轟動(dòng),甚至一度被懷疑是作弊。
值得一提的是,他們?nèi)擞糜谟?xùn)練模型的,只是2張英偉達(dá)GTX 580顯卡。GPU在深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練上表現(xiàn)出的驚人能力,不僅讓他們自己嚇了一跳,也讓黃仁勛和英偉達(dá)公司嚇了一跳。
作為對(duì)比,2012年的早些時(shí)候,谷歌“Google Brain”項(xiàng)目的研究人員吳恩達(dá)(華裔美國(guó)人,1976年生于倫敦)、杰夫·迪恩(Jeff Dean)等人,也搗鼓了一個(gè)神經(jīng)網(wǎng)絡(luò)(10億參數(shù)),用來(lái)訓(xùn)練對(duì)貓的識(shí)別。
他們的訓(xùn)練數(shù)據(jù)是來(lái)自youtube的1000萬(wàn)個(gè)貓臉圖片,用了1.6萬(wàn)個(gè)CPU,整整訓(xùn)練了3天。
“深度神經(jīng)網(wǎng)絡(luò)+GPU”的優(yōu)勢(shì),顯露無(wú)疑。很多人和很多公司的命運(yùn),從此改變了。
2013年,辛頓師徒三人共同成立了一家名為DNNresearch的公司。后來(lái),這個(gè)只有三個(gè)人且沒(méi)有任何產(chǎn)品和計(jì)劃的公司,被谷歌以幾千萬(wàn)美元的價(jià)格競(jìng)購(gòu)(百度也跑去買(mǎi),和谷歌爭(zhēng)到最后,沒(méi)成功)。
AlphaGo
2013年-2018年,谷歌是人工智能領(lǐng)域最活躍的公司。
2014年,谷歌公司收購(gòu)了專(zhuān)注于深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)技術(shù)的人工智能公司——DeepMind公司。
2016年3月,DeepMind開(kāi)發(fā)的人工智能?chē)宄绦駻lphaGo(阿爾法狗),對(duì)戰(zhàn)世界圍棋冠軍、職業(yè)九段選手李世石,并以4:1的總比分獲勝,震驚了全世界。
AlphaGo具有很強(qiáng)的自我學(xué)習(xí)能力,能夠搜集大量圍棋對(duì)弈數(shù)據(jù)和名人棋譜,學(xué)習(xí)并模仿人類(lèi)下棋。
一年后,AlphaGo的第四代版本AlphaGoZero問(wèn)世。在無(wú)任何數(shù)據(jù)輸入的情況下,僅用了3天時(shí)間自學(xué)圍棋,就以100:0的巨大優(yōu)勢(shì),橫掃了第二代版本AlphaGo。學(xué)習(xí)40天后,AlphaGoZero又戰(zhàn)勝了第三代版本AlphaGo。
當(dāng)時(shí),全世界都在熱議AlphaGoZero的強(qiáng)悍自學(xué)能力,甚至一度引起了人類(lèi)的恐慌情緒。
谷歌在AI圈出盡風(fēng)頭,但他們估計(jì)也沒(méi)有想到,一家在2015年悄然成立的公司(確切說(shuō),當(dāng)時(shí)是非營(yíng)利性組織),會(huì)很快取代他們的主角地位。這家公司(組織),就是如今大紅大紫的OpenAI。
OpenAI的創(chuàng)始人,除了埃隆·馬斯克(Elon Musk)之外,還有薩姆·奧爾特曼(Sam Altman)、彼得·泰爾(Peter Thiel)、里德·霍夫曼(Reid Hoffman)。辛頓的那個(gè)徒弟,伊利亞·蘇茨克沃,也跑去當(dāng)了研發(fā)主管。
AIGC
深度學(xué)習(xí)崛起之后,大家應(yīng)該注意到,都是用于一些判別類(lèi)的場(chǎng)景,判斷貓、狗之類(lèi)的。那么,深度學(xué)習(xí),是否可以創(chuàng)造(生成)一些什么呢?
2014 年,蒙特利爾大學(xué)博士生伊恩· 古德費(fèi)洛(Ian Goodfellow),從博弈論中的“二人零和博弈”得到啟發(fā),提出了生成對(duì)抗網(wǎng)絡(luò)(GANs,Generative Adversarial Networks)。
生成對(duì)抗網(wǎng)絡(luò)用兩個(gè)神經(jīng)網(wǎng)絡(luò)即生成器(Generator)和判別器(Discriminator)進(jìn)行對(duì)抗。在兩個(gè)神經(jīng)網(wǎng)絡(luò)的對(duì)抗和自我迭代中,GAN會(huì)逐漸演化出強(qiáng)大的能力。
生成對(duì)抗網(wǎng)絡(luò)的出現(xiàn),對(duì)無(wú)監(jiān)督學(xué)習(xí)、圖片生成等領(lǐng)域的研究,起到極大的促進(jìn)作用,后來(lái)也拓展到計(jì)算機(jī)視覺(jué)的各個(gè)領(lǐng)域。
2017年12月,Google機(jī)器翻譯團(tuán)隊(duì)在行業(yè)頂級(jí)會(huì)議NIPS上,丟下了一顆重磅炸彈。他們發(fā)表了一篇里程碑式的論文,名字叫做《Attention is all you need(你所需要的,就是注意力)》。
論文提出只使用“自我注意力(Self Attention)”機(jī)制來(lái)訓(xùn)練自然語(yǔ)言模型,并給這種架構(gòu)起了個(gè)霸氣的名字——Transformer(轉(zhuǎn)換器、變壓器,和“變形金剛”是一個(gè)詞)。
所謂"自我注意力"機(jī)制,就是只關(guān)心輸入信息之間的關(guān)系,而不再關(guān)注輸入和對(duì)應(yīng)輸出的關(guān)系,無(wú)需再進(jìn)行昂貴的人工標(biāo)注。這是一個(gè)革命性的變化。
Transformer的出現(xiàn),徹底改變了深度學(xué)習(xí)的發(fā)展方向。它不僅對(duì)序列到序列任務(wù)、機(jī)器翻譯和其它自然語(yǔ)言處理任務(wù)產(chǎn)生了深遠(yuǎn)的影響,也為后來(lái)AIGC的崛起打下了堅(jiān)實(shí)的基礎(chǔ)。
終于,AIGC的時(shí)代,要到來(lái)了。
2018年6月,年輕的OpenAI,發(fā)布了第一版的GPT系列模型——GPT-1。同時(shí),他們還發(fā)表了論文《Improving Language Understanding by Generative Pre-training(通過(guò)生成式預(yù)訓(xùn)練改進(jìn)語(yǔ)言理解)》。
GPT,就是Generative Pre.trained Transfommer的縮寫(xiě),生成式預(yù)訓(xùn)練變換器。
Generative(生成式),表示該模型能夠生成連續(xù)的、有邏輯的文本內(nèi)容,比如完成對(duì)話(huà)、創(chuàng)作故事、編寫(xiě)代碼或者寫(xiě)詩(shī)寫(xiě)歌等。
Pre.trained(預(yù)訓(xùn)練),表示該模型會(huì)先在一個(gè)大規(guī)模未標(biāo)注文本語(yǔ)料庫(kù)上進(jìn)行訓(xùn)練,學(xué)習(xí)語(yǔ)言的統(tǒng)計(jì)規(guī)律和潛在結(jié)構(gòu)。
Transfommer,剛才說(shuō)過(guò)了,就是那個(gè)很厲害的轉(zhuǎn)換器模型。
谷歌緊隨其后。2018年10月,他們發(fā)布了有3億參數(shù)的BERT(Bidirectional Encoder Representation from Transformers)模型,意思是“來(lái)自Transformers的雙向編碼表示”模型。
GPT-1和BERT都使用了深度學(xué)習(xí)和注意力機(jī)制,具備較強(qiáng)的自然語(yǔ)言理解能力。兩者的區(qū)別是,BERT使用文本的上下文來(lái)訓(xùn)練模型。而專(zhuān)注于“文本生成”的GPT-1,使用的是上文?;凇半p向編碼”的能力,BERT的性能在當(dāng)時(shí)明顯優(yōu)異于GPT-1。
谷歌的領(lǐng)先是暫時(shí)的。2019年和2020年,OpenAI接連發(fā)布了GPT-2和GPT-3。2022年11月,OpenAI發(fā)布了基于GPT模型的人工智能對(duì)話(huà)應(yīng)用服務(wù)——ChatGPT(也可以理解為GPT-3.5),徹底引爆了全世界。
ChatGPT結(jié)合了人類(lèi)生成的對(duì)話(huà)數(shù)據(jù)進(jìn)行訓(xùn)練,展現(xiàn)出豐富的世界知識(shí)、復(fù)雜問(wèn)題求解能力、多輪對(duì)話(huà)上下文追蹤與建模能力,以及與人類(lèi)價(jià)值觀對(duì)齊的能力。
它在人機(jī)對(duì)話(huà)方面的出色表現(xiàn),引發(fā)了社會(huì)的高度關(guān)注,在全球范圍內(nèi)掀起了一股AI巨浪。
后面的事情,大家都比較清楚了。
繼ChatGPT后,OpenAI又發(fā)布了GPT-4、GPT-4V、GPT-4 Turbo、GPT-4o,形成了如今難以撼動(dòng)的領(lǐng)導(dǎo)者地位。谷歌雖然也發(fā)布號(hào)稱(chēng)最強(qiáng)AI大模型的Gemini,但仍然難以在風(fēng)頭上蓋過(guò)OpenAI。
除了文本生成,生成式AI也積極向多模態(tài)發(fā)展,能夠處理圖像、音頻、視頻等多種媒體形式。
例如DALL-E、Stable Diffusion、Midjourney等圖像生成模型,Suno、Jukebox音樂(lè)生成模型,以及SoRa視頻生成模型。
全球面向各個(gè)垂直領(lǐng)域的“大模型之戰(zhàn)”,仍在硝煙彌漫地進(jìn)行之中。。。
█?結(jié)語(yǔ)
寫(xiě)到這里,這篇洋洋灑灑一萬(wàn)多字的文章,終于要結(jié)束了。
我總結(jié)一下:
人工智能起步于1950年代,早期主要是符號(hào)主義占主流,并引發(fā)了第一次(政府投資)和第二次AI浪潮(企業(yè)投資)。
到1980年代,符號(hào)主義逐漸走弱,機(jī)器學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)開(kāi)始崛起,成為主流。
1994-現(xiàn)在,雖然叫做第三次AI浪潮,但也分兩個(gè)階段。1994-2006(其實(shí)是1980-2006),是機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)的早期積累階段,打基礎(chǔ)。
2006年,神經(jīng)網(wǎng)絡(luò)進(jìn)入深度學(xué)習(xí)階段,就徹底開(kāi)始了AI的爆發(fā)。
從2018年開(kāi)始,人工智能逐漸進(jìn)入了Transformer和大模型時(shí)代,能力有了巨大的提升,也掀起了AI巨浪。
如今的人工智能,已經(jīng)是全世界關(guān)注的焦點(diǎn),也處于一個(gè)前所未有的白金發(fā)展階段。
隨著深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、生成式AI等技術(shù)的不斷突破,人工智能已經(jīng)在工業(yè)、教育、醫(yī)療、金融、交通、娛樂(lè)等幾乎所有領(lǐng)域?qū)崿F(xiàn)了落地。人工智能在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、機(jī)器人等方面所具備的能力,已經(jīng)被應(yīng)用到大量的垂直場(chǎng)景,并產(chǎn)生了可觀的經(jīng)濟(jì)效益。
在人工智能熱潮的帶動(dòng)下,軟件、半導(dǎo)體、通信等ICT產(chǎn)業(yè),都獲得了不錯(cuò)的商業(yè)機(jī)會(huì)。圍繞人工智能的幾家大公司,包括英偉達(dá)、微軟、蘋(píng)果、Alphabet(谷歌母公司)、亞馬遜、Meta、特斯拉,目前在股票市場(chǎng)被譽(yù)為“七巨頭”,市值屢破紀(jì)錄。
當(dāng)然了,這股熱潮究竟會(huì)走向何方,我們還不得而知。也許,它會(huì)繼續(xù)增長(zhǎng)一段時(shí)間,甚至長(zhǎng)期持續(xù)下去,將人類(lèi)徹底帶入智能時(shí)代。也許,我們會(huì)進(jìn)入第三次AI低谷,泡沫破碎,一地雞毛,又進(jìn)入一個(gè)新的周期。
未來(lái)如何,就讓時(shí)間來(lái)告訴我們答案吧。
參考文獻(xiàn):
1、《人工智能簡(jiǎn)史》,尼克;2、《人工智能發(fā)展簡(jiǎn)史》孫凌云、孟辰燁、李澤??;3、《人工智能 60 年技術(shù)簡(jiǎn)史》,李理;4、《深度學(xué)習(xí)簡(jiǎn)史》,Keith D. Foote;5、《AI是什么 將帶我們?nèi)ツ膬海俊?,李開(kāi)復(fù);6、《人工智能的五個(gè)定義:哪個(gè)最不可???》,李開(kāi)復(fù);7、《一文讀懂人工智能發(fā)展史:從誕生,到實(shí)現(xiàn)產(chǎn)業(yè)化》,李彎彎;8、《你一定愛(ài)讀的人工智能簡(jiǎn)史》,山本一成;9、《AlphaGo背后:深度學(xué)習(xí)的勝利》,曹玲;10、《三張圖講述一部AI進(jìn)化史》,產(chǎn)品二姐(知乎);11、《GPT的背后,從命運(yùn)多舛到顛覆世界,人工神經(jīng)網(wǎng)絡(luò)的跌宕80年》,孫睿晨;12、百度百科、維基百科等。