盡管人類對(duì)自然的探索已經(jīng)達(dá)到“上九天攬?jiān)?rdquo;、“下五洋捉鱉”的地步,但對(duì)于僅占人體總重量2%的大腦,卻知之甚少。近年來,全球?qū)τ谀X科學(xué)的研究如火如荼,腦科學(xué)研究正在不斷打破人們的思維邊界。神經(jīng)擬態(tài)計(jì)算是對(duì)大腦研究的途徑之一,可推動(dòng)對(duì)人工智能(AI)和神經(jīng)科學(xué)新領(lǐng)域的研究。
本文描述了澳大利亞正在進(jìn)行的一個(gè)項(xiàng)目,該項(xiàng)目旨在構(gòu)建一臺(tái)大型神經(jīng)形態(tài)計(jì)算機(jī),其硬件可使用軟件進(jìn)行重配置。支持此類可配置硬件的主要技術(shù)是 FPGA,英特爾® FPGA 產(chǎn)品中包含的其他技術(shù)可幫助該項(xiàng)目擴(kuò)展到與人類皮層中神經(jīng)元和突觸數(shù)量相當(dāng)?shù)囊?guī)模。(完整方案內(nèi)容請(qǐng)大家點(diǎn)擊文末“閱讀原文”獲取)
神經(jīng)擬態(tài)計(jì)算,為腦科學(xué)而來
西悉尼大學(xué)(WSU)的國際神經(jīng)形態(tài)系統(tǒng)中心(ICNS)正計(jì)劃建造一臺(tái)與眾不同的計(jì)算機(jī) — 一種可擴(kuò)展的神經(jīng)形態(tài)計(jì)算系統(tǒng),由通過高性能計(jì)算(HPC)網(wǎng)絡(luò)結(jié)構(gòu)互連的現(xiàn)場(chǎng)可編程門陣列(FPGA)組成。該項(xiàng)目的目標(biāo)是,通過創(chuàng)建世界上第一臺(tái)可配置的大腦級(jí)神經(jīng)形態(tài)計(jì)算機(jī),推動(dòng)對(duì)人工智能(AI)和神經(jīng)科學(xué)新領(lǐng)域的研究。
什么是大腦級(jí)計(jì)算?此概念旨在創(chuàng)建一個(gè)擁有與人類大腦皮層相當(dāng)數(shù)量神經(jīng)元和突觸數(shù)量的計(jì)算環(huán)境。大腦皮層中的神經(jīng)元數(shù)量估計(jì)在 100 億到 200 億之間,而突觸數(shù)量更為龐大,在 60 到 240 萬億之間。大腦級(jí)計(jì)算的難點(diǎn)在于構(gòu)建數(shù)量相當(dāng)?shù)娜斯ど窠?jīng)元和突觸,這一技術(shù)有望提供新的方法來研究生物大腦中的信息處理,包括在出現(xiàn)問題時(shí),以及開發(fā)更出色的機(jī)器學(xué)習(xí)(ML)和人工智能技術(shù)。
神經(jīng)形態(tài)計(jì)算是計(jì)算機(jī)科學(xué)的一個(gè)分支,專注于在硬件中真切模擬生物大腦的結(jié)構(gòu)和功能,包括神經(jīng)元、突觸連接和尖峰信號(hào)。這是一個(gè)跨學(xué)科領(lǐng)域,需要深入了解生物學(xué)、計(jì)算機(jī)架構(gòu)和機(jī)器學(xué)習(xí)。FPGA 是一種特殊的微芯片,其獨(dú)特性在于支持使用軟件在硬件層面進(jìn)行配置和重配置,這為在同一硬件上實(shí)現(xiàn)不同模型以進(jìn)行人工神經(jīng)元組織提供了可能性。WSU 團(tuán)隊(duì)已經(jīng)證明,在單個(gè) FPGA 主板上使用 FPGA 進(jìn)行神經(jīng)形態(tài)計(jì)算的概念具備可行性,但這樣的項(xiàng)目并沒有大腦級(jí)實(shí)現(xiàn)先例。
一旦 WSU 成功構(gòu)建了這種可配置的神經(jīng)形態(tài)平臺(tái),神經(jīng)形態(tài)硬件設(shè)計(jì)的研發(fā)必將迎來空前機(jī)遇,因?yàn)樵撈脚_(tái)支持在沒有新硬件的情況下實(shí)現(xiàn)新設(shè)計(jì),能夠加快破解神經(jīng)形態(tài)奧秘的步伐。
三方面的重大進(jìn)展讓這一項(xiàng)目露出曙光。首先是 WSU 進(jìn)行的開創(chuàng)性研究和概念驗(yàn)證(PoC)。他們先是發(fā)現(xiàn) FPGA 可以配置和可重配,能夠模擬大腦皮層中不同種類的生物結(jié)構(gòu),然后一鼓作氣,開發(fā)高效的核心與方法,以擴(kuò)展到大量神經(jīng)元。
其次,在最新一代的英特爾® Stratix® 10 FPGA 中,高帶寬內(nèi)存集成在 BittWare 520N-MX 主板上,從而提供了一種強(qiáng)大且經(jīng)濟(jì)的現(xiàn)成硬件平臺(tái)。
最后,英特爾的可配置網(wǎng)絡(luò)協(xié)議加速器(COPA)技術(shù)提供了一個(gè)高帶寬和低延遲的接口,能夠以高度可擴(kuò)展的方式將大量 FPGA 連接在一起 — 由于過去沒有這種能力,F(xiàn)PGA 無法大規(guī)模使用。COPA 可提供從 FPGA 到主機(jī)資源(如內(nèi)存和硬盤)的簡(jiǎn)單編程訪問,從而為將系統(tǒng)擴(kuò)展至人類大腦大小創(chuàng)造了可能性(盡管會(huì)影響實(shí)時(shí)性能)。
本文討論了神經(jīng)形態(tài)計(jì)算這種新方法在促進(jìn) AI 突破和幫助人類深入了解大腦神經(jīng)計(jì)算方面的光明前景。文中解釋了 FPGA 的工作原理及其對(duì)加速神經(jīng)形態(tài)研究進(jìn)展的關(guān)鍵作用,描述了 COPA 和其他英特爾技術(shù)如何幫助 FPGA 在大腦級(jí)神經(jīng)形態(tài)計(jì)算中釋放強(qiáng)大能力。
如何利用 FPGA 進(jìn)行神經(jīng)形態(tài)計(jì)算?
ASIC 漫長的制造周期和嚴(yán)格的配置阻礙了技術(shù)發(fā)展。FPGA 支持硬件更新,有助于測(cè)試新理論和應(yīng)用最新的發(fā)現(xiàn)成果。目標(biāo)是創(chuàng)建一個(gè)基于現(xiàn)成硬件的開源解決方案,為研究人員和行業(yè)專業(yè)人士提供一個(gè)通用平臺(tái),以在更廣泛的范圍內(nèi)執(zhí)行受大腦啟發(fā)的計(jì)算和發(fā)現(xiàn)。
FPGA 是可編程邏輯門的集成電路,與 CPU、GPU 或 ASIC 硬件不同,它可以使用軟件進(jìn)行配置和重配置。這很重要,因?yàn)槿藗冞€未完全揭開大腦神經(jīng)元的組織奧秘 — 為實(shí)現(xiàn)這一目標(biāo),我們需要持續(xù)開展模擬實(shí)驗(yàn)。理論需要測(cè)試和完善;測(cè)試?yán)碚撔枰軌蛐薷牡讓佑布?。基?FPGA 的神經(jīng)形態(tài)計(jì)算為技術(shù)研究和發(fā)現(xiàn)提供了一個(gè)可配置的平臺(tái)。
FPGA 的組件
WSU 完成的概念驗(yàn)證表明,F(xiàn)PGA 硬件的可編程性可用于探索高度復(fù)雜的神經(jīng)形態(tài)計(jì)算模型。在 Mark Wang 的帶領(lǐng)下,該團(tuán)隊(duì)使用 FPGA 可編程性模擬人類皮層中突觸連接的層次模式,如上圖所示。
神經(jīng)形態(tài)計(jì)算系統(tǒng)的功能構(gòu)建模塊是一個(gè)稀疏連接的超級(jí)柱網(wǎng)絡(luò),每個(gè)超級(jí)柱由多達(dá) 128 個(gè)連接的微型柱組成,每個(gè)微型柱由 100 個(gè)緊密連接的神經(jīng)元組成。
Wang 工作的獨(dú)到之處在于將神經(jīng)形態(tài)架構(gòu)抽象化為由微型柱和超級(jí)柱表示的集群(如圖 2 所示),類似于神經(jīng)生物學(xué)中的基本結(jié)構(gòu)單元。層次通信方案允許一個(gè)神經(jīng)元從多達(dá) 200,000 個(gè)神經(jīng)元中扇出,也就是說,一個(gè)神經(jīng)元的輸出可以作為多達(dá) 200,000 個(gè)其他神經(jīng)元的輸入。
概念驗(yàn)證以前在單個(gè)英特爾 Stratix V FPGA 上實(shí)現(xiàn),它能夠?qū)崟r(shí)模擬具有多達(dá) 26 億個(gè) LIF 神經(jīng)元的尖峰神經(jīng)網(wǎng)絡(luò)。當(dāng)前項(xiàng)目將該平臺(tái)擴(kuò)展至三個(gè)服務(wù)器機(jī)架的 168 個(gè)英特爾 Stratix 10 MX FPGA,并將支持以每秒 86 萬億次突觸操作的理論峰值性能模擬 SNN — 該速度與人類皮層每秒 20-118 萬億次突觸操作的估計(jì)速度相當(dāng)。這種規(guī)模依靠的不僅僅是 FPGA,而是眾多先進(jìn)的英特爾技術(shù)。