855
自從Intel在2018年初推出其首個用于神經(jīng)形態(tài)計算的專用14nm芯片Loihi以來，人們一直保持著對Intel在神經(jīng)形態(tài)方面工作的關注。2021年3月，在Intel實驗室主任Richard Uhlig博士的訪談中，有人詢問了硬件的發(fā)展情況，以及何時可能看到第二代產(chǎn)品。就在前幾天，Intel便宣布了Loihi 2，這是對一代產(chǎn)品的大幅升級，解決了第一代設計中的很多問題。也許同樣有趣的是工藝節(jié)點。Intel表示，Loihi 2正在開發(fā)階段，目前的芯片使用了Intel的第一個EUV工藝節(jié)點Intel 4的預生產(chǎn)版本。
Intel的神經(jīng)形態(tài)計算
創(chuàng)建一個像大腦一樣的內(nèi)核架構，其想法是，擁有數(shù)百萬計的神經(jīng)元和突觸將使計算任務在特定任務中具有獨特的功耗/性能優(yōu)勢，而大腦就是被設計來做這些任務的。對Intel來說，這是一個長期的潛在商業(yè)產(chǎn)品，然而該團隊的任務是開發(fā)技術和軟件，以發(fā)現(xiàn)和加速適合神經(jīng)元類型計算的任務。
Intel的神經(jīng)形態(tài)實驗室實際上是在2011年對Fulcrum Microsystems的收購后誕生的。當時，F(xiàn)ulcrum團隊是一個從事網(wǎng)絡交換機的異步計算公司。這項技術被提升到Intel內(nèi)部的網(wǎng)絡部門，而研究部門則將注意力轉(zhuǎn)向異步計算的其他應用，并將目光投向了神經(jīng)形態(tài)。
當時，對這種用于實際工作負載的神經(jīng)形態(tài)計算架構的研究還相當初級，雖然該領域自20世紀80年代末就開始了，但直到2010年代初才真正出現(xiàn)了專門用于研究的硬件。人腦項目（Human Brain Project），一個由歐盟資助的在該領域已進行10年的研究項目，在2013年才成立，并在2019年推出了SpiNNaker系統(tǒng)，有100萬個芯片，10億個神經(jīng)元，100千瓦的有效功率。
相比之下，Intel的第一代Loihi每60平方毫米芯片支持131000個神經(jīng)元，768個芯片可以放在一個Pohoiki Springs系統(tǒng)中，只需300瓦的功率就可以有1億個神經(jīng)元。在Intel自己的營銷中，他們把這描述為相當于一只倉鼠。新的Loihi 2芯片，每個芯片使用31平方毫米，用于一百萬個神經(jīng)元，有效地將密度提高了15倍，然而發(fā)展超越了原始數(shù)字。
Loihi 2Loihi 2芯片在高層次上可能看起來類似：128個神經(jīng)形態(tài)核，但現(xiàn)每核有8倍的神經(jīng)元和突觸。這128個核中的每一個都有192KB的靈活內(nèi)存，而以前在運行時每核的內(nèi)存是固定的，每個神經(jīng)元可以根據(jù)模型最多分配4096個狀態(tài)，而以前的限制是只有24個。神經(jīng)元模型現(xiàn)在可以完全可編程，類似于FPGA，允許更大的靈活性。
傳統(tǒng)上，神經(jīng)元和峰值網(wǎng)絡以二進制事件的形式傳遞數(shù)據(jù)，Loihi v1就是如此。有了Loihi 2，這些事件可以用32位有效載荷進行分級，為片上計算提供更深的靈活性?，F(xiàn)在可以利用芯片上新的開發(fā)/調(diào)試功能實時監(jiān)控這些事件，而不是暫停/讀取/播放。結合起來，這也允許在動態(tài)改變計算工作負載時進行更好的控制，如扇出壓縮、權重縮放、卷積和廣播。
也許最大的改進之一是在連接性方面。第一代產(chǎn)品使用定制的異步協(xié)議來創(chuàng)建一個大型的二維神經(jīng)元網(wǎng)絡，而Loihi 2可以根據(jù)需要配置使用各種協(xié)議，而且還是三維網(wǎng)絡。另外，Loihi 2不僅僅是單一的芯片，它將是一個芯片系列，具有相同的神經(jīng)元架構，但根據(jù)具體的使用情況，有各種不同的連接選項。這可以與板載信息壓縮加速器結合使用，以獲得芯片間帶寬的10倍增長。
這也延伸到了Loihi與更多傳統(tǒng)計算的外部連接，以前是以FPGA為媒介，現(xiàn)在Loihi 2支持10G以太網(wǎng)、GPIO和SPI。這應該會讓集成變得更容易，而不需要定制系統(tǒng)，如創(chuàng)建分解的Loihi 2計算集群。
基于Intel 4
我們驚訝地聽說Loihi 2是基于Intel 4工藝的預生產(chǎn)版本。Loihi 2要盈利還有一段時間，神經(jīng)形態(tài)團隊也知道這一點，但事實證明，該芯片也許是幫助推動新工藝的理想候選。
31平方毫米的尺寸意味著，即使產(chǎn)量需要提高，單個晶圓也能產(chǎn)出更多的芯片，而不是用更大的芯片尺寸進行測試。由于該團隊進行后硅電壓/頻率/功能測試，他們可以更快地循環(huán)到Intel的技術開發(fā)團隊。Intel的實驗室里有實際的芯片，事實上，硬件已通過Intel的DevCloud提供。
通常情況下，對于新的工藝節(jié)點，都需要一個小尺寸芯片的客戶幫助迭代通過潛在的障礙，推動一個工藝的全面升級和生產(chǎn)。Intel的代工競爭者通常與智能手機芯片客戶一起做這件事，而客戶通常會首先獲得硬件或某種初始折扣（盡管在今天的環(huán)境下也許不是）。Intel此前在這方面一直舉步維艱，因為它只有自己的芯片可以作為測試工具。
神經(jīng)形態(tài)團隊表示，鑒于神經(jīng)形態(tài)硬件需要前沿工藝節(jié)點所提供的高密度和低靜態(tài)功率，這實際上是一個很好的選擇。128核的設計也意味著它有一個一致的重復單元，讓工藝團隊在生產(chǎn)中關注規(guī)律性和一致性。另外，鑒于Loihi目前仍然是一個研究項目，沒有認真期待在特定的窗口期將該產(chǎn)品推向市場，這也許是大客戶可能需要的。
這是否意味著Intel 4已經(jīng)準備好投入生產(chǎn)？不完全是，但它確實表明正在取得進展。Loihi 2列出的一些基準測試確實有“鑒于模擬硬件結果的預期”的警告，盡管其他一些是在真正的硅上完成的，而且該公司說它現(xiàn)在有真正的芯片可以部署在云端。Intel 4是Intel第一個采用極紫外光刻技術（EUV）的工藝節(jié)點，Intel將是最后一個采用EUV工藝的主要半導體制造商。但還有一段路要走，早在Intel's Accelerated的活動中，EUV和Intel 4并不是真的預計到2022年下半年才會放量生產(chǎn)。
最后，從Intel的公告中，我們能夠看到晶體管密度。在31平方毫米內(nèi)有23億個晶體管，這將使密度達到每平方毫米7120萬個，這只是我們所預期的三分之一。根據(jù)Intel以前的公告估計，Intel 4的密度約為每平方毫米200MTr。那么，為什么Loihi 2與這個數(shù)字相比如此低？
首先，也許它是一個神經(jīng)形態(tài)芯片，而不是一個傳統(tǒng)的邏輯設計。內(nèi)核有大約25MB的SRAM和所有的邏輯，對于一個31平方毫米的芯片來說，這可能是芯片面積的一大塊。另外，Intel對神經(jīng)形態(tài)芯片的主要想法是功能第一，性能第二，功率第三。所以讓它正常工作比讓它快速工作更重要，所以并不總是需要最高密度。然后還有一個事實是，它仍然是一個開發(fā)芯片，它允許Intel完善其EUV工藝和精密光刻測試，而不必像以前那樣擔心密集的晶體管庫造成的缺陷。相信還會有更多的消息。
最后補充一點，神經(jīng)形態(tài)IP有可能未來會通過Intel的代工服務IP產(chǎn)品來提供。
新的Lava軟件框架
無論處理能力如何，神經(jīng)形態(tài)系統(tǒng)的主要構件之一是計算的類型，以及編寫軟件來利用這樣的架構是多么困難。在與Intel神經(jīng)形態(tài)實驗室主任Mike Davies的討論中，我們最好的描述是，現(xiàn)代計算類似于一個投票架構，每個周期它都會獲取數(shù)據(jù)并加以處理。相比之下，神經(jīng)形態(tài)計算是一個基于中斷的架構，它在數(shù)據(jù)準備好時采取行動。與現(xiàn)代計算相比，神經(jīng)形態(tài)計算更依賴于時域，因此計算的概念及其應用都幾乎與傳統(tǒng)計算技術正交。例如，雖然機器學習可以以Spiking Neural Networks（SNN）的形式應用于神經(jīng)形態(tài)計算，但傳統(tǒng)的PyTorch和TensorFlow庫并不是為了實現(xiàn)SNN而建立的。
作為公告的一部分，Intel為神經(jīng)形態(tài)社區(qū)推出了一個新的底層軟件框架，名為Lava。這是一個開源的框架，不在Intel的控制之下，而是由社區(qū)管理。Intel已將其早期的一些工具作為框架的一部分，其想法是，隨著時間的推移，可以開發(fā)出一個完整的軟件棧，供參與神經(jīng)形態(tài)計算的每個人使用，無論硬件是什么（CPU、GPU、神經(jīng)形態(tài)芯片）。Lava的設計是模塊化、可組合、可擴展、分層和開源的。這包括一個用于將神經(jīng)網(wǎng)絡映射到神經(jīng)形態(tài)硬件上的底層接口，基于通道的異步消息傳遞，所有的庫和功能都通過Python公開。該軟件將在BSD-3和LGPL-2.1下在GitHub上供免費使用。
初始系統(tǒng)
部署在英特爾云服務中的Loihi 2的第一個版本是Oheo Gulch，它看起來像一個PCIe外接卡，使用FPGA來管理大量的IO，如果需要的話還有一個背板連接器。31平方毫米的芯片是BGA，這里我們看到Intel的一個內(nèi)部連接器，用于將BGA芯片固定在開發(fā)板上。
在未來的某一天，Intel將生產(chǎn)一個4英寸乘4英寸的版本，名為Kapoho Point，搭載八個芯片，旨在堆疊和集成到一個更大的機器中。
有了這么小的芯片，想知道是否值得在芯片上安裝一個USB控制器，或者有一個USB到以太網(wǎng)接口，并在U盤上提供硬件，類似于Intel的Movidius。然而，由于這仍然是Intel實驗室的一個項目，該團隊的一個關鍵因素是他們與合作伙伴的專門合作，以推動該領域的發(fā)展。因此，我們將不得不至少再等上一代或更長時間，看看未來的Loihi系統(tǒng)最終是否會在電商平臺上買到。
Loihi 2作為Intel DevCloud的一部分，應該已經(jīng)可以供研究伙伴使用了。預計在未來12-24個月內(nèi)會有企業(yè)內(nèi)部的研究/協(xié)作部署。
[參考文章]
Intel Rolls Out New Loihi 2 Neuromorphic Chips: Built on Early Intel 4 Process — Dr. Ian Cutress
