加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長期合作伙伴
立即加入
  • 正文
    • 什么是神經(jīng)網(wǎng)絡(luò)?
    • 硬件與軟件神經(jīng)網(wǎng)絡(luò)
    • 神經(jīng)網(wǎng)絡(luò)的主要類型
    • 神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)
    • 最后的思考
  • 推薦器件
  • 相關(guān)推薦
  • 電子產(chǎn)業(yè)圖譜
申請(qǐng)入駐 產(chǎn)業(yè)圖譜

解析 | 什么是神經(jīng)網(wǎng)絡(luò)?

2021/10/28
774
閱讀需 22 分鐘
加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

隨著摩爾定律接近尾聲,技術(shù)界已經(jīng)將目光投向了更加多樣化的計(jì)算方法。為了繼續(xù)提高系統(tǒng)的計(jì)算能力,我們不能僅僅依靠時(shí)鐘速度越來越快,也不能指望晶體管越來越小。要真正向前邁進(jìn),必須考慮一種新的范式。而當(dāng)我們展望未來的時(shí)候,目前拿計(jì)算機(jī)和人腦之間的比較非常流行。畢竟,這一切都與計(jì)算能力有關(guān),而在這一領(lǐng)域,我們的大腦似乎仍然優(yōu)于計(jì)算機(jī)。因此,下一步顯然是嘗試制造一臺(tái)與我們大腦功能相似的計(jì)算機(jī)。

就像我們?cè)?016年預(yù)測的那樣,AI正在推動(dòng)當(dāng)前人類醫(yī)療保健領(lǐng)域的技術(shù)革命。神經(jīng)網(wǎng)絡(luò)也可能是計(jì)算技術(shù)進(jìn)步的下一個(gè)前沿領(lǐng)域。隨著我們對(duì)人類連接組(human connectome)和大腦處理信息的方式的理解加深,我們理解其驚人的信息吞吐量的能力也在同步增長。這導(dǎo)致了神經(jīng)形態(tài)計(jì)算工具的流行。

本文旨在提供神經(jīng)網(wǎng)絡(luò)的一個(gè)簡短但全面的入門知識(shí)。

什么是神經(jīng)網(wǎng)絡(luò)?

神經(jīng)網(wǎng)絡(luò),也被稱為神經(jīng)形態(tài)系統(tǒng)(Neuromorphic System),是一個(gè)由硬件和/或軟件組成的系統(tǒng),旨在模擬人腦的某些方面。人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks)有很多類型,我們先來看一下硬件。

計(jì)算機(jī)與大腦的比較既廣泛又深入,這是因?yàn)榇竽X和計(jì)算機(jī)在語義和結(jié)構(gòu)層面都很相似。它們都是由多層的錯(cuò)綜復(fù)雜的網(wǎng)狀網(wǎng)絡(luò),負(fù)責(zé)大批量的信息處理。它們都有工作內(nèi)存,其緩沖區(qū)可能會(huì)出現(xiàn)問題或溢出。它們都有“冷存儲(chǔ)(Cold Storage)”,在大腦表面以粗略的語義層次組織起來,類似于數(shù)據(jù)被存儲(chǔ)在硬盤盤面的不同位置。它們都由一個(gè)節(jié)點(diǎn)網(wǎng)絡(luò)組成,其重要性由其連接的“權(quán)重”單獨(dú)表示。它們的節(jié)點(diǎn)使用一系列電脈沖(Eletrical Spikes)進(jìn)行通信,這些電脈沖的序列中嵌入了數(shù)據(jù)。

然而,當(dāng)你把大腦和CPU進(jìn)行比較時(shí),這個(gè)類比就不成立了。因?yàn)榇竽X有一個(gè)持久的習(xí)慣,就是“把所有的事情都并行化”。CPU受制于數(shù)據(jù)管道,而大腦區(qū)域則不然。一個(gè)更接近的比喻是將大腦作為其連接組的總和,與FPGA進(jìn)行比較。FPGA的設(shè)計(jì)是為了在制造后由用戶定制。神經(jīng)可塑性意味著即使在大腦硬件“完全成熟”之后,其突觸和電氣軟件仍然可以更新。隨著環(huán)境的變化,大腦也會(huì)適應(yīng)。

眼睛不是照相機(jī),只是在一個(gè)重要的意義上,它是;視網(wǎng)膜的結(jié)構(gòu)是按照視野的順序排列的,它沿著視神經(jīng)一直延伸到視覺皮層。我們可以根據(jù)視野中出現(xiàn)問題的部分,診斷出視神經(jīng)損傷的位置。視網(wǎng)膜處理層的每個(gè)神經(jīng)元都向上游報(bào)告。你可以把視網(wǎng)膜(眼睛的捕捉裝置)比作CCD相機(jī)上的傳感器網(wǎng)格,比如哈勃用來捕捉圖像的那個(gè)。鏡頭、CCD和視網(wǎng)膜都只是捕捉它們收到的二維光子流。二維的光子流也稱為視頻。

同樣,大腦也不是計(jì)算機(jī),只是有點(diǎn)像。我們甚至有一個(gè)內(nèi)部時(shí)鐘,將大腦的許多放電節(jié)奏及時(shí)組織起來,將它們推到一個(gè)有序的、有層次的構(gòu)圖中,與一首歌沒什么不同。

總之,神經(jīng)網(wǎng)絡(luò)通常闡述了三個(gè)核心部分。一個(gè)神經(jīng)網(wǎng)絡(luò)是一個(gè)由神經(jīng)元或節(jié)點(diǎn),加上它們的連接和權(quán)重組成的系統(tǒng)。它還必須擁有某種傳播功能。有些神經(jīng)網(wǎng)絡(luò)能夠觀察自己的結(jié)果,并改變其任務(wù)的處理方式。

為什么要模仿大腦?簡言之,我們想模仿大腦,因?yàn)榇竽X真的很擅長它們的工作。它們速度快、重量輕,而且功耗很低。人腦被認(rèn)為具有千萬億級(jí)的信息吞吐量,比我們所造的任何一臺(tái)個(gè)人電腦都要大得多(分布式超級(jí)計(jì)算機(jī)不算)。而大腦的運(yùn)行功率約為20W。這種成功的組合部分是由于其物理結(jié)構(gòu),部分是由于信息在神經(jīng)系統(tǒng)中傳播的獨(dú)特方式。大腦以并行和串行、二進(jìn)制和模擬的方式同時(shí)工作。

當(dāng)神經(jīng)元激活時(shí),這些脈沖會(huì)依次沿著軸突傳播。但神經(jīng)元排列在皮層柱中,而皮層柱排列在腦區(qū)中。這樣一來,整個(gè)腦區(qū)可以并行完成同一個(gè)任務(wù)。

神經(jīng)元通過接收、解釋,然后沿著軸突的長度傳播微小的電波來相互交流。它的功耗極低,因?yàn)榭缒とO化的小波是通過簡單地與細(xì)胞外的電化學(xué)梯度配合完成的。特別是皮質(zhì)神經(jīng)元,有一個(gè)深刻的分支結(jié)構(gòu)。它們以“多對(duì)一”的方式連接到旁邊的神經(jīng)元,以及在信息流中排在它們前面的“上游”神經(jīng)元。在與下游交流時(shí),它們也以“一對(duì)多”的方式連接。為了管理所有這些表面,它們通過建立突觸來分析連接的“權(quán)重”,并按重要性排序。

神經(jīng)元也以模擬的方式處理信息。神經(jīng)元通過統(tǒng)計(jì)來自樹突的所有重疊的、實(shí)時(shí)閃爍的輸入來進(jìn)行模擬吸收。這是一種生理上的傅里葉變換。但是,當(dāng)涉及到如何傳遞信息時(shí),神經(jīng)元也是強(qiáng)烈的二進(jìn)制。一個(gè)神經(jīng)元的信號(hào)是由時(shí)域中的電脈沖組織而成的,而且這些脈沖的振幅不變。一個(gè)神經(jīng)元要么是脈沖,要么不是。脈沖是由一個(gè)微小的移動(dòng)電擊組成的。脈沖序列是按時(shí)間劃分的電波序列,包含數(shù)據(jù)的片段。這幾乎就像一個(gè)摩斯密碼接收器。

硬件與軟件神經(jīng)網(wǎng)絡(luò)

將大腦功能作為其物理結(jié)構(gòu)的突發(fā)屬性來看待,使我們對(duì)“神經(jīng)網(wǎng)絡(luò)”有了硬件上的解釋。IBM在2014年生產(chǎn)的TrueNorth是一個(gè)多核神經(jīng)形態(tài)CMOS芯片,支持一個(gè)卷積神經(jīng)網(wǎng)絡(luò)。TrueNorth有自己的軟件生態(tài)系統(tǒng),包括一種定制的編程語言、庫和一個(gè)完整的IDE。同樣,Intel的Loihi生態(tài)系統(tǒng)是一個(gè)帶有相關(guān)軟件框架的硬件神經(jīng)網(wǎng)絡(luò)。Loihi是一個(gè)神經(jīng)形態(tài)芯片,而Lava是通向Loihi能力的軟件通路。

Loihi的物理架構(gòu)模仿了大腦的物理結(jié)構(gòu)。雖然它是使用傳統(tǒng)半導(dǎo)體材料制造的,未來將在Intel 4工藝節(jié)點(diǎn)上制造,但Loihi的組織方式與我們所習(xí)慣的硅片非常不同。Loihi有多達(dá)一百萬個(gè)神經(jīng)元:網(wǎng)絡(luò)中的各個(gè)實(shí)體,每個(gè)都有128kB的內(nèi)存連接。這個(gè)信息池是芯片對(duì)突觸的模擬。它反映了神經(jīng)元在任何特定時(shí)間的連接狀態(tài)。它由相鄰的x86內(nèi)核監(jiān)督,這些核施加一個(gè)外部時(shí)鐘來糾正神經(jīng)元的放電節(jié)律。監(jiān)督核還定期迫使神經(jīng)元對(duì)照組內(nèi)其他成員檢查其記憶,或重新計(jì)算其連接的強(qiáng)度。

這種結(jié)構(gòu)與大腦組織的分層和平行方面相匹配。此外,Loihi 2修改了其激活方法。Loihi 1以二進(jìn)制方式激活其神經(jīng)元:1或0,中間沒有任何東西。Loihi 2將其脈沖編碼為整數(shù),使它們能夠攜帶元數(shù)據(jù)。這也意味著它們可以對(duì)下游的神經(jīng)元施加一些影響。具有整數(shù)值的脈沖可以模擬一個(gè)神經(jīng)元可以發(fā)送或接收的不同電化學(xué)信號(hào)的目錄。

這種結(jié)構(gòu)與大腦組織的分層和平行方面相匹配。此外,Loihi 2修改了其激活方法。Loihi 1以二進(jìn)制方式激活其神經(jīng)元:1或0,中間沒有任何東西。Loihi 2將其脈沖編碼為整數(shù),使它們能夠攜帶元數(shù)據(jù)。這也意味著它們可以對(duì)下游的神經(jīng)元施加一些影響。具有整數(shù)值的脈沖可以模擬一個(gè)神經(jīng)元可以發(fā)送或接收的不同電化學(xué)信號(hào)的目錄。

神經(jīng)網(wǎng)絡(luò)的主要類型

神經(jīng)網(wǎng)絡(luò)具有層次和冗余性,擅長處理高度并行的任務(wù)。它們還有助于處理那些需要用戶獲取大量數(shù)據(jù)以識(shí)別其中模式的任務(wù),這通常被稱為“drinking from the firehouse”。為了獲得大數(shù)據(jù)的優(yōu)勢(shì),我們必須能夠用有效的速度處理它。神經(jīng)網(wǎng)絡(luò)也擅長處理具有元數(shù)據(jù)或許多維度的數(shù)據(jù)。

有許多不同的單獨(dú)神經(jīng)網(wǎng)絡(luò)項(xiàng)目,但它們都屬于幾個(gè)不同的功能系列。每種算法都是為不同類型的問題而構(gòu)建的,它們都涉及不同類型的機(jī)器學(xué)習(xí)。在這里,我們將討論神經(jīng)網(wǎng)絡(luò)的四個(gè)主要子類型。

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Nets):卷積神經(jīng)網(wǎng)絡(luò)(CNN)是“前饋(feed-forward)”系統(tǒng),這意味著信息流在網(wǎng)絡(luò)中限制在一個(gè)方向。這種類型的神經(jīng)網(wǎng)絡(luò)經(jīng)常在媒體報(bào)道AI/神經(jīng)網(wǎng)絡(luò)的時(shí)候被提及。它們可以執(zhí)行工作,但無法解釋是如何得出答案的。這是因?yàn)镃NN根本不是為了顯示其工作而構(gòu)建的。它們由一個(gè)輸入層,一個(gè)或多個(gè)隱藏層,以及一個(gè)輸出層或節(jié)點(diǎn)組成。

CNN經(jīng)常被用于處理圖像。因?yàn)樗鼈兪乔梆伒?,從?shù)學(xué)上講,CNN在以網(wǎng)格格式出現(xiàn)的數(shù)據(jù)上做得很好。當(dāng)應(yīng)用于二維數(shù)據(jù)陣列時(shí),它們是很強(qiáng)大的,如圖像和其他矩陣。在其內(nèi)部,用了一個(gè)長長的數(shù)學(xué)公式,指導(dǎo)算法如何執(zhí)行運(yùn)算,不僅是對(duì)兩個(gè)數(shù)字、術(shù)語或方程,而是對(duì)整個(gè)數(shù)據(jù)體,比如放大一張圖像。

前饋也需要一定程度的航位推算。這方面的一個(gè)表現(xiàn)是,CNN可以進(jìn)行圖像識(shí)別,然后利用新得到的理解,從其訓(xùn)練數(shù)據(jù)集生成扭曲、迷幻的圖像。2016年,MIT發(fā)布了一種AI,可以利用這種失控的行為來“幽靈化”圖像,產(chǎn)生噩夢(mèng)般的圖像效果,還正好趕上了萬圣節(jié)。

循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Nets):與前饋方法相反,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)是反向傳播。反向傳播是將信息從神經(jīng)網(wǎng)中較深的層傳遞到較淺層的行為。這種類型的算法能夠自我改進(jìn)。

RNN通過與系統(tǒng)中的其他神經(jīng)元建立連接來進(jìn)行反向傳播,其規(guī)模可以達(dá)到并包括讓每個(gè)神經(jīng)元與其他每個(gè)神經(jīng)元連接。這種冗余可以產(chǎn)生高度準(zhǔn)確的結(jié)果,但有一個(gè)收益遞減的上限。這與SSAA(super-sampling anti-aliasing)并不一樣。隨著算法對(duì)它已經(jīng)處理過的數(shù)據(jù)進(jìn)行越來越多的傳遞,它能做的事情越來越少。從2xAA到4xAA可以產(chǎn)生明顯的效果,但如果沒有專業(yè)的訓(xùn)練,很難分辨8x和16xAA之間的區(qū)別。

這種類型的神經(jīng)網(wǎng)絡(luò)可以使用梯度下降法進(jìn)行訓(xùn)練,這種分析方法可以使可能性形成三維景觀。期望的或不期望的結(jié)果可以被表示為景觀中的“地形”,在與它們的統(tǒng)計(jì)數(shù)據(jù)相對(duì)應(yīng)的地方。正如我們之前所說,梯度下降并不是最好的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法,但它是一個(gè)強(qiáng)大的工具。RNN可以通過保持對(duì)變化中的景觀的一些記憶來給梯度下降提供助力。

脈沖神經(jīng)網(wǎng)絡(luò)(Spiking Neural Nets):如上所述,神經(jīng)形態(tài)設(shè)計(jì)有物理和數(shù)字兩種形式。脈沖神經(jīng)網(wǎng)絡(luò)(SNN)不是在單個(gè)CPU中不斷運(yùn)行的二進(jìn)制數(shù)據(jù)流,而可以是軟件、硬件或兩者兼有。它們由分散的物理或邏輯核組成,以一種被稱為“脈沖列車(spike train)”的節(jié)奏發(fā)出信號(hào)。這些核陣列由一個(gè)共同的網(wǎng)絡(luò)結(jié)構(gòu)連接起來,每個(gè)神經(jīng)元是該網(wǎng)絡(luò)中的一個(gè)節(jié)點(diǎn)。

對(duì)神經(jīng)元管理其許多I/O通道的方式進(jìn)行建模的嘗試告訴我們,在許多不同的通道中存在著信息編碼。有與神經(jīng)元是否在發(fā)射有關(guān)的數(shù)據(jù),也有在脈沖序列中的數(shù)據(jù)。它還關(guān)系到它的哪些連接的神經(jīng)元在同一時(shí)間被激發(fā)了。

神經(jīng)形態(tài)計(jì)算的一個(gè)重要工具是“l(fā)eaky integrate-and-fire”模型。神經(jīng)元之間的通信是由一組描述每個(gè)神經(jīng)元不同I/O的微分方程來建模的。(微分方程是比較速率的優(yōu)秀工具。在某些情況下,你可以使用差分方程來模擬任意的n維比較器集合)。

SNN中的每個(gè)神經(jīng)元都有一個(gè)權(quán)重。權(quán)重代表了該神經(jīng)元最近活動(dòng)的滾動(dòng)平均值。激活次數(shù)越多,值就越高。但權(quán)重是“泄漏的”,就像水桶里有個(gè)洞一樣。隨著時(shí)間的推移,有一個(gè)衰減函數(shù)會(huì)慢慢減少每個(gè)神經(jīng)元的網(wǎng)絡(luò)權(quán)重。這就解釋了生物學(xué)上并非每個(gè)神經(jīng)元在任何時(shí)候都是活躍的。你可以把它與RNN中永久飽和的連接環(huán)進(jìn)行對(duì)比。

SNN不擅長梯度下降,也不擅長那種優(yōu)化問題。然而,它們可能是獨(dú)特的,適合于生物功能的建模。隨著SNN變得更加復(fù)雜,它們可能能夠在一系列脈沖中編碼更多信息。這將使我們能夠更精確地計(jì)算神經(jīng)系統(tǒng)的各種功能。我們已經(jīng)模擬了C. elegans蛔蟲和Drosophilia果蠅的神經(jīng)系統(tǒng),研究人員正試圖實(shí)時(shí)模擬人類的皮質(zhì)柱。

SNN研究的另一個(gè)可能方向是進(jìn)入額外的抽象層。研究人員正在努力創(chuàng)建一個(gè)SNN,其中每個(gè)單獨(dú)的神經(jīng)元本身是由一個(gè)神經(jīng)網(wǎng)絡(luò)組成的。

生成對(duì)抗神經(jīng)網(wǎng)絡(luò)(GAN):一種日益流行的神經(jīng)網(wǎng)絡(luò)是生成對(duì)抗神經(jīng)網(wǎng)絡(luò),或稱GAN。GAN是AI的另一種演變,經(jīng)常被用來改變或生成圖像。“對(duì)抗性”部分意味著這些神經(jīng)網(wǎng)絡(luò)是為了與自己競爭而建立的。

就像Cerberus有三個(gè)頭一樣,在GAN中通常有兩個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò),它們有各自的意圖,一個(gè)是生成性的,一個(gè)是辨別性的。生成模型產(chǎn)生一個(gè)結(jié)果,通常是一個(gè)圖像。然后,生成方試圖“愚弄”判別方模型,看看它能多接近一個(gè)期望的輸出。如果判別方?jīng)]有被愚弄,結(jié)果就會(huì)被丟棄。這個(gè)試驗(yàn)的結(jié)果,包括生成方的成功和它所做的內(nèi)容,都被歸檔;有時(shí)學(xué)習(xí)是有監(jiān)督的,有時(shí)不是。但無論是哪種情況,在每一輪判斷之后,GAN都會(huì)回到繪圖板上,再次嘗試。這就是這對(duì)組合如何迭代走向成功的方式。

GAN能夠?yàn)楝F(xiàn)實(shí)世界中不存在的人制作獨(dú)特、逼真的圖像。要做到這一點(diǎn),它們會(huì)查看許多真實(shí)人類的照片,收集數(shù)據(jù),了解人們彼此的差異和相似方式。實(shí)際上,這就是粗暴的表型。然后,一旦GAN得到了充分的訓(xùn)練,它的生成方面就可以開始嘗試自己的原創(chuàng)作品。一個(gè)例子是Nvidia的StyleGAN,它可以產(chǎn)生驚人的、具有欺騙性的逼真的圖像。甚至還有一個(gè)衍生項(xiàng)目,挑戰(zhàn)觀眾識(shí)別給定的StyleGAN的人物圖片是真還是假。

這張圖片中的人是假的。這是由Nvidia的StyleGAN創(chuàng)建的深度偽造的圖像。

事實(shí)上,GAN的勞動(dòng)成果可以非常逼真。2019年加州頒布了一項(xiàng)法律,禁止使用GAN這樣的技術(shù),在未經(jīng)當(dāng)事人同意的情況下,制作深度偽造的色情制品。該州還禁止在選舉后兩個(gè)月內(nèi)傳播政治候選人的偽造視頻。DARPA正試圖通過建立一個(gè)完整的部門來研究GAN和擊敗它的方法來跟上這場A/V軍備競賽。

雖然這聽起來很有壓力,但GAN也有一些用途,不涉及在互聯(lián)網(wǎng)上搜刮面向公眾的個(gè)人照片。其中一個(gè)應(yīng)用是粒子物理學(xué);物理學(xué)家要求在他們的測量中有精確的確定性,然后他們才愿意說他們發(fā)現(xiàn)了一個(gè)新的粒子或解釋了一個(gè)現(xiàn)象。

GAN擅長的另一個(gè)領(lǐng)域是博弈論。面對(duì)一系列的規(guī)則和優(yōu)先事項(xiàng),GAN可以評(píng)估參與者的可能選擇,并使用概率分布來預(yù)測最終結(jié)果。這種類型的神經(jīng)網(wǎng)絡(luò)也在研究中,用于改善天文圖像,并預(yù)測引力透鏡。

2021年夏天,CodexAI發(fā)布,這是一個(gè)能夠改進(jìn)自身軟件的生成神經(jīng)網(wǎng)絡(luò)。該模型可以將自然語言翻譯成代碼。它還可以在輸入所有Github的信息后生成可理解的代碼片段。

雖然CodexAI本身可以被認(rèn)為是一個(gè)成熟的神經(jīng)網(wǎng)絡(luò),但它看起來也很容易成為一個(gè)更大的分層系統(tǒng)的一部分。CodexAI的行為類似于一個(gè)孤獨(dú)的神經(jīng)元在建立其第一個(gè)突觸時(shí)產(chǎn)生的閃爍的火花。這也顯示了該技術(shù)的局限性。神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)糾正他們的假設(shè),但AI的能觸及到的仍然超過了它的能力范圍。整合多種不同的模型是未來的方向。

神經(jīng)網(wǎng)絡(luò)的缺點(diǎn)

神經(jīng)網(wǎng)絡(luò)在滿足特定的、有明確約束條件的要求方面非常出色,但它們可能有些過猶不及。計(jì)算機(jī)的巨大優(yōu)勢(shì)在于它們可以很快地執(zhí)行重復(fù)性操作。這些快速迭代也使神經(jīng)網(wǎng)絡(luò)有可能過度訓(xùn)練。當(dāng)這種情況發(fā)生時(shí),它的航位推算就會(huì)完全出錯(cuò)。過度訓(xùn)練的AI可以產(chǎn)生一些非常奇怪的圖像,使其對(duì)預(yù)測性目的(如天氣預(yù)報(bào))上不是很有用。

但最終,這些雜七雜八的弱點(diǎn)都是次要的。為了獲得更強(qiáng)大的功能,神經(jīng)網(wǎng)絡(luò)必須變得更大,而這正是問題所在。神經(jīng)網(wǎng)絡(luò)不可能無限地?cái)U(kuò)展。它們的擴(kuò)展效率實(shí)際上比普通的數(shù)據(jù)中心更差,因?yàn)檎沁@一點(diǎn)使得神經(jīng)網(wǎng)絡(luò)如此強(qiáng)大。分層神經(jīng)網(wǎng)絡(luò)的核心概念,其分層深度和冗余度,需要一個(gè)指數(shù)級(jí)增長的功耗。到目前為止,我們一直在使用蠻力來實(shí)現(xiàn)我們的目的,這在一定程度上是可行的。

這種功耗激增的問題正是英特爾將Loihi的低功耗作為主要賣點(diǎn)的原因。最終,功耗和散熱的綜合挑戰(zhàn)將對(duì)我們將更多的芯片連接起來以制造更大、更復(fù)雜的AI構(gòu)成硬性限制。

最后的思考

神經(jīng)網(wǎng)絡(luò)和AI之間的區(qū)別主要是一個(gè)觀點(diǎn)之爭。一個(gè)學(xué)派認(rèn)為神經(jīng)網(wǎng)絡(luò)本身就是一種AI。其他人認(rèn)為AI是由從屬的神經(jīng)網(wǎng)絡(luò)組成的。唯一的區(qū)別是選擇進(jìn)行區(qū)分的抽象程度。

每個(gè)人似乎都同意的一件事是,如果沒有數(shù)據(jù),神經(jīng)網(wǎng)絡(luò)就什么都做不了,是的,大數(shù)據(jù)。隨著邊緣計(jì)算和數(shù)據(jù)科學(xué)的起飛,一個(gè)全新的信息領(lǐng)域向我們打開了大門。每天都有數(shù)量驚人的原始數(shù)據(jù)產(chǎn)生。這就需要我們找到創(chuàng)造性和聰明的方法來使用它。

[參考文章]

What is a Neural Net? — Jessica Hall

推薦器件

更多器件
器件型號(hào) 數(shù)量 器件廠商 器件描述 數(shù)據(jù)手冊(cè) ECAD模型 風(fēng)險(xiǎn)等級(jí) 參考價(jià)格 更多信息
S6020LTP 1 Littelfuse Inc Silicon Controlled Rectifier, 20A I(T)RMS, 12800mA I(T), 600V V(DRM), 600V V(RRM), 1 Element, TO-220AB, ROHS COMPLIANT, PLASTIC, TO-220L, 3 PIN
$2.17 查看
CRCW0603150KFKEA 1 Vishay Intertechnologies Fixed Resistor, Metal Glaze/thick Film, 0.1W, 150000ohm, 75V, 1% +/-Tol, 100ppm/Cel, Surface Mount, 0603, CHIP, HALOGEN FREE AND ROHS COMPLIANT

ECAD模型

下載ECAD模型
$0.13 查看
962835-1 1 TE Connectivity FF 374 REC 1-2.5 MM2 PLAIN CUSN4

ECAD模型

下載ECAD模型
$0.16 查看

相關(guān)推薦

電子產(chǎn)業(yè)圖譜

C.A.S.E.及大出行領(lǐng)域?qū)W習(xí)及知識(shí)分享。歡迎業(yè)內(nèi)朋友交流~!