1216
作者：彭昭（智次方創(chuàng)始人、云和資本聯(lián)合創(chuàng)始合伙人）物聯(lián)網(wǎng)智庫 原創(chuàng)
這是我的第351篇專欄文章。
在11月舉辦的2025年AIoT產(chǎn)業(yè)年會上，一個引人深思的話題激發(fā)了業(yè)界的討論，《端側(cè)小模型們的春天來到了嗎？》。
隨著端側(cè)AI技術(shù)的日益成熟和市場需求的不斷釋放，業(yè)界對端側(cè)小模型的進展高度關(guān)注，與此同時，AIoT芯片的進步也備受矚目。
傳統(tǒng)上，芯片制造商始終將卓越的計算性能視為首要追求。然而，AIoT應用的多樣化需求對芯片提出了更高的要求：在計算能力、內(nèi)存、延遲和能效之間實現(xiàn)微妙平衡，以滿足特定領(lǐng)域的差異化需求。
與此同時，我們看到小型、特定于應用場景的語言模型正在興起。相比大型語言模型，這些小模型所需的計算資源更加經(jīng)濟高效，由此推動了端側(cè)AI和AIoT芯片的蓬勃發(fā)展。
然而，讓生成式AI在端側(cè)“跑”起來絕非易事。這不僅需要對大模型進行“瘦身”優(yōu)化，更需要在硬件的功耗和算力上取得突破性進展。
在本文中，我們將重點剖析端側(cè)AI的最新進展，探索AIoT芯片的創(chuàng)新應用場景，并聚焦新興芯片供應商的前沿布局和技術(shù)探索。
端側(cè)AI的進化之路：從感知到理解再到創(chuàng)造
“端側(cè)AI”是指AI可以直接在移動設備上處理數(shù)據(jù)，無需連接到服務器或云端，能夠在用戶設備本地完成復雜的推理和決策。端側(cè)AI在對硬件提出更高要求的同時，也對其算力、能效以及軟硬件協(xié)同等方面提出了新的挑戰(zhàn)。為了滿足端側(cè)AI的需求，AIoT芯片的能力日益增長。AIoT芯片是一種集成了人工智能和物聯(lián)網(wǎng)技術(shù)的系統(tǒng)級芯片，旨在實現(xiàn)智能化設備的連接、控制和數(shù)據(jù)處理。
需要說明的是，本文所界定的“端側(cè)”并不包括手機和電腦，而是特指物聯(lián)網(wǎng)終端設備，如網(wǎng)關(guān)、攝像頭、眼鏡、耳機、手表、車載終端、機器人等。
即使設備未連接到網(wǎng)絡，端側(cè)AI也可以隨時使用。要充分實現(xiàn)這一技術(shù)，嵌入式神經(jīng)網(wǎng)絡處理單元NPU的性能至關(guān)重要。研究機構(gòu)Counter Points預測，未來AIoT模塊的計算能力將實現(xiàn)指數(shù)級的大幅增長，7年內(nèi)配備NPU的模塊數(shù)量將達到目前的31倍。
然而，實現(xiàn)端側(cè)AI并非易事。絲滑的AI體驗通常需要搭配強大的計算能力，而設備上或邊緣處理需要實時處理數(shù)據(jù)，并需要低功耗和高性能芯片，這增加了專用AIoT芯片開發(fā)的復雜性。
在文章《從LLM大模型到SLM小模型再到TinyML，這個領(lǐng)域有望增長31倍并催生新的商業(yè)模式》中，我曾介紹過在人工智能的世界里，終端、邊緣和云端扮演著截然不同的角色。它們在形態(tài)、功能和應用場景上的差異如此之大，以至于可以將其視為完全不同的實體。
端側(cè)AI經(jīng)歷了一段輾轉(zhuǎn)的旅程，從判別式AI、增強式AI的領(lǐng)域，現(xiàn)在又來到了具有突破性的生成式AI前沿。每一步都讓我們更接近未來，智能系統(tǒng)將無縫融入我們的日常生活，為我們帶來不僅有感知，還有掌上創(chuàng)造的沉浸式體驗。
從信息論的角度來看，這三種范式可以看作是對源熵的不同影響。判別性AI旨在降低熵，增強性AI或多或少地保持熵值不變，而生成性AI則會造成熵增。
獲得感知：判別式AI
判別式AI主要關(guān)注區(qū)分不同類別或結(jié)果的能力。它通過學習輸入數(shù)據(jù)的特征和模式，判斷這些數(shù)據(jù)屬于哪個預定義的類別。例如，在圖像分類任務中，判別式AI能夠識別出圖片中的物體是貓還是狗。
增強感知：增強型AI
通過對場景物理性質(zhì)的語義理解，神經(jīng)網(wǎng)絡可以用來增強圖像的視覺質(zhì)量，獲得更令人滿意的結(jié)果，并進一步增強感知和分析能力。我們觀察到一個緩慢但穩(wěn)定的轉(zhuǎn)變，從經(jīng)典的視覺相關(guān)功能到人工智能驅(qū)動的視頻增強功能，從低光性能到高動態(tài)范圍、數(shù)字變焦、局部色調(diào)映射等。
超越感知：生成式AI
真正的范式轉(zhuǎn)變是隨著生成式人工智能的興起而發(fā)生的。受自然語言理解的進步及其對任何數(shù)據(jù)模式的采用的啟發(fā)，創(chuàng)建與現(xiàn)實難以區(qū)分的新內(nèi)容、圖像和視頻的能力，在不到一年的時間內(nèi)成功地改變了各個行業(yè)。生成式AI致力于學習數(shù)據(jù)的生成過程，并生成與訓練數(shù)據(jù)相似的新數(shù)據(jù)樣本。這些新數(shù)據(jù)在統(tǒng)計上與原始數(shù)據(jù)具有相似的特征，但又是全新的、獨立的。
受到端側(cè)功耗和算力的限制，端側(cè)AI又呈現(xiàn)出了不同的形態(tài)：
小型語言模型（SLM）
SLM指的是那些參數(shù)量低于100億的輕量級神經(jīng)網(wǎng)絡模型。與大型模型相比，SLM以更少的參數(shù)和計算資源實現(xiàn)自然語言處理。此外，SLM通常是面向特定任務、應用或用例量身定制的。
微型機器學習（TinyML）
TinyML是一種優(yōu)化機器學習模型的技術(shù)，使其能夠在資源受限的設備（如微控制器）上高效運行。這些模型通常體積小巧、運算高效，能夠勝任語音識別和傳感器數(shù)據(jù)分析等任務。
AIoT芯片：功耗、性能與尺寸的平衡
端側(cè)設備將成為未來智能時代的重要錨點，其形態(tài)豐富多樣，包括攝像頭、智能眼鏡、耳機、手表、車載設備，以及未來的元宇宙和機器人等。
與專注于云AI的芯片市場相比，AIoT芯片市場更加分散，以滿足AIoT應用的多樣化需求。在設計集成數(shù)十億個晶體管的芯片時，AIoT芯片制造商面臨著巨大的壓力，需要在功耗、性能和尺寸之間取得微妙的平衡。
不同邊緣或終端中的芯片性能要求可能存在很大差異。例如，自動駕駛汽車需要更高的性能，并能承受更高的圖像處理功耗；而智能攝像頭處理器可能需要更低成本、更節(jié)能的芯片組。環(huán)境因素也在影響著端側(cè)AI和AIoT芯片市場，研究重點是實現(xiàn)高計算性能、低延遲和最低能耗。
人工智能應用中GPU的高功耗問題促使研究人員開發(fā)新型芯片架構(gòu)，為端側(cè)AI的廣泛應用鋪平道路。很多新型AIoT芯片的研發(fā)仍在路上。
比如去年弗勞恩霍夫光子微系統(tǒng)研究所IPMS與羅伯特·博世有限公司、坎普爾印度理工學院和慕尼黑工業(yè)大學合作開發(fā)了一種針對AIoT應用優(yōu)化的芯片設計，該設計使用鐵電場效應晶體管（FeFET），無需電源即可存儲數(shù)據(jù)，可提供高達885 TOPS/W的性能，而一般AI芯片的這一數(shù)值為10到20 TOPS/W。
這種創(chuàng)新的芯片架構(gòu)有望大大降低AI運行的能耗。新芯片采用FeFET單元，執(zhí)行相同數(shù)量的操作所需的能量比傳統(tǒng)設計少44倍。
此類芯片瞄準端側(cè)AI的一系列用途，將AI部署在數(shù)據(jù)收集點：物聯(lián)網(wǎng)設備、傳感器和自動駕駛汽車中。新芯片的另一個關(guān)鍵優(yōu)勢是能夠同時在晶體管中存儲和處理數(shù)據(jù)，大大減少了數(shù)據(jù)處理和內(nèi)存之間的瓶頸。
接下來，我們探討端側(cè)AI的主要應用場景和市場空間。首當其沖的場景是圖像處理和分析，到2033年此類場景中的AIoT設備數(shù)量將接近40億臺，主要涵蓋游戲機、智能眼鏡、車載終端、安全攝像頭、便攜式攝像機等。
此外，聊天機器人功能和自然語言處理的需求也不容忽視。智能音箱、耳機、智能手表等設備占據(jù)主導地位，并可擴展至車載主機和電視等領(lǐng)域。預計到2033年，約有五分之一的物聯(lián)網(wǎng)設備具有原生語音需求，這一領(lǐng)域?qū)碛?4億連接，帶來800億美元的收入，約占所有物聯(lián)網(wǎng)連接收入的22%。
從設備形態(tài)上看，隨著智能眼鏡產(chǎn)品的密集發(fā)布，即將開啟的“百鏡大戰(zhàn)”，有可能成為AIoT芯片的重要試煉場之一。
10家值得關(guān)注的AIoT芯片新秀
由于端側(cè)AI應用具有明確的場景，優(yōu)先考慮成本優(yōu)化、功耗和處理能力，為新的市場參與者提供了大量的機會和創(chuàng)新空間。因此，AIoT芯片組的動態(tài)市場中涌現(xiàn)出許多新玩家，他們通過提供多種增值功能來差異化競爭。
以下篩選了10家值得關(guān)注的海外AIoT芯片新興供應商。
1. AonDevices是一家無晶圓廠半導體公司，專門從事超低功耗下提供高精度的應用程序特定型邊緣AI處理器。公司總部位于加利福尼亞州爾灣。AonDevices提供的芯片組主要側(cè)重于自然語言處理、語音認證、聊天機器人和數(shù)字助理。該公司發(fā)布的AON1100是一款超低功耗、多模態(tài)解決方案，能夠使用單個麥克風，極其準確地同時識別多個語音命令和聲音事件，例如嬰兒哭泣或汽車逆火，AON1100還同時檢測步行或跌倒等特定運動模式。
2.?Axelera總部位于荷蘭埃因霍溫，其AIPU芯片采用了開源的RISC-V指令集架構(gòu)（ISA）。RISC-V作為一種低成本、高效且靈活的ISA，允許根據(jù)特定的應用需求進行定制，這為Axelera提供了極大的設計自由度和創(chuàng)新空間。
3.?BrainChip是一家澳大利亞的技術(shù)公司，專注于研究和開發(fā)神經(jīng)網(wǎng)絡處理單元NPU和其他高級機器學習解決方案。該公司的旗艦產(chǎn)品是Akida，這是一款可以在物聯(lián)網(wǎng)設備、汽車和工業(yè)應用中應用的離散神經(jīng)網(wǎng)絡處理單元。
4.?Hailo Technologies是一家以色列公司，擁有豐富的邊緣AI處理器產(chǎn)品組合，可用于各種AI用例，例如對象檢測、在邊緣設備上運行LLM和語義分割。該公司提供用于視頻和圖像處理的Hailo-15系列AI視覺處理器、用于邊緣設備以運行深度學習應用程序的Hailo-8AI加速器以及用于運行LLM的生成式AI加速器。
5. Innatera總部位于荷蘭，推出了一款基于SNN的神經(jīng)擬態(tài)加速器，主要用于語音識別、生命體征監(jiān)測和雷達等。
6. Mythic總部位于美國德克薩斯州，是一家專注于邊緣AI和AIoT的節(jié)能芯片供應商，采用單芯片模擬計算內(nèi)存架構(gòu)，無需DRAM。Mythic開發(fā)了統(tǒng)一的軟硬件平臺，以其獨特的模擬計算引擎Mythic ACE為特色，具備高功率、低成本和優(yōu)良的性能參數(shù)，打破了阻礙人工智能創(chuàng)新的數(shù)字障礙。Mythic模擬矩陣處理器Mythic AMP也使人工智能解決方案的部署變得更加經(jīng)濟便捷。
7. Perceive于2024年8月被亞馬遜收購，是一家邊緣AI和AIoT處理芯片提供商，專注于LLM的邊緣處理。該公司提供低功耗邊緣處理芯片，專為各種應用而設計，包括聯(lián)網(wǎng)攝像頭和家電。該公司最新一代邊緣AI芯片Ergo2的占用空間為7mm x 7mm，不需要外部DRAM。公司稱，該芯片可以在30 FPS的視頻源上運行推理，功耗僅為17 mW。
8. SiMa.ai總部位于加利福尼亞州圣何塞，是嵌入式機器學習系統(tǒng)芯片SoC的提供商，允許客戶在單個芯片上執(zhí)行整個應用程序。該公司的目標是優(yōu)先考慮低功耗的AIoT用例，具體范圍在5W-25W之間。據(jù)SiMa稱，其芯片可以作為涵蓋計算機視覺和多模態(tài)生成AI的AI應用的單邊緣平臺。
9. Syntiant總部位于美國加利福尼亞州，是一家為邊緣AI和AIoT應用提供低功耗處理器的供應商，截至2022年3月，該公司已出貨超過2000萬片邊緣AI芯片。公司專注于安全等行業(yè)使用的聲學事件檢測和視頻處理，以最小的延遲提供實時數(shù)據(jù)處理。
10. Untether AI總部位于加拿大多倫多，芯片名為240 Slim，也是基于RISC-V架構(gòu)，性能出色但能耗卻低得多，適合在自動駕駛汽車、自動農(nóng)業(yè)設備和一些數(shù)據(jù)中心內(nèi)使用。梅賽德斯-奔馳表示，正在與Untether合作開發(fā)其下一代自動駕駛汽車。
寫在最后
隨著人工智能技術(shù)的不斷進步，端側(cè)AI和AIoT芯片的發(fā)展正迎來一個全新的時代。
這場革命不僅僅是關(guān)于更強大的計算能力，更是關(guān)于如何在功耗、性能和尺寸之間取得完美平衡，以滿足不同應用場景的特定需求。
從判別式AI到增強式AI，再到生成式AI，端側(cè)智能正在經(jīng)歷一場從感知到理解，再到創(chuàng)造的蛻變。在這個過程中，小型語言模型和微型機器學習等新興技術(shù)正在崛起，推動著AIoT芯片的創(chuàng)新浪潮。無論是自動駕駛汽車、智能眼鏡、智能攝像頭，還是未來的元宇宙和機器人，AIoT芯片都將扮演著至關(guān)重要的角色。
參考資料：
IoT: new energy-efficient chips could expand the scope of artificial intelligence in edge computing，來源：Orange
The Evolution of AI on the Edge: From Perception to Creation，來源：Hailo
AIoT Chipsets: enhancing the connected devices ecosystem，來源：Transforma Insights
