TinyML是一種微型或小規(guī)模的人工智能技術,可以在資源受限的微控制器(MCU)上運行,具有低延遲、低功耗、低成本等特性,可以實現關鍵詞檢測、異常判斷、物體識別等人工智能的推理工作。
微控制器(MCU)廠商并購人工智能公司布局TinyML
2021年5月,意法半導體收購邊緣AI軟件專業(yè)開發(fā)公司Cartesiam。
Cartesiam是一家軟件公司,專門從事人工智能(AI)開發(fā)工具研發(fā),讓基于Arm?的微控制器具有機器學習和推理能力。采用Cartesiam技術的產品數量已達數十億。公司開發(fā)團隊由數據科學家和嵌入式信號處理專家組成,在開發(fā)標準和定制解決方案方面具有豐富的經驗。NanoEdge?AI Studio是其獲得專利的旗艦解決方案,讓沒有AI知識背景的嵌入式系統(tǒng)設計人員也可以快速開發(fā)專用的軟件庫,將機器學習算法直接集成到各種應用系統(tǒng)。含有Cartesiam技術的設備已經在全球量產,包括物聯網設備、家用電器和工業(yè)設備。
2022 年 7 月,瑞薩電子收購了嵌入式AI解決方案優(yōu)秀供應商Reality Analytics, Inc.(Reality AI),成為了瑞薩電子的間接全資子公司。
Reality AI是一家美國公司,為汽車、工業(yè)和消費類產品中的高級非視覺傳感提供廣泛的嵌入式AI和微型機器學習(TinyML)解決方案。將Reality AI卓越的AI推理技術與瑞薩電子廣泛的MCU和MPU產品相結合,將實現機器學習和信號處理的無縫銜接。此次收購將使瑞薩電子能夠擴展其用于人工智能應用的工具套件和軟件產品,并提高瑞薩電子自身提供高度優(yōu)化的軟硬件結合的端點解決方案的能力。
2023 年 5 月 ,英飛凌宣布已收購TinyML初創(chuàng)企業(yè)Imagimob公司。
Imagimob致力于為邊緣設備的機器學習提供端到端的開發(fā)平臺。Imagimob的平臺支持諸如音頻事件檢測、語音控制、預測性維護、手勢識別、信號分類、材料檢測等各種用例,并將進一步擴展英飛凌的軟硬件生態(tài)系統(tǒng)。合并之后,將雙方的專業(yè)知識相結合并應用于完整的傳感器產品組合,將能夠為兩家公司現有的客戶提供跨產品的統(tǒng)一用戶體驗,助力客戶快速部署強大的解決方案,并加速TinyML在所有應用和領域的進一步普及。
2023 年 8 月,Nordic公司宣布收購美國人工智能和機器學習公司Atlazo。
Nordic公司計劃在未來的SoC中采用Atlazo的超低功耗AI/ML處理器技術,從而增強Nordic公司在許多垂直市場的業(yè)務和技術產品。隨著 Atlazo 傳感器技術在健康應用領域的集成,Nordic 可以更好地服務于不斷擴大的智能健康市場,包括光學心臟監(jiān)測、連續(xù)血糖監(jiān)測和其他可穿戴技術。
另外,除直接并購TinyML公司之外,還在產品和TinyML工具上增強其在TinyML應用上的能力。如ST將推出集成NPU的STM32N6,NXP推出了集成一個DSP協(xié)處理器和神經處理單元(NPU)的MCX產品組合,Microchip提供 MPLAB 機器學習開發(fā)套件來提升其產品的機器學習能力。
布局TinyML的路徑
從目前各微控制器(MCU)廠家和業(yè)界的應用情況來看,布局TinyML的路徑大致有以下三個:
TinyML工具
集成神經網絡處理器(Neural Processing Unit,NPU)協(xié)處理器
TinyML平臺
相對于大語言模型來說,TinyML 是一種小的或極小規(guī)模的機器學習。TinyML本身是一種軟件算法,是對數據分析和處理的一種計算處理方法,通過構建機器學習模型來進行推理,業(yè)界也有一些通用的TinyML機器學習模型。TinyML需要借助軟件和工具對采集來的數據進行分析和處理、推理和驗證等。在不斷地對模型進行優(yōu)化處理后,還需要將將其轉換為微控制器(MCU)這類性能較弱、資源較少的微控制器(MCU)可以運行的固件。TinyML工具有助于人工智能的開發(fā)應用,讓復雜的人工智能軟件的開發(fā)變得簡單快捷。
NPU是一種神經網絡單元,專用于神經網絡的計算,隨著人工智能應用對計算資源的需求越來越高、任務越來越復雜,對神經網絡的計算需求要求也越來越高,微控制器(MCU)中的ALU(算術運算單元AU和邏輯運算單元LU)不足以支持復雜的神經網絡的計算需求,將NPU硬件化并集成在微控制器(MCU)內部作為協(xié)處理器,可以大大提升人工智能應用的計算效率。NPU實質上也是一種專用的硬件計算單元。
一般地,基于微控制器(MCU)設計開發(fā)的產品,其固件可以用幾年,甚至到其生命周期才結束。固件在其驗證穩(wěn)定后一般不再需要更改。隨著產品部署規(guī)模的不斷擴大,產品不斷地迭代更新,需要對微控制器(MCU)中的固件進行更新,通過一個平臺可以對設備進行較好的管理和維護。而TinyML平臺不僅需要對固件進行迭代升級,還可以對數據進行收集、機器學習模型不斷地進行訓練,不斷地優(yōu)化模型,使得模型的精度越來越高。另一方面,本地的微控制器(MCU)的計算資源,不足以支持大量數據的存儲和對模型訓練優(yōu)化等任務。TinyML需要一個高性能的計算平臺來支撐人工智能產品的不斷迭代。
結束語
從設備的智能控制到自主的智能化,市場需求在不斷地推動著技術和產品的創(chuàng)新發(fā)展。云端的人工智能將會下沉到邊緣上,人工智能的應用也會更加接“地氣”,從而可以形成云邊協(xié)同分布式計算的人工智能,賦能各行各業(yè)。TinyML一般會應用到邊緣或極邊緣的傳感器或設備上,不僅可以通過采集處理數據,還可以做一些簡單的推理,使得傳感器或設備更加自主智能。
TinyML人工智能算法的運行離不開計算的硬件 - 微控制器(MCU),借助TinyML工具、NPU的硬件加速以及平臺化的部署,大大提升微控制器(MCU)產品的計算效能,為人工智能應用開辟了新的發(fā)展市場。眾多微控制器廠商的共同參與,也為市場提供了更多更具創(chuàng)新的產品或解決方案。這也將為“兼容機”時代的微控制器(MCU)帶來了新的發(fā)展機遇,必將會開啟新一個賽道。