Arm KleidiCV 實現(xiàn)與 OpenCV 集成，加速移動端計算機視覺工作負載

生成式及多模態(tài)人工智能 (AI) 工作負載的廣泛增長，推動了對計算機視覺 (CV) 技術日益高漲的需求。此類技術能夠解釋并分析源自現(xiàn)實世界的視覺信息，并可應用于人臉識別、照片分類、濾鏡處理及增強現(xiàn)實等多種應用中。然而，這些計算機視覺應用可能很難實現(xiàn)最優(yōu)化的延遲性能和處理速度，特別是在內存大小、電池容量和處理能力有限的移動設備上難度更高。

而 Arm KleidiCV 便能在其中大顯身手。該開源庫利用了最新 Arm CPU 中的高性能圖像處理功能，可被集成至各類計算機視覺框架中，從而簡化并加速計算機視覺工作負載的性能優(yōu)化，而無需開發(fā)者執(zhí)行額外操作。這一點對于移動設備來說至關重要。加速圖像處理是為多樣的 AI 用例打造更輕量化、更準確且性能更強大的模型的第一步，也是關鍵一步。此外，也可在為用戶維持電池壽命的同時，使計算機視覺功能運行得更加快速。

KleidiCV 通過與全球最大的開源計算機視覺庫 OpenCV 實現(xiàn)新的集成，使得全球數(shù)百萬計算機視覺開發(fā)者都可以利用其進行性能加速。該集成現(xiàn)已上線，安卓用戶可通過 OpenCV 4.11 默認獲取，這為安卓移動市場中 Arm 架構設備上的計算機視覺應用提供了前所未有的性能增強。

KleidiCV 與 OpenCV 集成的性能優(yōu)勢

OpenCV 是全球計算機視覺開發(fā)者的首選平臺，OpenCV Python 包的日均下載量超過 30 萬次。KleidiCV 與 OpenCV 的集成（由 Maven 代碼倉庫訪問）通過直接映射到能夠為計算機視覺工作負載提供一系列加速功能的底層 Arm 架構和特性（如 Neon 和 SVE2），從而為計算機視覺開發(fā)者實現(xiàn)自動的性能增強。

去年，Arm 同步推出了 KleidiAI 和 KleidiCV。KleidiAI 庫為集成至 AI 框架提供目標內核，并在 Arm CPU 上無縫加速傳統(tǒng)機器學習和生成式 AI 模型。發(fā)布時的初始基準測試顯示，OpenCV 上的各類圖像處理任務的典型性能提升了 75%。

通過將 KleidiCV 集成到 OpenCV 4.11，上述性能（或 OpenCV 上的各類圖像處理任務的典型）提升了高達四倍，進而能夠為對象檢測和識別以及圖像分割中使用的關鍵圖像處理任務加速計算機視覺計算，并實現(xiàn)更快的響應時間。這些任務包括：

• 模糊處理：通過減少高頻細節(jié)來增強圖像以進行對象檢測；
• 濾鏡：用于銳化和平滑圖像；
• 旋轉：對齊圖像以進行對象識別；
• 調整大?。航档吞幚泶蟪叽鐖D像時的計算負載。

KleidiCV 的主要特性和優(yōu)勢

KleidiCV 通過自動檢測運行它的硬件并相應地選擇最佳實現(xiàn)來簡化開發(fā)過程。這意味著開發(fā)者無需手動優(yōu)化其代碼即可實現(xiàn)更高性能。KleidiCV 的其他主要特性和優(yōu)勢包括：

• 多線程：該特性可加速處理，并實現(xiàn)更卓越的性能。
• 廣泛的適用性：KleidiCV 支持包括圖像處理和調整大小等在內的各種工作負載，使其與汽車、消費類技術和基礎設施市場中的廣泛應用均息息相關。
• 內置安全性：Arm 的 Security Development Lifecycle（安全性開發(fā)生命周期）已被嵌入至 KleidiCV 的功能中。

OpenCV 4.11 的增強功能和更新

OpenCV 4.11 的更新為其計算機視覺工作負載工具和功能套件帶來了多項增強功能，這些增強功能與 KleidiCV 集成相輔相成。其中包括：

• 改進的 DNN 模塊：通過 InferenceEngine 后端為 3D 卷積網(wǎng)絡和異步推理提供初始支持。
• 增強的 Calib3d 模塊：用于 solvePNP 和姿態(tài)優(yōu)化例程的新 IPPE 算法。
• 優(yōu)化的通用內部函數(shù)：提供 AVX-512 實現(xiàn)和其他優(yōu)化以實現(xiàn)更加出色的性能。

這些更新與 KleidiCV 的優(yōu)化相結合，顯著增強了 OpenCV 的功能，使其成為開發(fā)者的強大工具。

塑造計算機視覺工作負載的未來

KleidiCV 的首次集成現(xiàn)已完成，Arm 不斷彰顯軟件優(yōu)化如何在移動端的 Arm CPU 上充分釋放新的計算機視覺性能和功能。這不僅為移動端，更是為其他多樣化的市場（例如機器人、汽車和醫(yī)療應用等）的計算機視覺工作負載加速和模型鋪平了道路。

通過利用 Arm CPU 的強大性能和 OpenCV 的廣大開發(fā)者用戶，OpenCV 4.11 與 KleidiCV 的集成能夠為各類計算機視覺應用帶來顯著的性能增強。借助 KleidiCV 和 Arm 領先的計算平臺，Arm 正在塑造計算機視覺在移動端及更廣泛領域的未來。