3548
引言——
就在最近這一兩年，大型語言模型（LLMs）已經(jīng)徹底顛覆了人們對于人工智能（AI）領(lǐng)域的看法。從增強自然語言處理（NLP）的能力到推動機器學(xué)習(xí)（ML）的新應(yīng)用，它們已成為推動技術(shù)創(chuàng)新的關(guān)鍵力量。這些模型通過處理巨大的數(shù)據(jù)集來學(xué)習(xí)語言的復(fù)雜性、語境和細微差別，使得機器能夠執(zhí)行諸如語言翻譯、內(nèi)容創(chuàng)作、情感分析等高級任務(wù)，甚至在圖像識別和生物醫(yī)藥研究等領(lǐng)域展現(xiàn)出前所未有的潛力。隨著技術(shù)的飛速進步，我們見證了模型規(guī)模的指數(shù)級增長，這帶來了更高的預(yù)測性能和更廣泛的應(yīng)用范圍，標(biāo)志著AI技術(shù)進入了一個全新的、更加智能化的時代。
隨著模型規(guī)模的增加，如何在資源受限的環(huán)境中運行這些高性能模型成為了一個挑戰(zhàn)。邊緣計算設(shè)備，如Nvidia Jetson系列，提供了一種在接近數(shù)據(jù)源的地方進行高效計算的方法，它們能夠支持在不依賴云中心的情況下進行實時數(shù)據(jù)處理和決策。這為大模型的部署提供了新的機遇，尤其是在需要快速響應(yīng)和處理能力的應(yīng)用場景中，如自動駕駛、遠程監(jiān)控和智能城市。
然而，邊緣設(shè)備的計算和存儲資源有限，這就要求開發(fā)者對模型進行優(yōu)化，以適應(yīng)這些約束，同時保持模型的性能和準(zhǔn)確性。正是基于這樣的背景，米文著手進行了一項前所未有的評測工作，目的是為了深入理解和展示在Nvidia Jetson這樣的邊緣計算設(shè)備上運行各種主流大模型的性能。通過這些評測，我們希望揭示哪些模型能夠在Jetson平臺上有效運行，以及它們在運行時的性能表現(xiàn)，從而為開發(fā)者和企業(yè)提供實用的指南，幫助他們在選擇和部署大模型時做出更明智的決策，推動邊緣計算和人工智能技術(shù)的發(fā)展。
通過這些評測，米文不僅展現(xiàn)了我們對于推動技術(shù)創(chuàng)新的承諾，也為整個AI社區(qū)提供了寶貴的資源和見解，助力于解鎖邊緣計算在未來人工智能應(yīng)用中的巨大潛力。
PART /1 評測概覽
本次評測，主要覆蓋以下大模型系列，主要對4bit量化和8bit量化的模型進行評測。（排名不分先后）
A. 通義千問
B. LLAMA2
C. Gemma
D.Mistral
E. Llava
F. Phi
G.tinyllama
PART /2?模型性能對比和建議
A. EVO Orin 64GB（AGX Orin 64GB），2b ~ 34b模型性能對比
B. Apex Orin NX (Orin NX 8GB)
C. 通義千問2在Orin全系列上的性能表現(xiàn)
上述結(jié)果，是模型基于CUDA進行加速的測試結(jié)果。并沒有使用TensorRT-LLM進行加速。在不久的將來，我們將使用TensorRT-LLM來進一步進行評測。
經(jīng)過我們的測試，對于中文使用場景，通義千問的模型表現(xiàn)比其他英文系的基礎(chǔ)模型更好。建議用戶可以先進行體驗和嘗試。
PART/3 結(jié)語和展望
米文在Nvidia Jetson平臺上對各主流大模型進行的全面評測，標(biāo)志著我們在邊緣計算和人工智能領(lǐng)域的深入探索和創(chuàng)新。這一評測工作不僅展示了米文的技術(shù)專業(yè)性和前瞻性，而且對于整個行業(yè)而言，具有重要的意義和價值。
首先，通過這些評測，我們能夠為開發(fā)者和企業(yè)提供一個清晰、客觀的性能參考框架，幫助他們在選擇適合在Jetson等邊緣設(shè)備上運行的大模型時做出更加明智的決策。這對于加速邊緣AI應(yīng)用的開發(fā)和部署，提高整個生態(tài)系統(tǒng)的效率和效能具有不可估量的價值。
其次，米文的評測工作也推動了大模型優(yōu)化技術(shù)的發(fā)展。通過對模型在資源受限環(huán)境下的性能表現(xiàn)進行深入分析，我們不僅能夠識別現(xiàn)有技術(shù)的不足，而且還能夠探索和實踐新的優(yōu)化方法，從而推動大模型技術(shù)的進步，使其在更廣泛的應(yīng)用場景中得以實用化。
總之，米文在Jetson平臺上對大模型性能的全面評測不僅反映了我們對于技術(shù)創(chuàng)新的不懈追求。
未來，我們將繼續(xù)探索和創(chuàng)新，以不斷推進邊緣計算和大模型技術(shù)的發(fā)展，為構(gòu)建一個更加智能、高效和可持續(xù)的未來貢獻力量。
下載ECAD模型
