1363
NVIDIA 于今日宣布，全球 2,800 萬開發(fā)者現(xiàn)可下載 NVIDIA NIM?——一種推理微服務，通過經(jīng)優(yōu)化的容器的形式提供模型——以部署在云、數(shù)據(jù)中心或工作站上。借助 NVIDIA NIM，開發(fā)者能夠輕松地為 copilots、聊天機器人等構(gòu)建生成式 AI 應用，所需時間從數(shù)周縮短至幾分鐘。
這些新的生成式 AI 應用正變得越來越復雜，通常需要使用具有不同功能的多個模型來生成文本、圖像、視頻、語音等。NVIDIA NIM 提供了一種簡單、標準化的方式，將生成式 AI 添加到應用中，顯著提高了開發(fā)者的工作效率。
NIM 還可使企業(yè)能夠最大限度利用其基礎(chǔ)設(shè)施投資。例如，相較于未使用 NIM 的情況下，在 NIM 中運行 Meta Llama 3-8B 時，后者在加速基礎(chǔ)設(shè)施上可產(chǎn)生高達 3 倍的生成式 AI token。這使企業(yè)能夠大幅提高效率，使用相同的計算基礎(chǔ)設(shè)施來生成更多的結(jié)果。
包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家技術(shù)合作伙伴正在將 NIM 集成到他們的平臺中，以加快特定領(lǐng)域應用的生成式 AI 部署，例如 copilot、代碼助手和數(shù)字人虛擬形象。從 Meta Llama 3 開始，在 Hugging Face 上現(xiàn)已開始提供 NIM。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“每個企業(yè)都希望在其運營中融入生成式 AI，但并非每個企業(yè)都擁有專門的 AI 研究團隊。NVIDIA NIM 可被集成到任意平臺中，任何地方的開發(fā)者都可以訪問，并且可以在任意環(huán)境中運行——它正在助力科技行業(yè)將生成式 AI 普及到每一個企業(yè)組織。”
通過 NVIDIA AI Enterprise 軟件平臺，企業(yè)可以使用 NIM 在生產(chǎn)系統(tǒng)中部署 AI 應用。從下個月開始，NVIDIA 開發(fā)者計劃的會員可以免費使用 NIM，在其選擇的基礎(chǔ)設(shè)施上進行研究、開發(fā)和測試。
40 余個 NIM 微服務為跨模式的生成式 AI 賦能
NIM 容器是預構(gòu)建的，以加速模型部署，可用于 GPU 加速推理，其中包括 NVIDIA CUDA? 軟件、NVIDIA Triton 推理服務器?和 NVIDIA TensorRT?-LLM 軟件。
在 ai.nvidia.com 網(wǎng)站上，超過 40 個 NVIDIA 及社區(qū)模型可作為 NIM 端點進行體驗，其中包括 Databricks DBRX、谷歌開放模型 Gemma、Meta Llama 3、微軟 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。
開發(fā)者現(xiàn)在可以從 Hugging Face AI 平臺上，訪問 Meta Llama 3 模型的 NVIDIA NIM 微服務。通過基于 NVIDIA GPU 的 Hugging Face 推理端點，只需點擊幾下，開發(fā)者就能在其選擇的云平臺上輕松地訪問和運行 Llama 3 NIM。
企業(yè)可以使用 NIM 來運行用于生成文本、圖像和視頻、語音以及數(shù)字人的應用。借助面向數(shù)字生物學的 NVIDIA BioNeMo? NIM 微服務，研究人員可以構(gòu)建新的蛋白質(zhì)結(jié)構(gòu)，加速藥物研發(fā)。
數(shù)十家醫(yī)療公司正在一系列應用中部署 NIM，以便在手術(shù)規(guī)劃、數(shù)字助手、藥物研發(fā)和臨床試驗優(yōu)化等一系列應用中為生成式 AI 推理提供動力。
借助全新的 NVIDIA ACE NIM 微服務，開發(fā)者可以在客戶服務、遠程醫(yī)療、教育、游戲和娛樂等應用中，輕松構(gòu)建和操作栩栩如生的交互式數(shù)字人。
數(shù)百家 AI 生態(tài)系統(tǒng)合作伙伴已嵌入 NIM
包括 Canonical、Red Hat、Nutanix 和 VMware（已被博通收購）在內(nèi)的平臺提供商已在開源 KServe 或企業(yè)解決方案方面支持 NIM。AI 應用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 來支持生成式 AI 推理。
領(lǐng)先的 AI 工具和 MLOps 合作伙伴（包括亞馬遜 SageMaker、微軟 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases）也已將 NIM 嵌入到其平臺，使開發(fā)者能夠通過優(yōu)化推理來構(gòu)建和部署特定領(lǐng)域的生成式 AI 應用。
全球系統(tǒng)集成商和服務交付合作伙伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨詢服務（TCS）和威普羅（Wipro）已經(jīng)建立了 NIM 能力，以幫助全球企業(yè)快速開發(fā)和部署生產(chǎn)型 AI 策略。
企業(yè)幾乎可以在任何地方運行支持 NIM 的應用，包括在全球基礎(chǔ)設(shè)施制造商思科、戴爾科技、慧與、聯(lián)想和超微，以及服務器制造商永擎電子、華碩、技嘉、鴻佰科技、英業(yè)達、和碩、QCT、緯創(chuàng)資通和緯穎科技的 NVIDIA 認證系統(tǒng)? 上運行。NIM 微服務也已集成至亞馬遜云科技、谷歌云、Azure 和 Oracle 云基礎(chǔ)設(shè)施中。
行業(yè)巨頭通過 NIM 加強生成式 AI
行業(yè)領(lǐng)導者 Foxconn、和碩、Amdocs、勞氏公司、 ServiceNow 和西門子利用 NIM 來加強生成式 AI 應用，涉及制造業(yè)、醫(yī)療、金融服務、零售、客戶服務等領(lǐng)域：
- Foxconn——作為全球最大的電子制造商，F(xiàn)oxconn 正在使用 NIM 開發(fā)針對特定領(lǐng)域的大語言模型（LLM），并將這些模型嵌入到其 AI 工廠的各種內(nèi)部系統(tǒng)和流程中，用于智能制造、智慧城市和智能電動汽車。
- 和碩——這家臺灣電子制造公司正在將 NIM 用于 Project TaME，這是一個當?shù)氐幕旌蠈＜遥∕oE）模型，旨在推動各行各業(yè)開發(fā)本地化的 LLM。 ● Amdocs——這家為通信和媒體公司提供軟件和服務的全球領(lǐng)先供應商正在使用 NIM 運行客戶計費 LLM，該模型顯著降低了 token 成本，將準確性提高了 30%，并將延遲降低了 80%，從而實現(xiàn)近乎實時的響應。
- 勞氏公司——這家《財富》雜志 50 強家居裝飾公司正在將生成式 AI 用于各種用例，例如，該零售商正在利用 NVIDIA NIM 推理微服務來提升員工和客戶的體驗。
- ServiceNow——這個用于業(yè)務轉(zhuǎn)型的 AI 平臺于今年早些時候宣布成為首批接入 NIM 的平臺提供商之一，幫助客戶實現(xiàn)快速、可擴展且更具成本效益的 LLM 開發(fā)和部署。NIM 微服務已經(jīng)集成到 Now AI 多模態(tài)模型中，可供添加了 ServiceNow 的生成式 AI 功能 Now Assist 的客戶使用。
- 西門子——作為專注于工業(yè)、基礎(chǔ)設(shè)施、交通和醫(yī)療領(lǐng)域的全球科技公司，西門子正在將其運營技術(shù)與 NIM 微服務整合，用于車間 AI 工作負載。此外，西門子還利用 NIM 為其 Machine Operators 構(gòu)建了一個本地部署版本的 Industrial Copilot。
可用性 開發(fā)者可在 ai.nvidia.com 網(wǎng)站上免費試用 NVIDIA 微服務。企業(yè)可通過在 NVIDIA 認證系統(tǒng)和領(lǐng)先的云平臺上運行的 NVIDIA AI Enterprise 來部署生產(chǎn)級 NIM 微服務。從下個月開始，NVIDIA 開發(fā)者計劃的會員將能夠免費使用 NIM 來進行研究和測試。
下載ECAD模型
