NVIDIA 發(fā)布支持生成式 AI 與 OpenUSD 的重大 Omniverse 升級(jí)

最新平臺(tái)更新、Adobe Firefly的接入、OpenUSD向 RealityKit的導(dǎo)入以及 Ada 架構(gòu)系統(tǒng)將共同加速各種具有互操作性的 3D 工作流以及工業(yè)數(shù)字化進(jìn)程

NVIDIA于今日發(fā)布 NVIDIA Omniverse? 平臺(tái)的重要版本更新，為開(kāi)發(fā)者和工業(yè)企業(yè)提供全新的基礎(chǔ)應(yīng)用和服務(wù)，助力其使用 OpenUSD 框架和生成式 AI 來(lái)優(yōu)化并強(qiáng)化其 3D 工作流程。

Omniverse 是一個(gè)OpenUSD原生軟件平臺(tái)，可進(jìn)行跨3D 工具和應(yīng)用的連接、描述及模擬。此次更新將加快虛擬世界和高級(jí)工作流的創(chuàng)建速度，推動(dòng)工業(yè)數(shù)字化進(jìn)程。Cesium、Convai、Move AI、SideFX Houdini 和 Wonder Dynamics 現(xiàn)已通過(guò) OpenUSD 接入 Omniverse。

此次平臺(tái)更新主要升級(jí)了 Omniverse Kit（用于開(kāi)發(fā)原生 OpenUSD 應(yīng)用和擴(kuò)展程序的引擎），以及 NVIDIA Omniverse Audio2Face? 基礎(chǔ)應(yīng)用和空間計(jì)算功能。

NVIDIA Omniverse 與模擬技術(shù)副總裁 Rev Lebaredian 表示：“工業(yè)企業(yè)正在競(jìng)相推動(dòng)工作流的數(shù)字化，這提升了對(duì)OpenUSD賦能、互聯(lián)、可互操作的 3D 軟件生態(tài)的需求。最新的 Omniverse 更新讓開(kāi)發(fā)者能夠通過(guò) OpenUSD，利用生成式 AI 來(lái)強(qiáng)化自身工具，并讓企業(yè)能夠構(gòu)建更大、更復(fù)雜的世界級(jí)模擬，以此作為其工業(yè)應(yīng)用的數(shù)字測(cè)試場(chǎng)?！?/p>

重要改進(jìn)

Omniverse Kit 的更新包括：

• 全新模塊化應(yīng)用構(gòu)建：全新 Omniverse Kit Extension Registry 是一個(gè)用于訪(fǎng)問(wèn)、共享和管理 Omniverse 擴(kuò)展程序的中央存儲(chǔ)庫(kù)，開(kāi)發(fā)者可以輕松啟用或關(guān)閉其應(yīng)用中的功能，因此能夠比以往更加輕松地利用 NVIDIA 提供的 600 多個(gè)核心 Omniverse 擴(kuò)展程序來(lái)構(gòu)建自定義應(yīng)用。
• 全新開(kāi)發(fā)者模板和資源：全新應(yīng)用和體驗(yàn)?zāi)０遄寗傞_(kāi)始使用 OpenUSD 和 Omniverse 的開(kāi)發(fā)者只需要進(jìn)行極少量的編碼工作就能輕松上手。
• 提升效率和用戶(hù)體驗(yàn)：全新渲染優(yōu)化功能充分利用 NVIDIA RTX? GPU 中 NVIDIA Ada Lovelace 架構(gòu)的各項(xiàng)改進(jìn)，并將 DLSS 3 技術(shù)完全集成到 Omniverse RTX 渲染器中。全新 AI 降噪器可實(shí)現(xiàn)大型工業(yè)場(chǎng)景的實(shí)時(shí) 4K 路徑追蹤。
• 由原生RTX驅(qū)動(dòng)的空間集成：全新擴(kuò)展現(xiàn)實(shí)（XR）開(kāi)發(fā)者工具可讓用戶(hù)在基于 Omniverse 的應(yīng)用中構(gòu)建原生空間計(jì)算選項(xiàng)，使用戶(hù)能夠按照自己的想法靈活地體驗(yàn) 3D 項(xiàng)目和虛擬世界。

這些平臺(tái)更新在 Omniverse 基礎(chǔ)應(yīng)用中得到了展現(xiàn)。Omniverse 基礎(chǔ)應(yīng)用是完全可定制的參考應(yīng)用，創(chuàng)作者、企業(yè)和開(kāi)發(fā)者可以對(duì)其進(jìn)行復(fù)制、擴(kuò)展或改進(jìn)。升級(jí)的應(yīng)用包括：

• Omniverse USD Composer：讓 3D 用戶(hù)能夠組裝基于 OpenUSD 的大型場(chǎng)景
• Omniverse Audio2Face：提供對(duì)只需通過(guò)音頻文件即可創(chuàng)建逼真面部動(dòng)畫(huà)和手勢(shì)的生成式 AI 應(yīng)用編程接口的訪(fǎng)問(wèn)?，F(xiàn)在還添加了多語(yǔ)種支持和全新女性基礎(chǔ)模型。

OpenUSD 擴(kuò)展 Omniverse 生態(tài)

NVIDIA還發(fā)布了一系列面向開(kāi)發(fā)者和企業(yè)的框架、資源和服務(wù)，以此加速通用場(chǎng)景描述（即OpenUSD）的采用。

此外，NVIDIA還宣布構(gòu)建了全新的Omniverse Cloud API，供開(kāi)發(fā)人員更無(wú)縫地實(shí)現(xiàn)和部署OpenUSD工作流和應(yīng)用程序。例如，ChatUSD是一個(gè)供開(kāi)發(fā)人員使用的大型語(yǔ)言模型（LLM) copilot工具，可以回答USD知識(shí)問(wèn)題或生成Python-USD代碼腳本。

OpenUSD 支持的全新 Omniverse 連接器現(xiàn)已推出，為工業(yè)企業(yè)打破復(fù)雜生產(chǎn)流水線(xiàn)中的數(shù)據(jù)孤島帶來(lái)了更多的可能性。

Adobe 與 NVIDIA 宣布計(jì)劃將 Adobe Firefly（Adobe 的創(chuàng)意生成式 AI 模型系列）作為 Omniverse 的 API 提供給開(kāi)發(fā)者和創(chuàng)作者，助力其完善設(shè)計(jì)流程。此舉擴(kuò)大了雙方在 Adobe Substance 3D、生成式 AI 和 OpenUSD 項(xiàng)目方面的合作。

Wonder Dynamics 已接入 Omniverse，通過(guò)其AI 平臺(tái)Wonder Studio提供全新 OpenUSD 導(dǎo)出支持。Wonder Studio AI 平臺(tái)可自動(dòng)對(duì)計(jì)算機(jī)生成的角色進(jìn)行動(dòng)畫(huà)化、添加照明并合成到實(shí)時(shí)動(dòng)作場(chǎng)景中。全新 OpenUSD 導(dǎo)出支持將使藝術(shù)家只需要使用單個(gè)攝像機(jī)拍攝的視頻，就能生成并導(dǎo)出完整的 3D 場(chǎng)景。

Luma AI 以 USDZ 格式制作的現(xiàn)實(shí)捕捉模型可以隨時(shí)導(dǎo)入到 Omniverse 中。虛擬形象公司 Convai 和角色引擎公司 Inworld AI 的工具也接入了 Omniverse。借助 Convai 等AI工具，創(chuàng)作者可以在數(shù)字孿生環(huán)境中添加角色，這些角色可以提供環(huán)境和物體的相關(guān)信息，也可以充當(dāng)導(dǎo)游或虛擬機(jī)器人。Move AI 通過(guò) Move One 應(yīng)用實(shí)現(xiàn)了單攝像頭動(dòng)作捕捉，捕捉的圖像可用于生成 3D 角色動(dòng)畫(huà)，然后將其導(dǎo)出到 OpenUSD 并在 Omniverse 中使用。

Omniverse 用戶(hù)現(xiàn)在可以構(gòu)建與其他基于 OpenUSD 的空間計(jì)算平臺(tái)（如 ARKit 和 RealityKit）兼容的內(nèi)容、體驗(yàn)和應(yīng)用。此外，對(duì) Khronos Group OpenXR 開(kāi)放標(biāo)準(zhǔn)的全新支持將 Omniverse 的應(yīng)用范圍擴(kuò)展到了 HTC VIVE、Magic Leap 和 Varjo 等制造商生產(chǎn)的更多頭顯。

SideFX Houdini 的用戶(hù)現(xiàn)在還可以將 Houdini Digital Assets 直接加載到 Omniverse 視窗中，使基于 Houdini 的互聯(lián)工作流銜接得更加無(wú)縫。Cesium 的 Omniverse 擴(kuò)展程序 Cesium for Omniverse 支持 3D Tiles。3D Tiles是一種在虛擬世界（包括 OpenUSD 支持的虛擬世界）中傳輸大規(guī)模地理空間數(shù)據(jù)集的開(kāi)放標(biāo)準(zhǔn)。CGI.Backgrounds 現(xiàn)在可在 USD Composer 中使用多種超高清 HDRi 貼圖。Cadence DataCenter Design Software?現(xiàn)可在 Omniverse 上使用，其可幫助用戶(hù)在完整的數(shù)字孿生情境中查看計(jì)算流體動(dòng)力學(xué)模擬。借助 Cadence 數(shù)據(jù)中心擴(kuò)展程序，用戶(hù)可以在實(shí)施前規(guī)劃、測(cè)試并驗(yàn)證設(shè)計(jì)和運(yùn)營(yíng)方面的考慮因素。Blackshark.AI 世界數(shù)字孿生平臺(tái)現(xiàn)已接入Omniverse。

客戶(hù)使用Omniverse實(shí)現(xiàn)數(shù)字化

多家客戶(hù)正在使用 Omniverse 來(lái)完成從模擬機(jī)器人到訓(xùn)練AI模型和改進(jìn)動(dòng)畫(huà)等各種任務(wù)。

波士頓動(dòng)力人工智能研究所（Boston Dynamics AI Institute）正在使用Omniverse模擬機(jī)器人及其交互，以推動(dòng)新型機(jī)器人和控制系統(tǒng)的設(shè)計(jì)工作。汽車(chē)和自主系統(tǒng)產(chǎn)業(yè)化領(lǐng)域的領(lǐng)先企業(yè)大陸集團(tuán)正在其移動(dòng)機(jī)器人業(yè)務(wù)中使用Omniverse，以大規(guī)模地生成符合物理學(xué)的合成數(shù)據(jù)，用以訓(xùn)練計(jì)算機(jī)視覺(jué)AI模型和執(zhí)行系統(tǒng)集成測(cè)試。

沃爾沃汽車(chē)已將其數(shù)字孿生轉(zhuǎn)為OpenUSD格式，使用Omniverse創(chuàng)造出沉浸式可視化效果，幫助客戶(hù)在線(xiàn)做出購(gòu)買(mǎi)決策。

品牌設(shè)計(jì)及體驗(yàn)機(jī)構(gòu) Marks Design 正在使用 Omniverse 和 OpenUSD 來(lái)簡(jiǎn)化并提高協(xié)作的效率，同時(shí)改進(jìn)其動(dòng)畫(huà)、可視化和渲染工作流。

全新 Omniverse 系統(tǒng)與合作伙伴

NVIDIA 正在與全球各地的系統(tǒng)制造商協(xié)作，致力于為數(shù)百萬(wàn)設(shè)計(jì)師、建筑師和工程師提供針對(duì) Omniverse 優(yōu)化配置的RTX工作站。這些新系統(tǒng)最多可搭載四顆 NVIDIA RTX 6000 Ada Generation GPU 并搭配 NVIDIA Omniverse Enterprise 軟件，可加速 OpenUSD 世界的構(gòu)建、生成式AI賦能的協(xié)同設(shè)計(jì)以及其他工業(yè)數(shù)字化應(yīng)用。

Omniverse 用戶(hù)還可以充分利用全新 NVIDIA L40S GPU的性能。這款功能強(qiáng)大的通用數(shù)據(jù)中心GPU可加速圖形密集型工作負(fù)載。

供應(yīng)情況

最新 Omniverse 版本現(xiàn)已發(fā)布可免費(fèi)下載的公測(cè)版，將于近期通過(guò) Omniverse Enterprise 提供。

進(jìn)一步了解 NVIDIA Omniverse 并觀(guān)看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛的 SIGGRAPH主題演講。