全新 NVIDIA 神經(jīng)圖形 SDK 使每個人都能創(chuàng)建元宇宙內容

新發(fā)布的 ?NeuralVDB和 ?Kaolin Wisp 等十幾款工具和程序使數(shù)百萬設計師和創(chuàng)作者能夠輕松、快速地創(chuàng)建 3D 內容。

一直以來，創(chuàng)建游戲、虛擬世界（包括元宇宙）、產(chǎn)品設計或視覺效果場景中的 3D 物體都是一項高度精細的工作，即便是技藝精湛的藝術家也必須在細節(jié)逼真度與期限和預算壓力之間取得平衡。

要制作出在物理世界中看起來無異的物品需要耗費很長的時間，更復雜的是有時需要讓多個物體和角色在虛擬世界中互動。模擬物理已變得和模擬光線一樣重要，例如虛擬工廠中的機器人不僅要有與真實機器人完全相同的外觀，還要有完全相同的承重和制動能力。

完全做到這一點很難，但這也蘊含著巨大的機遇。除了產(chǎn)品設計外，它還影響到交通運輸、醫(yī)療、電信、娛樂等多個萬億美元的行業(yè)。最終，在虛擬世界中創(chuàng)建的內容數(shù)量將超過在物理世界中創(chuàng)建的內容。

為了簡化和縮短這一流程，NVIDIA 于今日發(fā)布新的研究和多款工具，這些工具將神經(jīng)圖形的應用于創(chuàng)建、動畫 3D 物體和世界。

這些 SDK 包括為行業(yè)標準 OpenVDB 帶來突破性更新的 NeuralVDB，以及建立神經(jīng)場研究框架的 Pytorch 庫——Kaolin Wisp 。它們不但簡化了設計師的創(chuàng)作流程，還使數(shù)百萬非專業(yè)設計人士也能輕松創(chuàng)建 3D 內容。

神經(jīng)圖形是將 AI 和圖形學相結合的新領域，可以用來創(chuàng)建能夠從數(shù)據(jù)中學習的加速圖形流程。AI 的加入改進了結果、幫助實現(xiàn)設計選擇的自動化并為藝術家和創(chuàng)作者提供目前無法想象的新機會。神經(jīng)圖形學將重新定義用戶的虛擬世界創(chuàng)建、模擬和體驗方式。

這些 SDK 和研究將推動內容創(chuàng)作流程的每個階段，包括：

3D 內容創(chuàng)建

• Kaolin Wisp：對Kaolin（一個能夠將新技術測試和實施時間從幾周縮短到幾天，讓 3D深度學習研究變得更快的 PyTorch 庫）的補充。Kaolin Wisp 是一個面向神經(jīng)領域研究的庫，它建立了一套加速神經(jīng)領域新研究的通用工具和框架。

• 即時神經(jīng)圖形基元：一種捕捉現(xiàn)實世界物體形狀的新方法，也是 NVIDIA Instant NeRF（一種可將靜止圖像集變成數(shù)字 3D 場景的可逆渲染模型）背后的靈感來源。這項技術和相關的GitHub代碼將該流程的速度加快了高達 1000 倍。

• 3D MoMa：一種新的可逆渲染流程，使用戶可以將 2D 物體快速導入圖形引擎，并創(chuàng)建出可以用現(xiàn)實材料、照明和物理學進行修改的 3D 物體。

• GauGAN360：NVIDIA GauGAN 的進化版本。這個 AI 模型可以將粗糙的涂鴉變成逼真的繪畫作品。GauGAN360 可生成能夠移植到 Omniverse 場景的 8K 360 度全景圖。

• Omniverse Avatar Cloud Engine（ACE）：這個全新的云API、微服務和工具集可創(chuàng)建、自定義和部署數(shù)字人應用。ACE建立在NVIDIA的統(tǒng)一計算框架基礎之上，開發(fā)者可通過它將NVIDIA的核心AI技術無縫集成到其虛擬形象應用中。

物理學和動畫

• NeuralVDB：一項對當前行業(yè)的體數(shù)據(jù)存儲標準 OpenVDB 的突破性改進。NeuralVDB運用機器學習引入緊湊型神經(jīng)表示法，大幅減少了內存占用，以支持更高分辨率的 3D 數(shù)據(jù)。

• Omniverse Audio2Face：一種可將音頻源生成生動面部動畫的 AI 技術。它非常適合用于交互式實時應用和作為傳統(tǒng)的面部動畫創(chuàng)作工具。

• ASE：動畫技能嵌入：一種使物理模擬角色在不熟悉的場景中以更靈敏、逼真的方式行動的方法。它使用深度學習指導角色如何應對新的任務和行動。

• TAO 工具包：一個使用戶能夠創(chuàng)建準確、高性能姿勢預估模型的框架。它能夠以比當前方法更快的速度運用計算機視覺評估個人可以在場景中做什么。

體驗

• 影像特征眼動追蹤：一個將像素渲染質量與用戶反應時間相聯(lián)系的研究模型。它通過預測渲染質量、顯示屬性和瀏覽條件的最佳組合，實現(xiàn)最小的延遲，使快節(jié)奏的交互式計算機圖形學應用（如競技游戲）有更好的表現(xiàn)。

• VR全息眼鏡：與斯坦福大學一同開發(fā)的全新 VR 眼鏡設計，可在開創(chuàng)性的 2.5 毫米厚光學堆棧中提供全色 3D 全息圖像。

與 NVIDIA 一起在 SIGGRAPH 上進一步了解圖形學、AI 和虛擬世界的最新研究與技術突破。查看 NVIDIA Research 的最新創(chuàng)新成果并獲得 NVIDIA 全套 SDK、工具和庫。