如果科技可以讓你擁有“來生”,會是什么樣的?如何實現(xiàn)?
2033年,全民AI時代來臨,六大科技公司聯(lián)合運營了一個虛擬現(xiàn)實酒店,可以讓將死之人把意識和記憶“上傳”其中,這樣就可以進入數(shù)字虛擬世界,甚至能通過VR技術與真實人類社會的人接觸……
這個“虛擬現(xiàn)實酒店”擁有人工設計的完美自然風光、豪華套房、可以自由設置的季節(jié)、專屬的“天使”客服等等,虛擬和現(xiàn)實在這里得到了極好的呼應和融合。
以上是亞馬遜出品的科幻劇《Upload/上載新生》的基本劇情,通過將人類的意識進行數(shù)字虛擬化,上傳云端,那些罹患癌癥、遭遇意外事故、即將死去的人便可以在虛擬世界里繼續(xù)活著。不過,這一切的前提是要給虛擬世界的運營商支付高額的費用……
2033年是否會產生這樣的應用場景值得商榷,這部劇集對現(xiàn)實世界的反諷也姑且不評論,但不得不承認,我們確實生活在一個虛擬和現(xiàn)實、數(shù)字化和物理世界急速融合的時代。利用科技手段進行鏈接與創(chuàng)造的“元宇宙”,已經在努力實現(xiàn)與現(xiàn)實世界映射與交互的虛擬世界,一個具備新型社會體系的數(shù)字生活空間正在進行跨越式的提升。
元宇宙需要什么樣的技術底座?
未來的元宇宙,將是映射現(xiàn)實世界的在線虛擬世界,是獨立于現(xiàn)實世界的虛擬空間,也將是越來越真實的數(shù)字虛擬世界。它將具備完整的價值取向和秩序,打破時間、空間的限制,在這個實時在線的數(shù)字世界里進行游戲、社交、創(chuàng)作等一系列的協(xié)作活動。
隨著虛實共生時代的到來,全球各行業(yè)各領域對數(shù)字內容創(chuàng)作的需求正在攀升。業(yè)界既需要一款兼顧現(xiàn)有使用習慣的技術平臺,同時也要兼顧未來技術應用的拓展需求。
NVIDIA英偉達在2019年推出了NVIDIA Omniverse,根據黃仁勛當時的介紹,這就是一款能夠成為現(xiàn)實世界連接數(shù)字虛擬世界的入口以及基礎設施,成為打造元宇宙的底層技術平臺。它所面向的應用涉及方方面面,無論是汽車還是工業(yè)機器人,還是科學計算、驗證、仿真、科研,或者是樓宇建筑、游戲創(chuàng)建、產品設計,以及娛樂、電影內容制作等等……如此龐大的體系構建,勢必需要能夠面向行業(yè)用戶、企業(yè)用戶甚至是個人愛好者提供便捷支持的能力。從當時的官方資料來看,NVIDIA Omniverse的突出表現(xiàn)在于三大能力:能夠實現(xiàn)實時協(xié)作、實時追蹤、實時渲染的真實感。
自NVIDIA Omniverse推出以來,NVIDIA英偉達不斷為它注入新動能。通過功能的不斷迭代,進一步強化平臺功能、提升平臺的擴展性,觸及更多細分行業(yè)的用戶需求。
在日前召開的SIGGRAPH 2022大會上,NVIDIA英偉達宣布了Omniverse的幾大重要進展:發(fā)布重要版本更新、發(fā)展通用場景描述(USD)的大型計劃、以及用于構建虛擬助手和數(shù)字人的云原生AI模型Omniverse Avatar Cloud Engine(ACE)。
可以說,這幾方面更新和進展環(huán)環(huán)相扣,既抓住了行業(yè)痛點,又結合了自身底層軟硬件技術優(yōu)勢和生態(tài)優(yōu)勢,最終呈現(xiàn)出來的這些突破,很大程度上也反映了數(shù)字內容創(chuàng)作者當前對工具平臺的主要需求方向。
“NVIDIA Omniverse越來越像個工具箱”
NVIDIA英偉達Omniverse和仿真模擬技術副總裁Rev Lebaredian表示:“元宇宙蘊含的商機價值數(shù)萬億美元,任何企業(yè)機構都不愿錯過它,但許多企業(yè)機構找不到加入它的明確途徑。Omniverse縮小了物理世界和虛擬世界之間的差距,這些新的工具、技術和合作項目讓我們在今天就可以邁入3D互聯(lián)網?!?/p>
Rev Lebaredian所指的3D互聯(lián)網應該是采用了3D顯示與交互的網絡社交技術,在此基礎上,人們加入數(shù)字孿生、數(shù)字化身、虛擬資產等內容,進一步拓展出元宇宙概念,使元宇宙成為一個包羅眾多數(shù)字技術的集成概念。
要實現(xiàn)如此宏大的愿景,就需要一個集大成的平臺工具。NVIDIA Omniverse就是這樣一個技術底座,可以把NVIDIA英偉達對它的定位理解為一個工具箱——如果想用傳統(tǒng)的專業(yè)圖形可視化技術,那么就去工具箱里拿對應的工具,要是想用AI就去找對應的AI工具……從而讓任何人都能獲得開箱即用的工具體驗,為他們降低應用門檻。
從用戶需求出發(fā),NVIDIA英偉達對于NVIDIA Omniverse的“工具箱”特性盡可能保留了開放性和兼容性,用Rev Lebaredian的話來說就是——工具箱中所包含的都是組件技術,它們的功能可以進行配置和組合。哪怕用戶想對其中一種技術進行替換,也可以用其已有的技術,和剩余的其他堆棧進行組合。
從NVIDIA Omniverse在SIGGRAPH 2022上發(fā)布的重大更新來看,主要還是圍繞“實時協(xié)作、實時追蹤、實時渲染的真實感”等功能特性進行了工具包拓展和組件升級,具體包括:
首先,用于構建本地NVIDIA Omniverse擴展和應用程序的工具包Omniverse Kit,主要包括兩方面進展:一是PhysX的更新,包括實時、多GPU、可擴展的柔體和顆粒布料仿真,能夠幫助提高虛擬世界和物體的物理準確性;二是全新OmniLive Workflows:對NVIDIA Omniverse中基于USD的協(xié)作進行全面改造,為多個應用程序的3D工作流程帶來更高的速度和性能并實現(xiàn)非破壞性的USD工作流程,使藝術家和開發(fā)者之間的協(xié)作比以往更容易。
其次,直接通過音頻文件創(chuàng)建面部動畫的AI工具Omniverse Audio2Face,其推理和生成逼真情緒的新功能為AI動畫帶來了巨大的飛躍,可用于制作所有面部特征動畫。
第三,還有用于構建3D電影和動畫電影的應用Omniverse Machinima,發(fā)布了數(shù)百個來自《戰(zhàn)爭附言(Post Scriptum)》等游戲的全新免費3D資產,以及Audio2Gesture(可以利用音頻文件生成逼真手臂和身體運動的AI)等一套全新AI動畫工具。
值得一提的是,Omniverse DeepSearch已面向Omniverse Enterprise客戶開放。DeepSearch使用自然語言幫助團隊利用AI直觀、準確地在龐大的、未標記的3D視覺資產數(shù)據庫中進行搜索。對于因擁有數(shù)十萬未標記資產而使搜索成為一大難題的游戲開發(fā)商或視覺特效工作室而言,DeepSearch將帶來巨大的改變。
另外,物理機器學習框架NVIDIA Modulus現(xiàn)已可用于為Omniverse擴展程序。經Modulus訓練的物理機器學習模型可提供近實時的性能,根據不同的應用,其速度可提高4000甚至100000倍,并且具有更接近高保真模擬的準確性。Modulus是NVIDIA Earth-2等科學數(shù)字孿生的基石之一。
除了上述全新應用和框架,NVIDIA英偉達還發(fā)布了多項核心仿真模擬技術的重大更新,這些技術在元宇宙世界中用于表示材質、物理和光線。其中,NVIDIA MDL支持物理級精確的3D材質表現(xiàn),現(xiàn)已完全開源,使開發(fā)者能夠為任何渲染器帶來材質定義語言支持;即將發(fā)布公測版的NeuralVDB是OpenVDB的下一個升級版本,它為稀疏體積數(shù)據集帶來了AI和GPU優(yōu)化,并將這些海量數(shù)據集的內存占用率降低了多達100倍。
持續(xù)打造通用“語言”生態(tài)
在使用NVIDIA Omniverse打造元宇宙時,最關鍵的是通用場景描述(USD)技術。NVIDIA英偉達最新宣布的一項發(fā)展USD的大型計劃值得關注,這意味著開源USD作為NVIDIA Omniverse協(xié)作和模擬平臺的基礎,將進一步擴大用戶生態(tài),持續(xù)成長為開放元宇宙和3D互聯(lián)網的主流平臺。
關于USD,可以將它理解為元宇宙的HTML,起源于皮克斯動畫工作室。USD作為一個開源框架,是皮克斯制作流程的基石,目前在視覺特效和動畫方面,以及工業(yè)、設計和科學應用方面都呈現(xiàn)出快速增長的勢頭,幾乎已是業(yè)界公認的未來流程協(xié)作的數(shù)據格式了。
Rev Lebaredian提到,皮克斯早在2012年就開始開發(fā)USD,并在2015年向整個社區(qū)開放。也大約是在2015、2016年左右,NVIDIA英偉達在決定未來方向時,意識到沒有比USD更合適的語言了。而事實證明這個選擇是對的,他強調,在今年的SIGGRAPH上,幾乎到處都會聽到USD,幾乎每個工具都在集成它,每個公司都有一個USD策略……現(xiàn)在它正在離3D互聯(lián)網夢想更近的地方了。
NVIDIA英偉達推行開源USD作為NVIDIA Omniverse協(xié)作和模擬平臺的基礎,能夠讓大型團隊在一個共享的3D場景中同時使用多種軟件應用工作,這對NVIDIA Omniverse在行業(yè)中的應用至關重要。這一開源標準基礎,能夠為軟件合作伙伴提供多種擴展和連接NVIDIA Omniverse的方式,無論是通過USD采用和支持,還是創(chuàng)建插件,或是通過Omniverse 連接器(Connector)。
目前,NVIDIA英偉達正在與皮克斯以及Adobe、Autodesk、西門子等多家行業(yè)內領先的企業(yè)合作,實施一項多年發(fā)展路線圖,將USD的功能擴展到視覺效果應用之外,使其能夠更好地支持建筑、工程、制造、科學計算、機器人、工業(yè)數(shù)字孿生等領域的工業(yè)元宇宙應用。
NVIDIA英偉達還與工業(yè)、設計、模擬和CAD軟件生態(tài)系統(tǒng)中的合作伙伴一同發(fā)布了11個新的Omniverse連接器,這些基于USD的插件進一步向工業(yè)界和科學界的公司開放Omniverse工作流程。目前,Omniverse USD生態(tài)系統(tǒng)中的連接器總數(shù)已達到112個。
隨著越來越多合作伙伴擴展基于通用場景描述USD的應用,它將有望形成元宇宙的一項行業(yè)標準,也將進一步發(fā)展成為開放元宇宙和3D互聯(lián)網的重要基礎。
降低創(chuàng)建和部署逼真虛擬助手和數(shù)字人的門檻
在元宇宙的藍圖中,數(shù)字人和虛擬助手的需求在飛速增長的,但創(chuàng)建和擴展它們卻變得越來越復雜。為此,NVIDIA英偉達推出了全新的用于構建和部署逼真虛擬助手和數(shù)字人的云原生AI模型和服務Omniverse Avatar Cloud Engine(ACE),它將幫助游戲、聊天機器人、數(shù)字孿生和虛擬世界的開發(fā)者提供用于構建和部署交互式虛擬形象的云原生AI模型,值得一提的是,它已經能夠助力虛擬助手和數(shù)字人通過圖靈測試。
對于NVIDIA ACE推出的重要意義,Rev Lebaredian表示:“幾十年來,我們所在的行業(yè)一直在教計算機如何輕松地交流和執(zhí)行對人類來說十分輕松的復雜任務。NVIDIA ACE讓這一切變得觸手可及。ACE結合了許多復雜的AI技術,使開發(fā)者創(chuàng)造出將能夠通過圖靈測試的數(shù)字助手?!?/p>
據介紹,ACE建立在NVIDIA英偉達的統(tǒng)一計算框架基礎之上。該框架為用戶提供豐富的軟件工具和API,使他們能夠使用各種用于創(chuàng)建高度逼真的全互動式虛擬形象的技能。這些工具包括用于開發(fā)語音AI應用的NVIDIA Riva、用于計算機視覺和智能視頻分析的NVIDIA Metropolis、用于高性能推薦系統(tǒng)的NVIDIA Merlin、用于自然語言理解的大型語言模型NVIDIA NeMo Megatron,以及用于AI賦能動畫的NVIDIA Omniverse。ACE所支持的助手和虛擬形象,有望改變游戲、娛樂、銀行、交通和酒店等領域的互動方式。
寫在最后
窮盡一切想象,元宇宙仍充滿了未知。
當前,業(yè)界一些研究機構認為2030年之后,元宇宙將進入第三發(fā)展階段,逐漸實現(xiàn)各個子宇宙的聚合,并形成真正意義上的元宇宙。元宇宙的形態(tài)將會隨著科技水平的提升而隨之擴張,同時各個行業(yè)將涌入元宇宙體系,打通虛擬和現(xiàn)實的邊界,元宇宙由此進入千行百業(yè)的數(shù)字化的虛實共生的時代。
元宇宙的崛起也勢必離不開龐大技術生態(tài)的支持。NVIDIA Omniverse從發(fā)布之日起,一直在不斷迭代、整合更多的第三方工具、兼容更多的素材庫、運行更多的數(shù)據、擴展更大的應用生態(tài)……可預見的未來,它會變得越來越強健,能夠提供效果逼真的數(shù)字環(huán)境,在NVIDIA Omniverse場景中能夠生成合成數(shù)據,也可以基于NVIDIA Omniverse模擬創(chuàng)建AI模型,最終探索更多的應對方法。而不論是平臺工具的重大更新,還是生態(tài)的持續(xù)打造,NVIDIA英偉達正致力于打造元宇宙開發(fā)和落地的閉環(huán),夯實在元宇宙的布局和地位。