數(shù)字孿生新用法，做AI的加速器——訪(fǎng)跨維（深圳）智能數(shù)字科技有限公司創(chuàng)始人賈奎

自成立以來(lái)，跨維智能致力于將先進(jìn)的三維幾何深度學(xué)習(xí)技術(shù)賦能機(jī)械臂柔性操作等垂直領(lǐng)域，為客戶(hù)提供AI視覺(jué)算法、3D智能相機(jī)及高性?xún)r(jià)比的軟硬件一體化三維視覺(jué)解決方案，讓機(jī)器人以靈活主動(dòng)的方式完成復(fù)雜環(huán)境下基于三維視覺(jué)的定位、識(shí)別、引導(dǎo)等任務(wù)。

近日，記者有幸邀請(qǐng)到跨維（深圳）智能數(shù)字科技有限公司創(chuàng)始人賈奎（博士）做客《機(jī)器視覺(jué)》雜志，深入了解到跨維智能3D視覺(jué)解決方案區(qū)別與傳統(tǒng)AI+3D視覺(jué)解決方案的優(yōu)勢(shì)所在。

M：MACHINE VISION

J：賈奎

M： 賈博士您好，AI技術(shù)可賦能的領(lǐng)域眾多，為什么您會(huì)帶領(lǐng)跨維選擇了“以AI技術(shù)助力3D視覺(jué)賦能機(jī)械臂完成柔性操作感知”這一細(xì)分領(lǐng)域？

J：AI領(lǐng)域涵蓋面非常廣闊，從計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別等都屬于AI領(lǐng)域，我從2000年開(kāi)始就深耕于計(jì)算機(jī)視覺(jué)這個(gè)細(xì)分領(lǐng)域，在多年的研究中，也積累了相當(dāng)?shù)难芯砍晒?。?D視覺(jué)因?yàn)橛兄７氯搜?、在物理空間形成立體視覺(jué)的優(yōu)勢(shì)，成為了計(jì)算機(jī)視覺(jué)中最底層的訴求。從2015年開(kāi)始，我主要專(zhuān)注于3D視覺(jué)領(lǐng)域，將AI技術(shù)結(jié)合到3D視覺(jué)中的應(yīng)用當(dāng)中。這項(xiàng)研究放眼當(dāng)時(shí)的整個(gè)國(guó)際學(xué)術(shù)圈，都是較為領(lǐng)先的存在。

在AI技術(shù)助力3D視覺(jué)的眾多分支應(yīng)用中，經(jīng)過(guò)綜合考量，賦能機(jī)械臂完成相關(guān)柔性操作感知是可落地性與商業(yè)變現(xiàn)周期較短的。而且工業(yè)智能制造的大多場(chǎng)景都是半開(kāi)放的環(huán)境，通過(guò)AI技術(shù)助力3D視覺(jué)，可以從根本上改變以往機(jī)械臂柔性操作在傳統(tǒng)方案中的固有缺陷。從長(zhǎng)遠(yuǎn)出發(fā)，這樣的產(chǎn)品形式能夠改變當(dāng)前自動(dòng)化產(chǎn)線(xiàn)的設(shè)計(jì)思路，以搭積木方式實(shí)現(xiàn)整個(gè)產(chǎn)業(yè)線(xiàn)的自動(dòng)化，也能夠把自動(dòng)化推向智能制造的新階段。

M： 在跨維智能成立的有限時(shí)間里，卻迸發(fā)出了無(wú)限的潛力，可以分享一下貴司核心技術(shù)嗎？

J：從底層出發(fā)，跨維智能核心技術(shù)是Sim2Real AI云中臺(tái)DexVerse。行業(yè)中絕大部分的AI技術(shù)，還是傳統(tǒng)意義上的圖像的識(shí)別、理解、語(yǔ)義分割等圖像層面上的。而3D技術(shù)本身解決的是三維物理空間中的問(wèn)題，對(duì)物體的空間位置進(jìn)行感知定位，并完成相關(guān)操作。而跨維的云中臺(tái)DexVerse是一款新型的AI平臺(tái)，它可以通過(guò)打通物理仿真、數(shù)據(jù)合成、AI 設(shè)計(jì)與訓(xùn)練、模型軟硬件部署的閉環(huán)，建立 Sim2Real 虛擬空間與現(xiàn)實(shí)空間的映射關(guān)聯(lián)，實(shí)現(xiàn)對(duì)機(jī)械臂柔性操作、機(jī)器人感知與控制等任務(wù)的AI賦能。

例如，機(jī)械臂如何將桌面上的水杯拿起這樣的操作，在人類(lèi)的感知中似乎是非常輕而易舉的，但在機(jī)器的眼中，這是一個(gè)相當(dāng)復(fù)雜的過(guò)程。首先需要解讀的是杯子放在桌面上，距離機(jī)械臂的距離是多少？高度是多少？其次世界上杯子千變?nèi)f化，杯子形態(tài)變換后，機(jī)器是否還能認(rèn)出這是一個(gè)杯子？機(jī)器如何去應(yīng)對(duì)形態(tài)、顏色、大小均各異的“杯子”？

機(jī)械臂在跨維云中臺(tái)DexVerse的助力下，通過(guò)物理仿真與數(shù)據(jù)合成，可以訓(xùn)練出機(jī)械臂拿起水杯所需要的各種數(shù)據(jù)，去支持機(jī)械臂實(shí)現(xiàn)對(duì)目標(biāo)物體后續(xù)的抓取、定位、上下料、拆垛等操作。通過(guò)仿真空間中模擬物體之間的相互作用、運(yùn)動(dòng)和變形，以預(yù)測(cè)真實(shí)世界中的物理行為，并合成虛擬數(shù)據(jù)用于深度學(xué)習(xí)模型訓(xùn)練。

M：為何Sim2Real AI是實(shí)現(xiàn)3D視覺(jué)大模型和通往垂直場(chǎng)景AGI高效且低成本的重要技術(shù)？

J：跨維智能Sim2Real AI云中臺(tái)DexVerse所使用的AI技術(shù)，相比起基礎(chǔ)的圖像理解，是跨維度的難度躍升。首先三維數(shù)據(jù)的獲取本身相比二維數(shù)據(jù)就難得多，工業(yè)場(chǎng)景中的三維數(shù)據(jù)由于開(kāi)放多變的場(chǎng)景及隱私保護(hù)導(dǎo)致海量真實(shí)數(shù)據(jù)采集難上加難，而且針對(duì)各種corner cases的真實(shí)數(shù)據(jù)難以有效獲取。其次是現(xiàn)階段的AI技術(shù)從數(shù)據(jù)獲取到AI模型訓(xùn)練，再到垂直的應(yīng)用場(chǎng)景，這之間由于技術(shù)與應(yīng)用的分離，導(dǎo)致模型的應(yīng)用效果不太理想。在工業(yè)領(lǐng)域眾多場(chǎng)景里，就會(huì)形成數(shù)據(jù)孤島，從數(shù)據(jù)與知識(shí)上難以互通利用。最后是現(xiàn)有AI技術(shù)的標(biāo)注難題，如何實(shí)現(xiàn)高精度3D等高維標(biāo)注仍然屬于痛點(diǎn)難題。

基于現(xiàn)有AI所面臨的難題成就了跨維智能的核心產(chǎn)品Sim2Real AI云中臺(tái)DexVerse，通過(guò)物理仿真合成數(shù)據(jù)，可以實(shí)現(xiàn)加速AI在垂直場(chǎng)景中的落地應(yīng)用。

DexVerse對(duì)于跨維自身產(chǎn)品的形成也是決定性的，可以以更快速、更低成本、更產(chǎn)品化的方式解決3D視覺(jué)助力機(jī)械臂的非標(biāo)定制問(wèn)題。

M：可以簡(jiǎn)單介紹一下跨維智能的系列產(chǎn)品嗎？

J：基于自研的Sim2Real AI云中臺(tái)DexVerse，跨維智能構(gòu)建了完善的智能制造軟硬件產(chǎn)品生態(tài)，也就是跨維智能的“1+3”產(chǎn)品體系?！?”是自研的Sim2Real AI云中臺(tái)DexVerse，“3”即DexVision3D工業(yè)視覺(jué)軟件、DexSense3D工業(yè)智能相機(jī)、DexOne智能視覺(jué)一體化設(shè)備。

基于DexVerse所構(gòu)建的DexVision3D工業(yè)視覺(jué)軟件：PickWiz 3D視覺(jué)引導(dǎo)軟件，可以在仿真空間模擬多樣化場(chǎng)景，并生成大量的合成數(shù)據(jù)。這樣的工業(yè)視覺(jué)軟件可應(yīng)用的場(chǎng)景更多樣化，不僅減少了模型重復(fù)搭建的成本，而且最終識(shí)別效果優(yōu)于真實(shí)數(shù)據(jù)，并且模擬的多樣化場(chǎng)景也使視覺(jué)系統(tǒng)的穩(wěn)定性和效率大幅提升。

DexSense 3D工業(yè)智能相機(jī)：XEMA北極鷗系列開(kāi)源相機(jī)，它可以支持一鍵連接跨維 PickWiz 3D視覺(jué)引導(dǎo)軟件的，搭載上DexVerse云平臺(tái)，可實(shí)時(shí)收集真實(shí)數(shù)據(jù)，不斷在云端優(yōu)化視覺(jué)算法。如果DexVerse云平臺(tái)是大腦，那么DexSense 3D工業(yè)智能相機(jī)就是眼睛，好的成像能力可以減輕大腦的負(fù)載壓力，這也是跨維智能自研相機(jī)的初衷。

最后，DexOne 智能視覺(jué)一體化設(shè)備，是跨維智能布局引領(lǐng)智能智造領(lǐng)域范式改變的重要一步。該設(shè)備也是基于自研的 DexVerse 平臺(tái)，通過(guò)深度域適應(yīng)優(yōu)化算法實(shí)現(xiàn)整個(gè)流程的自動(dòng)化，針對(duì)工業(yè)場(chǎng)景中的痛點(diǎn)進(jìn)行模型設(shè)計(jì)，滿(mǎn)足工業(yè)現(xiàn)場(chǎng)落地需求。以3D視覺(jué)引導(dǎo)機(jī)械臂對(duì)物料進(jìn)行上下料抓取，搬運(yùn)，替代傳統(tǒng)人工作業(yè)抓取搬運(yùn)，有效提高產(chǎn)線(xiàn)的生產(chǎn)效率和生產(chǎn)質(zhì)量，產(chǎn)能提高20%以上；同時(shí)，該項(xiàng)目機(jī)器人為模塊化架構(gòu)，針對(duì)未來(lái)不同的產(chǎn)品工藝，具有更高兼容性，可觸及更多更廣的生產(chǎn)范圍，以滿(mǎn)足客戶(hù)日益增長(zhǎng)的柔性化需求。

M: 作為公司自研的Sim2Real AI云中臺(tái)DexVerse，您可以談?wù)勎磥?lái)公司基于DexVerse的產(chǎn)品研發(fā)規(guī)劃嗎？

J：基于我們自研的Sim2Real AI云中臺(tái)DexVerse所能夠支撐的，其實(shí)不單是機(jī)械臂、智能制造相關(guān)的應(yīng)用，更是服務(wù)泛機(jī)器人底層AI能力形成的加速器。無(wú)論是幫助具身智能去感知3D定位，還是去幫助無(wú)人車(chē)做導(dǎo)航和物體識(shí)別，它都是一款非常不錯(cuò)的AI能力平臺(tái)，3D合成數(shù)據(jù)還有機(jī)會(huì)賦能3D AIGC、AI生物制藥、AI新材料等更廣泛的領(lǐng)域。

M：自公司成立以來(lái)，貴司一直致力于推動(dòng)3D視覺(jué)引導(dǎo)機(jī)械臂柔性操作領(lǐng)域的普及化應(yīng)用，請(qǐng)問(wèn)在這個(gè)方向上取得了哪些成果？

J：“3D視覺(jué)+智能相機(jī)+機(jī)械臂”是未來(lái)自動(dòng)化新型應(yīng)用重要的載體。目前，在國(guó)內(nèi)自動(dòng)化產(chǎn)線(xiàn)智能制造的升級(jí)過(guò)程中，這樣的新型應(yīng)用載體隨處可見(jiàn)?；谑袌?chǎng)需求，我們?cè)诋a(chǎn)品研發(fā)和應(yīng)用探索上也一直走在行業(yè)的前沿，迄今為止，我們已經(jīng)取得了很大的進(jìn)展，比如在3D視覺(jué)解決方案產(chǎn)品迭代方面，我們推出了四大解決方案，包含：3D視覺(jué)引導(dǎo)淺框無(wú)序抓取、3D視覺(jué)引導(dǎo)單目標(biāo)精定位、3D視覺(jué)引導(dǎo)工件上下料、3D視覺(jué)引導(dǎo)拆垛解決方案等； 在應(yīng)用場(chǎng)景探索落地方面，我們也跟諸如汽車(chē)零部件、工程機(jī)械、家電、光伏新能源和物流等行業(yè)內(nèi)的眾多頭部集成商客戶(hù)成功落地了多種應(yīng)用場(chǎng)景，實(shí)現(xiàn)了行業(yè)應(yīng)用從0到1的突破。

M：在未來(lái)幾年內(nèi)，您對(duì)那些應(yīng)用行業(yè)比較看好？

J：機(jī)器視覺(jué)對(duì)于提高工業(yè)機(jī)器人的靈活性和可操作性具有重要意義，在大批量工業(yè)生產(chǎn)過(guò)程中，3D視覺(jué)助力機(jī)器人實(shí)現(xiàn)更多高精度動(dòng)作，拓寬其應(yīng)用場(chǎng)景，也大大提高了生產(chǎn)效率和柔性化程度。目前來(lái)說(shuō)，物流、金屬加工和汽車(chē)零部件等行業(yè)，已經(jīng)成為開(kāi)始規(guī)?；瘧?yīng)用3D機(jī)器視覺(jué)的幾個(gè)主要應(yīng)用市場(chǎng)，另外，家電、醫(yī)療、光伏新能源等多個(gè)更大體量的市場(chǎng)也在啟動(dòng)機(jī)器視覺(jué)對(duì)于自動(dòng)化產(chǎn)線(xiàn)的升級(jí)改造。未來(lái)，更大的市場(chǎng)機(jī)會(huì)也將來(lái)自于上述工業(yè)市場(chǎng)的商業(yè)類(lèi)應(yīng)用。