人工智能系列項(xiàng)目展示了創(chuàng)作者使用Unity制作的一系列人工智能項(xiàng)目,，項(xiàng)目涉及人工智能產(chǎn)品。本案例中展示了最近使用Unity為OpenCV空間人工智能競(jìng)賽制作的一個(gè)項(xiàng)目的一些實(shí)用資料,，該項(xiàng)目以一系列令人印象深刻的例子展示了Unity中的機(jī)器人技術(shù),、計(jì)算機(jī)視覺(jué),、強(qiáng)化學(xué)習(xí)和增強(qiáng)現(xiàn)實(shí)等功能。

Unity是世界一流的實(shí)時(shí)3D引擎,。雖然Unity的游戲引擎和工具傳統(tǒng)上只支持游戲開發(fā)者,，但AI@Unity團(tuán)隊(duì)正在圍繞機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺(jué)和機(jī)器人模擬等領(lǐng)域構(gòu)建全新的工具,，以支持游戲以外的應(yīng)用，尤其是那些使用人工智能和實(shí)時(shí)3D環(huán)境的應(yīng)用,。

在OpenCV空間人工智能競(jìng)賽中Gerard Espona和KaudaTeam提供了多個(gè)案例作品,，他們大量使用了Unity的人工智能工具和軟件包。團(tuán)隊(duì)通過(guò)使用Unity的感知包訓(xùn)練計(jì)算機(jī)視覺(jué)模型并通過(guò)移動(dòng)代理工具包來(lái)訓(xùn)練他們的機(jī)器學(xué)習(xí)模型,，此外他們還做出一個(gè)機(jī)器人手臂的模擬演示案例,。

OpenCV計(jì)劃

Kauda?Team名字的由來(lái)

Kauda Team由Giovanni Lerda和Gerard Espona兩名成員組成，名字來(lái)自Giovanni創(chuàng)建的免費(fèi)開源桌面大小的3D打印5軸機(jī)械臂——Kauda,。這是一個(gè)非常棒的桌面機(jī)器臂,，任何人都可以使用，且允許他們?cè)陧?xiàng)目上遠(yuǎn)程合作,。

Kauda機(jī)械臂

如何在Unity獲得Kauda機(jī)械臂的數(shù)字孿生

Giovanni Lerda和Gerard Espon開發(fā)了Kauda工作室,，這是一個(gè)Unity的應(yīng)用程序，目的是為了生成Kauda的數(shù)字孿生,。它通過(guò)反向運(yùn)動(dòng)學(xué)（IK）控制,、USB/藍(lán)牙連接到真實(shí)的Kauda，提供了功能齊全且精確的Kauda機(jī)械臂模擬,，并可以支持多個(gè)OpenCV OAK-D相機(jī),。

OAK-D相機(jī)是什么，它是如何與Unity一起使用的,？

OAK-D相機(jī)結(jié)合了兩個(gè)立體深度相機(jī)和一個(gè)帶有板載處理功能的4K彩色相機(jī)（由英特爾MyriadX VPU提供）,，可自動(dòng)處理各種情況。作為競(jìng)賽作品,，Kauda Team為OAK設(shè)備構(gòu)建了一個(gè)Unity插件,，但他們也想在Unity中創(chuàng)造出一個(gè)數(shù)字孿生設(shè)備。OAK-D Unity數(shù)字孿生相機(jī)為他們提供了幫助,，這是一部具有精確模擬功能的3D虛擬相機(jī),，可用于合成數(shù)據(jù)收集。OAK-D Unity數(shù)字孿生相機(jī)幫助他們將虛擬圖像輸入到真實(shí)設(shè)備的管道中,。讓他們通過(guò)使用Unity感知包來(lái)收集合成素材,，并用于為虛擬OAK-D相機(jī)訓(xùn)練定制項(xiàng)目。

OAK-D相機(jī)中的Unity模型

在Unity中擁有一個(gè)數(shù)字孿生模型的優(yōu)勢(shì)

擁有一個(gè)數(shù)字孿生讓Gerard Espon能夠在Kauda上啟用額外的功能,。他們還能夠使用Unity的增強(qiáng)現(xiàn)實(shí)（AR）功能與現(xiàn)實(shí)世界中的虛擬機(jī)器人進(jìn)行交互,。其中的一個(gè)應(yīng)用是學(xué)習(xí)如何在不需要機(jī)器人的情況下對(duì)機(jī)器人進(jìn)行維護(hù),。這也允許他們用無(wú)代碼方法編程順序任務(wù)，使機(jī)器臂精確的完成任務(wù),。

數(shù)字孿生還能使他們對(duì)機(jī)械臂進(jìn)行強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練,。RL是一個(gè)耗時(shí)的過(guò)程，除了極其簡(jiǎn)單的案例之外,，任何事情都需要模擬,。為此Kauda?Team在Unity中使用了ML-agent工具包來(lái)執(zhí)行RL訓(xùn)練以對(duì)機(jī)械臂進(jìn)行訓(xùn)練與控制。

Kauda?Team還在Unity中測(cè)試了人機(jī)協(xié)作和安全程序,，他們?cè)?a class="insidelink" href="http://m.shcjtec.com/Item/69424.aspx" target="_blank" title="Unity">Unity中創(chuàng)建了數(shù)字孿生機(jī)械臂,，并使用攝像頭測(cè)量人類在機(jī)械臂區(qū)域內(nèi)的位置?？梢韵胂筮@樣做是為了那些更大型的機(jī)器人,，當(dāng)程序錯(cuò)誤發(fā)生時(shí)，它會(huì)對(duì)人類造成傷害,。模擬環(huán)境讓他們可以在不危及人類安全的情況下測(cè)試這些場(chǎng)景,。

ML-agent工具包的用法

“強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練是一個(gè)強(qiáng)大的機(jī)器人框架，而Unity ML-agent也是一個(gè)很棒的工具包,，它使我們的數(shù)字孿生機(jī)械臂能夠?qū)W習(xí)和執(zhí)行復(fù)雜的任務(wù),。由于競(jìng)賽的時(shí)間有限，目標(biāo)是實(shí)現(xiàn)一個(gè)簡(jiǎn)單的RL“接觸”任務(wù),，并將生成的模型轉(zhuǎn)換為在OAK-D設(shè)備上運(yùn)行推理,。通過(guò)使用ML-agent工具包，機(jī)器人使用IK控制學(xué)習(xí)的最佳路徑,，以動(dòng)態(tài)接觸檢測(cè)接觸到的3D對(duì)象,。”Gerard Espon說(shuō)道,。

為了實(shí)現(xiàn)這一點(diǎn),，Kauda?Team首先使用了spatial tiny YOLO，這幫助他們實(shí)現(xiàn)了三維物體檢測(cè),。RL模型（PPO）使用結(jié)果檢測(cè)和IK控制點(diǎn)的位置作為輸入觀察,。關(guān)于輸出動(dòng)作，IK控制點(diǎn)的能夠?qū)崿F(xiàn)3軸移動(dòng),。獎(jiǎng)勵(lì)系統(tǒng)基于每一步的小懲罰和機(jī)器人接觸物體時(shí)的大獎(jiǎng)勵(lì)（1.0）而制定,。為了加快訓(xùn)練速度，Kauda?Team利用多代理同時(shí)學(xué)習(xí)來(lái)開發(fā)虛擬spatial tiny YOLO,，其輸出動(dòng)作與真實(shí)spatial tiny YOLO相同,。

當(dāng)模型訓(xùn)練完成后，他們使用OpenVino工具包將其轉(zhuǎn)換為OpenVino IR和Myriad Blob格式，將模型加載到OAK-D設(shè)備上并運(yùn)行推理,。最后管道中是一個(gè)spatial tiny YOLO加RL模型,。這里他們使用了Unity插件，因?yàn)?a class="insidelink" href="http://m.shcjtec.com/Item/69424.aspx" target="_blank" title="Unity">Unity插件能夠幫助他們?cè)?a class="insidelink" href="http://m.shcjtec.com/Item/69424.aspx" target="_blank" title="Unity">Unity中同時(shí)使用ML-Agents和OAK-D代理來(lái)比較推理,。

合成數(shù)據(jù)

管道的第一階段是3D對(duì)象檢測(cè)器,，這是一個(gè)基于人工智能的計(jì)算機(jī)視覺(jué)和機(jī)器人任務(wù)的一個(gè)非常常見(jiàn)的起點(diǎn)。在案例中,，Kauda?Team使用了一個(gè)預(yù)先訓(xùn)練好的小型YOLO v3模型Unity感知包,，這讓他們能夠?yàn)闄C(jī)器人的訓(xùn)練定制類別。這讓Kauda?Team能夠在幾分鐘內(nèi)生成一個(gè)帶有自動(dòng)地面真實(shí)邊界框標(biāo)記的大型3D模型合成數(shù)據(jù)集,。通常,，收集和標(biāo)記過(guò)程是非常耗時(shí)的。擁有生成豐富數(shù)據(jù)集的能力是一大進(jìn)步,，該數(shù)據(jù)集具有大量隨機(jī)化選項(xiàng)，擁有不同的角度,、打光情況,、紋理變化等。

開發(fā)中的困難

“同步虛擬項(xiàng)目和現(xiàn)實(shí)世界項(xiàng)目所需的時(shí)間有時(shí)會(huì)有些偏離,。我們認(rèn)為這可以通過(guò)在未來(lái)使用ROS來(lái)解決,，讓我們很高興的是Unity現(xiàn)在正式支持ROS了！”Gerard Espon說(shuō)道,。