Owlchemy使用Unity為Vision Pro創(chuàng)建基于空間計(jì)算的移植版應(yīng)用《工作模擬器》
隨著蘋果全新設(shè)備Vision Pro的發(fā)布,，我們正在進(jìn)入空間計(jì)算的新時(shí)代,，強(qiáng)大的擴(kuò)展現(xiàn)實(shí)（XR）工具和靈活的工作流程使開發(fā)人員能夠在編輯器中添加交互、縮放圖形、原型和測(cè)試等全新視角,。2024年Unity游戲報(bào)告預(yù)測(cè)到,，未來XR游戲的需求會(huì)更大,，許多游戲工作室對(duì)于該預(yù)測(cè)表示認(rèn)同,。?
Unity的高級(jí)開發(fā)者安東尼婭·福斯特和Owlchemy實(shí)驗(yàn)室的CEOwl安德魯·艾希在本文中討論了對(duì)于空間計(jì)算未來的看法以及為Apple Vision Pro開發(fā)應(yīng)用的實(shí)用技巧。
讓我們從展望未來開始,。你認(rèn)為虛擬現(xiàn)實(shí)和空間計(jì)算的未來是什么,？
安德魯·艾希：我們正在經(jīng)歷XR技術(shù)快速發(fā)展的最重要階段——使用XR設(shè)備作為針對(duì)特定領(lǐng)域任務(wù)的通用空間計(jì)算設(shè)備，其中Apple Vision Pro操作系統(tǒng)的出現(xiàn)和Meta操作系統(tǒng)的升級(jí)應(yīng)證了空間計(jì)算時(shí)代的到來,。我們正試圖解決如何在虛擬現(xiàn)實(shí)中處理一般工作負(fù)載與極特殊的工作負(fù)載的范例,。
當(dāng)我們實(shí)際上在XR環(huán)境中工作時(shí)，看起來會(huì)像什么樣,？Unity試圖將現(xiàn)有的任務(wù)轉(zhuǎn)移到空間環(huán)境中的相同范例中,。他們希望開發(fā)者能盡快入駐，這有助于他們快速了解這種全新工作環(huán)境的廣度和深度,。
這對(duì)Unity來說非常重要,，這樣他們就可以發(fā)現(xiàn)這項(xiàng)技術(shù)的實(shí)用性和直觀性。在這個(gè)行業(yè)中,，最有潛力的平臺(tái)通常位于高實(shí)用性和高直觀性象限,。通過虛擬現(xiàn)實(shí)技術(shù)，我們希望確保它朝著高度實(shí)用和高度直觀的方向發(fā)展,，這是手機(jī),、個(gè)人電腦和智能電視所處的象限。
展望未來,，空間計(jì)算將有助于使虛擬現(xiàn)實(shí)技術(shù)更加實(shí)用化,。如何做到這一點(diǎn)？我們改變了主要輸入向量,，以與玩家目前最為關(guān)注的移動(dòng)平臺(tái)保持一致,。我們需要專注于消除實(shí)現(xiàn)手部跟蹤的摩擦，使頭顯更輕,，并獲得更好的光學(xué)效果,。
工作模擬器，由Owlchemy實(shí)驗(yàn)室開發(fā)
關(guān)于XR技術(shù)的發(fā)展,。你認(rèn)為未來幾年還有哪些技術(shù)趨勢(shì)可能會(huì)影響XR,？
Gaussian splatting技術(shù)令人非常難忘，我認(rèn)為它將是影響更好的動(dòng)作捕捉和動(dòng)畫制作的關(guān)鍵技術(shù),。我們用三維捕捉解決了假設(shè)如果只使用覆蓋空間和相機(jī)或使用光場(chǎng)的錯(cuò)誤問題,，但現(xiàn)在高斯透明會(huì)使得效果更好，這有助于我們重新考慮將如何優(yōu)化它,。
同時(shí)我也認(rèn)為人工智能（AI）未來將對(duì)XR技術(shù)產(chǎn)生更大的影響,。我們正在期待著一個(gè)真正有趣的用例——不必渲染整個(gè)幀，只需渲染其中的一部分,。如果我們渲染30%,，然后將它交給張量處理單元（TPU），它會(huì)根據(jù)之前和之后的所有數(shù)據(jù)填充它,，這樣我們頭顯里的圖形芯片就更加趨向于電腦了,。這就是NVIDIA RTX顯示卡計(jì)算光線反射的實(shí)際工作方式，實(shí)際上我們已經(jīng)在這條路上走了一段路,。
同時(shí)人工智能技術(shù)的發(fā)展也填補(bǔ)了分重繪畫的空白,，生成式人工智能將取代最佳擬合算法作為補(bǔ)間算法。最佳擬合算法通常會(huì)分幾個(gè)部分進(jìn)行構(gòu)建,，如果在最佳擬合算法的幾個(gè)部分之間使用生成式人工智能技術(shù)進(jìn)行內(nèi)容生成,，并且可以由藝術(shù)家控制，這將變得更加有趣,。這對(duì)于那些想要專注于制作有趣內(nèi)容但不想花時(shí)間制作補(bǔ)間動(dòng)畫的動(dòng)畫師來說非常友好,。
基于XR空間計(jì)算技術(shù)的發(fā)展趨勢(shì),，您對(duì)進(jìn)入空間計(jì)算時(shí)代的開發(fā)人員有什么建議？
從交互設(shè)計(jì)方向來看,，空間計(jì)算技術(shù)首先需要打破傳統(tǒng)VR中與周邊或虛擬事物互動(dòng)的方式,，“不要試圖把一個(gè)方釘塞進(jìn)一個(gè)圓孔”。對(duì)于開發(fā)人員來說,，跳入其中并深入其中很有誘惑力,，但作為一名新開發(fā)人員，我建議慢慢接近空間計(jì)算,。并慢慢來堆砌正確的積木,。
例如，將《工作模擬器》從VR環(huán)境移植到XR環(huán)境中,，我們從使用操作系統(tǒng)級(jí)交互的合適時(shí)機(jī)開始,。當(dāng)我們?yōu)锳pple Vision Pro版本安裝Swift?UI窗口時(shí)，我們討論了何時(shí)使用pinch功能,。我們關(guān)注了蘋果如何使用它,，因?yàn)樗麄兎浅Ｃ鞔_在何時(shí)用于什么目的使用它。
當(dāng)用戶想要結(jié)束窗口應(yīng)用時(shí),，他們可能需要與3D對(duì)象互動(dòng)來結(jié)束這一進(jìn)程,。這時(shí)，需要停止窗口并把它顯示成2D顯示器上的一個(gè)應(yīng)用程序,，這將更像是在現(xiàn)實(shí)世界中在電腦屏幕前關(guān)閉對(duì)話框相似的產(chǎn)品設(shè)計(jì),。遵循現(xiàn)實(shí)世界中與對(duì)象交互的設(shè)計(jì)原則，以直觀的方式設(shè)計(jì)交互方式將更加適用于XR空間界面設(shè)計(jì),。但需要注意的是,，請(qǐng)確保當(dāng)游戲在真實(shí)的空間和設(shè)備上與真實(shí)的用戶進(jìn)行實(shí)際測(cè)試時(shí)持續(xù)關(guān)注您用戶體驗(yàn)情況。這非常重要,！
對(duì)開發(fā)者來說,，把虛擬物體拿在手中并支持其與用戶完成互動(dòng)將變得非常關(guān)鍵。我建議分配充足的時(shí)間進(jìn)行修改,。在不同的平臺(tái)上,，體驗(yàn)會(huì)有所不同。規(guī)格可能不同,，因此保持靈活性非常重要,。
最后，虛擬現(xiàn)實(shí)的特別之處在于如何探索虛擬環(huán)境并與之交互,?！豆ぷ髂M器》的探索版本中玩家將坐在一張擁有抽屜的桌子前，體驗(yàn)者可以隨意翻找抽屜,，拿起每個(gè)物體,，看看它們是如何工作和相互作用的,，這是一件非常有趣的事情。玩家更喜歡這種互動(dòng)的一個(gè)關(guān)鍵原因是,，他們可以把手中的東西放在任意地方,，以真正改變周圍的環(huán)境狀態(tài),，我們沒有讓他們與遙遠(yuǎn)的或與他們脫節(jié)的事物互動(dòng),，這有助于提升玩家的沉浸感。
工作模擬器,，由Owlchemy實(shí)驗(yàn)室開發(fā)
你會(huì)給希望為Apple Vision Pro移植或開發(fā)游戲的開發(fā)人員什么建議,？關(guān)于由Unity制作的Vision?OS《工作模擬器》移植版使用體驗(yàn)如何?
Unity一直與Unity和蘋果密切合作，并致力于以最佳方式實(shí)現(xiàn)我們的希望和愿景,?！豆ぷ髂M器》在Apple Vision Pro上運(yùn)行非常快速,，使用起來與在iOS中構(gòu)建應(yīng)用相類似,。但使它成為一個(gè)完全沉浸式的游戲讓我們花費(fèi)了一些精力。Unity必須調(diào)用一個(gè)函數(shù),，將我們想要的輸出傳遞給蘋果操作系統(tǒng),。在此之前，我們只能創(chuàng)建一個(gè)平面窗口,，如果你關(guān)閉它,，游戲就結(jié)束了。
我們使用Unity開發(fā)的Vision OS《工作模擬器》移植版是一款完全沉浸式的游戲,，Vision OS作為一款通用計(jì)算操作系統(tǒng),，退出游戲流程的制作對(duì)我們來說是一件新鮮事。為PC構(gòu)建時(shí),，我們沒有退出應(yīng)用程序的第二步驟,，玩家只需點(diǎn)擊x 就可以退出程序，當(dāng)我們將它放在Quest上時(shí),，它實(shí)際上是二進(jìn)制的,，游戲要么運(yùn)行，要么關(guān)閉,，但當(dāng)游戲被移植到Apple Vision Pro上時(shí),，這個(gè)游戲?qū)嶋H上是可以進(jìn)入到后臺(tái)運(yùn)行的，我們需要做的工作是弄清楚如何真正讓玩家離開應(yīng)用程序,。
我們的建議是真正的合作與開放,。你永遠(yuǎn)不知道什么時(shí)候會(huì)有人解決你遇到的瓶頸。這不僅對(duì)你我有好處,，對(duì)整個(gè)社區(qū)也有好處,。Unity擁有非?；钴S的論壇討論和論壇票選。這有助于我們找到對(duì)社區(qū)其他人同樣有益的解決方案,。在社區(qū)中提交錯(cuò)誤報(bào)告有助于為我們與其他處于類似情況的開發(fā)人員提供合作的機(jī)會(huì),。這無疑加快了我們的學(xué)習(xí)曲線，并有助于我們向前發(fā)展,。
你們從Vision?OS開發(fā)中學(xué)到的最有價(jià)值的東西是什么,？
多年來，我們一直致力于在Windows PC和Android兩個(gè)生態(tài)系統(tǒng)中進(jìn)行開發(fā),。Vision?OS與蘋果其他操作系統(tǒng)有許多相似之處,，因此我們現(xiàn)在更加了解該操作系統(tǒng)的編程潛力與試錯(cuò)方向。我們也找到了可以做得更好的地方,。
Vision?OS系統(tǒng)的一個(gè)顯著優(yōu)勢(shì)是Facetime和共享屏幕的價(jià)值與潛力,，該功能支持向其他人展示你正在經(jīng)歷的事情——比如說，用于調(diào)試,。在Vision Pro屏幕中可以顯示你正在運(yùn)行的應(yīng)用程序,，你正在運(yùn)行的代碼，其他人可以完美地看到你所看到的視圖,。而現(xiàn)在其他頭顯很難做到這一點(diǎn),。
打印本文
關(guān)閉窗口