在數(shù)字時(shí)代基于文本的模擬手冊(cè)已經(jīng)被智能眼鏡和利用人工智能(AI)的增強(qiáng)現(xiàn)實(shí)(AR)所取代,。 AK GO是一個(gè)由Unity構(gòu)建的工業(yè)解決方案，可以實(shí)現(xiàn)沉浸式飛機(jī)維護(hù)培訓(xùn),，由Augmented Knowledge Corporation創(chuàng)造,。

AK GO背后的故事始于2008年。Augmented Knowledge Corp .的創(chuàng)始人兼首席執(zhí)行官Kevin GS Jo為我們講述了公司的發(fā)展和Unity在其公司發(fā)展中所扮演的重要角色,。作為虛擬現(xiàn)實(shí)（VR）和人工智能的長(zhǎng)期擁護(hù)者,，Kevin GS Jo一直在研究該技術(shù)在航空維修領(lǐng)域的應(yīng)用。

這個(gè)項(xiàng)目是如何開(kāi)始的

在2008年擔(dān)任大學(xué)教授期間,，Jo就獲得了空中客車(chē)公司的資助,，與南加州大學(xué)和大韓航空公司就使用AR和AI技術(shù)進(jìn)行現(xiàn)場(chǎng)航空維護(hù)進(jìn)行了實(shí)證研究。

他的研究證實(shí),，使用AR和AI技術(shù)進(jìn)行飛機(jī)維護(hù)訓(xùn)練將維護(hù)效率提高了30%以上,。Jo還發(fā)現(xiàn)，就質(zhì)量而言,，即使經(jīng)驗(yàn)不足的工人也可以執(zhí)行幾乎零錯(cuò)誤的維護(hù),。他在人工智能促進(jìn)協(xié)會(huì)（AAAI）關(guān)于人工智能的會(huì)議上展示了他關(guān)于相關(guān)基礎(chǔ)技術(shù)及其應(yīng)用的論文和這些成果,。

當(dāng)時(shí),，AR和混合現(xiàn)實(shí)（MR）眼鏡很少見(jiàn)，但隨著技術(shù)的進(jìn)步,，各種智能眼鏡,，如HoloLens 2和Magic Leap，今天已經(jīng)在市場(chǎng)上隨處可見(jiàn),，這為jo項(xiàng)目的實(shí)際應(yīng)用奠定了基礎(chǔ),。Jo在美國(guó)、中國(guó)和韓國(guó)為他的研究成果申請(qǐng)了專(zhuān)利,，并開(kāi)始了在行業(yè)內(nèi)將這些成果商業(yè)化,。

AK GO：航空維修培訓(xùn)的XR內(nèi)容

飛機(jī)維護(hù)是一個(gè)必不可少的過(guò)程，糟糕的維護(hù)會(huì)導(dǎo)致致命的事故,。根據(jù)國(guó)際民用航空組織（ICAO）2016年的一項(xiàng)研究，約14%的飛機(jī)事故是由故障維修引起的,。盡管飛機(jī)或復(fù)雜機(jī)械的維護(hù)受到嚴(yán)格控制,，以確保維護(hù)是根據(jù)文件化的程序進(jìn)行的，但是在維護(hù)工作之前找到并理解PDF文件或紙質(zhì)手冊(cè)中的大量?jī)?nèi)容，然后確認(rèn)二維圖紙如何對(duì)應(yīng)于現(xiàn)實(shí)生活中的飛機(jī)是復(fù)雜且耗時(shí)的過(guò)程,。

飛機(jī)維修手冊(cè)配備的AI解決方案AK GO,，通過(guò)工作人員佩戴的智能眼鏡，同步顯示三維的飛機(jī)零件和手冊(cè),。通過(guò)使用擴(kuò)展現(xiàn)實(shí)（XR）內(nèi)容,、人工智能和語(yǔ)音交互的模擬，對(duì)工人進(jìn)行高效的維護(hù)流程培訓(xùn),。

通過(guò)使用AK GO,，維修人員可以像在真實(shí)的飛機(jī)上訓(xùn)練一樣學(xué)習(xí)和重復(fù)訓(xùn)練現(xiàn)實(shí)的維護(hù)流程，而培訓(xùn)機(jī)構(gòu)可以提供高質(zhì)量的培訓(xùn),，而不必購(gòu)買(mǎi)昂貴的設(shè)備,。

與現(xiàn)場(chǎng)工作流程完全相同的沉浸式內(nèi)容

飛機(jī)很貴，一架飛機(jī)通常至少要花費(fèi)1000億韓元,。航空維修培訓(xùn)機(jī)構(gòu)獲取資源有限,。培訓(xùn)機(jī)構(gòu)經(jīng)常需要使用舊飛機(jī)，例如退役的或不再飛行的輕型飛機(jī),，作為培訓(xùn)設(shè)備,。然而，由于擔(dān)心設(shè)備的進(jìn)一步損壞,，即使是舊飛機(jī)現(xiàn)在也只能作為展示模型,。

為了應(yīng)對(duì)這些挑戰(zhàn)，Jo致力于開(kāi)發(fā)能夠準(zhǔn)確模擬真實(shí)現(xiàn)場(chǎng)維護(hù)流程的沉浸式培訓(xùn)內(nèi)容,，這是XR技術(shù)的一個(gè)典型用例,。

對(duì)于有效的航空維護(hù)培訓(xùn)內(nèi)容，如同在工業(yè)場(chǎng)所的所有工作一樣,，用戶(hù)必須容易獲得信息,，并且必須騰出雙手來(lái)執(zhí)行工作。現(xiàn)已上市的可穿戴智能眼鏡HoloLens 2實(shí)現(xiàn)了這一功能,，因此Jo的團(tuán)隊(duì)專(zhuān)注于為該設(shè)備開(kāi)發(fā)航空維修內(nèi)容,。該團(tuán)隊(duì)還應(yīng)用了語(yǔ)音識(shí)別技術(shù)，以便員工可以輕松獲取信息,。

當(dāng)我們的開(kāi)發(fā)團(tuán)隊(duì)第一次開(kāi)始開(kāi)發(fā)時(shí),，我們很難選擇一個(gè)引擎，因?yàn)槲覀冎皼](méi)有任何引擎經(jīng)驗(yàn),。Unity引擎有很大的吸引力,，因?yàn)榕c其他引擎相比，它新手用戶(hù)非常友好,。此外,，由于它支持高級(jí)開(kāi)發(fā),，我們確定Unity引擎在長(zhǎng)期開(kāi)發(fā)過(guò)程中會(huì)幫助我們減輕修改的負(fù)擔(dān)。此外,，它促進(jìn)了HoloLens 2的MR內(nèi)容的開(kāi)發(fā),，并提供了一個(gè)環(huán)境，使得獲取和使用我們開(kāi)發(fā)所需的插件或資產(chǎn)等東西成為可能,。這就是我們選擇Unity的原因,。

–Kevin GS Jo，Augmented Knowledge Corp首席執(zhí)行官兼創(chuàng)始人

從智能眼鏡到平板電腦共享視頻

為智能眼鏡開(kāi)發(fā)VR內(nèi)容可能會(huì)有問(wèn)題,，因?yàn)橹挥信宕髟撛O(shè)備的人才能看到通過(guò)眼鏡顯示的內(nèi)容,。因此，AK GO團(tuán)隊(duì)提高了用戶(hù)友好性,。每個(gè)學(xué)員不必同時(shí)配備昂貴的智能眼鏡或虛擬現(xiàn)實(shí)設(shè)備和一臺(tái)PC,，一名學(xué)員可以使用該設(shè)備，同時(shí)眼鏡的視頻輸入可以共享到其他屏幕,，如平板電腦上,。

使用AK GO，學(xué)員可以通過(guò)智能眼鏡看到實(shí)際飛機(jī)的圖像,，并獲得在上下文中顯示的工作程序的指導(dǎo),。此外，通過(guò)深度學(xué)習(xí)語(yǔ)音識(shí)別技術(shù),，受訓(xùn)者可以輕松訪問(wèn)程序每個(gè)步驟的菜單和內(nèi)容,。來(lái)自HoloLens 2設(shè)備的視頻也可以傳輸?shù)狡桨咫娔X上，這樣就可以與他人分享視頻,，這樣他們也可以實(shí)時(shí)查看學(xué)員使用的內(nèi)容和訓(xùn)練狀況,。

在飛機(jī)起落架拆卸和組裝的過(guò)程中，人工智能通過(guò)與受訓(xùn)者交流,，在受訓(xùn)者的視野內(nèi)顯示手冊(cè)中的程序步驟,。通過(guò)結(jié)合AI和XR技術(shù),，受訓(xùn)者可以與維護(hù)知識(shí)庫(kù)進(jìn)行通信,，以查看維護(hù)期間的必要信息，這些信息將疊加在AR中的三維模型上,。

Unity功能

據(jù)首席架構(gòu)師和AR開(kāi)發(fā)人員Chidon Ahn稱(chēng),，Unity的編輯器腳本對(duì)于這個(gè)項(xiàng)目來(lái)說(shuō)是無(wú)可替代的。但不僅僅是一個(gè)項(xiàng)目,。如果你正在進(jìn)行多個(gè)類(lèi)似的項(xiàng)目,，一旦使用編輯器腳本定義了任務(wù)，那么該任務(wù)就可以很容易地重復(fù),。

當(dāng)開(kāi)發(fā)處理隨著每次重復(fù)而變化的大量數(shù)據(jù)的內(nèi)容時(shí),，開(kāi)發(fā)人員必須手動(dòng)處理一切,。然而，有了Unity,，這個(gè)過(guò)程就可以通過(guò)使用適當(dāng)產(chǎn)生的元文件和預(yù)定義的pre-fabs來(lái)實(shí)現(xiàn)自動(dòng)化,。

“Unity擁有各種資產(chǎn)，可以被像我們這樣的小型開(kāi)發(fā)團(tuán)隊(duì)有效地使用,。Unity還通過(guò)使用云技術(shù)優(yōu)化了共同開(kāi)發(fā)功能,，所以我們從這個(gè)項(xiàng)目開(kāi)始就一直使用Unity?！?/p>

–Chidon Ahn,，Augmented Knowledge公司首席架構(gòu)師和AR開(kāi)發(fā)人員

未來(lái)展望

AK GO在AI和XR融合內(nèi)容的設(shè)計(jì)、測(cè)試和實(shí)現(xiàn)方面的重點(diǎn)目前一直圍繞著航空維修領(lǐng)域,。AK GO計(jì)劃在未來(lái)將這些功能擴(kuò)展到數(shù)字孿生領(lǐng)域,，在這一領(lǐng)域中將涉及對(duì)車(chē)輛電子設(shè)備、家用電器和工廠等工業(yè)資產(chǎn)等更多方面進(jìn)行實(shí)時(shí)維護(hù)培訓(xùn),。

Augmented Knowledge Corporation計(jì)劃以軟件即服務(wù)（SaaS）模式向全世界提供各種飛機(jī)類(lèi)型的基于云的實(shí)時(shí)維修培訓(xùn)內(nèi)容,。Unity也將被計(jì)劃應(yīng)用于這些項(xiàng)目之中。