【導(dǎo)讀】AR(Augmented Reality)即增強(qiáng)現(xiàn)實(shí),也就是在現(xiàn)實(shí)環(huán)境中加入虛擬內(nèi)容顯示。VR(Virtual Reality)即虛擬現(xiàn)實(shí),指的是完全模擬一個(gè)虛構(gòu)的環(huán)境。而將AR的擴(kuò)充實(shí)境和VR的虛擬實(shí)境相混合的場(chǎng)景,則可稱為MR(Mixed Reality)。
AR/VR的應(yīng)用
當(dāng)AR/VR技術(shù)出現(xiàn)的時(shí)候,人們自然地將其和游戲掛了鉤。通過(guò)對(duì)于虛擬世界的打造和與現(xiàn)實(shí)物理世界的融合,AR/VR技術(shù)能夠帶來(lái)更為沉浸的游戲體驗(yàn)。
然而,在游戲設(shè)備上的市場(chǎng)開(kāi)拓存在諸多的難點(diǎn),對(duì)于設(shè)備的功耗、體積以及內(nèi)容生態(tài)的要求都極為苛刻。但在工業(yè)、教育、醫(yī)療等多個(gè)領(lǐng)域,對(duì)于設(shè)備形態(tài)、功耗的要求并沒(méi)有那么高,對(duì)于垂直應(yīng)用的生態(tài)打造也更為簡(jiǎn)單。尤其是在工業(yè)制造業(yè)領(lǐng)域,AR/VR設(shè)備正在打開(kāi)局面,真正實(shí)現(xiàn)生產(chǎn)力的提升。
AR/VR和工業(yè)應(yīng)用緊密結(jié)合,實(shí)現(xiàn)生產(chǎn)效率提升
AR(Augmented Reality)即增強(qiáng)現(xiàn)實(shí),也就是在現(xiàn)實(shí)環(huán)境中加入虛擬內(nèi)容顯示。VR(Virtual Reality)即虛擬現(xiàn)實(shí),指的是完全模擬一個(gè)虛構(gòu)的環(huán)境。而將AR的擴(kuò)充實(shí)境和VR的虛擬實(shí)境相混合的場(chǎng)景,則可稱為MR(Mixed Reality)。
在工業(yè)場(chǎng)景中,AR/VR這項(xiàng)技術(shù)已經(jīng)在各類應(yīng)用中開(kāi)始發(fā)揮潛能。
首先在設(shè)計(jì)和原型制作方面,VR可以直接展示產(chǎn)品的外觀,而無(wú)需創(chuàng)建真實(shí)的物理原型。這大幅減少了產(chǎn)品設(shè)計(jì)和審核所花費(fèi)的時(shí)間,同時(shí)還可以方便多名設(shè)計(jì)者同時(shí)在同一個(gè)項(xiàng)目中進(jìn)行互動(dòng),能夠?yàn)橹圃焐毯涂蛻籼峁└普娴漠a(chǎn)品設(shè)計(jì)效果。
第二是在設(shè)備可視化方面,AR/VR技術(shù)可以幫助工程師更直觀地了解設(shè)備的工作原理和各個(gè)部件的位置。例如,VR可用于模擬制造過(guò)程,使工程師能夠識(shí)別設(shè)備放置或工作流程的潛在問(wèn)題。AR可用于設(shè)備實(shí)時(shí)信息的虛擬顯示,使技術(shù)人員能夠快速識(shí)別問(wèn)題并進(jìn)行維修,這有助于減少停機(jī)時(shí)間并提高設(shè)備性能。
第三在產(chǎn)線維護(hù)和裝配線優(yōu)化方面,通過(guò)VR技術(shù)模擬生產(chǎn)環(huán)境,制造公司可以提前找出潛在威脅并予以消除。通過(guò)與數(shù)字孿生技術(shù)結(jié)合,制造商可以提前測(cè)試各種不同的裝配線方案,在做出任何物理更改之前評(píng)估出優(yōu)秀方案。而通過(guò)模擬裝配線上產(chǎn)品和工人的移動(dòng),制造商還可以識(shí)別潛在的碰撞或干涉,優(yōu)化物料和工人的流線。此外,通過(guò)模擬生產(chǎn)線布局變化的影響,制造商可以提前確定優(yōu)秀布局以使生產(chǎn)效率達(dá)到預(yù)期。
除了上述提到的應(yīng)用方向外,在物流和倉(cāng)儲(chǔ)管理、生產(chǎn)事故預(yù)防、安全培訓(xùn)和資產(chǎn)追蹤等應(yīng)用上,AR/VR技術(shù)也可以帶來(lái)效率和安全性的提高。
圖1:HoloLens 2在制造業(yè)中的應(yīng)用
(圖源:微軟)
以上列舉的各種AR/VR技術(shù)在工業(yè)場(chǎng)景中的應(yīng)用,絕非只是處于概念階段,而是已經(jīng)有實(shí)際的案例。
美國(guó)空客公司在裝配任務(wù)中利用Microsoft HoloLens 2 AR眼鏡來(lái)指導(dǎo)工人輕松訪問(wèn)視覺(jué)數(shù)據(jù)點(diǎn),從而通過(guò)分步說(shuō)明簡(jiǎn)化復(fù)雜的裝配流程;邁凱倫的設(shè)計(jì)師利用AR/VR技術(shù)在逼真的沉浸式環(huán)境中進(jìn)行新車型的設(shè)計(jì)。
反觀國(guó)內(nèi),AR/VR技術(shù)在工業(yè)領(lǐng)域的市場(chǎng)前景也是一路看漲,實(shí)際應(yīng)用案例層出不窮,遍布工業(yè)應(yīng)用各個(gè)方向。
國(guó)內(nèi)企業(yè)應(yīng)用
擁抱AR/VR技術(shù)革新
據(jù)億歐智庫(kù)預(yù)測(cè),2025年中國(guó)AR/VR企業(yè)級(jí)應(yīng)用市場(chǎng)規(guī)模將不低于931億元,其中工業(yè)制造領(lǐng)域市場(chǎng)規(guī)模將達(dá)到292億元,僅次于教育市場(chǎng)。而且從技術(shù)成熟度來(lái)看,遠(yuǎn)高于其他應(yīng)用市場(chǎng)方向,具備較高的商業(yè)變現(xiàn)可行性。
圖2:國(guó)內(nèi)企業(yè)級(jí)AR/VR應(yīng)用場(chǎng)景
(圖源:億歐)
在鋼鐵行業(yè),寶武鋼鐵的AR智能運(yùn)維系統(tǒng),打造了全新的冶金業(yè)設(shè)備運(yùn)維工作方式;在能源行業(yè),正泰集團(tuán)引入AR配電運(yùn)維系統(tǒng),實(shí)現(xiàn)新手員工的可視化指導(dǎo);在紡織行業(yè),國(guó)機(jī)集團(tuán)武漢紡友引入VR系統(tǒng),基于真實(shí)數(shù)據(jù)構(gòu)建的虛擬現(xiàn)實(shí)系統(tǒng)可以逼真還原現(xiàn)實(shí)生產(chǎn)環(huán)節(jié);在石化行業(yè),東北石油局集成AR技術(shù),有效釋放了專家資源;在家電行業(yè),海爾引入AR首件質(zhì)檢系統(tǒng),實(shí)現(xiàn)更準(zhǔn)確高效的全數(shù)字化質(zhì)檢場(chǎng)景。
那么AR/VR技術(shù)是如何在這么多具體工業(yè)應(yīng)用中發(fā)揮作用的呢?我們展開(kāi)海爾的例子來(lái)看一下。
在家電制造業(yè),首件產(chǎn)品檢測(cè)對(duì)生產(chǎn)質(zhì)量把控意義重大。如果首件產(chǎn)品質(zhì)量問(wèn)題不能及時(shí)發(fā)現(xiàn),可能會(huì)導(dǎo)致企業(yè)后續(xù)整體產(chǎn)線整個(gè)批次的產(chǎn)品問(wèn)題,帶來(lái)重大損失。當(dāng)前大多數(shù)工廠仍采用人工檢查和紙質(zhì)單據(jù)填報(bào)的方式,整個(gè)過(guò)程參與人員眾多,數(shù)據(jù)上傳滯后、效率極低。
圖3:海爾首件質(zhì)檢系統(tǒng)
(圖源:海爾)
海爾滾筒互聯(lián)工廠于2021年開(kāi)始引入AR首件質(zhì)檢系統(tǒng),質(zhì)檢人員在質(zhì)檢過(guò)程中佩戴AR眼鏡,為其實(shí)時(shí)定位部件位置,提供檢驗(yàn)內(nèi)容、操作指導(dǎo)等數(shù)字信息;并且可以通過(guò)語(yǔ)音進(jìn)行整個(gè)質(zhì)檢系統(tǒng)的輸入、配置等交互操作。完成檢測(cè)之后,數(shù)據(jù)直接通過(guò)AR眼鏡上傳至AR首件質(zhì)檢系統(tǒng)的數(shù)據(jù)庫(kù)中,提高了質(zhì)檢可追溯能力,助力海爾在首件質(zhì)檢中效率提升。
IDC預(yù)測(cè),2026年全球AR/VR總投資規(guī)模將增至747.3億美元,其中中國(guó)的投資規(guī)模將增至130.8億美元,為全球第二大單一國(guó)家市場(chǎng)。而隨著AR/VR技術(shù)在工業(yè)應(yīng)用中的普及,近兩年來(lái)工業(yè)元宇宙的概念也被頻頻提起。據(jù)TrendForce預(yù)測(cè),工業(yè)元宇宙將推動(dòng)全球智能制造業(yè)在2025年達(dá)到5,400億美元的市場(chǎng)規(guī)模。
圖4:中國(guó)AR/VR市場(chǎng)支出預(yù)測(cè)
(圖源:IDC)
AR/VR交互的基礎(chǔ)
深度圖像的實(shí)時(shí)感知和捕捉
人眼晶狀體通過(guò)肌肉的伸縮和舒展,能夠自動(dòng)實(shí)現(xiàn)焦距調(diào)節(jié),將遠(yuǎn)近不同物體準(zhǔn)確成像至視網(wǎng)膜上。雙眼在對(duì)同一個(gè)物體聚焦時(shí),兩眼之間的物像差異就是雙眼視差。將此雙眼視差信息在大腦視覺(jué)皮層進(jìn)行處理,就可以讓我們判斷出到物體的實(shí)際距離。
我們是靠人眼來(lái)感知物理世界的深度信息,而AR/VR交互的基礎(chǔ),則是通過(guò)深度相機(jī)來(lái)實(shí)現(xiàn)對(duì)于實(shí)境的圖像信息的捕捉。普通的相機(jī)拍攝的是二維的平面坐標(biāo)信息,而深度相機(jī)能夠定位圖像中每一個(gè)點(diǎn)的深度數(shù)據(jù),實(shí)現(xiàn)XYZ三維坐標(biāo)信息的采集。
目前市面上常見(jiàn)的深度相機(jī)方案有三種,分別是結(jié)構(gòu)光、雙目視覺(jué)和ToF。
結(jié)構(gòu)光是通過(guò)光學(xué)手段獲取被拍攝物體的三維結(jié)構(gòu)。首先近紅外激光器將具有一定結(jié)構(gòu)特征的光線投射到被拍攝物體上,再由專門的紅外攝像頭對(duì)這些光線產(chǎn)生的不同圖像相位信息進(jìn)行采集,之后運(yùn)算單元將這些返回的編碼圖案的畸變進(jìn)行算法計(jì)算,從而獲得物體的位置和深度信息。
ToF是通過(guò)測(cè)量光脈沖的飛行往返時(shí)間來(lái)計(jì)算距離。激光器發(fā)射的連續(xù)激光脈沖,碰到物體之后會(huì)反射回來(lái),然后被接收器接收,通過(guò)計(jì)算往返的時(shí)間差來(lái)獲得物體具體位置信息。
雙目視覺(jué)也稱雙目立體視覺(jué),基本原理與人眼類似。利用兩個(gè)傳感器獲取同一個(gè)被測(cè)物體的兩幅圖像,然后計(jì)算圖像對(duì)應(yīng)點(diǎn)間的位置偏差,來(lái)獲取物體的三維信息。
圖5:雙目立體深度相機(jī)的工作原理
(圖源:www.revopoint3d.com)
這三種深度相機(jī)都可以獲得物體的三維信息,但各有優(yōu)劣。結(jié)構(gòu)光深度相機(jī)精度較高,但需要較長(zhǎng)的曝光時(shí)間,因此不適用于高速運(yùn)動(dòng)場(chǎng)景;但因其采用主動(dòng)光源形式,因此夜晚也可以正常工作;ToF深度相機(jī)能夠?qū)崟r(shí)測(cè)量深度,并且探測(cè)距離更長(zhǎng),但在明亮的光線條件下可能會(huì)受到干擾;雙目深度相機(jī)受到兩個(gè)傳感器之間的視差影響,對(duì)于較遠(yuǎn)的物體位置檢測(cè)不夠準(zhǔn)確,同時(shí)圖像信息處理的計(jì)算量較大。
在AR/VR應(yīng)用中,深度相機(jī)既可以實(shí)時(shí)跟蹤用戶的面部表情、頭部和手部動(dòng)作,以提高沉浸感和交互性,改善虛擬體驗(yàn);又可以獲取周圍環(huán)境的實(shí)時(shí)深度信息,精確定位物體位置,使虛擬世界和現(xiàn)實(shí)世界的融合更加自然。
圖6:各種結(jié)構(gòu)光和ToF深度相機(jī)的工作原理
(圖源:ResearchGate)
體積更小、更快開(kāi)發(fā)
更易集成的深度相機(jī)
要在整個(gè)系統(tǒng)中添加深度相機(jī),既要考慮算法開(kāi)發(fā)和應(yīng)用匹配,又要考慮功耗、體積和算力需求。如果能夠直接選擇一款完整成熟的深度相機(jī)方案,無(wú)縫地集成到現(xiàn)有的系統(tǒng)中,就可以加快開(kāi)發(fā)進(jìn)度,實(shí)現(xiàn)事半功倍的效果。
Intel RealSense立體視覺(jué)(雙目)深度相機(jī)系列,就是這樣一套成熟方案。據(jù)悉,該系列是市場(chǎng)上非常廣泛的深度攝像頭產(chǎn)品線,擁有一系列激光雷達(dá)、立體傳感器和跟蹤攝像頭,可在不同條件下的多種環(huán)境中運(yùn)行。同時(shí)整個(gè)產(chǎn)品線中采用了統(tǒng)一的軟件開(kāi)發(fā)套件(SDK),這使得開(kāi)發(fā)人員能夠快速適應(yīng),在單一解決方案中輕松使用多個(gè)攝像頭,實(shí)現(xiàn)更快的產(chǎn)品上市時(shí)間。
Intel RealSense提供了多種不同的產(chǎn)品型號(hào),但采用了統(tǒng)一的D4系列處理器。該處理器使用先進(jìn)的算法處理來(lái)自深度相機(jī)的原始圖像流,無(wú)需專用GPU或主機(jī)處理器即可計(jì)算高分辨率3D深度圖。將此視覺(jué)處理器添加到客戶的AR/VR、機(jī)器視覺(jué)系統(tǒng)中可以實(shí)現(xiàn)快速定制設(shè)計(jì),從而為系統(tǒng)的主機(jī)處理器釋放更多帶寬。
圖7:Intel RealSense D4處理器
(圖源:Intel)
D405是整個(gè)Intel RealSense系列中,新推出的外型尺寸極小的一款深度相機(jī),比一個(gè)高爾夫球還要小。該型號(hào)適用于短距離應(yīng)用(7cm至50cm),能夠在7cm處檢測(cè)到500微米的小物體。該產(chǎn)品集成了可提供匹配RGB和深度數(shù)據(jù)的高分辨率、彩色、全局快門深度傳感器,并通過(guò)圖像信號(hào)處理器(ISP)對(duì)來(lái)自深度傳感器的RGB數(shù)據(jù)進(jìn)行增強(qiáng)。
圖8:Intel RealSense D405拆解圖
(圖源:Intel)
在貿(mào)澤電子搜索料號(hào)“82635DSD405”,就可以獲取關(guān)于Intel RealSense D405的更多詳細(xì)信息。
而除了深度相機(jī)外,通常在AR/VR設(shè)備中,也會(huì)集成IMU或三軸加速度計(jì)這一關(guān)鍵器件。IMU即慣性測(cè)量單元(Inertial Measurement Unit),在頭戴設(shè)備中用于追蹤用戶頭部的旋轉(zhuǎn)角度和傾斜運(yùn)動(dòng);在手柄和控制器上用于跟蹤手部動(dòng)作,實(shí)現(xiàn)自然的手勢(shì)控制;在VR應(yīng)用上,IMU還可以用于實(shí)時(shí)模擬重力、物體運(yùn)動(dòng)和物理互動(dòng)。
圖9:Intel RealSense 系列對(duì)比
(圖源:Intel)
在Intel RealSense的多款型號(hào)中,更是直接在相機(jī)內(nèi)部集成了IMU單元。如果想要在系統(tǒng)中添加更多的動(dòng)作識(shí)別和肢體跟蹤的功能,還可以再多集成一個(gè)三軸加速度計(jì)。在此我們推薦來(lái)自NXP Semiconductors的一款低功耗12位數(shù)字加速度計(jì),具體型號(hào)為“FXLS8967AFR3”,可以直接在貿(mào)澤電子搜索了解更多詳情。
結(jié)語(yǔ)
隨著AR/VR技術(shù)在工業(yè)應(yīng)用上的普及,以及與工業(yè)互聯(lián)網(wǎng)、智能制造和數(shù)字孿生等技術(shù)的深度融合,工業(yè)制造將會(huì)迎來(lái)新一輪的生產(chǎn)效率提升。在不遠(yuǎn)的未來(lái),工業(yè)元宇宙或?qū)⒊蔀楝F(xiàn)實(shí)。
免責(zé)聲明:本文為轉(zhuǎn)載文章,轉(zhuǎn)載此文目的在于傳遞更多信息,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問(wèn)題,請(qǐng)聯(lián)系小編進(jìn)行處理。
推薦閱讀:
設(shè)計(jì)機(jī)器人電源架構(gòu)前需要考慮的6個(gè)問(wèn)題