久久久91-久久久91精品国产一区二区-久久久91精品国产一区二区三区-久久久999国产精品-久久久999久久久精品

★中國(guó)航空制造技術(shù)研究院邰月檸，霍志宇，閆利強(qiáng)

關(guān)鍵詞：人工裝配；混合現(xiàn)實(shí)；空間定位；虛實(shí)融合

1　研究背景

飛機(jī)、發(fā)動(dòng)機(jī)等航空產(chǎn)品的人工裝配環(huán)節(jié)，由于裝配零件數(shù)量多、種類復(fù)雜，且作業(yè)周期長(zhǎng)、參與裝配人員眾多，極易發(fā)生錯(cuò)裝、漏裝問(wèn)題^[1]。同時(shí)，裝配場(chǎng)景的復(fù)雜性給裝配質(zhì)量檢驗(yàn)工作帶來(lái)了挑戰(zhàn)。通過(guò)數(shù)字化技術(shù)的應(yīng)用，充分利用產(chǎn)品數(shù)字化定義和數(shù)據(jù)組織，可成為質(zhì)量監(jiān)管人員管控裝配質(zhì)量的重要手段^[2]。然而，利用當(dāng)前航空制造中運(yùn)用的數(shù)字化設(shè)計(jì)制造工具進(jìn)行裝配質(zhì)量管理所面臨的挑戰(zhàn)日益凸顯：

（1）在航空產(chǎn)品裝配結(jié)果檢驗(yàn)過(guò)程中，產(chǎn)品設(shè)計(jì)、制造信息通常通過(guò)包含文字描述和圖表的文檔在產(chǎn)品、工藝設(shè)計(jì)人員與裝配、質(zhì)檢員之間進(jìn)行傳遞，其形式是半面的、靜態(tài)的，嚴(yán)重依賴現(xiàn)場(chǎng)人員的技能經(jīng)驗(yàn)水平和對(duì)文檔的理解^[3]。

（2）航空產(chǎn)品的復(fù)雜性，造成裝配結(jié)果檢驗(yàn)周期長(zhǎng)、質(zhì)檢員工作疲勞程度大，極易引起漏檢錯(cuò)檢問(wèn)題，且此類問(wèn)題難以追溯，難以形成可靠的檢驗(yàn)過(guò)程記錄。

（3）制造現(xiàn)場(chǎng)的質(zhì)檢員所使用的傳統(tǒng)規(guī)格的平板電腦、智能手機(jī)等終端設(shè)備往往只作為平面圖紙和工藝檢驗(yàn)規(guī)程文檔的簡(jiǎn)單替換，難以體現(xiàn)航空產(chǎn)品設(shè)計(jì)制造數(shù)字化、信息化的優(yōu)勢(shì)。

混合現(xiàn)實(shí)（Mixed Reality，MR）是虛擬現(xiàn)實(shí)技術(shù)的一個(gè)重要分支。與傳統(tǒng)虛擬現(xiàn)實(shí)（Virtual Reality，VR）所要達(dá)到的完全沉浸的效果不同，MR技術(shù)是要借助顯示技術(shù)、交互技術(shù)、多種傳感技術(shù)和計(jì)算機(jī)圖形與多媒體技術(shù)將虛擬環(huán)境與用戶周?chē)默F(xiàn)實(shí)環(huán)境混合為一體^[4]。將MR應(yīng)用到飛機(jī)裝配結(jié)果檢驗(yàn)任務(wù)，使質(zhì)檢員在混合現(xiàn)實(shí)環(huán)境看到虛擬物體和真實(shí)環(huán)境的混合場(chǎng)景，可增強(qiáng)用戶對(duì)業(yè)務(wù)場(chǎng)景的感知能力^[5]，有助于使質(zhì)檢員將實(shí)際裝配結(jié)果與產(chǎn)品數(shù)模進(jìn)行直接比對(duì)，從而提升檢驗(yàn)信息傳遞準(zhǔn)確程度并減輕質(zhì)檢員工作強(qiáng)度。此外，通過(guò)混合現(xiàn)實(shí)設(shè)備可錄制檢驗(yàn)過(guò)程以便于追溯檢驗(yàn)結(jié)果，確定故障原因。

MR設(shè)備平臺(tái)和算法軟件技術(shù)在國(guó)內(nèi)外均處于快速發(fā)展和頻繁迭代的階段，并在航空制造等行業(yè)中得到廣泛應(yīng)用^[6]。在混合現(xiàn)實(shí)產(chǎn)品的研發(fā)方面，國(guó)外的波音、空中客車(chē)、洛克希德·馬丁等航空企業(yè)與微軟、達(dá)索系統(tǒng)等企業(yè)緊密協(xié)作開(kāi)發(fā)了包括BARK、MOON、DiotaAR等混合現(xiàn)實(shí)軟硬件產(chǎn)品和解決方案，在輔助裝配、遠(yuǎn)程專家支持、虛擬訓(xùn)練、虛擬方案驗(yàn)證等任務(wù)中發(fā)揮了重要的作用^[3]。國(guó)內(nèi)混合現(xiàn)實(shí)企業(yè)圍繞行業(yè)中的痛點(diǎn)問(wèn)題，如安防、巡檢、遠(yuǎn)程專家協(xié)助、虛擬培訓(xùn)等任務(wù)研發(fā)了多款針對(duì)性的產(chǎn)品，并取得了良好的效果，促進(jìn)了傳統(tǒng)工業(yè)行業(yè)向智能化轉(zhuǎn)型^[7]。

2　相機(jī)在空間中的定位技術(shù)

2.1　相機(jī)位姿估計(jì)

相機(jī)位姿估算就是建立圖像像素坐標(biāo)系與三維空間坐標(biāo)系之間的映射關(guān)系。根據(jù)已知其世界坐標(biāo)系下點(diǎn)的像素位置，計(jì)算相機(jī)在三維空間坐標(biāo)系下的位置和姿態(tài)。相機(jī)位姿估計(jì)可通過(guò)N點(diǎn)透視位姿求解（Perspective-npoints，PnP）算法實(shí)現(xiàn)^[8]。該方法如圖1所示，根據(jù)觀測(cè)到圖像上n個(gè)已知位置的特征點(diǎn)的像素位置，通過(guò)直接線性變換（Direct Linear Transformation，DLT）或非線性優(yōu)化（Non-linear Optimization，NLO）的方法求解出估計(jì)相機(jī)位姿。其中，根據(jù)非線性優(yōu)化的方法可減少三維空間坐標(biāo)系不夠準(zhǔn)確的特征點(diǎn)對(duì)結(jié)果的影響，使位姿估計(jì)結(jié)果準(zhǔn)確、可靠。

圖1  相機(jī)位姿[R,t]估計(jì)示意圖

2.2　平面標(biāo)志物識(shí)別與虛實(shí)注冊(cè)

平面標(biāo)志物的檢測(cè)、識(shí)別與跟蹤是通過(guò)在平面區(qū)域上制作特殊圖案化標(biāo)志，從應(yīng)用場(chǎng)景中獲取的圖像中識(shí)別并定位跟蹤該標(biāo)志進(jìn)行虛實(shí)空間的注冊(cè)，從而實(shí)現(xiàn)虛實(shí)融合的效果。虛實(shí)注冊(cè)（Registration）或者是配準(zhǔn)是將虛擬對(duì)象與真實(shí)對(duì)象之間坐標(biāo)系對(duì)齊的過(guò)程^[9]。虛實(shí)注冊(cè)最主要的任務(wù)是通過(guò)觀察當(dāng)前場(chǎng)景獲得相機(jī)相對(duì)于已知標(biāo)識(shí)的位置和姿態(tài)，使得虛擬場(chǎng)景正確的與真實(shí)場(chǎng)景進(jìn)行疊加。基于標(biāo)識(shí)的跟蹤注冊(cè)過(guò)程為：系統(tǒng)通過(guò)真實(shí)場(chǎng)景的視頻進(jìn)行分析，對(duì)該圖像進(jìn)行提取、檢測(cè)與識(shí)別，以此來(lái)確定標(biāo)識(shí)的ID；識(shí)別出標(biāo)識(shí)以后，可以計(jì)算出相機(jī)相對(duì)于該標(biāo)識(shí)的6自由度（6DoF）位置和姿態(tài)；然后根據(jù)外部參數(shù)矩陣設(shè)置虛擬相機(jī)位置渲染3D虛擬模型圖像實(shí)現(xiàn)虛實(shí)疊加顯示效果輸出到顯示設(shè)備中。基于標(biāo)志物的跟蹤注冊(cè)方法計(jì)算復(fù)雜度較低，具有較好的實(shí)時(shí)性和準(zhǔn)確性，技術(shù)也較為成熟^[10]。

2.3  基于視覺(jué)SLAM的相機(jī)位置跟蹤

相機(jī)位置跟蹤可以通過(guò)視覺(jué)SLAM（Simultaneous Localization and Mapping）實(shí)現(xiàn)。SLAM技術(shù)通過(guò)計(jì)算機(jī)視覺(jué)方法同時(shí)實(shí)現(xiàn)特征點(diǎn)云地圖構(gòu)建和相機(jī)6DoF位姿計(jì)算^[11]。SLAM過(guò)程中，相機(jī)通過(guò)特征點(diǎn)檢測(cè)、跟蹤、三角定位的方法建立特征點(diǎn)云，并通過(guò)濾波或非線性優(yōu)化的方法匹配特征點(diǎn)云并計(jì)算相機(jī)的位置，從而在三維空間內(nèi)定位AR設(shè)備。

3  系統(tǒng)設(shè)計(jì)

3.1　整體設(shè)計(jì)

MR裝配結(jié)果檢驗(yàn)輔助系統(tǒng)以智能平板電腦為平臺(tái)，通過(guò)疊加顯示各類虛擬信息引導(dǎo)質(zhì)檢員完成對(duì)裝配結(jié)果的檢查。質(zhì)檢員開(kāi)始質(zhì)檢后，AR設(shè)備將自動(dòng)開(kāi)啟全程錄像。通過(guò)AR眼鏡，質(zhì)檢員可以在檢驗(yàn)現(xiàn)場(chǎng)查看到流程中每一步驟的檢驗(yàn)內(nèi)容、操作指導(dǎo)等數(shù)字信息，還可通過(guò)語(yǔ)音進(jìn)行程序控制、質(zhì)檢項(xiàng)目選擇、檢測(cè)結(jié)果輸入等。在完成整個(gè)場(chǎng)景后，將檢驗(yàn)信息上傳到質(zhì)檢后臺(tái)，后臺(tái)支持相關(guān)數(shù)據(jù)的查詢、展示及報(bào)告的生成，從而使得裝配結(jié)果檢驗(yàn)過(guò)程實(shí)現(xiàn)了工單無(wú)紙化、信息標(biāo)準(zhǔn)化、檢驗(yàn)電子化、管理可追溯等目標(biāo)，助力了航空產(chǎn)品生產(chǎn)單位在裝配結(jié)果檢驗(yàn)環(huán)節(jié)效率提升。

3.2　功能模塊

MR裝配結(jié)果檢驗(yàn)輔助系統(tǒng)具備MR空間注冊(cè)及自定位、虛實(shí)疊加顯示、檢測(cè)流程控制、檢驗(yàn)提示信息加載及顯示、裝配問(wèn)題標(biāo)注、裝配結(jié)果檢驗(yàn)報(bào)告自動(dòng)生成6項(xiàng)主要功能。這6項(xiàng)功能通過(guò)系統(tǒng)的6個(gè)主要功能模塊實(shí)現(xiàn)，每個(gè)模塊的功能描述和實(shí)現(xiàn)途徑如圖2所示。

圖2  MR裝配結(jié)果檢驗(yàn)輔助系統(tǒng)6項(xiàng)主要功能模塊示意圖

（1）MR空間注冊(cè)及自定位模塊。MR空間注冊(cè)通過(guò)二維碼平面標(biāo)志物實(shí)現(xiàn)。二維碼平面標(biāo)志物具有易識(shí)別、易跟蹤、定位精確的優(yōu)點(diǎn)。通過(guò)在場(chǎng)景中的固定位置設(shè)置平板標(biāo)志物，可準(zhǔn)確獲得MR設(shè)備自定位過(guò)程中相對(duì)于檢驗(yàn)場(chǎng)景的初始位置，從而實(shí)現(xiàn)MR設(shè)備自定位結(jié)果與裝配場(chǎng)景坐標(biāo)系間的配準(zhǔn)，從而實(shí)現(xiàn)空間注冊(cè)。空間注冊(cè)完成后，MR設(shè)備通過(guò)視覺(jué)SLAM算法實(shí)現(xiàn)檢驗(yàn)場(chǎng)景坐標(biāo)系下連續(xù)的自定位。

（2）MR虛實(shí)疊加顯示模塊。MR虛實(shí)疊加顯示模塊通過(guò)視頻流顯示和3D渲染虛擬相機(jī)共同實(shí)現(xiàn)。其中，在MR設(shè)備屏幕區(qū)域播放MR設(shè)備視頻相機(jī)所獲得的視頻流，同時(shí)設(shè)置與MR設(shè)備屏幕區(qū)域，即視頻流播放區(qū)域等大的3D渲染窗口，并以MR設(shè)備視頻相機(jī)內(nèi)參為依據(jù)設(shè)置用于渲染3D場(chǎng)景的3D渲染虛擬相機(jī)的投影矩陣，投影矩陣用于計(jì)算三維空間中一點(diǎn)在相機(jī)圖像所渲染的位置^[12]。假設(shè)相機(jī)內(nèi)參如圖3（a）所示，m、cx、cy分別為相機(jī)焦距和相機(jī)光心坐標(biāo)，w、h分別為圖像橫向、縱向分辨率，則3D渲染虛擬相機(jī)的投影矩陣為A可由以下公式求得。其中，l、r、t、b、n、f為圖3（b）所示的投影矩陣參數(shù)，該參數(shù)定義了3D渲染區(qū)域的形狀和大小。當(dāng)視頻流顯示窗口與3D渲染虛擬相機(jī)如圖3（c）所示重合并同步播放視頻流和渲染3D場(chǎng)景時(shí)即可實(shí)現(xiàn)MR虛實(shí)疊加顯示效果。

圖3  虛實(shí)疊加中相機(jī)參數(shù)模型與投影模型示意圖

（3）裝配結(jié)果檢驗(yàn)流程控制模塊。裝配結(jié)果檢驗(yàn)流程控制模塊讀取預(yù)先編制的檢驗(yàn)流程描述文件獲得每個(gè)裝配零件的檢驗(yàn)次序。檢驗(yàn)順序依照人工裝配環(huán)節(jié)每個(gè)零部件的裝配順序，引導(dǎo)質(zhì)檢員對(duì)每個(gè)零件的裝配結(jié)果依次完成檢驗(yàn)。

（4）裝配結(jié)果檢驗(yàn)提示信息加載和顯示模塊。裝配結(jié)果檢驗(yàn)提示信息加載和顯示模塊用于在每個(gè)零部件裝配結(jié)果的檢驗(yàn)中載入外部文件構(gòu)建虛實(shí)融合的檢驗(yàn)場(chǎng)景。每個(gè)零件檢驗(yàn)所需的信息包括固定于裝配位置顯示的3D模型和固定于MR設(shè)備屏幕像素位置顯示的零件名稱、編號(hào)、圖樣，以及檢驗(yàn)所需的注意事項(xiàng)信息。

（5）裝配問(wèn)題標(biāo)注模塊。裝配問(wèn)題標(biāo)注模塊采用射線碰撞檢驗(yàn)技術(shù)實(shí)現(xiàn)三維空間中的標(biāo)注功能。當(dāng)質(zhì)檢員發(fā)現(xiàn)當(dāng)前待測(cè)零件存在安裝問(wèn)題時(shí)，可將MR設(shè)備對(duì)準(zhǔn)零件位置點(diǎn)擊標(biāo)注，隨后在彈出的窗口中輸入裝配問(wèn)題描述信息。同時(shí)，系統(tǒng)自動(dòng)拍攝問(wèn)題位置的圖片并進(jìn)行標(biāo)注。檢驗(yàn)者最后可選擇保存信息從而將存在裝配問(wèn)題零件、所在位置、場(chǎng)景圖像、質(zhì)檢員、檢驗(yàn)時(shí)間、問(wèn)題描述等存儲(chǔ)為數(shù)據(jù)文件。這樣不僅可以保存問(wèn)題信息，還可通過(guò)MR功能使其他質(zhì)檢人員可以通過(guò)載入數(shù)據(jù)文件快速定位裝配問(wèn)題所在位置并回溯所發(fā)生的裝配。

（6）裝配結(jié)果檢驗(yàn)報(bào)告自動(dòng)生成模塊。裝配結(jié)果檢驗(yàn)報(bào)告自動(dòng)生成模塊可加載裝配問(wèn)題數(shù)據(jù)文件，并通過(guò)模板生成包含整個(gè)檢驗(yàn)任務(wù)中所有零件檢驗(yàn)結(jié)果的報(bào)告文本，并對(duì)于每個(gè)檢驗(yàn)到的裝配問(wèn)題進(jìn)行描述。

3.3　系統(tǒng)界面設(shè)計(jì)

圖4為系統(tǒng)界面設(shè)計(jì)。系統(tǒng)通過(guò)各類顯示控件實(shí)現(xiàn)以三維模型、圖片、文本為載體的檢驗(yàn)信息提示，并通過(guò)按鍵、文本輸入框等交互控件實(shí)現(xiàn)質(zhì)檢員對(duì)檢驗(yàn)環(huán)節(jié)、檢驗(yàn)內(nèi)容的控制。

圖4  MR裝配結(jié)果檢驗(yàn)輔助系統(tǒng)界面設(shè)計(jì)示意圖

4  案例驗(yàn)證

如圖5（a）所示構(gòu)建MR裝配結(jié)果檢驗(yàn)輔助系統(tǒng)的簡(jiǎn)易驗(yàn)證場(chǎng)景。該場(chǎng)景包括1塊底板和10個(gè)零件，每個(gè)零件均指定固定的裝配位置。檢驗(yàn)系統(tǒng)依次提示檢測(cè)人員每個(gè)零件的裝配位置從而引導(dǎo)質(zhì)檢員完成檢驗(yàn)任務(wù)。圖5（b）顯示了系統(tǒng)運(yùn)行時(shí)虛實(shí)疊加顯示檢驗(yàn)提示信息的效果。

（a）MR裝配結(jié)果檢驗(yàn)輔助系統(tǒng)的簡(jiǎn)易驗(yàn)證場(chǎng)景：零件實(shí)景（左）、零件場(chǎng)景三維數(shù)模（右）

（b）MR裝配結(jié)果檢驗(yàn)輔助系統(tǒng)運(yùn)行效果示意圖

圖5  案例驗(yàn)證場(chǎng)景及MR裝配結(jié)果檢驗(yàn)輔助系統(tǒng)運(yùn)行效果

5  結(jié)論

隨著新時(shí)期航空制造業(yè)發(fā)展的需要，大批軍民用飛行器不斷研制、生產(chǎn)。由于航空產(chǎn)品具有科技含量高、結(jié)構(gòu)復(fù)雜、性能先進(jìn)的特點(diǎn)，因此對(duì)各類型號(hào)研制、裝備生產(chǎn)和使用中的質(zhì)量檢驗(yàn)工作，特別是裝配環(huán)節(jié)的質(zhì)量檢驗(yàn)提出了更高的要求。目前我國(guó)航空產(chǎn)品生產(chǎn)中的質(zhì)量檢驗(yàn)環(huán)節(jié)主要采用人工檢驗(yàn)的模式進(jìn)行，對(duì)質(zhì)檢員經(jīng)驗(yàn)和責(zé)任心要求高。同時(shí)，檢驗(yàn)專家缺乏導(dǎo)致任務(wù)負(fù)擔(dān)重，檢驗(yàn)的效率和可信度都受到影響。在裝配結(jié)果檢查中運(yùn)用MR技術(shù)，可有效提升質(zhì)量檢驗(yàn)環(huán)節(jié)的數(shù)字化、信息化水平，進(jìn)而提升檢驗(yàn)效率和檢驗(yàn)結(jié)果的置信度，從而有效降低質(zhì)量檢驗(yàn)的成本，實(shí)現(xiàn)航空產(chǎn)品生產(chǎn)提質(zhì)增效。

作者簡(jiǎn)介：

邰月檸（1996-），女，貴州貴陽(yáng)人，助理工程師，碩士，現(xiàn)就職于中國(guó)制造技術(shù)研究院，主要從事數(shù)字化制造技術(shù)方面的研究。

霍志宇（1988-），男，河北磁縣人，高級(jí)工程師，博士，現(xiàn)就職于中國(guó)制造技術(shù)研究院，主要從事數(shù)字化制造技術(shù)方面的研究。

閆利強(qiáng)（1994-），男，山西呂梁人，工程師，碩士，現(xiàn)就職于中國(guó)制造技術(shù)研究院，主要從事數(shù)字化制造技術(shù)方面的研究。

參考文獻(xiàn)：

[1] 邵緒威. 數(shù)字化制造技術(shù)在航空航天領(lǐng)域應(yīng)用及發(fā)展趨勢(shì)研究[J]. 中文科技期刊數(shù)據(jù)庫(kù) (全文版) 工程技術(shù), 2024 (1) : 43 - 46.

[2] 胡桂新, 彭鵬. 我國(guó)民用航空工業(yè)數(shù)字化發(fā)展的思考與建議[J]. 機(jī)電產(chǎn)品開(kāi)發(fā)與創(chuàng)新, 2024, 37 (1) : 171 - 173.

[3] Maryam Safi, Joon Chung, Pratik Pradhan. Review of augmented reality in aerospace industry. Aircraft Engineering and Aerospace Technology, 2019, 10 (7) : 1187 - 1194.

[4] 楊慧麗, 官炳政, 李金成, 等. 基于混合現(xiàn)實(shí)技術(shù)的智能裝備向?qū)?yīng)用[J]. 橡塑技術(shù)與裝備, 2024, 50 (3) : 67 - 69.

[5] 中國(guó)增強(qiáng)現(xiàn)實(shí)行業(yè)分析[J]. 中國(guó)科技信息, 2023 (5) : 2 - 7.

[6] 汪嘉杰, 王磊, 范秀敏, 等. 基于視覺(jué)的航天電連接器的智能識(shí)別與裝配引導(dǎo)[J]. 計(jì)算機(jī)集成制造系統(tǒng), 2017, 23 (11) : 2423 - 2430.

[7] 霍志宇. 高精度增強(qiáng)現(xiàn)實(shí)輔助裝配空間定位技術(shù)研究與應(yīng)用[J]. 航空制造技術(shù), 2022, 65 (18) : 105 - 110.

[8] Lepetit V, Moreno-Noguer F, Fua P. Epnp: An accurate o (n) solution to the pnp problem[J]. International journal of computer vision, 2009, 81 (2) : 155 - 166.

[9] Garrido-Jurado S, Mu?oz-Salinas R, Madrid-Cuevas F J, et al. Automatic generation and detection of highly reliable fiducial markers under occlusion[J]. Pattern Recognition, 2014, 47 (6) : 2280 - 2292.

[10] 面向移動(dòng)增強(qiáng)現(xiàn)實(shí)的場(chǎng)景識(shí)別與跟蹤注冊(cè)技術(shù)研究[D]. 北京: 北京理工大學(xué), 2014.  

[11] Aulinas J, Petillot Y, Salvi J, et al. The SLAM problem: a survey[C] // Proceedings of the 2008 Research and Development: Proceedings of the 11th International Conference of the Catalan Association for Artificial Intelligence. conference on Artificial Intelligence 2008: 363-371.

[12] 劉浩君. 旋轉(zhuǎn)物體三維影像投射的研究[J]. 電子技術(shù)與軟件工程, 2015 (11) : 105 - 106.

摘自《自動(dòng)化博覽》2024年9月刊