【技術實現步驟摘要】
本專利技術屬于重大裝備工業制造場景下機器人視覺感知技術與計算機視覺，特別是涉及一種多視角特征引導的大范圍場景三維建模方法及系統。
技術介紹
1、移動機器人在重大裝備制造領域中發揮越來越重要的作業，隨著應用需求越來越廣泛，對移動機器人的智能化程度要求越來越高。三維制造場景動態環境感知是移動機器人作業的前提與基礎。在大范圍制造場景下，移動機器人利用大范圍制造場景墻上布置的多視角工業相機，實現大場景作業環境下動態重建與感知，能夠幫助完成復雜非結構化作業環境下的各種加工作業任務。因此，研究大范圍制造場景下多視角三維建模技術具有重大意義。
2、近年來，基于深度學習神經網絡的多視角立體視覺三維重建方法引起的廣泛關注。然而，在大范圍制造場景下，多視角重建方法往往面臨著大場景寬景深圖像紋理特征不明顯，場景中目標輪廓易膨化等挑戰，給現有多視角圖像三維重建方法帶來了巨大挑戰。為此，本專利技術提出一種基于自學習統一遷移因子的多視角圖像交叉特征遷移互相關匹配代價構建方法，提高弱紋理等病態區域特征的相似度匹配能力，提出一種可微分多視角各項異性擴散匹配代價聚合方法，提高目標輪廓易膨化區域的深度估計性能。
技術實現思路
1、針對以上技術問題，本專利技術提供一種多視角特征引導的大范圍場景三維建模方法及系統。
2、本專利技術解決其技術問題采用的技術方案是：
3、一種多視角特征引導的大范圍場景三維建模方法，所述方法包括以下步驟：
4、s100：通過在重大裝備制造場景墻上
5、s200：構建大范圍制造場景下多視角立體視覺三維重建神經網絡模型；模型包括多階段上下文特征提取模塊、多視角圖像匹配代價構建模塊、多視角匹配代價特征聚合網絡和視差回歸預測模塊；
6、s300：利用多階段上下文特征提取模塊提取多視角圖像中的圖像特征；
7、s400：多視角圖像匹配代價構建模塊基于自學習統一遷移因子構建多視角圖像匹配代價特征，利用特征統計學習方法計算多視角圖像特征均值與方差，用于計算相鄰視角間的自學習統一遷移因子來獲取圖像交叉特征遷移后的圖像特征，對特征提取模塊所提取出來的多視角圖像特征和交叉特征遷移后的圖像特征進行操作來獲取相鄰視角間的圖像相似性構建多視角匹配代價特征；
8、s500：多視角匹配代價特征聚合網絡包括多個級聯的具有沙漏結構的多視角聯合特征引導匹配代價聚合模塊，多視角聯合特征引導匹配代價聚合模塊利用可微分各項異性擴散的多視角聯合特征引導匹配代價聚合模型，結合相鄰視角的匹配代價特征進行引導匹配代價特征聚合，并計算可微分各項異性擴散的多視角聯合特征引導匹配代價聚合模型的誤差傳遞函數以實現誤差的反向傳播；
9、s600：視差回歸預測模塊將采用多階段視差回歸預測方式，對代價聚合模塊輸出的匹配代價特征圖進行視差預測，并計算視差預測損失函數；
10、s700：當視差預測損失函數在設置的對應的誤差范圍內或迭代次數達到預設迭代次數時，完成對多視角立體視覺三維重建神經網絡模型的訓練，使用訓練好的多視角立體視覺三維重建神經網絡模型進行推理，實現大范圍場景動態三維重建。
11、優選地，s100包括：
12、在重大裝備制造場景墻上布置個視角的工業相機，通過利用張正友標定法對相鄰的相機進行兩兩標定，得到視角與相鄰視角之間相機的內參空間轉換矩陣，同時獲取用于大范圍制造場景重建的多視角rgb圖像，，圖像維度為。
13、優選地，s300包括：
14、s310：利用三層卷積層，對多視角輸入圖像進行初步特征提取，得到特征圖，其圖像特征維度為，其中，為圖像特征向量的通道數大小，三層卷積層的卷積核大小都為，第一層卷積層步長為2，其余層步長為1，每個卷積層后級聯歸一化層bn和激活函數層relu；
15、s320：構建多階段殘差連接上下文特征提取模塊，通過利用三層卷積層構成殘差連接小模塊，級聯多個殘差連接小模塊構成一階段上下文特征提取模塊，經過個階段上下文特征提取模塊后，其中，提取出多視角圖像特征，特征維度都為，其中，為提取特征的批次，為提取特征的通道數，和為輸入圖像的寬與高，三層卷積層的卷積核大小都為，步長為1，每個卷積層后級聯歸一化層bn和激活函數層relu；
16、s330：對多階段殘差連接上下文特征提取模塊所提取出來的特征進行融合：
17、；
18、其中，函數為特征向量拼接操作，的特征維度為；
19、s340：對拼接后的特征進行卷積特征融合，得到卷積后的圖像特征：
20、；
21、其中，函數為卷積層，卷積核為，步長為1，的特征維度為。
22、優選地，s400包括：
23、s410：提出基于自學習統一遷移因子的多視角圖像交叉特征遷移互相關多視角匹配代價構建方法，首先對提取的視角的圖像特征和相鄰視角的圖像特征，利用特征統計學習方法，分別計算視角和視角圖像的均值，其中，的維度為，的維度為，計算如下：
24、；
25、；
26、計算視角和視角圖像的方差，計算如下：
27、；
28、；
29、接著，通過利用基于自學習統一遷移因子的多視角圖像交叉特征遷移方法，計算特征遷移后的特征和，其中遷移因子和計算如下：
30、；
31、；
32、其中，為自學習統一的參數矩陣，統一適用于所有視角圖像特征之間的交叉特征遷移過程；遷移特征和計算如下：
33、；
34、；
35、最后，構建多視角匹配代價，計算如下：
36、；
37、；
38、其中，表示為自適應權重調節因子，分別為圖像特征維度批次、通道、高、寬的坐標，為視覺與相鄰視角之間的空間轉換矩陣，代表匹配代價構建的視差平面，在匹配代價構建時，所構建匹配代價特征維度為；
39、s420：構建基于拼接相關的匹配代價向量：
40、；
41、若像素p點在圖像特征中的坐標為，那么基于拼接相關的匹配代價向量定義如下：
42、；
43、因此，所構建匹配代價特征維度為；
44、s430：對所構建的匹配代價向量進行拼接融合：
45、；
46、因此，所構建匹配代價特征維度為，和表示不同特征的通道維度數。
47、優選地，s500包括：
48、s510：輸入匹配代價特征，其輸入的特征維度為，利用兩層三維卷積層對匹配代價進行聚合，得到匹配代價特征圖，其特征維度為；其中，三維卷積層的卷積核大小為，卷積層步長為1，每個卷積層后級聯歸一化層bn3d和激活函數層relu；
49、s520：構建具有沙漏結構的多視角聯合特征引導匹配代價聚合模塊，通過利用四層本文檔來自技高網...
【技術保護點】
1.一種多視角特征引導的大范圍場景三維建模方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，S100包括：
3.根據權利要求2所述的方法，其特征在于，S300包括：
4.根據權利要求3所述的方法，其特征在于，S400包括：
5.根據權利要求4所述的方法，其特征在于，S500包括：
6.根據權利要求5所述的方法，其特征在于，S540具體為：
7.根據權利要求6所述的方法，其特征在于，S600包括：
8.根據權利要求7所述的方法，其特征在于，S630具體為：
9.根據權利要求8所述的方法，其特征在于，S700中使用訓練好的多視角立體視覺三維重建神經網絡模型進行推理，實現大范圍場景動態三維重建，包括：
10.一種多視角特征引導的大范圍場景三維建模系統，其特征在于，包括多視角圖像獲取模塊、多視角立體視覺三維重建神經網絡模型構建模塊、多階段上下文特征提取模塊、多視角圖像匹配代價構建模塊、多視角匹配代價特征聚合網絡、視差回歸預測模塊和多視角三維場景動態
...【技術特征摘要】
1.一種多視角特征引導的大范圍場景三維建模方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，s100包括：
3.根據權利要求2所述的方法，其特征在于，s300包括：
4.根據權利要求3所述的方法，其特征在于，s400包括：
5.根據權利要求4所述的方法，其特征在于，s500包括：
6.根據權利要求5所述的方法，其特征在于，s540具體為：
7.根據權利要求6所述的方法，其特征在于，s600包括...
【專利技術屬性】
技術研發人員：王耀南，曾凱，王蔚，毛建旭，張輝，朱青，譚浩然，謝核，徐程浩，彭凡，
申請(專利權)人：湖南大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。