【技術實現步驟摘要】
本專利技術屬于視覺里程計領域，具體涉及一種單目自監督學習的尺度感知視覺慣性里程計方法。
技術介紹
1、對于單個單目相機的實際應用，尺度模糊是一個重要問題。由于不需要包含尺度信息的額外數據的自監督數據驅動方法無法避免尺度模糊性，因此最先進的基于深度學習的方法通過從額外的傳感器測量中學習尺度信息來解決這個問題。在這方面，慣性測量單元(imu)由于其重量輕且價格便宜而成為用于各種移動的平臺的流行傳感器。然而，與可以從地面實況信息學習尺度的監督學習不同，從imu學習尺度在自監督設置中具有挑戰性。
技術實現思路
1、針對現有技術存在的不足，本專利技術提出了一種單目自監督學習的尺度感知視覺慣性里程計方法，該方法包括：獲取運動場景中的相鄰幀圖像和兩幀圖像之間的imu數據；將相鄰幀圖像和兩幀圖像之間的imu數據輸入到訓練好的端到端自監督網絡，得到定位結果；
2、端到端自監督網絡的訓練過程包括：
3、s1：采集運動場景中相鄰兩幀圖像，獲取在兩幀圖像之間的imu數據；
4、s2：將一幀圖像輸入到深度網絡中進行處理，得到深度圖；
5、s3：將兩幀圖像和imu數據輸入到里程計網絡中進行處理，得到相對位姿、重力和imu偏差；
6、s4：根據相對位姿和深度圖計算扭曲圖；根據扭曲圖和真實圖像計算光度一致性損失和平滑度損失；
7、s5：根據imu數據和相對位姿計算預積分損失；
8、s6：根據imu偏差和重力計算常規損失；將光度一致
9、s7：根據總損失調整網絡參數，得到訓練好的端到端自監督網絡。
10、優選的，里程計網絡對兩幀圖像和imu數據的處理過程包括：
11、采用視覺編碼器對兩幀圖像進行處理，得到圖像特征；
12、采用慣性編碼器對imu數據進行處理，得到慣導特征；
13、將圖像特征與慣導特征輸入到特征融合網絡進行融合，得到融合特征；
14、采用多個解碼器對融合特征進行處理，得到相對位姿、重力和imu偏差。
15、進一步的，慣性編碼器包括三個雙向lstm層。
16、進一步的，特征融合網絡包括兩個全連接層、一個歸一化層和拼接層。
17、優選的，計算光度一致性損失的公式為：
18、
19、其中，表示光度一致性損失，n表示圖像像素數量，u表示作用于圖像的每個像素，μ表示每像素掩模，表示圖像in+1與圖像之間的差異大小，in+1表示當前圖像in的下一幀圖像，為真實值。表示當前圖像in扭曲到下一幀視圖的扭曲圖。
20、優選的，計算平滑度損失的公式為：
21、
22、其中，表示平滑度損失，表示相對于i的偏導數算子，x,y分別表示像素i在像素坐標系中的行坐標和列坐標，表示當前視圖的深度圖，exp表示指數運算，in表示當前圖像。
23、優選的，預積分損失為旋轉預積分損失與速度預積分損失之和，計算旋轉預積分損失與速度預積分損失的公式為：
24、
25、其中，表示旋轉預積分損失，表示速度預積分損失，λrot表示旋轉權重，λvel表示速度權重，δrn表示相對旋轉矩陣，表示利用imu數據得到的旋轉矩陣測量值，δvn表示相對速度，表示利用imu數據的速度測量值。
26、優選的，常規損失為重力調節損失、偏差調節損失與偏置項之和。
27、進一步的，重力調節損失表示為：
28、
29、其中，λgrav表示重力調節權重，表示物體坐標中時間n處的第一重力，表示物體坐標中時間n處的第二重力；
30、偏差調節損失表示為：
31、
32、其中，λbdi表示偏差角速度調節權重，λbdiffa表示偏差加速度調節權重，表示n時刻的角速度偏差，表示0時刻的角速度偏差，表示n時刻的角速度偏差，表示0時刻的加速度偏差。
33、本專利技術的有益效果為：
34、1.提出了一個新的損失函數，用于在訓練步驟中從imu測量中學習尺度，從而保留了端到端訓練框架的單目自監督設置。
35、2.提出了一種預測身體坐標中的重力和imu偏差的網絡架構，以及適當的重力和偏差正則化函數，以使用新的損失函數訓練網絡，提高了視覺慣性里程計精度。
本文檔來自技高網...【技術保護點】
1.一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，包括：獲取運動場景中的相鄰幀圖像和兩幀圖像之間的IMU數據；將相鄰幀圖像和兩幀圖像之間的IMU數據輸入到訓練好的端到端自監督網絡，得到定位結果；
2.根據權利要求1所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，里程計網絡對兩幀圖像和IMU數據的處理過程包括：
3.根據權利要求2所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，所述慣性編碼器包括三個雙向LSTM層。
4.根據權利要求2所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，所述特征融合網絡包括兩個全連接層、一個歸一化層和拼接層。
5.根據權利要求1所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，計算光度一致性損失的公式為：
6.根據權利要求1所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，計算平滑度損失的公式為：
7.根據權利要求1所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，預積
8.根據權利要求1所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，常規損失為重力調節損失、偏差調節損失與偏置項之和。
9.根據權利要求8所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，重力調節損失表示為：
...【技術特征摘要】
1.一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，包括：獲取運動場景中的相鄰幀圖像和兩幀圖像之間的imu數據；將相鄰幀圖像和兩幀圖像之間的imu數據輸入到訓練好的端到端自監督網絡，得到定位結果；
2.根據權利要求1所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，里程計網絡對兩幀圖像和imu數據的處理過程包括：
3.根據權利要求2所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，所述慣性編碼器包括三個雙向lstm層。
4.根據權利要求2所述的一種單目自監督學習的尺度感知視覺慣性里程計方法，其特征在于，所述特征融合網絡包括兩個全連接層、一個歸一化層和拼接層。
5.根據權利要求...
【專利技術屬性】
技術研發人員：楊澤遠，李帥永，汪宙峰，楊麗麗，李萍萍，蒲朝東，隆勇，仇歡，劉舒銚，董麗明，王忠，湯敏，宋兵，
申請(專利權)人：萬基泰科工集團數字城市科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。