【技術實現步驟摘要】
本專利技術涉及視覺里程計領域，特別是一種基于深度學習的gnss視覺慣性里程計方法。
技術介紹
1、視覺里程計是通過分析連續的圖像序列間的位姿變換來估計相機運動的過程，通過攝像頭圖像來理解并跟蹤其在三維空間中的位置和方向，可以用于自動駕駛、移動機器人等領域，幫助這些設備在未知環境中進行自主導航和定位等功能。慣性測量單元能夠以較高的頻率測量載體自身的角速度與加速度，為系統提供兩幀圖像間載體位置和姿態變化量的預測，消除單目相機的空間尺度不確定問題和快速運動時信息丟失等問題。另一方面，視覺慣性系統在長期的運動中會有累計誤差，因為其傳感器的局限性，只能獲得周圍環境與載體自身的信息，解算得到載體自身的相對位姿，無法獲得精確的位置信息，這會使系統的定位誤差隨著時間的推移逐漸增大。通過將gnss原始測量值與視覺和慣導結合起來用于實時和無漂移的狀態估計。提高整個視覺慣性導航系統的魯棒性。
2、目前，視覺慣性里程計方案主要可分為特征點法和直接法兩類。基于特征點的方法是當前視覺慣性里程計的主流方案。特征點法從每幀圖片中提取穩定的特征點，通過計算特征點的描述子來完成相鄰幀的匹配。通過這些特征點在像素坐標系中的位置變化，基于相機模型，恢復相機在世界坐標系中的姿態和特征點的空間坐標。
3、然而，傳統的視覺慣性里程計方法依賴于已有圖像特征，這些特征在處理多樣化的復雜場景時定位效果不佳，誤差較大，特別是在無特征區域、運動模糊、環境中的動態元素多和照明變化大、以及無紋理場景等情況下。深度學習方法因其強大的特征提取能力，能從高維數據中學習有
技術實現思路
1、為了解決上述問題，本專利技術采用的技術方案是：一種基于深度學習的gnss視覺慣性里程計方法，包括以下步驟：
2、獲取當前視覺圖像幀、慣性測量信息及gnss測量值；
3、將視覺圖像幀輸入卷積神經網絡，由卷積神經網絡進行圖像特征提取，獲取特征點；
4、根據獲取的特征點，利用光流跟蹤法進行特征點跟蹤，獲取較好的跟蹤特征點對，選取關鍵幀；
5、基于機器人移動信息，進行imu預積分，對圖像幀之間進行位置、速度和姿態預測；
6、利用sfm進行單目視覺估計滑窗內所有幀的位姿以及路標點的逆深度，再通過視覺與imu預積分融合對齊，進行視覺慣性聯合校準；
7、初始化gnss狀態，對全球衛星導航系統進行退化監測和處理；
8、結合不同測量項的約束，在非線性優化的框架下對滑動窗口內的測量約束進行優化，進行狀態估計。
9、進一步地：所述將視覺圖像幀輸入卷積神經網絡，由卷積神經網絡進行圖像特征提取，獲取特征點包括
10、基于卷積神經網絡的特征點檢測和描述符匹配，通過卷積神經網絡在全尺寸圖像上運行獲取特征點的位置和對應的描述子，特征點檢測器同時輸出點的位置和描述子，用于后續的匹配任務；卷積神經網絡中包含了一個共享編碼器，用于小圖像的尺寸并獲得高層特征，之后由兩個解碼器分別對經過編碼的圖像進行特征點檢測和描述，該特征點檢測器同時輸出點的位置和描述子，并在兩個任務中共享了部分參數。
11、進一步地：所述卷積神經網絡的編碼層采用結構重參數化的思想進行改進，以多分支的結構豐富卷積塊的特征空間，所述卷積神經網絡網絡能夠更好地捕獲圖像中的信息和模式，通過重參數化，推理時多分支結構被融合成一個主分支。
12、進一步地：所述卷積神經網絡的損失函數由兩個部分構成，分別是用于特征點檢測的和用于生成描述子的
13、所述卷積神經網絡的訓練的過程中使用成對的圖像進行，圖像對中的第二圖像由第一張圖像通過單應性變換生成，因此可以拿到圖像對中兩個圖像的特征點偽真值以及圖像之間的單應性變換在訓練的過程中同時優化兩個子損失函數，使用λ平衡損失函數；其中：
14、
15、其中，和分別表示圖像對中前后圖像的特征點檢測器計算子，和分別表示圖像對中前后圖像的描述子計算子，y和y′分別表示圖像對中前后圖像的偽真值特征點集；
16、是特征點檢測的損失函數，如下式所示，由計算子中的單元的全卷積交叉熵構成；對應的特征點的偽真值標簽集為y，每一項為yhw；
17、
18、其中，
19、
20、對于特征點描述子的損失函數作用于圖像對中每一對描述子：
21、
22、其中：
23、ld(d，d′；s)＝λd*s*max(0，mp-dtd′)+(1-s)*max(0，dtd′-mn)
24、上式中，為前一張圖像的描述子，為后一張圖像的描述子，shwh′w′表示對應描述子所在的單元的單應性變換控制系數；
25、
26、上式中的表示將單元中心所處的位置phw乘上單應性矩陣并除以后者的坐標，所有對應關系的集合表示為s，在之前的式子中，mp和mn分別是鉸鏈損失的正邊緣和負邊緣，同時添加了權重λd來輔助訓練。
27、進一步地：所述根據獲取的特征點，利用光流跟蹤法進行特征點跟蹤，獲取較好的跟蹤特征點對，選取關鍵幀包括如下步驟：
28、s31、二維特征點校正為不失真，然后通過外點剔除后投影到單位球面；
29、s32、進行f矩陣測試，通過ransac算法去除異常點；
30、s33、當前幀與最近關鍵幀之間的平均特征點視差超過閾值或當前幀跟蹤到的特征點數量低于閾值，將其標記為關鍵幀。
31、進一步地：所述利用sfm進行單目視覺估計滑窗內所有幀的位姿以及路標點的逆深度，再通過視覺與imu預積分融合對齊，進行視覺慣性聯合校準的過程如下：
32、s51、在當前視覺圖像的最后一幀和滑動窗口之前的幀之間進行幀的搜索；找到那些跟蹤到的特征點數目大于30個并且視差超過20的幀；
33、s52、使用5點法來初始化本質矩陣，以恢復出相對旋轉r和平移t的估計；
34、s53、隨機設置一個尺度因子，并對這兩幀觀測到的所有路標點進行三角化；
35、s54、使用pnp算法來估計滑動窗口內的所有其他幀的相機位姿；
36、s55、進行滑動窗口內的全局bundle?adjustment，通過優化所有幀的位姿以最小化重投影誤差。
37、進一步地：所述初始化gnss狀態，對全球衛星導航系統進行退化監測和處理的過程如下：
38、s61、通過單點定位spp算法獲得粗定位結果；
39、s62、使用來自視覺慣性初始化和gnss多普勒測量的局部速度關聯局部和全局幀進行偏航角對齊；
40、s63、利用精確的局部軌跡并施加時間同步約束來進一步細化錨點的全局位置；
41、s64、檢查并處理gnss退化情況，如果gnss不可用或無法正確初始化，轉化為視覺慣性模式。
42、一種芯片，所述芯片包括可編程邏輯電路本文檔來自技高網...
【技術保護點】
1.一種基于深度學習的GNSS視覺慣性里程計方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于深度學習的GNSS視覺慣性里程計方法，其特征在于：所述將視覺圖像幀輸入卷積神經網絡，由卷積神經網絡進行圖像特征提取，獲取特征點包括
3.根據權利要求1所述的一種基于深度學習的GNSS視覺慣性里程計方法，其特征在于：所述卷積神經網絡的編碼層采用結構重參數化的思想進行改進，以多分支的結構豐富卷積塊的特征空間，所述卷積神經網絡網絡能夠更好地捕獲圖像中的信息和模式，通過重參數化，推理階段多分支結構被融合成一個主分支。
4.根據權利要求1所述的一種基于深度學習的GNSS視覺慣性里程計方法，其特征在于：所述卷積神經網絡的損失函數由兩個部分構成，分別是用于特征點檢測的和用于生成描述子的
5.根據權利要求1所述的一種基于深度學習的GNSS視覺慣性里程計方法，其特征在于：所述根據獲取的特征點，利用光流跟蹤法進行特征點跟蹤，獲取較好的跟蹤特征點對，選取關鍵幀包括如下步驟：
6.根據權利要求1所述的一種基于深度學習的GNSS視覺慣性里
7.根據權利要求1所述的一種基于深度學習的GNSS視覺慣性里程計方法，其特征在于：所述初始化GNSS狀態，對全球衛星導航系統進行退化監測和處理的過程如下：
8.一種芯片，其特征在于，所述芯片包括可編程邏輯電路和/或程序指令；
9.一種基于深度學習的GNSS視覺慣性里程計，其特征在于：包括：用于采集當前視覺圖像幀的相機、用于采集GNSS測量值的GNSS接收器、GNSS接口、顯示器接口、數據處理模塊、通信模塊、電源和時鐘模塊，所述相機上設置有用于采集機器人移動信息的慣性測量單元；
...【技術特征摘要】
1.一種基于深度學習的gnss視覺慣性里程計方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于深度學習的gnss視覺慣性里程計方法，其特征在于：所述將視覺圖像幀輸入卷積神經網絡，由卷積神經網絡進行圖像特征提取，獲取特征點包括
3.根據權利要求1所述的一種基于深度學習的gnss視覺慣性里程計方法，其特征在于：所述卷積神經網絡的編碼層采用結構重參數化的思想進行改進，以多分支的結構豐富卷積塊的特征空間，所述卷積神經網絡網絡能夠更好地捕獲圖像中的信息和模式，通過重參數化，推理階段多分支結構被融合成一個主分支。
4.根據權利要求1所述的一種基于深度學習的gnss視覺慣性里程計方法，其特征在于：所述卷積神經網絡的損失函數由兩個部分構成，分別是用于特征點檢測的和用于生成描述子的
5.根據權利要求1所述的一種基于深度學習的gnss視覺慣性里程計方法，其特征在于：所述根據獲取的...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。