【技術實現步驟摘要】
本申請涉及計算機視覺，特別涉及一種基于點線特征的視覺里程計方法、系統、設備及介質。
技術介紹
1、前端視覺里程計（vo）方法通過相機獲取的連續圖像估計相機運動軌跡，其是自動駕駛和機器人導航等領域的關鍵技術。傳統vo方法主要分為基于特征的方法和直接法，其中，基于特征的方法通常依賴特征點的提取與匹配，如orb、sift和surf，通過跟蹤相鄰幀中的特征點，利用三角測量或pnp算法估計相機運動。然而，這些方法對環境的光照和紋理變化敏感，對于視覺不友好場景（如低光、光照劇烈變化和弱紋理場景），可能無法識別和關聯當前環境中的特征信息，從而在復雜和變化的場景中性能不穩定，甚至可能出現跟蹤丟失。直接法則通過直接最小化圖像像素強度差異來估計運動，例如直接稀疏里程計（dso），這些方法對特征點依賴較小，但對計算精度要求高，容易受到相機噪聲和遮擋影響。
2、因而現有技術還有待改進和提高。
技術實現思路
1、本申請要解決的技術問題在于，針對現有技術的不足，提供一種基于點線特征的視覺里程計方法、系統、設備及介質。
2、為了解決上述技術問題，本申請第一方面提供了一種基于點線特征的視覺里程計方法，其中，所述的基于點線特征的視覺里程計方法具體包括：
3、獲取拍攝對象的圖像序列；
4、分別對所述圖像序列中的每張圖像幀進行點特征提取和線特征提取，以得到每張圖像幀的點特征和線特征，其中，所述線特征提取采用線光流跟蹤和交叉約束的方式；
5、基于點線特征和線特征
6、通過預設的深度匹配模型將選取到的關鍵幀的點特征和線特征進行特征匹配以得到匹配特征，基于匹配特征估計拍攝對象的位姿信息。
7、所述的基于點線特征的視覺里程計方法，其中，所述線特征提取的提取過程具體包括：
8、基于灰度不變準則，通過光流跟蹤在圖像幀中選取候選線特征；
9、以每條候選線特征與其他候選線特征的夾角為交叉約束對選取到的候選線特征進行篩選，以提取到圖像幀的線特征。
10、所述的基于點線特征的視覺里程計方法，其中，所述交叉約束為：
11、<，
12、，
13、其中，表示候選線特征與一候選線特征的夾角，表示該候選線特征與另一候選線特征的夾角，表示兩個夾角的差值，表示預設夾角閾值。
14、所述的基于點線特征的視覺里程計方法，其中，所述點特征提取的提取過程具體包括：
15、將圖像幀輸入預設的特征點檢測器中的編碼器，通過所述編碼器將所述圖像幀轉換為張量；
16、將所述張量輸入所述特征點檢測器中的解碼器，通過所述解碼器提取特征點的響應，并基于所述特征點的響應確定所述圖像幀的點特征。
17、所述的基于點線特征的視覺里程計方法，其中，所述預設的特征點檢測器采用superpoint框架，所述superpoint框架通過自適應閾值機制來調整特征點的得分閾值。
18、所述的基于點線特征的視覺里程計方法，其中，所述基于點線特征和線特征在所述圖像序列中選取關鍵幀具體為：
19、基于所述點特征和所述線特征，按照預設選取策略在所述圖像序列中選取關鍵幀，其中，所述選取策略包括基于特征質量策略、基于時間間隔策略以及基于重疊角度約束策略。
20、所述的基于點線特征的視覺里程計方法，其中，所述基于重疊角度約束策略為：
21、若已選取的目標關鍵幀所對應的線特征重疊角度狀態與候選圖像幀所對應的線特征重疊角度狀態的狀態差值小于預設角度閾值，則將候選圖像幀選取為關鍵幀，其中，目標關鍵幀為按照時間順序位于已選取到的關鍵幀中最后的關鍵幀。
22、本申請第二方面提供了一種基于點線特征的視覺里程計系統，其中，所述的基于點線特征的視覺里程計系統具體包括：
23、獲取模塊，用于獲取拍攝對象的圖像序列；
24、特征提取模塊，用于分別對所述圖像序列中的每張圖像幀進行點特征提取和線特征提取，以得到每張圖像幀的點特征和線特征，其中，所述線特征提取采用線光流跟蹤和交叉約束的方式；
25、關鍵幀選取模塊，用于基于點線特征和線特征在所述圖像序列中選取關鍵幀；
26、深度特征匹配模塊，用于通過預設的深度匹配模型將選取到的關鍵幀的點特征和線特征進行特征匹配以得到匹配特征，基于匹配特征估計拍攝對象的位姿信息。
27、本申請第三方面提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如上任一所述的基于點線特征的視覺里程計方法中的步驟。
28、本申請第四方面提供了一種終端設備，其包括：處理器和存儲器；
29、所述存儲器上存儲有可被所述處理器執行的計算機可讀程序；
30、所述處理器執行所述計算機可讀程序時實現如上任一所述的基于點線特征的視覺里程計方法中的步驟。
31、有益效果：
32、1）、本申請通過光流追蹤來提取線特征，克服了弱光環境、紋理較弱的區域特征提取，從而可以提高低紋理和快速運動場景下的特征匹配的精度，進而可以提高姿態估計的準確性。
33、2）、本申請通過引入自適應閾值機制，能夠根據不同的場景變化動態調整特征點的閾值，從而在復雜的環境中提高了特征提取的準確性和魯棒性。
34、3）、本申請通過增加重疊角度約束策略，考慮了線特征的角度變化，使得在場景結構變化較大的情況下能夠更精確地選擇關鍵幀，從而提高了系統的穩定性和準確性。
本文檔來自技高網...【技術保護點】
1.一種基于點線特征的視覺里程計方法，其特征在于，所述的基于點線特征的視覺里程計方法具體包括：
2.根據權利要求1所述的基于點線特征的視覺里程計方法，其特征在于，所述線特征提取的提取過程具體包括：
3.根據權利要求2所述的基于點線特征的視覺里程計方法，其特征在于，所述交叉約束為：
4.根據權利要求1所述的基于點線特征的視覺里程計方法，其特征在于，所述點特征提取的提取過程具體包括：
5.根據權利要求4所述的基于點線特征的視覺里程計方法，其特征在于，所述預設的特征點檢測器采用SuperPoint框架，所述SuperPoint框架通過自適應閾值機制來調整特征點的得分閾值。
6.根據權利要求1所述的基于點線特征的視覺里程計方法，其特征在于，所述基于點線特征和線特征在所述圖像序列中選取關鍵幀具體為：
7.根據權利要求6所述的基于點線特征的視覺里程計方法，其特征在于，所述基于重疊角度約束策略為：
8.一種基于點線特征的視覺里程計系統，其特征在于，所述的基于點線特征的視覺里程計系統具體包括：
9.一
10.一種終端設備，其特征在于，包括：處理器和存儲器；
...【技術特征摘要】
1.一種基于點線特征的視覺里程計方法，其特征在于，所述的基于點線特征的視覺里程計方法具體包括：
2.根據權利要求1所述的基于點線特征的視覺里程計方法，其特征在于，所述線特征提取的提取過程具體包括：
3.根據權利要求2所述的基于點線特征的視覺里程計方法，其特征在于，所述交叉約束為：
4.根據權利要求1所述的基于點線特征的視覺里程計方法，其特征在于，所述點特征提取的提取過程具體包括：
5.根據權利要求4所述的基于點線特征的視覺里程計方法，其特征在于，所述預設的特征點檢測器采用superpoint框架，所述superpoint框架通過自適應閾值機制來調整特征點的得分閾值。
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。