【技術實現步驟摘要】
本申請涉及計算機視覺領域，特別是涉及一種語義空間拓撲驅動的多級slam閉環檢測方法、設備、介質及產品。
技術介紹
1、在完整的slam(simultaneous?localization?andmapping，即時定位與地圖構建)系統中，閉環檢測是一個關鍵組成部分，可以幫助消除累積誤差并優化位置信息。傳統的閉環檢測方法基于提取的人工特征，使用詞袋模型進行特征匹配。然而，這種方法易受到場景中光照和視角改變的影響，而導致不能準確實現閉環檢測。
技術實現思路
1、為解決現有技術存在的上述問題，本申請提供了一種語義空間拓撲驅動的多級slam閉環檢測方法、設備、介質及產品。
2、為實現上述目的，本申請提供了如下方案：
3、第一方面，本申請提供了一種語義空間拓撲驅動的多級slam閉環檢測方法，包括：
4、獲取待檢測場景的圖像數據；所述圖像數據包括各幀的rgb圖像及深度圖；
5、采用orb-slam2系統基于待檢測場景的圖像數據和關鍵幀創建與剔除條件得到關鍵幀并保留關鍵幀對應圖像數據；
6、利用區域生長算法及拉普拉斯算子對所述關鍵幀對應圖像數據進行預處理，得到預處理結果；所述預處理結果包括實例分割結果和類別信息；所述實例為基于所述關鍵幀對應圖像數據預處理得到的具有相同連通區域代表的實體對象；
7、基于所述預處理結果構造語義特征向量；
8、以所述語義特征向量為依據，確定當前關鍵幀與非相連關鍵幀的相似度；所述非相連關
9、基于當前關鍵幀與非相連關鍵幀的最大相似度確定相似度閾值，并基于所述相似度閾值在所述非相連關鍵幀中篩選得到一級閉環候選關鍵幀；
10、保留滿足連續性條件的所述一級閉環候選關鍵幀，并將保留的所述一級閉環候選關鍵幀作為二級閉環候選關鍵幀；
11、基于所述預處理結果和深度圖確定當前關鍵幀對應圖像數據中各實例像素質心在當前關鍵幀坐標系下的空間坐標；
12、將當前關鍵幀各實例像素質心的空間坐標變換至參考坐標系，得到變換后的實例像素質心空間統一坐標信息；
13、利用變換后的實例像素質心空間統一坐標信息與所述類別信息構建當前關鍵幀無向完全圖的bfs(廣度優先搜索算法，breadth-first-search)樹；
14、確定當前關鍵幀無向完全圖的bfs樹與二級閉環候選關鍵幀無向完全圖的bfs樹的相似度，并將所述相似度最高的二級閉環候選關鍵幀作為閉環關鍵幀；
15、當所述閉環關鍵幀與當前關鍵幀的相似度超過設定閾值時，則檢測到閉環，并進行閉環矯正；
16、當所述閉環關鍵幀與當前關鍵幀的相似度不超過設定閾值時，則未檢測到閉環，不進行閉環矯正。
17、可選地，利用區域生長算法及拉普拉斯算子對關鍵幀對應圖像數據進行預處理，得到預處理結果，包括：
18、基于orb-slam2系統中關鍵幀創建和剔除條件生成關鍵幀隊列進入閉環檢測線程，并取出關鍵幀隊列中隊頭幀作為當前關鍵幀；
19、將當前關鍵幀所對應的rgb圖像利用語義分割網絡進行語義特征提取，得到掩膜圖像；
20、采用拉普拉斯算子識別當前關鍵幀所對應的深度圖中深度突變的邊緣，得到處理后的深度圖；
21、將所述掩膜圖像與處理后的深度圖對齊，對邊緣進行特殊賦值，得到各個實例的邊緣；
22、利用區域生長算法對對齊后的圖像進行處理，得到當前關鍵幀對應圖像數據的預處理結果。
23、可選地，基于所述預處理結果構造語義特征向量，包括：
24、基于所述預處理結果構建語義特征字典；
25、對所述語義特征字典中每個語義類別賦予不同的權重，得到所述語義特征向量。
26、可選地，以所述語義特征向量為依據，確定當前關鍵幀與非相連關鍵幀的相似度，包括：
27、以所述語義特征向量為依據，利用歐幾里得距離確定當前關鍵幀與非相連關鍵幀的相似度。
28、可選地，基于當前關鍵幀與非相連關鍵幀的最大相似度確定相似度閾值，包括：
29、將當前關鍵幀與非相連關鍵幀的最大相似度的σ倍作為所述相似度閾值。
30、可選地，確定當前關鍵幀無向完全圖的bfs樹與二級閉環候選關鍵幀無向完全圖的bfs樹的相似度，包括：
31、利用關鍵幀無向完全圖的bfs樹頂點集與邊集確定當前關鍵幀無向完全圖的bfs樹與二級閉環候選關鍵幀無向完全圖的bfs樹的相似度；所述當前關鍵幀無向完全圖bfs樹頂點集基于當前關鍵幀像素質心所屬語義類別與像素質心空間統一坐標及原點信息確定；所述當前關鍵幀無向完全圖bfs樹邊集基于原點到像素質心向量的模長確定。
32、第二方面，本申請提供了一種計算機設備，包括：存儲器、處理器以存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序以實現上述提供的語義空間拓撲驅動的多級slam閉環檢測方法的步驟。
33、第三方面，本申請提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現上述提供的語義空間拓撲驅動的多級slam閉環檢測方法的步驟。
34、第四方面，本申請提供了一種計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現上述提供的語義空間拓撲驅動的多級slam閉環檢測方法的步驟。
35、根據本申請提供的具體實施例，本申請公開了以下技術效果：
36、本申請提供了一種語義空間拓撲驅動的多級slam閉環檢測方法、設備、介質及產品，通過基于預處理結果構造語義特征向量，以利用語義特征及空間拓撲信息代替傳統的詞袋策略，相較于傳統詞袋對光照和視角變化具有更高的適應性，能夠顯著提高閉環檢測的魯棒性。通過篩選得到一級閉環候選關鍵幀能夠有效的過濾實例種類及數目相差較大的歷史關鍵幀，同時利用語義特征向量進一步判斷了一級閉環候選關鍵幀的連續性，在一級匹配的基礎上得到二級閉環候選關鍵幀，保證了閉環檢測的效率。充分利用了語義空間拓撲信息，保證了閉環檢測的準確性。由此通過利用一級匹配與二級匹配進行的閉環檢測可以兼顧魯棒性、效率與準確性。利用當前關鍵幀無向完全圖的bfs樹將當前關鍵幀與二級閉環候選關鍵幀的空間拓撲信息進行關聯并計算相似度，相較于現有其余拓撲匹配方式，具有更快的處理速度同時也具有良好的準確性。此外，本申請在完成一級匹配與二級匹配后，只保留了當前關鍵幀無向完全圖的bfs樹和語義特征向量，其rgb圖像、深度圖像被剔除，有效的防止內存浪費。
本文檔來自技高網...【技術保護點】
1.一種語義空間拓撲驅動的多級SLAM閉環檢測方法，其特征在于，所述語義空間拓撲驅動的多級SLAM閉環檢測方法包括：
2.根據權利要求1所述的語義空間拓撲驅動的多級SLAM閉環檢測方法，其特征在于，利用區域生長算法及拉普拉斯算子對關鍵幀對應圖像數據進行預處理，得到預處理結果，包括：
3.根據權利要求1所述的語義空間拓撲驅動的多級SLAM閉環檢測方法，其特征在于，基于所述預處理結果構造語義特征向量，包括：
4.根據權利要求1所述的語義空間拓撲驅動的多級SLAM閉環檢測方法，其特征在于，以所述語義特征向量為依據，確定當前關鍵幀與非相連關鍵幀的相似度，包括：
5.根據權利要求1所述的語義空間拓撲驅動的多級SLAM閉環檢測方法，其特征在于，基于當前關鍵幀與非相連關鍵幀的最大相似度確定相似度閾值，包括：
6.根據權利要求1所述的語義空間拓撲驅動的多級SLAM閉環檢測方法，其特征在于，確定當前關鍵幀無向完全圖的BFS樹與二級閉環候選關鍵幀無向完全圖的BFS樹的相似度，包括：
7.一種計算機設備，包括：存儲器、處理器以存儲
8.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1-6中任一項所述的語義空間拓撲驅動的多級SLAM閉環檢測方法。
9.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1-6中任一項所述的語義空間拓撲驅動的多級SLAM閉環檢測方法。
...【技術特征摘要】
1.一種語義空間拓撲驅動的多級slam閉環檢測方法，其特征在于，所述語義空間拓撲驅動的多級slam閉環檢測方法包括：
2.根據權利要求1所述的語義空間拓撲驅動的多級slam閉環檢測方法，其特征在于，利用區域生長算法及拉普拉斯算子對關鍵幀對應圖像數據進行預處理，得到預處理結果，包括：
3.根據權利要求1所述的語義空間拓撲驅動的多級slam閉環檢測方法，其特征在于，基于所述預處理結果構造語義特征向量，包括：
4.根據權利要求1所述的語義空間拓撲驅動的多級slam閉環檢測方法，其特征在于，以所述語義特征向量為依據，確定當前關鍵幀與非相連關鍵幀的相似度，包括：
5.根據權利要求1所述的語義空間拓撲驅動的多級slam閉環檢測方法，其特征在于，基于當前關鍵幀與非相連關鍵幀的最大相似度確定相似度閾值，包括：...
【專利技術屬性】
技術研發人員：李恒宇，劉峻瑋，劉靖逸，謝燮，彭艷，謝少榮，羅均，
申請(專利權)人：上海大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。