本發明專利技術涉及用于分布式slam系統的多層次語義感知地圖構建方法，包括：采集地點信息，基于地點信息獲取備選匹配幀；對備選匹配幀提取特征值，并生成矢量作為特征值的段描述，對段描述進行處理，獲取處理后點云數據；基于處理后的點云數據，構建概率3D占用柵格圖，對概率3D占用柵格圖進行平面分割，構建2D網格圖；將2D網格圖輸入卷積神經網絡模型進行圖像深度估計和語義分割，獲取深度信息和語義信息；將深度信息和語義信息進行融合，獲取三維語義點云數據；基于三維語義點云數據和相機姿態，獲取三維語義圖并進行優化。本發明專利技術結合了傳統slam系統的幾何信息和深度學習技術的優勢，實現對環境的高效感知和建模。
1、在近年來，隨著移動機器人技術的迅速發展，分布式作為一種關鍵的自主導航和環境感知技術，已經成為了自主移動機器人領域的熱點研究方向之一。slam技術旨在通過機器人在未知環境中的自主移動，同時實時地構建地圖和估計機器人自身的位置，以實現對環境的感知和理解。
2、傳統的slam系統通常基于幾何信息，如激光雷達或視覺傳感器等，來構建地圖和估計機器人的姿態。然而，隨著深度學習和計算機視覺領域的發展，基于語義信息的slam系統逐漸受到關注。與傳統slam系統相比，基于語義信息的slam系統能夠利用地圖中的語義信息，使機器人對環境的理解更加豐富和深入。
>6、基于處理后的點云數據，構建概率3d占用柵格圖，對所述概率3d占用柵格圖進行平面分割，構建2d網格圖；7、將所述2d網格圖輸入卷積神經網絡模型進行圖像深度估計和語義分割，獲取深度信息和語義信息；
8、將所述深度信息和所述語義信息進行融合，獲取三維語義點云數據；
9、基于所述三維語義點云數據和相機姿態，獲取三維語義圖并進行優化。
10、可選的，基于所述地點信息獲取備選匹配幀包括：
11、獲取地點信息，其中，所述地點信息通過3d?lidar從環境中捕獲地圖上每個表面點的反射強度獲得；
12、根據每個節點上傳感器的姿態建立點云坐標系統，基于所述反射強度和所述點云坐標系統生成直方圖，并構建delight描述符；
13、對delight描述符的相似度值進行計算，基于所述相似度值，獲取所述備選匹配幀。
14、可選的，獲取處理后點云數據包括：
15、基于flann樹通過快速最近鄰搜索在所述段描述的空間中采用鄰居數量和距離閾值進行段匹配；
16、并基于ransac的幾何驗證以分辨率閾值和最小簇大小對段匹配后的段描述進行處理，獲取滿足幾何一致的簇即處理后點云數據。
17、可選的，構建概率3d占用柵格圖包括：
18、將獲取處理后點云數據轉換為相機坐標，投影到圖像平面；
19、將所述圖像平面上每個2d點的強度值賦值為對應的3d點的z軸值，構建所述概率3d占用柵格圖。
20、可選的，構建2d網格圖包括：
21、沿著z軸對所述概率3d占用柵格圖進行濾波，去除天花板平面上的點；
22、采用ransac算法對地面平面進行迭代擬合，獲取所述地面的法向量和高度，將所述地面去除，并將剩余的體素投影至所述地面上，獲取所述2d網格圖。
23、可選的，將所述2d網格圖輸入卷積神經網絡模型進行圖像深度估計和語義分割包括：
24、將所述2d網格圖輸入輸入層進行預處理；
25、將預處理后的2d網格圖輸入編碼器層進行圖像下采樣，獲取多尺度特征圖像；
26、將所述多尺度特征圖像輸入解碼器層，將所述多尺度特征圖像與上采樣進行合并，獲取融合特征圖像；
27、將所述融合特征圖像輸入判別層進行圖像深度估計和語義分割，獲取每個像素的擬合結果和分類概率，進而獲取深度圖像和語義圖像；
28、將所述深度圖像和所述語義圖像輸入輸出層，通過雙線性插值將所述深度圖像和所述語義圖像恢復至與所述2d網格圖相同分辨率，獲取所述深度信息和所述語義信息。
29、可選的，構建所述解碼器層包括：將卷積層、batchnorm和激活函數封裝為convbnrelu模塊，其中，所述卷積層進行深度可分離卷積操作；
30、基于若干convbnrelu模塊構建所述解碼器層。
31、可選的，獲取每個像素的擬合結果和分類概率包括：
32、采用預設大小的卷積核對所述融合特征圖像進行若干次語義分割，預測所述每個像素的分類概率；
33、利用所述預設大小的卷積核對所述融合特征圖像的每個像素的景深進行回歸擬合，獲取所述每個像素的擬合結果。
34、可選的，獲取所述三維語義圖并進行優化包括：
35、將所述深度信息和所述語義信息融合為三維語義點云數據，并根據相機姿態，將各幀的點云數據映射至世界坐標系，獲取所述三維語義圖；
36、計算機器人的旋轉和完整的位姿變換，對所述三維語義圖進行優化。
37、可選的，所述機器人之間還進行通信，包括：
38、當機器人α捕獲新的lidar數據時，位置識別模塊產生一個delight描述符壓縮原始點云并將其恢復到局部描述符樹中，其中，所述局部描述符樹為局部區域內的delight描述符層次化組織形式；
39、所述描述符的通信消息以r_msg的形式將數據發送給機器人β，所述位置識別模塊在描述符樹中檢索最相似的描述符，其中，所述描述符樹為delight描述符的層次化組織形式；
40、機器人β將節點預設范圍特征值的段描述與描述符樹中最相似的描述符進行匹配，確定節點在地圖中的位置，同時生成相對位姿信息發送至機器人α使得機器人之間建立通信協議。
41、本專利技術的有益效果為：
42、本專利技術通過相對姿態估計算法對兩個不同的備選匹配幀提取特征值，能夠準確地估計相機的姿態，并將特征值匹配對應用于地圖構建，從而實現精確的地圖建模。
43、通過采用深度語義融合卷積神經網絡，將圖像的深度信息和語義信息進行融合，生成三維語義點云數據，從而實現了多層次的語義感知地圖構建。
44、通過將深度信息和語義信息融合成三維語義點云數據，有助于提高地圖對環境的理解和表達能力，使得地圖更加豐富和準確。
45、通過位置識別模塊實現機器人間的通信協議，有助于多個機器人之間進行信息交換和合作，從而實現更加智能和高效的任務執行。
本文檔來自技高網...
【技術保護點】
1.用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，包括：
2.根據權利要求1所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，基于所述地點信息獲取備選匹配幀包括：
3.根據權利要求1所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，獲取處理后點云數據包括：
4.根據權利要求1所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，構建概率3D占用柵格圖包括：
5.根據權利要求4所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，構建2D網格圖包括：
6.根據權利要求1所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，將所述2D網格圖輸入卷積神經網絡模型進行圖像深度估計和語義分割包括：
7.根據權利要求6所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，構建所述解碼器層包括：將卷積層、BatchNorm和激活函數封裝為convbnrelu模塊，其中，所述卷積層進行深度可分離卷積操作；
8.根據權利要求6所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，獲取每個像素的擬合結果和分類概率包括：
9.根據權利要求3所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，獲取所述三維語義圖并進行優化包括：
10.根據權利要求9所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，所述機器人之間還進行通信，包括：
...
【技術特征摘要】
1.用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，包括：
2.根據權利要求1所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，基于所述地點信息獲取備選匹配幀包括：
3.根據權利要求1所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，獲取處理后點云數據包括：
4.根據權利要求1所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，構建概率3d占用柵格圖包括：
5.根據權利要求4所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，構建2d網格圖包括：
6.根據權利要求1所述的用于分布式slam系統的多層次語義感知地圖構建方法，其特征在于，將所述2d網...
【專利技術屬性】
技術研發人員：史彥軍，于程嘉，趙鵬，王曉叢，
申請(專利權)人：大連理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。