【技術實現步驟摘要】
本專利技術涉及自動化，尤其是指二維圖像與三維點云結合的位姿估計方法、介質及設備。
技術介紹
1、傳統的點云目標識別分割和點云配準方法通常采用基于傳統機器學習和點云分割技術的方法進行實現，然而在復雜的場景下，這些方法往往難以滿足點云分割和配準的精度和效率要求。這是因為復雜場景下的點云數據通常具有更高的維度和更大的數據量，而傳統的機器學習方法往往無法有效處理這些數據。此外，傳統的點云分割方法也難以處理復雜場景下的遮擋、噪聲和點云之間的重疊等問題，從而影響了點云分割和配準的精度和效率。目前，點云的分割與配準是無序抓取、工業分揀、自主上下料等工業領域的一大難點，是實現工業自動化必須解決的問題。現有技術中，大多基于傳統的二維圖像或三維點云；基于二維圖像的方法效率一般較高，但是由于沒有物體的深度距離信息，僅能滿足簡單、有規律的場景的工業應用。基于三維點云的方法，含有豐富的物體特征信息，并且能夠準確地描述物體的形狀和空間位置關系；然而，點云數據的維度較高，導致進行部分數據處理和計算復雜度較高，需要高效的算法和計算資源來實現實時的運算。
技術實現思路
1、本專利技術針對現有技術的問題提供一種二維圖像與三維點云結合的位姿估計方法，使用深度學習識別分割實例圖像，通過點云映射分割的方式得到目標的點云實例，并提出全新的配準決策方法，可以解決復雜混疊場景下的目標識別和點云分割的精度低、效率差的問題。
2、為了解決上述技術問題，本專利技術采用如下技術方案：
3、本專利技術提供了二維圖像
4、步驟s10、實時數據采集；實時數據采集分為二維圖像采集和三維點云實時數據采集；
5、步驟s20、yolov8圖像實例分割；首先，通過一個深度卷積神經網絡對輸入圖像進行特征提取，以捕捉圖像中的關鍵信息；接下來，利用卷積層和池化層對特征圖進行處理，以進一步提取圖像的上下文信息；然后，通過一個全連接層將提取到的特征圖映射到一個高維特征向量，以表示圖像中的不同目標實例；在此基礎上，對圖像進行候選目標區域的提取，以進一步縮小實例分割的范圍；最后，利用一個分割網絡對候選目標區域進行像素級別的分類和分割，以得到最終的實例分割結果；
6、步驟s30、點云映射分割；對圖像進行實例分割，然后使用二維圖像和三維點云的對應關系進行分割；
7、步驟s40、點云配準順序決策；從yolov8識別分割實例的置信度、點云實例的平均高度以及點云實例與點云配準模板點數關系，三個維度來綜合起來對點云配準的先后順序進行決策；
8、步驟s50、點云預處理；
9、步驟s60、點云配準；
10、步驟s70、輸出目標類別及位姿。
11、其中，所述步驟s10中，所述二維圖像采集使用相機設備進行圖像的捕捉，通過調整相機的參數獲得不同角度和清晰度的圖像。
12、其中，所述步驟s10中，所述三維點云實時數據采集使用激光掃描儀來獲取物體表面的點云數據；通過激光掃描儀的發射激光束和接收器的接收反射光信號，得到物體表面上的點云坐標。
13、其中，所述步驟s30中，點云映射分割的方法為：
14、步驟s31、相機參數標定：相機參數標定獲取相機的參數；
15、步驟s32、點云分割：根據像素坐標系與相機坐標系的空間映射關系，建立二維圖像與三維點云深度圖像的映射關系；根據映射關系遍歷圖像實例分割二值掩膜中非零像素區域的像素坐標值，來定位每個實例的點云區域，并最終分割出目標點云實例；二值掩膜圖映射到三維點云的方法如下：
16、
17、其中，(p1,p2,p3)是目標點云區域中p點的點云相機坐標，pd是p點深度cf是相機深度比例系數，(m,n)是彩色圖像的像素坐標，fx，fy，cx，cy是相機的內參，r是旋轉矩陣，t是平移向量。
18、其中，所述步驟s40中，點云配準順序決策的決策方式為：
19、
20、其中，sconfidence為yolov8識別分割實例的置信度，haverage為整體點云的平均高度，hi不同點云實例的平均高度，numtemplate為點云模板的點數，numi為不同點云實例的點數，wc，wh，wp分別是賦予三個維度的權重。
21、其中，所述步驟s50中，點云預處理的方法為：
22、步驟s51、八叉樹下采樣；使用八叉樹下采樣對配準前的點云實例進行預處理，通過將點云劃分為八叉樹結構，對每個葉節點進行采樣，最終得到降采樣后的點云；
23、步驟s52、半徑濾波；基于點云中每個點周圍的鄰域信息來判斷是否為離群點，并將離群點移除。
24、其中，所述步驟s60中，所述點云配準的方法為：
25、步驟s61、基于teaser++的點云粗配準：將輸入的點云數據集進行初步的對齊；
26、步驟s62、基于icp的點云精配準：通過迭代優化的方式，將一個點云數據集對準到另一個點云數據集。
27、本專利技術還提供了一種計算機存儲介質，所述計算機存儲介質存儲有計算機指令，所述計算機指令被調用時，用于執行所述二維圖像與三維點云結合的位姿估計方法。
28、本專利技術還提供了一種電子設備，其中，該電子設備包括：處理器；以及被安排成存儲計算機可執行指令的存儲器，所述可執行指令在被執行時使所述處理器執行所述二維圖像與三維點云結合的位姿估計方法。
29、本專利技術的有益效果：
30、本專利技術設計巧妙，本專利技術通過使用yolov8對二維圖像進行實例分割，我們可以得到每個物體在圖像中的位置和類別信息。然后，通過將二維圖像中的物體實例與三維點云進行映射，可以獲取對應的三維點云中的物體實例；這樣就能夠在三維空間中對每個物體進行精確的分割；本專利技術通過利用二維圖像實例分割的結果，可以大大減少需要進行點云分割的數據量。同時，由于二維圖像和三維點云之間的映射關系，可以更準確地對點云進行分割，提高分割的精度；另外，本專利技術提出的點云配準順序決策策略，從yolov8識別分割實例的置信度、點云實例的平均高度以及點云實例與點云配準模板點數關系，三個維度來綜合起來對點云配準的先后順序進行決策，可以更快速得到符合配準精度要求和閾值的目標，從而大幅度降低實際應用的耗時。
本文檔來自技高網...【技術保護點】
1.二維圖像與三維點云結合的位姿估計方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的二維圖像與三維點云結合的位姿估計方法，其特征在于：所述步驟S10中，所述二維圖像采集使用相機設備進行圖像的捕捉，通過調整相機的參數獲得不同角度和清晰度的圖像。
3.根據權利要求1所述的二維圖像與三維點云結合的位姿估計方法，其特征在于：所述步驟S10中，所述三維點云實時數據采集使用激光掃描儀來獲取物體表面的點云數據；通過激光掃描儀的發射激光束和接收器的接收反射光信號，得到物體表面上的點云坐標。
4.根據權利要求1所述的二維圖像與三維點云結合的位姿估計方法，其特征在于，所述步驟S30中，點云映射分割的方法為：
5.根據權利要求1所述的二維圖像與三維點云結合的位姿估計方法，其特征在于，所述步驟S40中，點云配準順序決策的決策方式為：
6.根據權利要求1所述的二維圖像與三維點云結合的位姿估計方法，其特征在于，所述步驟S50中，點云預處理的方法為：
7.根據權利要求1所述的二維圖像與三維點云結合的位姿估計方法，其特征在于，所述
8.一種計算機存儲介質，所述計算機存儲介質存儲有計算機指令，所述計算機指令被調用時，用于執行如權利要求1-7任一項所述二維圖像與三維點云結合的位姿估計方法。
9.一種電子設備，其中，該電子設備包括：處理器；以及被安排成存儲計算機可執行指令的存儲器，所述可執行指令在被執行時使所述處理器執行如權利要求1-7任一項所述二維圖像與三維點云結合的位姿估計方法。
...【技術特征摘要】
1.二維圖像與三維點云結合的位姿估計方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的二維圖像與三維點云結合的位姿估計方法，其特征在于：所述步驟s10中，所述二維圖像采集使用相機設備進行圖像的捕捉，通過調整相機的參數獲得不同角度和清晰度的圖像。
3.根據權利要求1所述的二維圖像與三維點云結合的位姿估計方法，其特征在于：所述步驟s10中，所述三維點云實時數據采集使用激光掃描儀來獲取物體表面的點云數據；通過激光掃描儀的發射激光束和接收器的接收反射光信號，得到物體表面上的點云坐標。
4.根據權利要求1所述的二維圖像與三維點云結合的位姿估計方法，其特征在于，所述步驟s30中，點云映射分割的方法為：
5.根據權利要求1所述的二維圖像與三維點云結合的位...
【專利技術屬性】
技術研發人員：仇澤軍，梁健城，周芳青，董海飛，唐國華，
申請(專利權)人：東莞市德普特電子有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。