【技術實現步驟摘要】
本專利技術涉及目標檢測，具體涉及一種工業機器人視覺識別與實例分割方法及系統。
技術介紹
1、近些年來，隨著人力成本的不斷提高及計算機、自動化技術的不斷成熟，工業機器人越來越多地被用于生產流水線上的分揀工序中。工業機器人視覺感知技術，是指通過工業相機實時采集真實物體的圖像，智能感知系統對視場中的目標進行特征提取以獲取目標的類別、尺寸、邊緣、位置等信息，并反饋給工業機器人決策與控制系統，實現機械臂的運動控制及路徑規劃和目標抓取。生產流水線上的工件目標識別和實例分割是工業機器人視覺研究中的一項重要內容。而傳統的目標識別方法，容易受到光照等環境因素的影響，抗干擾性較弱，導致目標識別定位與實例分割算法的穩定性及精度不高。
技術實現思路
1、專利技術目的：本專利技術目的在于針對現有技術的不足，提供一種工業機器人視覺識別與實例分割方法及系統，能夠準確地檢測和定位工業環境中的目標物體，且保持穩定的性能。
2、技術方案：本專利技術所述工業機器人視覺識別與實例分割方法，包括：
3、s1：獲取相機采集的圖像；
4、s2：對采集到的圖像進行預處理；
5、s3：將處理好的圖像輸入至dla34網絡模型進行特征提取；
6、s4：判斷提取結果中是否存在目標輪廓信息，若存在，執行s6，若不存在，執行s5；
7、s5：當前提取結果中不存在目標輪廓信息，發送控制移動指令，進行下個目標的檢測；
8、s6：將提取的特征輸入至六個并行的預測頭
9、真值熱力圖預測頭，用于預測目標的位置；
10、類別預測頭，用于預測目標的類別；
11、中心偏移量預測頭，用于指示目標中心位置的偏移情況；
12、寬高預測頭，用于預測目標的寬度和高度；
13、掩碼系數預測頭，用于計算目標原型的掩碼系數；
14、原型掩碼預測頭，用于計算全局原型掩碼；
15、將目標的掩碼系數與原型掩碼組合，完成目標的實例分割；
16、s7：將s6得到的信息傳遞給工業機器人控制系統。
17、進一步完善上述技術方案，所述圖像預處理包括，對于任意一張輸入采集到的圖像，使用比例不變縮放進行處理，比例不變縮放的過程為將圖像的長邊縮放至640像素長度，短邊等比例縮放，并將處理后的圖像居中放置于一張像素值為且像素尺寸為的灰度圖上。
18、進一步地，所述dla34網絡模型包括骨干提取網絡和聚合網絡；所述骨干提取網絡用于從輸入圖像中提取特征，通過一系列的卷積層和池化層來處理圖像，每一層都會提取出不同層次的信息，這些信息包括圖像的邊緣、紋理、形狀等，這些都是后續步驟識別圖像內容所必需的。所述聚合網絡用于接收來自骨干提取網絡的特征，以進行進一步的處理和融合，通過上采樣和融合操作，將低分辨的特征圖轉換為高分辨的特征圖，以獲得更高級別的特征表示，更精確地定位和識別圖像中的目標，并輸出處理后的數據。
19、進一步地，對于每一幅圖像，需要計算其真值熱力圖，由于dla34網絡模型的輸出是輸入圖像下采樣四倍后得到的結果，則其真值熱力圖的尺寸為，對于每一個真值邊界框，是真值邊界框中心點的橫坐標，是真值邊界框中心點的縱坐標，是真值邊界框的寬度，是真值邊界框的高度，使用高斯核函數將真值邊界框繪制于真值熱力圖中，計算方法為：
20、（1）
21、其中，其中，為真值熱力圖橫坐標，為真值熱力圖橫坐標，為真值邊界框中心點所在真值熱力圖網格的橫坐標，為真值邊界框中心點所在真值熱力圖網格的縱坐標，為真值邊界框尺寸的標準方差，與的計算方式為：
22、（2）
23、（3）
24、其中，是向下取整操作；
25、的計算方法為：
26、（4）
27、真值熱力圖中距離真值坐標較近的點所對應的值越接近1，越遠則越接近于0，當多個目標的真值熱力圖存在重疊情況時，真值熱力圖取最大者。
28、進一步地，通過真值熱力圖獲得目標的定位后，將在其它的四個并行的輸出中同樣的位置獲得該目標的其它屬性，即類別、寬高、網格偏移量、掩碼系數，其中目標的掩碼系數與原型掩碼組合即可獲得目標的實例分割結果，其中類別預測頭是利用全連接卷積層產生的一個長度為n一維向量，n是其最大值所在的位置，標示當前目標的預測類別。
29、進一步地，所述dla34網絡模型的損失函數由真值熱力圖損失、分類損失、包絡框損失和掩碼損失構成：
30、?（5）
31、其中，?為權重系數，負責優化網絡的收斂方向；
32、真值熱力圖損失的計算方法為：
33、（6）
34、其中，為目標個數，為位置處的預測值大小，為位置處真實值的大小；分類損失的計算方法為：
35、（7）
36、其中，函數為交叉熵損失函數，為網絡預測類別，為真實類別；包絡框損失的計算方法為：
37、（8）
38、其中，為預測框與真實邊界框的交并比，為預測框中心點與真實邊界框中心點的距離，為預測框與真實邊界框的最小外接矩形的對角線長度，為寬高比懲罰系數，其計算方法為：
39、（9）
40、其中，為寬高比系數，其計算方法為：
41、（10）
42、其中，為真實邊界框寬度，為真實邊界框高度，為預測邊界框寬度，為預測邊界框高度；掩碼損失的計算方法為：
43、（11）
44、其中，為二進制交叉熵損失函數，為預測掩碼，為真實掩碼。
45、用于實現上述工業機器人視覺識別與實例分割方法的系統，包括：
46、圖像采集模塊，用于獲取工業機器人安裝的相機采集到的圖像數據；
47、圖像預處理模塊，用于對采集到的圖像進行預處理；
48、dla34網絡模型，用于對預處理后的圖像進行特征提?。?/p>
49、目標檢測模塊，判斷特征提取結果中是否存在物體輪廓信息，以決定是否發送控制移動指令；
50、解耦頭模塊，用于輸出預測結果，完成目標識別和實例分割，包括：真值熱力圖預測頭，用于預測目標位置；類別預測頭，用于預測目標的類別；寬高預測頭，預測目標的寬度和高度；中心偏移量預測頭，用于指示目標中心位置的偏移情況；掩碼系數預測頭，用于計算目標原型的掩碼系數；原型掩碼預測頭，用于計算全局原型掩碼；
51、輸出模塊，將解耦頭輸出的信息傳遞給工業機器人控制系統，用于機器人的視覺目標定位和操作。
52、有益效果：與現有技術相比，本專利技術的優點在于：本專利技術采用dla34網絡模型進行特征提取，直接獲得目標下采樣四倍的融合特征，再通過6個并行的預測頭并行輸出圖像的真值熱力圖預測結果、類別預測結果、中心偏移量預測結果、圖像中目標的寬高預測結果、圖像中目標的掩碼系數預測結果以及圖像的原型掩碼本文檔來自技高網...
【技術保護點】
1.一種工業機器人視覺識別與實例分割方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的工業機器人視覺識別與實例分割方法，其特征在于，所述S2中對圖像進行預處理包括：對于任意一張輸入采集到的圖像，使用比例不變縮放進行處理，比例不變縮放的過程為將圖像的長邊縮放至640像素長度，短邊等比例縮放，并將處理后的圖像居中放置于一張像素值為?且像素尺寸為?的灰度圖上。
3.根據權利要求2所述的工業機器人視覺識別與實例分割方法，其特征在于，所述DLA34網絡模型包括骨干提取網絡和聚合網絡；所述骨干提取網絡用于從輸入圖像中提取特征；所述聚合網絡用于接收來自骨干提取網絡的特征，通過上采樣和融合操作，將低分辨的特征圖轉換為高分辨的特征圖，以獲得更高級別的特征表示，并輸出處理后的數據。
4.根據權利要求3所述的工業機器人視覺識別與實例分割方法，其特征在于：對于每一幅圖像，計算其真值熱力圖，所述真值熱力圖的像素尺寸為?，對于每一個真值邊界框，是真值邊界框中心點的橫坐標，是真值邊界框中心點的縱坐標，是真值邊界框的寬度，是真值邊界框的高度，使用高斯核函數將真值邊界框
5.根據權利要求4所述的工業機器人視覺識別與實例分割方法，其特征在于，通過真值熱力圖獲得目標的定位后，在其它并行輸出中獲得同樣位置目標的其它屬性，包括類別、寬高、網格偏移量、掩碼系數，目標的掩碼系數與原型掩碼組合獲得目標的實例分割結果，類別預測頭是利用全連接卷積層產生的一個長度為n一維向量，n是最大值所在的位置，表示當前目標的預測類別。
6.根據權利要求1所述的工業機器人視覺識別與實例分割方法，其特征在于，所述DLA34網絡模型的損失函數包括真值熱力圖損失、分類損失、包絡框損失和掩碼損失：
7.用于實現權利要求1所述的工業機器人視覺識別與實例分割方法的系統，其特征在于，包括：
...【技術特征摘要】
1.一種工業機器人視覺識別與實例分割方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的工業機器人視覺識別與實例分割方法，其特征在于，所述s2中對圖像進行預處理包括：對于任意一張輸入采集到的圖像，使用比例不變縮放進行處理，比例不變縮放的過程為將圖像的長邊縮放至640像素長度，短邊等比例縮放，并將處理后的圖像居中放置于一張像素值為?且像素尺寸為?的灰度圖上。
3.根據權利要求2所述的工業機器人視覺識別與實例分割方法，其特征在于，所述dla34網絡模型包括骨干提取網絡和聚合網絡；所述骨干提取網絡用于從輸入圖像中提取特征；所述聚合網絡用于接收來自骨干提取網絡的特征，通過上采樣和融合操作，將低分辨的特征圖轉換為高分辨的特征圖，以獲得更高級別的特征表示，并輸出處理后的數據。
4.根據權利要求3所述的工業機器人視覺識別與實例分割方法，其特征在于：對于每一幅圖像，計算其真值熱力圖，所述...
【專利技術屬性】
技術研發人員：孫歡，孫以琛，
申請(專利權)人：南京英達迪賽工業設計有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。