【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及智能制造相關(guān)，尤其涉及基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法。
技術(shù)介紹
1、目前工業(yè)上的自動化分揀產(chǎn)線，如汽車零部分生產(chǎn)產(chǎn)線上料時(shí)料框放置了大量的零件而且零件的狀態(tài)大多是散亂、無序堆疊的，通過機(jī)器人自動將零件一一放置到指定位置后再進(jìn)行零部件的焊接、裝配等工序。市場上主流的做法為：搭載rgb相機(jī)或者rgbd相機(jī)通過圖像、點(diǎn)云算法求解出工件相對于機(jī)器人基座的齊次變換矩陣。對于無序堆疊的弱紋理工件，由于工件表面特征少、工件與工件之間存在嚴(yán)重的遮擋，工件的位姿求解算法設(shè)計(jì)困難。同時(shí)，深度學(xué)習(xí)發(fā)展迅速，盡管深度學(xué)習(xí)的方法可以提取物體更高維的特征，但是訓(xùn)練數(shù)據(jù)標(biāo)注成本高昂，算力要求高，穩(wěn)定性、可靠性弱等問題導(dǎo)致深度學(xué)習(xí)仍無法大量應(yīng)用到工業(yè)場景中。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的是為了至少解決現(xiàn)有技術(shù)的不足之一，提供基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法。
2、為了實(shí)現(xiàn)上述目的，本專利技術(shù)采用以下的技術(shù)方案：
3、具體的，提出基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，包括以下：
4、零件實(shí)際點(diǎn)云獲?。簰呙杵矫嬷辛慵@取掃描點(diǎn)云，對所述掃描點(diǎn)云進(jìn)行分割、預(yù)處理操作以獲取若干個(gè)零件的正反面的點(diǎn)云文件；
5、cad模型點(diǎn)云生成：預(yù)生成一批零件堆疊時(shí)零件相對于世界坐標(biāo)系的齊次變換矩陣，以讀取所述點(diǎn)云文件并基于所述齊次變換矩陣變換到對應(yīng)的堆疊位置的方式，生成訓(xùn)練數(shù)據(jù)；
6、深度學(xué)習(xí)模型及訓(xùn)練：基于所述訓(xùn)練
7、具體的，改進(jìn)的fpcc網(wǎng)絡(luò)在原fpcc網(wǎng)絡(luò)的基礎(chǔ)上增加了一個(gè)特征點(diǎn)預(yù)測模塊，同時(shí)在原fpcc網(wǎng)絡(luò)的實(shí)例分割的損失計(jì)算中增加了注意力矩陣；
8、實(shí)際堆疊零件位姿計(jì)算：獲取目標(biāo)零件的掃描點(diǎn)云，對目標(biāo)零件的掃描點(diǎn)云進(jìn)行點(diǎn)云預(yù)處理后輸入到所述權(quán)重文件中進(jìn)行預(yù)測，得到輸出的中心分?jǐn)?shù)、點(diǎn)云實(shí)例標(biāo)簽和特征點(diǎn)坐標(biāo)，進(jìn)行霍夫投票獲得目標(biāo)零件的特征點(diǎn)位置；
9、通過特征點(diǎn)位置與特征點(diǎn)模板進(jìn)行icp點(diǎn)云配準(zhǔn)獲取目標(biāo)零件對應(yīng)的齊次變換矩陣，
10、基于目標(biāo)零件對應(yīng)的齊次變換矩陣，找尋出配準(zhǔn)誤差低于預(yù)設(shè)閾值的工件并輸出其位姿。
11、進(jìn)一步，具體的，掃描平面中零件獲取掃描點(diǎn)云，對所述掃描點(diǎn)云進(jìn)行分割、預(yù)處理操作以獲取若干個(gè)零件的正反面的點(diǎn)云文件，包括，
12、通過3d相機(jī)采集平面中的零件的掃描點(diǎn)云，將屬于零件的點(diǎn)云從掃描點(diǎn)云中分割出來得到零件點(diǎn)云，正反兩面采集共k個(gè)零件點(diǎn)云，同時(shí)所述零件的cad模型，將cad模型采樣成點(diǎn)云，使用fps最遠(yuǎn)點(diǎn)采樣算法采樣k個(gè)零件特征點(diǎn)，基于所述零件點(diǎn)云以及零件特征點(diǎn)構(gòu)建k個(gè)點(diǎn)云文件。
13、進(jìn)一步，具體的，預(yù)生成一批零件堆疊時(shí)零件相對于世界坐標(biāo)系的齊次變換矩陣，包括，
14、在仿真環(huán)境中放置一個(gè)矩形料框，在料框上方范圍內(nèi)生成隨機(jī)高度隨機(jī)位置的一批零件，并使一批所述零件自由落體下落到料框內(nèi)，零件的數(shù)量從3個(gè)逐漸遞增到50個(gè)，重復(fù)20次，記錄每一個(gè)零件靜止時(shí)相對于世界坐標(biāo)系的齊次變換矩陣。
15、進(jìn)一步，具體的，生成訓(xùn)練數(shù)據(jù)的過程，包括，
16、一一讀取已保存的零件相對于世界坐標(biāo)系的齊次變換矩陣，在采集的點(diǎn)云文件中隨機(jī)選取零件點(diǎn)云及其對應(yīng)的零件特征點(diǎn)并變換到物理仿真位置得到變換后的零件點(diǎn)云及零件特征點(diǎn)，去除變換后的零件點(diǎn)云及零件特征點(diǎn)中所有被遮擋的點(diǎn)，假定單個(gè)零件點(diǎn)云有n個(gè)點(diǎn)，令工件點(diǎn)云第i(i≤n)個(gè)點(diǎn)為pi(xi,yi,zi)，xi,yi,zi分別為點(diǎn)云中第i個(gè)點(diǎn)的坐標(biāo)值，工件點(diǎn)云的中心點(diǎn)為c，pi點(diǎn)到中心點(diǎn)c的歐式距離為di，分別計(jì)算pi的中心分?jǐn)?shù)si、點(diǎn)到特征點(diǎn)pk偏移ofki，
17、
18、ofki＝pi-pk
19、將場景中所有的點(diǎn)按照點(diǎn)的坐標(biāo)、點(diǎn)的歸一化坐標(biāo)、點(diǎn)的實(shí)例標(biāo)簽、中心分?jǐn)?shù)以及特征點(diǎn)偏移作為訓(xùn)練數(shù)據(jù)。
20、進(jìn)一步，具體的，改進(jìn)的fpcc網(wǎng)絡(luò)，包括，
21、在fpcc網(wǎng)絡(luò)的基礎(chǔ)上增加了一個(gè)特征點(diǎn)預(yù)測模塊，使每一個(gè)點(diǎn)都能夠估計(jì)出k個(gè)特征點(diǎn)的坐標(biāo)進(jìn)而得到冗余的特征點(diǎn)坐標(biāo)，得到冗余的特征點(diǎn)坐標(biāo)后通過霍夫投票的方法獲得票數(shù)最高的特征點(diǎn)位置，最后通過特征點(diǎn)的icp點(diǎn)云配準(zhǔn)方法求解出工件的位姿，同時(shí)在fpcc網(wǎng)絡(luò)的實(shí)例分割的損失計(jì)算中增加了注意力矩陣，根據(jù)兩點(diǎn)間的距離矩陣d構(gòu)造了1個(gè)n×n的同實(shí)例注意力矩陣asame與1個(gè)n×n的非同實(shí)例注意力矩陣adiff，其中，
22、
23、asameij表示asame矩陣的第i行第j列元素，adiffij表示adiff矩陣的第i行第j列元素。
24、本專利技術(shù)還提出基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解的裝置，包括以下：
25、點(diǎn)云文件制作模塊，用于掃描平面中零件獲取掃描點(diǎn)云，對所述掃描點(diǎn)云進(jìn)行分割、預(yù)處理操作以獲取若干個(gè)零件的正反面的點(diǎn)云文件；
26、訓(xùn)練數(shù)據(jù)生成模塊，用于預(yù)生成一批零件堆疊時(shí)零件相對于世界坐標(biāo)系的齊次變換矩陣，以讀取所述點(diǎn)云文件并基于所述齊次變換矩陣變換到對應(yīng)的堆疊位置的方式，生成訓(xùn)練數(shù)據(jù)；
27、網(wǎng)絡(luò)模型訓(xùn)練模塊，用于基于所述訓(xùn)練數(shù)據(jù)訓(xùn)練改進(jìn)的fpcc網(wǎng)絡(luò)，并保存訓(xùn)練后網(wǎng)絡(luò)的權(quán)重文件，
28、具體的，改進(jìn)的fpcc網(wǎng)絡(luò)在原fpcc網(wǎng)絡(luò)的基礎(chǔ)上增加了一個(gè)特征點(diǎn)預(yù)測模塊，同時(shí)在原fpcc網(wǎng)絡(luò)的實(shí)例分割的損失計(jì)算中增加了注意力矩陣；
29、特征點(diǎn)位置確定模塊，用于獲取目標(biāo)零件的掃描點(diǎn)云，對目標(biāo)零件的掃描點(diǎn)云進(jìn)行點(diǎn)云預(yù)處理后輸入到所述權(quán)重文件中進(jìn)行預(yù)測，得到輸出的中心分?jǐn)?shù)、點(diǎn)云實(shí)例標(biāo)簽和特征點(diǎn)坐標(biāo)，進(jìn)行霍夫投票獲得目標(biāo)零件的特征點(diǎn)位置；
30、齊次變換矩陣計(jì)算模塊，用于通過特征點(diǎn)位置與特征點(diǎn)模板進(jìn)行icp點(diǎn)云配準(zhǔn)獲取目標(biāo)零件對應(yīng)的齊次變換矩陣，
31、位姿求解模塊，用于基于目標(biāo)零件對應(yīng)的齊次變換矩陣，找尋出配準(zhǔn)誤差低于預(yù)設(shè)閾值的工件并輸出其位姿。
32、本專利技術(shù)的有益效果為：
33、本專利技術(shù)提出基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，通過計(jì)算機(jī)技術(shù)自動生成用以網(wǎng)絡(luò)訓(xùn)練的標(biāo)注數(shù)據(jù)，大大減少了人工標(biāo)注的成本消耗。網(wǎng)絡(luò)設(shè)計(jì)方面由于加入了注意力矩陣的計(jì)算，點(diǎn)云實(shí)例分割的效果得到了提升，增加的特征點(diǎn)預(yù)測模塊使網(wǎng)絡(luò)擁有了求解零件位姿的能力。在推理階段通過霍夫投票的方法求解特征點(diǎn)的準(zhǔn)確位置在一定程度上優(yōu)化了實(shí)例分割引入的誤差，增加了預(yù)測的準(zhǔn)確性。同時(shí)特征點(diǎn)配準(zhǔn)的方法相比直接點(diǎn)云配準(zhǔn)的方法即保證了配準(zhǔn)有一定的精度又大大減少了時(shí)間的損耗，也避免了因?yàn)閭鞲衅鞑蓸泳嚯x不同導(dǎo)致算法性能的差異。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，其特征在于，包括以下：
2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，其特征在于，具體的，掃描平面中零件獲取掃描點(diǎn)云，對所述掃描點(diǎn)云進(jìn)行分割、預(yù)處理操作以獲取若干個(gè)零件的正反面的點(diǎn)云文件，包括，
3.根據(jù)權(quán)利要求2所述的基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，其特征在于，具體的，預(yù)生成一批零件堆疊時(shí)零件相對于世界坐標(biāo)系的齊次變換矩陣，包括，
4.根據(jù)權(quán)利要求3所述的基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，其特征在于，具體的，生成訓(xùn)練數(shù)據(jù)的過程，包括，
5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，其特征在于，具體的，改進(jìn)的FPCC網(wǎng)絡(luò)，包括，
6.基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解的裝置，其特征在于，包括以下：
【技術(shù)特征摘要】
1.基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，其特征在于，包括以下：
2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，其特征在于，具體的，掃描平面中零件獲取掃描點(diǎn)云，對所述掃描點(diǎn)云進(jìn)行分割、預(yù)處理操作以獲取若干個(gè)零件的正反面的點(diǎn)云文件，包括，
3.根據(jù)權(quán)利要求2所述的基于深度學(xué)習(xí)的弱紋理無序堆疊零件的位姿求解方法，其特征在于，具體的，預(yù)生成一批零件...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳新度，麥展浩，陳玉冰，吳磊，
申請(專利權(quán))人：廣東工業(yè)大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。