【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)視覺，具體涉及一種自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法及裝置。
技術(shù)介紹
1、隨著現(xiàn)代制造業(yè)的快速發(fā)展，自動(dòng)化和智能化水平的不斷提升，對(duì)工件的精確識(shí)別和處理提出了更高的要求。特別是在工業(yè)生產(chǎn)中，工件的堆疊放置是一種常見的存儲(chǔ)方式，但這也給自動(dòng)化分揀和處理帶來了挑戰(zhàn)，現(xiàn)有的工件實(shí)例分割方法在處理工件堆疊、弱紋理等情況時(shí)，難以提取工件的關(guān)鍵有效特征，導(dǎo)致分割精度低下。
2、點(diǎn)云數(shù)據(jù)作為一種描述物體表面形狀的三維數(shù)據(jù)形式，為堆疊工件的實(shí)例分割提供更多目標(biāo)物體的位姿、深度等信息，已經(jīng)成為機(jī)器視覺的主流數(shù)據(jù)之一。然而，現(xiàn)有技術(shù)在采集和處理點(diǎn)云數(shù)據(jù)時(shí)，一方面受限于三維掃描儀的精度和拍攝角度，導(dǎo)致點(diǎn)云數(shù)據(jù)缺失和邊緣細(xì)節(jié)模糊變形。另一方面，基于深度學(xué)習(xí)的點(diǎn)云實(shí)例分割方法需要大量的訓(xùn)練數(shù)據(jù)，而點(diǎn)云數(shù)據(jù)的獲取和標(biāo)注需要耗費(fèi)大量的人力，導(dǎo)致基于深度學(xué)習(xí)的工件實(shí)例分割方法難以適應(yīng)于不同的工件堆疊場(chǎng)景。
技術(shù)實(shí)現(xiàn)思路
1、為了解決上述問題，本專利技術(shù)提出了一種自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法及裝置，減少了對(duì)高成本、高耗時(shí)的人工標(biāo)注訓(xùn)練數(shù)據(jù)的依賴，同時(shí)提高了工件堆疊情況下實(shí)例分割的精度和自動(dòng)化分揀的處理效率。
2、具體方案如下：
3、一方面，一種自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，包括：
4、s1，采集單個(gè)工件的點(diǎn)云數(shù)據(jù)；
5、s2，建立特征保持重建算法，對(duì)采集到的單個(gè)工件的點(diǎn)云數(shù)據(jù)自動(dòng)化逆向建模，獲得單個(gè)工件的
6、s3，基于獲得的單個(gè)工件的cad模型生成堆疊工件點(diǎn)云數(shù)據(jù)，并對(duì)點(diǎn)云數(shù)據(jù)自動(dòng)標(biāo)注獲得帶有實(shí)例標(biāo)簽的點(diǎn)云數(shù)據(jù)；
7、s4，基于帶有實(shí)例標(biāo)簽的點(diǎn)云數(shù)據(jù)建立和訓(xùn)練堆疊工件實(shí)例分割模型；
8、s5，采集待實(shí)例分割堆疊工件的點(diǎn)云數(shù)據(jù)和不同視角的rgb圖像；
9、s6，建立補(bǔ)全和細(xì)節(jié)特征保持算法，基于不同視角的rgb圖像，采用建立的補(bǔ)全和細(xì)節(jié)特征保持算法對(duì)采集到的待實(shí)例分割堆疊工件的點(diǎn)云數(shù)據(jù)進(jìn)行補(bǔ)全并細(xì)化邊緣細(xì)節(jié)；
10、s7，將補(bǔ)全并細(xì)化邊緣細(xì)節(jié)后的點(diǎn)云數(shù)據(jù)輸入訓(xùn)練完成的堆疊工件實(shí)例分割模型，完成待實(shí)例分割堆疊工件點(diǎn)云數(shù)據(jù)的實(shí)例分割。
11、進(jìn)一步的，所述s2，具體包括：
12、點(diǎn)云去噪和法向量初始化步驟：設(shè)點(diǎn)云上任意點(diǎn)沿其法向量移動(dòng)，定義獲得的初始化后的法向量ni；其中，pi表示點(diǎn)云上任意一點(diǎn)，pi′＝pi+∈ini表示pi的新位置，pj表示pi鄰域r內(nèi)的點(diǎn)，pj′表示pj沿其法向量移動(dòng)后的點(diǎn)，r的取值為所有點(diǎn)之間的間隙平均值的兩倍，表示在點(diǎn)pi處的協(xié)方差矩陣；
13、點(diǎn)云邊緣區(qū)域法向量的正則化處理步驟：設(shè)點(diǎn)云去噪和法向量初始化步驟中獲得的初始化后的法向量的集合μs為原分布，設(shè)μt為目標(biāo)分布，構(gòu)建一個(gè)優(yōu)化模型，最小化原分布轉(zhuǎn)化到目標(biāo)分布的轉(zhuǎn)換代價(jià)，模型表達(dá)式為當(dāng)轉(zhuǎn)換代價(jià)達(dá)到最小時(shí)，并且k表示pi鄰域內(nèi)點(diǎn)的數(shù)量，根據(jù)λj的取值可將原分布中所有的向量轉(zhuǎn)換為目標(biāo)分布中的向量；其中，nj表示原分布中的法向量；將點(diǎn)云邊緣區(qū)域的法向量分成兩個(gè)等量的簇，分別記為和表示原分布中的第一代表性法向量并作為第一目標(biāo)分布，表示原分布中的第二代表性法向量并作為第二目標(biāo)分布；λj用于控制法向量nj轉(zhuǎn)換為目標(biāo)分布中的或當(dāng)λj＝1時(shí)，表示將法向量nj轉(zhuǎn)換為法向量當(dāng)λj＝0時(shí)，表示法向量nj轉(zhuǎn)換為法向量
14、識(shí)別點(diǎn)云邊緣區(qū)域并基于正則化后的法向調(diào)整邊緣點(diǎn)的位置步驟：判斷代表性法向量的夾角是否大于30°并且轉(zhuǎn)換代價(jià)小于等于0.25若是則判定點(diǎn)pi為邊緣區(qū)域點(diǎn)，重復(fù)一次點(diǎn)云去噪和法向量初始化步驟，完成基于正則化的法向調(diào)整邊緣點(diǎn)的位置；
15、獲得單個(gè)工件的cad模型步驟：使用泊松重建獲得單個(gè)工件的cad模型。
16、進(jìn)一步的，所述協(xié)方差矩陣用于表征點(diǎn)pi處局部平面的方向，若ni為pi處正確的法向量，則接近于零向量，則以此為依據(jù)構(gòu)建優(yōu)化模型在優(yōu)化模型公式取得最小值時(shí)可獲得初始化后的法向量ni和決定pi移動(dòng)距離的距離參數(shù)∈i。
17、進(jìn)一步的，所述s3，具體包括：
18、虛擬場(chǎng)景準(zhǔn)備步驟：對(duì)工業(yè)場(chǎng)景中進(jìn)行模擬，隨機(jī)導(dǎo)入獲得的單個(gè)工件的cad模型，所述cad模型的數(shù)量、材質(zhì)、初始坐標(biāo)和旋轉(zhuǎn)角度均為隨機(jī)生成；
19、面結(jié)構(gòu)光三維掃描儀模擬步驟：在虛擬場(chǎng)景中配置紅外投影儀和左右ir立體攝像頭，通過紅外投影儀投影編碼條紋至堆疊工件表面，通過左右ir立體攝像頭采集虛擬物體上不同角度反射的條紋圖像，通過相位解碼確定左右ir立體攝像頭采集圖像的同名點(diǎn)，通過立體匹配算法重建物體的三維坐標(biāo)點(diǎn)，獲得堆疊工件的合成點(diǎn)云數(shù)據(jù)；
20、點(diǎn)云數(shù)據(jù)自動(dòng)化標(biāo)注步驟：禁用虛擬場(chǎng)景中所有工件可見性，單獨(dú)啟用其中一個(gè)工件的可見性，通過面結(jié)構(gòu)光三維掃描儀模擬步驟生成該工件的合成點(diǎn)云數(shù)據(jù)，計(jì)算實(shí)例的質(zhì)心并對(duì)點(diǎn)云中所有點(diǎn)賦予代表該工件的標(biāo)簽，遍歷所有工件后可獲得空間中所有點(diǎn)的標(biāo)簽，完成堆疊工件點(diǎn)云數(shù)據(jù)的自動(dòng)標(biāo)注。
21、進(jìn)一步的，s4中，建立的堆疊工件實(shí)例分割模型包括骨干網(wǎng)絡(luò)、語義預(yù)測(cè)模塊、中心點(diǎn)偏移量預(yù)測(cè)模塊、二值聚類模塊、向心偏移模塊和投票模塊；所述骨干網(wǎng)絡(luò)包括3dunet和兩個(gè)全連接層；
22、訓(xùn)練堆疊工件實(shí)例分割模型，具體包括：
23、s41，將點(diǎn)云的立體空間坐標(biāo)信息xyz、色彩信息rgb和法向量信息輸入骨干網(wǎng)絡(luò)獲得點(diǎn)云的逐點(diǎn)高維特征；
24、s42，將每個(gè)點(diǎn)的高維特征饋送到由3層mlp組成的語義預(yù)測(cè)模塊，用以預(yù)測(cè)每個(gè)類的語義分?jǐn)?shù)，語義分?jǐn)?shù)記錄為s∈[0,1]n×m，其中n和m分別是點(diǎn)和類的數(shù)量，得分最高的類將是點(diǎn)的語義標(biāo)簽；
25、s43，中心點(diǎn)偏移量預(yù)測(cè)模塊與語義預(yù)測(cè)模塊采用3層mlp來預(yù)測(cè)每個(gè)點(diǎn)的偏移量其中i∈{1,…,n}，設(shè)為點(diǎn)i所屬實(shí)例的質(zhì)心，為i點(diǎn)的3d坐標(biāo)，采用l1回歸損失來約束具有相同實(shí)例標(biāo)簽的點(diǎn)以學(xué)習(xí)偏移量，l1回歸損失的計(jì)算公式如下：其中，和分別代表點(diǎn)i在三維空間中x軸、y軸和z軸方向的預(yù)測(cè)偏移量，和分別代表點(diǎn)i所屬實(shí)例的質(zhì)心在x軸、y軸和z軸上的坐標(biāo)值，和分別代表點(diǎn)i在x軸、y軸和z軸上的坐標(biāo)值；
26、s44，計(jì)算每個(gè)點(diǎn)的中心分?jǐn)?shù)，中心分?jǐn)?shù)計(jì)算公式為：其中，dmax為每個(gè)實(shí)例質(zhì)心到最遠(yuǎn)點(diǎn)之間的距離，其中scetnetr(i)是表示點(diǎn)i的中心分?jǐn)?shù)；
27、s45，通過二值聚類模塊中設(shè)定閾值θd，將中心分?jǐn)?shù)大于該閾值的點(diǎn)歸類為高中心值點(diǎn)hcps，其余點(diǎn)歸類為低中心值點(diǎn)lcps，并且通過dbscan聚類算法結(jié)合步驟s42的語義預(yù)測(cè)結(jié)果對(duì)具有相同語義標(biāo)簽的hcps進(jìn)行聚類；
28、s46，通過向心偏移模塊將lcps坐標(biāo)減去步驟s43中預(yù)測(cè)的每個(gè)點(diǎn)的偏移量oi使得lcps向?qū)嵗行木蹟n；
29、s47，通過投票模塊選擇與lcps共享相同語義標(biāo)簽的hcps，在每個(gè)類別的均值尺寸范圍內(nèi)統(tǒng)計(jì)這些hcps屬于哪個(gè)實(shí)例本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，其特征在于，所述S2，具體包括：
3.根據(jù)權(quán)利要求2所述的自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，其特征在于，所述協(xié)方差矩陣用于表征點(diǎn)pi處局部平面的方向，若ni為pi處正確的法向量，則接近于零向量，則以此為依據(jù)構(gòu)建優(yōu)化模型在優(yōu)化模型公式取得最小值時(shí)可獲得初始化后的法向量ni和決定pi移動(dòng)距離的距離參數(shù)∈i。
4.根據(jù)權(quán)利要求1所述的自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，其特征在于，所述S3，具體包括：
5.根據(jù)權(quán)利要求1所述的自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，其特征在于，S4中，建立的堆疊工件實(shí)例分割模型包括骨干網(wǎng)絡(luò)、語義預(yù)測(cè)模塊、中心點(diǎn)偏移量預(yù)測(cè)模塊、二值聚類模塊、向心偏移模塊和投票模塊；所述骨干網(wǎng)絡(luò)包括3DUnet和兩個(gè)全連接層；
6.根據(jù)權(quán)利要求1所述的自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，其特征在于，所述S6，具體包括：
7.一種自適應(yīng)堆疊工件點(diǎn)云
...【技術(shù)特征摘要】
1.一種自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，其特征在于，所述s2，具體包括：
3.根據(jù)權(quán)利要求2所述的自適應(yīng)堆疊工件點(diǎn)云數(shù)據(jù)合成與實(shí)例分割方法，其特征在于，所述協(xié)方差矩陣用于表征點(diǎn)pi處局部平面的方向，若ni為pi處正確的法向量，則接近于零向量，則以此為依據(jù)構(gòu)建優(yōu)化模型在優(yōu)化模型公式取得最小值時(shí)可獲得初始化后的法向量ni和決定pi移動(dòng)距離的距離參數(shù)∈i。
4.根據(jù)權(quán)利要求1所述的自適應(yīng)堆...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張建寰，邱椿，康品春，張陳濤，徐周毅，阮育嬌，
申請(qǐng)(專利權(quán))人：廈門大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。