一種端到端的高精度工業(yè)零件形狀建模方法技術(shù)

本發(fā)明專利技術(shù)涉及一種端到端的高精度工業(yè)零件形狀建模方法，包括：S1：通過邊緣點(diǎn)提取獲取邊緣圖；S2：根據(jù)邊緣圖構(gòu)建點(diǎn)間拓?fù)潢P(guān)系；S3：對屬于每個(gè)目標(biāo)的點(diǎn)圖進(jìn)行特征點(diǎn)提取；S4：對特征點(diǎn)進(jìn)行編碼?解碼的點(diǎn)位優(yōu)化，實(shí)現(xiàn)模型參數(shù)優(yōu)化。本發(fā)明專利技術(shù)所述方法具備極強(qiáng)的適應(yīng)性可準(zhǔn)確度，可以在數(shù)據(jù)噪聲，遮擋和陰影等情況下穩(wěn)定提取簡潔準(zhǔn)確的形狀線條；具備極大的適應(yīng)性，可直接應(yīng)用于各種類型的零件的幾何建模；本發(fā)明專利技術(shù)所述方法有效的解決了數(shù)據(jù)噪聲，遮擋和陰影等情況下無法穩(wěn)定提取形狀線條的難題；同時(shí)模型調(diào)試簡單，相比傳統(tǒng)啟發(fā)式的形狀建模技術(shù)極大縮短了算法調(diào)試時(shí)間。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種端到端的高精度工業(yè)零件形狀建模方法
本專利技術(shù)涉及工業(yè)零件建模
，更具體地，涉及一種端到端的高精度工業(yè)零件形狀建模方法。
技術(shù)介紹
工業(yè)零件的形狀建模技術(shù)是機(jī)器人焊接、工業(yè)零件檢測和測量的核心技術(shù)之一。現(xiàn)有的方法一般先采用各種線特征或點(diǎn)特征提取算子，比如Hough線特征算子及Sift，Harris，局部梯度等點(diǎn)特征提取算子。然后根據(jù)目標(biāo)的形狀特征設(shè)計(jì)啟發(fā)式的規(guī)則，連接相鄰的斷線，去掉錯(cuò)檢的線段等錯(cuò)誤的情況，實(shí)現(xiàn)對形狀建模。點(diǎn)和線特征也可以直接用于引導(dǎo)機(jī)器人焊接和與CAD模型的模板匹配。這些算子往往無法適應(yīng)各種不同的數(shù)據(jù)環(huán)境，在數(shù)據(jù)噪聲，陰影和遮擋等情況下容易出現(xiàn)誤檢，漏檢，線條斷裂和確實(shí)等情況。同時(shí)這些提取的線中往往有大量冗余點(diǎn)，而額外的后處理又可能導(dǎo)致精度下降。啟發(fā)式的規(guī)則無法適應(yīng)復(fù)雜多變的數(shù)據(jù)情況和各種不同類型的零件。同時(shí)基于規(guī)則的方法需要大量的調(diào)試時(shí)間，使工業(yè)自動(dòng)化解決方案的部署周期大大增加。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)為克服上述現(xiàn)有技術(shù)所述的工業(yè)零件的形狀建模無法適應(yīng)各種不同的數(shù)據(jù)環(huán)境的缺陷，提供一種端到端的高精度工業(yè)零件形狀建模方法。所述方法包括以下步驟：S1：通過邊緣點(diǎn)提取獲取邊緣圖；S2：根據(jù)邊緣圖構(gòu)建點(diǎn)間拓?fù)潢P(guān)系；S3：對屬于每個(gè)目標(biāo)的點(diǎn)圖進(jìn)行特征點(diǎn)提取；S4：對特征點(diǎn)進(jìn)行編碼-解碼的點(diǎn)位優(yōu)化，實(shí)現(xiàn)模型參數(shù)優(yōu)化。優(yōu)選地，S1包括以下步驟：S1.1：使用輸入點(diǎn)云生成深度圖；S1.2：在深度圖上標(biāo)注每個(gè)零件的區(qū)域和其內(nèi)部的邊緣結(jié)構(gòu)作為模型訓(xùn)練真值；S1.3：在深度圖上利用Mask-RCNN進(jìn)行目標(biāo)級(jí)別的檢測和語義分割，同時(shí)預(yù)測每個(gè)像素和離它最近的邊緣點(diǎn)的距離，簡稱距離圖；S1.4：獲取S1.3檢測到的每個(gè)目標(biāo)的區(qū)域；在此區(qū)域的距離圖中，將像素值小于2的像素值設(shè)置為1，否則設(shè)置為0；得到初始邊緣圖。S1.5：使用形態(tài)學(xué)膨脹和腐蝕運(yùn)算閉合邊緣圖中未閉合的區(qū)域，去除初始邊緣圖中可能出現(xiàn)的小孤島，同時(shí)填充提取的邊緣區(qū)域中可能存在的空洞；S1.6：使用Opencv的骨架算法提取S1.4中得到的每個(gè)目標(biāo)的邊緣圖的骨架，得到寬度為1的邊緣圖。優(yōu)選地，S2包括以下步驟：S2.1：在S1獲取的邊緣圖中遍歷所有的邊緣點(diǎn)，將每個(gè)邊緣點(diǎn)和其8鄰域內(nèi)的邊緣點(diǎn)連接起來，得到一組邊緣點(diǎn)圖；S2.2:遍歷所有的邊緣點(diǎn)圖，如果有兩個(gè)邊緣點(diǎn)圖的末端方向在預(yù)設(shè)的閾值之內(nèi)，且末端距離也在預(yù)設(shè)的閾值之內(nèi)，則連接兩個(gè)點(diǎn)圖的對應(yīng)端點(diǎn)，使之合并為一個(gè)點(diǎn)圖；S2.3:遍歷所有的邊緣點(diǎn)圖，由于一個(gè)點(diǎn)圖為一組通過線連接的點(diǎn)，其點(diǎn)數(shù)為這個(gè)圖中所有端點(diǎn)的個(gè)數(shù)；刪除點(diǎn)數(shù)低于預(yù)設(shè)的點(diǎn)數(shù)閾值的點(diǎn)圖。優(yōu)選地，S2.2中所述預(yù)設(shè)的閾值根據(jù)目標(biāo)的尺寸進(jìn)行調(diào)整，范圍在3-10個(gè)像素左右。優(yōu)選地，S2.3中預(yù)設(shè)的點(diǎn)數(shù)閾值取決于目標(biāo)的形狀，如果目標(biāo)的形狀用一個(gè)N邊形表示，則所述閾值在N附近。一般比N小，因?yàn)槟繕?biāo)的線條可能被遮擋。優(yōu)選地，S3包括以下步驟：S3.1：對屬于每個(gè)目標(biāo)的點(diǎn)圖，進(jìn)行歸一化處理，然后在點(diǎn)云上使用PointNet生成該點(diǎn)的特征；S3.2：將每個(gè)點(diǎn)的特征和其歸一化之后的三維位置串聯(lián)得到帶位置信息的點(diǎn)特征；S3.3：查找點(diǎn)圖中的每一個(gè)分支點(diǎn)列；S3.4：計(jì)算每個(gè)點(diǎn)列的平均特征；將每個(gè)點(diǎn)列中的每個(gè)點(diǎn)的特征和其點(diǎn)列的平均特征串聯(lián)得到最終的每個(gè)點(diǎn)的點(diǎn)特征。優(yōu)選地，S3.1中歸一化處理具體為：將每個(gè)點(diǎn)的坐標(biāo)減去此點(diǎn)圖所有點(diǎn)坐標(biāo)的平均值，再除以零件最長外接包圍盒最長邊長的一半。優(yōu)選地，S3.3中每一個(gè)分支點(diǎn)列為度為2的所有相鄰點(diǎn)組成的點(diǎn)列。優(yōu)選地，S4包括：S4.1：對每個(gè)點(diǎn)列，使用一個(gè)兩層的GRU網(wǎng)絡(luò)按照點(diǎn)列中的點(diǎn)的順序逐個(gè)對S3.4中獲得的點(diǎn)特征進(jìn)行編碼，獲得隱特征向量；將一個(gè)點(diǎn)位和前一次得到的隱特征向量輸入到同樣由兩層GRU網(wǎng)絡(luò)構(gòu)成的解碼器中，獲得點(diǎn)位位移；當(dāng)解碼器輸出終止時(shí)結(jié)束；此處解碼器為一個(gè)RNN，即每次輸入一個(gè)點(diǎn)位和前一次得到的隱特征向量，輸出此點(diǎn)位之后的點(diǎn)位，終止概率和更新的隱特征向量。因?yàn)樵诘谝淮芜\(yùn)行解碼器的時(shí)候沒有初始點(diǎn)位，此時(shí)輸入的點(diǎn)位會(huì)使用一個(gè)代表序列開始的符號(hào)。所輸出的點(diǎn)位和隱特征會(huì)被再輸入到解碼器中，得到第二個(gè)點(diǎn)位和再次更新的隱特征向量。不斷重復(fù)，直到使用解碼器輸出的結(jié)束符概率采樣得到結(jié)束符為止。S4.2：訓(xùn)練時(shí)，首先采用真值點(diǎn)位替換解碼器每步輸出的點(diǎn)位作為解碼器每一步的輸入，預(yù)測每個(gè)真值點(diǎn)位的下一個(gè)點(diǎn)位和停止符。在倒數(shù)第二個(gè)點(diǎn)位輸入解碼器之后，解碼器預(yù)測點(diǎn)位的真值為最后一個(gè)點(diǎn)位，預(yù)測的停止概率真值為1。其他情況下，停止概率的真值為0。在訓(xùn)練收斂之后，使用解碼器輸出的點(diǎn)位作為解碼器的輸入進(jìn)行訓(xùn)練直到再次收斂。S4.3：計(jì)算解碼之后的點(diǎn)位和真值點(diǎn)位之間的歐式距離作為損失函數(shù)；使用所述損失函數(shù)進(jìn)行反向傳播；使用ADAM優(yōu)化器進(jìn)行模型參數(shù)優(yōu)化。與現(xiàn)有技術(shù)相比，本專利技術(shù)技術(shù)方案的有益效果是：本專利技術(shù)所述方法可以從3D點(diǎn)云中提取簡潔精確的目標(biāo)零件邊緣，可用于基于模板匹配的工業(yè)零件姿態(tài)估計(jì)。本專利技術(shù)所述方法具備極強(qiáng)的適應(yīng)性可準(zhǔn)確度，可以在數(shù)據(jù)噪聲，遮擋和陰影等情況下穩(wěn)定提取簡潔準(zhǔn)確的形狀線條。具備極大的適應(yīng)性，可直接應(yīng)用于各種類型的零件的幾何建模。本專利技術(shù)所述方法有效的解決了數(shù)據(jù)噪聲，遮擋和陰影等情況下無法穩(wěn)定提取形狀線條的難題。同時(shí)模型調(diào)試簡單，相比傳統(tǒng)啟發(fā)式的形狀建模技術(shù)極大縮短了算法調(diào)試時(shí)間。附圖說明圖1為實(shí)施例1所述端到端的高精度工業(yè)零件形狀建模方法流程圖。圖2為基于編碼-解碼RNN的形狀建模網(wǎng)絡(luò)模型。具體實(shí)施方式附圖僅用于示例性說明，不能理解為對本專利的限制；為了更好說明本實(shí)施例，附圖某些部件會(huì)有省略、放大或縮小，并不代表實(shí)際產(chǎn)品的尺寸；對于本領(lǐng)域技術(shù)人員來說，附圖中某些公知結(jié)構(gòu)及其說明可能省略是可以理解的。下面結(jié)合附圖和實(shí)施例對本專利技術(shù)的技術(shù)方案做進(jìn)一步的說明。實(shí)施例1：本實(shí)施例提供一種端到端的高精度工業(yè)零件形狀建模方法。如圖1所示，主要包括：S1：邊緣提取，S2：構(gòu)建點(diǎn)間拓?fù)潢P(guān)系，S3：點(diǎn)特征提取，S4：點(diǎn)位優(yōu)化。下面將分別對此四個(gè)模塊進(jìn)行說明。S1：初始邊緣點(diǎn)提取。S1.1:使用輸入點(diǎn)云生成深度圖。S1.2：在深度圖上標(biāo)注每個(gè)零件的區(qū)域和其內(nèi)部的邊緣結(jié)構(gòu)作為模型訓(xùn)練真值。S1.3：在深度圖上利用Mask-RCNN進(jìn)行目標(biāo)級(jí)別的檢測和語義分割，同時(shí)預(yù)測每個(gè)像素和離它最近的邊緣點(diǎn)的距離，簡稱距離圖。S1.4：獲取S1.3檢測到的每個(gè)目標(biāo)的區(qū)域。在此區(qū)域的距離圖中，將像素值小于2的像素值設(shè)置為1，否則設(shè)置為0。結(jié)果為初始邊緣圖。S1.5：使用形態(tài)學(xué)膨脹和腐蝕運(yùn)算閉合邊緣圖中未閉合的區(qū)域。去除初始邊緣圖中可能出現(xiàn)的小孤島，同時(shí)填充提取的邊緣區(qū)域中可能存在的空洞。<本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
1.一種端到端的高精度工業(yè)零件形狀建模方法，其特征在于，所述方法包括以下步驟：/nS1：通過邊緣點(diǎn)提取獲取邊緣圖；/nS2：根據(jù)邊緣圖構(gòu)建點(diǎn)間拓?fù)潢P(guān)系；/nS3：對屬于每個(gè)目標(biāo)的點(diǎn)圖進(jìn)行特征點(diǎn)提取；/nS4：對特征點(diǎn)進(jìn)行編碼-解碼的點(diǎn)位優(yōu)化，實(shí)現(xiàn)模型參數(shù)優(yōu)化。/n

【技術(shù)特征摘要】
1.一種端到端的高精度工業(yè)零件形狀建模方法，其特征在于，所述方法包括以下步驟：
S1：通過邊緣點(diǎn)提取獲取邊緣圖；
S2：根據(jù)邊緣圖構(gòu)建點(diǎn)間拓?fù)潢P(guān)系；
S3：對屬于每個(gè)目標(biāo)的點(diǎn)圖進(jìn)行特征點(diǎn)提取；
S4：對特征點(diǎn)進(jìn)行編碼-解碼的點(diǎn)位優(yōu)化，實(shí)現(xiàn)模型參數(shù)優(yōu)化。


2.根據(jù)權(quán)利要求1所述的端到端的高精度工業(yè)零件形狀建模方法，其特征在于，S1包括以下步驟：
S1.1：使用輸入點(diǎn)云生成深度圖；
S1.2：在深度圖上標(biāo)注每個(gè)零件的區(qū)域和其內(nèi)部的邊緣結(jié)構(gòu)作為模型訓(xùn)練真值；
S1.3：在深度圖上利用Mask-RCNN進(jìn)行目標(biāo)級(jí)別的檢測和語義分割，同時(shí)預(yù)測每個(gè)像素和離它最近的邊緣點(diǎn)的距離，簡稱距離圖；
S1.4：獲取S1.3檢測到的每個(gè)目標(biāo)的區(qū)域；在此區(qū)域的距離圖中，將像素值小于2的像素值設(shè)置為1，否則設(shè)置為0；得到初始邊緣圖；
S1.5：使用形態(tài)學(xué)膨脹和腐蝕運(yùn)算閉合邊緣圖中未閉合的區(qū)域，去除初始邊緣圖中可能出現(xiàn)的小孤島，同時(shí)填充提取的邊緣區(qū)域中可能存在的空洞；
S1.6：使用Opencv的骨架算法提取S1.4中得到的每個(gè)目標(biāo)的邊緣圖的骨架，得到寬度為1的邊緣圖。


3.根據(jù)權(quán)利要求2所述的端到端的高精度工業(yè)零件形狀建模方法，其特征在于，S2包括以下步驟：
S2.1：在S1獲取的邊緣圖中遍歷所有的邊緣點(diǎn)，將每個(gè)邊緣點(diǎn)和其8鄰域內(nèi)的邊緣點(diǎn)連接起來，得到一組邊緣點(diǎn)圖；
S2.2：遍歷所有的邊緣點(diǎn)圖，如果有兩個(gè)邊緣點(diǎn)圖的末端方向在預(yù)設(shè)的閾值之內(nèi)，且末端距離也在預(yù)設(shè)的閾值之內(nèi)，則連接兩個(gè)點(diǎn)圖的對應(yīng)端點(diǎn)，使之合并為一個(gè)點(diǎn)圖；
S2.3：遍歷所有的邊緣點(diǎn)圖，刪除點(diǎn)數(shù)低于預(yù)設(shè)的點(diǎn)數(shù)閾值的點(diǎn)圖。


4.根據(jù)權(quán)利要求3所述的端到端的高精度工業(yè)零件形狀建模方法，其特征在于，S2.2中所述預(yù)設(shè)的閾值根據(jù)目標(biāo)的尺寸進(jìn)行調(diào)整，范圍在3-10個(gè)像素。


5.根據(jù)權(quán)利要求4所述的端到端的高精度工業(yè)零件形狀建模方法，其特...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王磊，吳偉龍，周建品，李爭，
申請(專利權(quán))人：視研智能科技廣州有限公司，
類型：發(fā)明
國別省市：廣東;44