一種基于視覺的SOP元件定位和缺陷檢測方法技術

一種基于視覺的SOP元件定位和缺陷檢測方法，本發明專利技術涉及表面組裝技術視覺系統中SOP元件的視覺定位與視覺缺陷檢測，本發明專利技術是要解決SOP元件在貼片機貼裝時出現的精度不夠，對外界環境變化敏感的問題，而提出的一種基于視覺的SOP元件定位和缺陷檢測方法；該方法按照檢查所選區域圖像是否符合亮度要求；將所選區域圖像進行二值化，得到二值化圖像采用canny邊緣檢測提取法提取第二步得到的二值化圖像的外邊界輪廓，得到二值化圖像的各個外邊界點集；由以上得到的數據進行SOP元件引腳缺陷檢測等步驟實現的。本發明專利技術應用于貼片機視覺領域。

【技術實現步驟摘要】
一種基于視覺的SOP元件定位和缺陷檢測方法
本專利技術涉及表面組裝技術(SMT)視覺系統中SOP元件的視覺檢測方法，主要實現SOP元件視覺定位以及視覺缺陷檢測功能。
技術介紹
隨著電子工業的發展，表面貼裝技術(SMT，SurfaceMountTechnology)也迅速發展。其中，貼片機是SMT生產線上的關鍵設備，主要實現貼片元件的組裝。高性能的貼片機普遍采用了機器視覺系統，這是貼片機最為關鍵的系統之一，其性能直接影響到的貼片機的貼裝精度和速度。對于一套成熟的貼片機視覺系統，元件的視覺識別方法的研究與論證顯得至關重要，這是貼片機視覺系統的基礎性問題，好的元件視覺識別方法會大大提高貼片機貼裝時的精度和速度，并且隨著現如今各類封裝技術的完善，元件的種類也越來越多，這也對元件視覺識別方法的有效適用范圍提出了更高的要求。針對現如今SOP元件在貼片機貼裝時出現的精度不夠，對外界環境變化敏感的問題，設計一種具有良好實時性，對多型號SOP元件都適用的SOP元件視覺定位與缺陷檢測的識別方法。
技術實現思路
本專利技術是要解決SOP元件在貼片機貼裝時出現的精度不夠，對外界環境變化敏感的問題，而提供了一種具有良好實時性，對多型號SOP元件都適用的SOP元件視覺定位與視覺缺陷檢測的方法。一種基于視覺的SOP元件定位和缺陷檢測方法，它按以下步驟實現：一、檢查所選區域圖像是否符合亮度要求；(1)掃描所有所選區域圖像像素點，將圖像像素點總個數記為s1，灰度值大于150的像素點個數記為s2；(2)取比值r1＝0.03,r2＝0.90，若s1/s2<r1圖像區域太暗，若s1/s2>;r2則圖像區域太亮，停止并返回相應錯誤碼；否則繼續進行下一步；二、將所選區域圖像進行二值化，得到二值化圖像；三、采用canny邊緣檢測提取法提取第二步得到的二值化圖像的外邊界輪廓，得到二值化圖像的各個外邊界點集；且存放于一個二維點容器中，對不同的外邊界點集進行隨機標號；四、對第三步得到的各個外邊界點集進行“灰度值檢查”操作，得到符合要求的邊界點集；五、將第四步得到的邊界點集進行“面積篩選”操作，得到符合面積要求的邊界點集；六、尋找第五步符合面積要求的邊界點集整體的最小外接矩形，將此最小外接矩形近似為整個SOP元件的最小外接矩形，并且根據此最小外接矩形的旋轉角度和中心坐標確定SOP元件的粗略旋轉角度α和元件粗略中心坐標(x0,y0)；七、對第六步中得到的SOP元件的粗略旋轉角度α進行判斷；當|α|>30°時停止并返回“旋轉角度過大”的錯誤碼；否則繼續進行下一步；八、求取第五步中符合面積要求的各個邊界點集的中心坐標；其中，所述求取每一個邊界點集中心坐標(x,y)采用質心的原理，理論依據如下：邊界點集及其內部包圍的點個數為N；用(xi,yi)來表示該邊界包含的第i(i＝1,2,…,N)個點；mi＝1表示(xi,yi)在邊界上，mi＝0表示(xi,yi)在邊界內部，(x,y)為所求質心中心坐標；九、在第五步得到的符合面積要求的邊界點集中尋找SOP元件引腳足部的邊界點集，并且以對應的引腳足部的邊界點集中心坐標作為每個引腳足部的中心坐標；其中，所述引腳足部的邊界點集包括上部引腳足部邊界點集與下部引腳足部邊界點集；十、在第五步得到的符合面積要求的邊界點集中尋找SOP元件引腳根部的邊界點集，并且以對應的引腳根部的邊界點集中心坐標作為每個引腳根部的中心坐標；其中，所述引腳根部的邊界點集包括上部引腳根部邊界點集與下部引腳根部邊界點集；十一、將第九步和第十步中得到的上部引腳足部邊界點集和上部引腳根部邊界點集存儲到上部引腳邊界點集中，下部引腳足部邊界點集和下部引腳根部邊界點集存儲到下部引腳邊界點集中；同時將對應的上部引腳足部邊界點集中心和上部引腳根部邊界點集中心存儲到上部引腳邊界點集中心集中，下部引腳足部邊界點集中心和下部引腳根部邊界點集中心存儲到下部引腳邊界點集中心集中；十二、將第十一步得到的上下部引腳邊界點集按照第六步所得SOP元件的粗略旋轉角度α進行仿射變換，旋轉中心為步驟六得到的SOP元件粗略中心(x0,y0)，將其“轉正”得到“轉正元件”，即“轉正”上下部引腳邊界點集，并且記錄“轉正”前后各個引腳邊界點集的對應關系，同時對每一個對應的邊界點集中心進行“轉正”操作，得到“轉正”引腳中心點集；其中，所述“轉正”的理論依據如下：設置仿射變換矩陣為將界點集中原始點坐標為的點變換到旋轉中心是SOP元件的粗略中心坐標(x0,y0)；十三、將第十二步得到的“轉正”上下部引腳邊界點集分別進行引腳類別分類并且標號；十四、根據第十三步得到的引腳類別分類結果以及標號，將第九步和第十步得到的引腳足部邊界點集和引腳根部邊界點集進行整理，明確每一個“引腳—足部—根部”的對應關系；并且整理得到上部引腳足部邊界點集的集合，上部引腳邊界點集的集合，下部引腳足部邊界點集的集合，下部引腳邊界點集的集合這四個邊界點集集合，以及上部引腳足部中心點集，上部引腳中心點集，下部引腳足部中心點集，下部引腳邊中心點集這四個中心點集合十五、根據第十四步整理得到的四個邊界點集集合利用其最小外接矩形求取引腳長度hpin、引腳足部長度hfoot以及引腳數量spin；十六、根據第十四步整理得到的四個中心點集利用整體最小二乘法擬合直線得到引腳擬合直線：包括上部引腳根部擬合直線L-PIN-UP、下部引根部腳擬合直線L-PIN-DOWN上部引腳足部擬合直線L-FOOT-UP與下部引腳足部擬合直線L-FOOT-DOWN；十七、利用十六步中得到的引腳擬合直線求取引腳足部寬度wfoot、引腳間距ppin和SOP元件精確中心坐標(xa,ya)、SOP元件精確旋轉角度αa、SOP元件精確寬度wbody以及SOP元件精確長度hbody，得到該SOP元件擬合矩形；至此完成SOP元件的視覺定位操作；十八、由以上得到的數據進行SOP元件引腳缺陷檢測，至此完成了一種基于視覺的SOP元件定位和缺陷檢測方法。專利技術效果：經過實踐，本專利方法幾乎可以實現現在市面上所有種類的SOP元件的視覺定位與缺陷檢測，如圖16為兩個具體SOP元件利用本方法實現視覺定位的效果圖。對于這兩種SOP元件，在本方法下的處理時間都不超過20ms，相同外界條件下100次重復測試的重復精度也達到±0.001mm內，可見本方法在精度、速度和穩定性方面都很強。附圖說明圖1是本專利技術圖像處理坐標系選定圖；以圖像左上角為原點，向右為x軸正方向，向下為y軸正方向作為坐標系；圖2是本專利技術選取的8位單通道區域圖像；圖3是手動輸入固定閾值二值化方法得到二值圖像；圖4是類間方差最大的方法(otsu)得到二值圖像；圖5是“面積篩選”操作后得到符合面積要求的邊界點集圖；圖6是元件近似最小外接矩形；圖7是符合面積要求的邊界點集及邊界點集中心點集；圖8是本專利技術中篩選得到的上部和下部引腳足部邊界點集及上部和下部引腳足部邊界點集中心點集；圖9是本專利技術是本專利技術中篩選得到的上部和下部引腳根部邊界點集及上部和下部引腳根部邊界點集中心點集；圖10是本專利技術步驟九與步驟十得到的上部下部邊界點集及上部下部邊界點集中心點集；圖11是本專利技術仿射變換“轉正”后的“轉正元件”圖；圖12是本專利技術一般最小二乘法誤差考慮示意圖；圖本文檔來自技高網...

【技術保護點】
一種基于視覺的SOP元件定位和缺陷檢測方法，其特征在于它按以下步驟實現：一、檢查所選區域圖像是否符合亮度要求；(1)掃描所有所選區域圖像像素點，將圖像像素點總個數記為s1，灰度值大于150的像素點個數記為s2；(2)取比值r1＝0.03,r2＝0.90，若s1/s2<r1圖像區域太暗，若s1/s2>r2則圖像區域太亮，停止并返回相應錯誤碼；否則繼續進行下一步；二、將所選區域圖像進行二值化，得到二值化圖像；三、采用canny邊緣檢測提取法提取第二步得到的二值化圖像的外邊界輪廓，得到二值化圖像的各個外邊界點集；且存放于一個二維點容器中，對不同的外邊界點集進行隨機標號；四、對第三步得到的各個外邊界點集進行“灰度值檢查”操作，得到符合要求的邊界點集；五、將第四步得到的邊界點集進行“面積篩選”操作，得到符合面積要求的邊界點集；六、尋找第五步符合面積要求的邊界點集整體的最小外接矩形，將此最小外接矩形近似為整個SOP元件的最小外接矩形，并且根據此最小外接矩形的旋轉角度和中心坐標確定SOP元件的粗略旋轉角度α和元件粗略中心坐標(x0,y0)；七、對第六步中得到的SOP元件的粗略旋轉角度α進行判斷；當|α|>30°時停止并返回“旋轉角度過大”的錯誤碼；否則繼續進行下一步；八、求取第五步中符合面積要求的各個邊界點集的中心坐標；其中，所述求取每一個邊界點集中心坐標(x,y)采用質心的原理，理論依據如下：x=Σi=1NmixiΣi=1Nmi,y=Σi=1NmiyiΣi=1Nyi]]>邊界點集及其內部包圍的點個數為N；用(xi,yi)來表示該邊界包含的第i(i＝1,2,L,N)個點；mi＝1表示(xi,yi)在邊界上，mi＝0表示(xi,yi)在邊界內部，(x,y)為所求質心中心坐標；九、在第五步得到的符合面積要求的邊界點集中尋找SOP元件引腳足部的邊界點集，并且以對應的引腳足部的邊界點集中心坐標作為每個引腳足部的中心坐標；其中，所述引腳足部的邊界點集包括上部引腳足部邊界點集與下部引腳足部邊界點集；十、在第五步得到的符合面積要求的邊界點集中尋找SOP元件引腳根部的邊界點集，并且以對應的引腳根部的邊界點集中心坐標作為每個引腳根部的中心坐標；其中，所述引腳根部的邊界點集包括上部引腳根部邊界點集與下部引腳根部邊界點集；十一、將第九步和第十步中得到的上部引腳足部邊界點集和上部引腳根部邊界點集存儲到上部引腳邊界點集中，下部引腳足部邊界點集和下部引腳根部邊界點集存儲到下部引腳邊界點集中；同時將對應的上部引腳足部邊界點集中心和上部引腳根部邊界點集中心存儲到上部引腳邊界點集中心集中，下部引腳足部邊界點集中心和下部引腳根部邊界點集中心存儲到下部引腳邊界點集中心集中；十二、將第十一步得到的上下部引腳邊界點集按照第六步所得SOP元件的粗略旋轉角度α進行仿射變換，旋轉中心為步驟六得到的SOP元件粗略中心(x0,y0)，將其“轉正”得到“轉正元件”，即“轉正”上下部引腳邊界點集，并且記錄“轉正”前后各個引腳邊界點集的對應關系，同時對每一個對應的邊界點集中心進行“轉正”操作，得到“轉正”引腳中心點集；其中，所述“轉正”的理論依據如下：設置仿射變換矩陣為T=cosα-sinαsinαcosα,]]>將界點集中原始點坐標為X=xy]]>的點變換到Y=x′y′=TX,]]>旋轉中心是SOP元件的粗略中心坐標(x0,y0)；十三、將第十二步得到的“轉正”上下部引腳邊界點集分別進行引腳類別分類并且標號；十四、根據第十三步得到的引腳類別分類結果以及標號，將第九步和第十步得到的引腳足部邊界點集和引腳根部邊界點集進行整理，明確每一個“引腳—足部—根部”的對應關系；并且整理得到上部引腳足部邊界點集的集合，上部引腳邊界點集的集合，下部引腳足部邊界點集的集合，下部引腳邊界點集的集合這四個邊界點集集合，以及上部引腳足部中心點集，上部引腳中心點集，下部引腳足部中心點集，下部引腳邊中心點集這四個中心點集合十五、根據第十四步整理得到的四個邊界點集集合利用其最小外接矩形求取引腳長度hpin、引腳足部長度hfoot以及引腳數量spin；十六、根據第十四步整理得到的四個中心點集利用整體最小二乘法擬合直線得到引腳擬合直線：包括上部引腳根部擬合直線L?PIN?UP、下部引根部腳擬合直線L?PIN?DOWN上部引腳足部擬合直線L?FOOT?UP與下部引腳足部擬合直線L?FOOT?DOWN；十七、利用十六步中得到的引腳擬合直線求取引腳足部寬度wfoot、引腳間距ppin和SOP元件精確中心坐標(xa,ya)、SOP元件精確旋轉角度αa、SOP元件精確寬度wbody以及SOP元件精確長度h...

【技術特征摘要】
1.一種基于視覺的SOP元件定位和缺陷檢測方法，其特征在于它按以下步驟實現：一、檢查所選區域圖像是否符合亮度要求；(1)掃描所有所選區域圖像像素點，將圖像像素點總個數記為s1，灰度值大于150的像素點個數記為s2；(2)取比值r1＝0.03,r2＝0.90，若s1/s2<r1圖像區域太暗，若s1/s2>r2則圖像區域太亮，太暗或太亮都停止并返回相應錯誤碼；否則繼續進行下一步；二、將所選區域圖像進行二值化，得到二值化圖像；三、采用canny邊緣檢測提取法提取第二步得到的二值化圖像的外邊界輪廓，得到二值化圖像的各個外邊界點集；且存放于一個二維點容器中，對不同的外邊界點集進行隨機標號；四、對第三步得到的各個外邊界點集進行“灰度值檢查”操作，得到符合要求的邊界點集；五、將第四步得到的邊界點集進行“面積篩選”操作，得到符合面積要求的邊界點集；六、尋找第五步符合面積要求的邊界點集整體的最小外接矩形，將此最小外接矩形近似為整個SOP元件的最小外接矩形，并且根據此最小外接矩形的旋轉角度和中心坐標確定SOP元件的粗略旋轉角度α和元件粗略中心坐標(x0,y0)；七、對第六步中得到的SOP元件的粗略旋轉角度α進行判斷；當|α|>30°時停止并返回“旋轉角度過大”的錯誤碼；否則繼續進行下一步；八、求取第五步中符合面積要求的各個邊界點集的中心坐標；其中，所述求取每一個邊界點集中心坐標(x,y)采用質心的原理，理論依據如下：邊界點集及其內部包圍的點個數為N；用(xi,yi)來表示該邊界包含的第i個點，i＝1，2，…，N；mi＝1表示(xi,yi)在邊界上，mi＝0表示(xi,yi)在邊界內部，(x,y)為所求質心中心坐標；九、在第五步得到的符合面積要求的邊界點集中尋找SOP元件引腳足部的邊界點集，并且以對應的引腳足部的邊界點集中心坐標作為每個引腳足部的中心坐標；其中，所述引腳足部的邊界點集包括上部引腳足部邊界點集與下部引腳足部邊界點集；十、在第五步得到的符合面積要求的邊界點集中尋找SOP元件引腳根部的邊界點集，并且以對應的引腳根部的邊界點集中心坐標作為每個引腳根部的中心坐標；其中，所述引腳根部的邊界點集包括上部引腳根部邊界點集與下部引腳根部邊界點集；十一、將第九步和第十步中得到的上部引腳足部邊界點集和上部引腳根部邊界點集存儲到上部引腳邊界點集中，下部引腳足部邊界點集和下部引腳根部邊界點集存儲到下部引腳邊界點集中；同時將對應的上部引腳足部邊界點集中心和上部引腳根部邊界點集中心存儲到上部引腳邊界點集中心集中，下部引腳足部邊界點集中心和下部引腳根部邊界點集中心存儲到下部引腳邊界點集中心集中；十二、將第十一步得到的上下部引腳邊界點集按照第六步所得SOP元件的粗略旋轉角度α進行仿射變換，旋轉中心為步驟六得到的SOP元件粗略中心(x0,y0)，將其“轉正”得到“轉正元件”，即“轉正”上下部引腳邊界點集，并且記錄“轉正”前后各個引腳邊界點集的對應關系，同時對每一個對應的邊界點集中心進行“轉正”操作，得到“轉正”引腳中心點集；其中，所述“轉正”的理論依據如下：設置仿射變換矩陣為將邊界點集中原始點坐標為的點變換到十三、將第十二步得到的“轉正”上下部引腳邊界點集分別進行引腳類別分類并且標號；十四、根據第十三步得到的引腳類別分類結果以及標號，將第九步和第十步得到的引腳足部邊界點集和引腳根部邊界點集進行整理，明確每一個“引腳—足部—根部”的對應關系；并且整理得到上部引腳足部邊界點集的集合，上部引腳邊界點集的集合，下部引腳足部邊界點集的集合，下部引腳邊界點集的集合這四個邊界點集集合，以及上部引腳足部中心點集，上部引腳中心點集，下部引腳足部中心點集，下部引腳邊中心點集這四個中心點集合十五、根據第十四步整理得到的四個邊界點集集合利用其最小外接矩形求取引腳長度hpin、引腳足部長度hfoot以及引腳數量spin；十六、根據步驟十三將第十二步得到的“轉正”上下部引腳邊界點集分別進行引腳類別分類的結果及第十四步整理得到的四個中心點集利用整體最小二乘法擬合直線得到引腳擬合直線：包括上部引腳根部擬合直線L-PIN-UP、下部引根部腳擬合直線L-PIN-DOWN上部引腳足部擬合直線L-FOOT-UP與下部引腳足部擬合直線L-FOOT-DOWN；十七、利用十六步中得到的引腳擬合直線求取引腳足部寬度wfoot、引腳間距ppin和SOP元件精確中心坐標(xa,ya)、SOP元件精確旋轉角度αa、SOP元件精確寬度wbody以及SOP元件精確長度hbody，得到該SOP元件擬合矩形；至此完成SOP元件的視覺定位操作；十八、由以上得到的數據進行SOP元件引腳缺陷檢測，至此完成了SOP元件視覺定位與視覺缺陷檢測操作。2.根據權利要求1所述的一種基于視覺的SOP元件定位和缺陷檢測方法，其特征在于所述步驟四具體為：1)取第三步中得到的某一個二值化圖像的外邊界點集，判斷外邊界點集的點的個數，若大于10則繼續進行下一步；否則刪除該外邊界點集，進行第5)步；2)檢查二值化圖像的各個外邊界點集是否有內含或者嵌套的外邊界點集，有則將外兩邊界點集之間的連通區域像素值定為255，畫到一個空的圖像中，無則將此外邊界點集所包含內部像素值定為255，畫到一個空的圖像中；3)計算上一步得到的二值圖像中像素值為255的像素點的個數記為s3，并且將上一步中畫好的二值化圖像與第二步中閾值為150的產生的二值圖像做“位與”運算，計算該二值化圖像中像素值為255的像素點個數記為s4；4)計算s3/s4的值并將該值小于0.5所對應的外邊界點集刪除；5)重復1)--4)直到取遍第3步中得到的所有邊界點集。3.根據權利要求1或2所述的一種基于視覺的SOP元件定位和缺陷檢測方法，其特征在于所述步驟五具體為：1)采用冒泡排序法將第四步各個邊界點集按照邊界所包圍面積大小從小到大進行排序；2)對排在中間三個的邊界點集面積求取面積平均值記為a；3)依次將各個邊界點集所包圍的面積ai與a進行比較，保留ai<2.5*a且ai>0.6*a的邊界點集i；其中，所述ai為第i個邊界點...

【專利技術屬性】
技術研發人員：高會軍，王毅，孫昊，白立飛，楊憲強，張延琪，張天琦，周紀強，
申請(專利權)人：哈爾濱工業大學，
類型：發明
國別省市：黑龍江;23