基于圖像識別的焊點類型檢測和裝置制造方法及圖紙

本發明專利技術公開了一種基于圖像識別的焊點類型檢測方法和裝置，涉及自動光學檢測技術領域。其中，該方法包括：基于獲取到的至少兩種類型的焊點的焊錫圖像建立訓練樣本集；基于訓練樣本集中的訓練樣本對預先構建的卷積神經網絡進行訓練；將待識別的焊錫圖像輸入到訓練完成的所述卷積神經網絡中，對焊錫圖像中的焊點的類型進行識別。本發明專利技術的技術方案，通過卷積神經網絡識別焊錫圖像，解決了傳統焊錫缺陷檢測方法所存在的制版麻煩、精準度低及穩定性差等問題，通過將焊錫圖像輸入至訓練完成的卷積神經網絡模型中，即可簡單快速地對焊點類型進行識別，以實現焊錫缺陷地精準檢測。

【技術實現步驟摘要】

本專利技術實施例涉及自動光學檢測
，尤其涉及一種基于圖像識別的焊點類型檢測和裝置。
技術介紹
自動光學檢測(AutomaticOpticInspection，AOI)是工業制作過程的必要環節，其檢測原理是利用光學方式取得成品的表面狀態，以影像處理來檢測異物或表面瑕疵。而電路板卡焊錫面焊點的焊錫缺陷檢測是電路板卡缺陷檢測領域中一項重要的應用。機器通過攝像頭拍攝電路板卡圖像，其中，電路板卡圖像由三色光進行照明，獲得焊錫的立體信息。然后提取焊點的局部圖像，并通過圖像處理技術，判斷焊點是否有連錫、少錫、多錫等缺陷，最后將疑似缺陷的焊點顯示或標記出來，方便查看與檢修。在傳統的AOI系統中，焊錫缺陷檢測方法主要是通過對采集到的焊點圖像顏色信息進行特征提取，例如，提取焊點圖像中紅色、藍色、綠色顏色的占比，然后通過閾值判別或BP神經網絡進行焊點焊錫缺陷的檢測。但是，在實際應用過程中，該方法存在制版麻煩、精準度低及穩定性差等問題。
技術實現思路
本專利技術提供一種基于圖像識別的焊點類型檢測方法和裝置，以快速準確地檢測焊錫缺陷。第一方面，本專利技術實施例提供了一種基于圖像識別的焊點類型檢測方法，該方法包括：基于獲取到的至少兩種類型的焊點的焊錫圖像建立訓練樣本集；基于訓練樣本集中的訓練樣本對預先構建的卷積神經網絡進行訓練；將待識別的焊錫圖像輸入到訓練完成的所述卷積神經網絡中，對焊錫圖像中的焊點的類型進行識別。第二方面，本專利技術實施例還提供了一種基于圖像識別的焊點類型檢測裝置，該裝置包括：訓練樣本集建立模塊，用于基于獲取到的至少兩種類型的焊點的焊錫圖像建立訓練樣本集；卷積神經網絡訓練模塊，用于基于訓練樣本集中的訓練樣本對預先構建的卷積神經網絡進行訓練；焊點類型識別模塊，用于將待識別的焊錫圖像輸入到訓練完成的所述卷積神經網絡中，對焊錫圖像中的焊點的類型進行識別。本專利技術實施例所提供的技術方案，首先構建了一個卷積神經網絡，該卷積神經網絡輸入的為焊錫圖像，輸出的為焊點的類型，選取至少兩種類型的焊點的焊錫圖像對預先構建的卷積神經網絡進行訓練，進而將待識別的焊錫圖像輸入至訓練完成的卷積神經網絡，識別焊點的類型，解決了傳統焊錫缺陷檢測方法所存在的制版麻煩、精準度低及穩定性差等問題，通過將焊錫圖像輸入至訓練好的卷積神經網絡模型中，即可簡單快速地對焊點類型進行識別，以實現焊錫缺陷地精準檢測。附圖說明圖1A為本專利技術實施例一所提供的一種基于圖像識別的焊點類型檢測方法的流程圖；圖1B為本專利技術實施例一所提供的一種焊點類型為正常的焊錫圖像示意圖；圖1C為本專利技術實施例一所提供的一種焊點類型為少錫的焊錫圖像示意圖；圖1D為本專利技術實施例一所提供的一種焊點類型為連錫的焊錫圖像示意圖；圖1E為本專利技術實施例一所提供的一種焊點類型為多錫的焊錫圖像示意圖；圖2A為本專利技術實施例二所提供的一種基于圖像識別的焊點類型檢測方法的流程圖；圖2B為本專利技術實施例二的基于圖像識別的焊點類型檢測方法訓練階段的流程示意圖；圖2C為本專利技術實施例二所適用的一種卷積神經網絡的結構示意圖；圖2D為本專利技術實施例二的基于圖像識別的焊點類型檢測方法實施階段的流程示意圖；圖3為本專利技術實施例三所提供的一種基于圖像識別的焊點類型檢測裝置的結構框圖。具體實施方式為了使本專利技術的目的、技術方案和優點更加清楚，下面結合附圖對本專利技術具體實施例作進一步的詳細描述。可以理解的是，此處所描述的具體實施例僅僅用于解釋本專利技術，而非對本專利技術的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本專利技術相關的部分而非全部內容。在更加詳細地討論示例性實施例之前應當提到的是，一些示例性實施例被描述成作為流程圖描繪的處理或方法。雖然流程圖將各項操作(或步驟)描述成順序的處理，但是其中的許多操作可以被并行地、并發地或者同時實施。此外，各項操作的順序可以被重新安排。當其操作完成時所述處理可以被終止，但是還可以具有未包括在附圖中的附加步驟。所述處理可以對應于方法、函數、規程、子例程、子程序等等。實施例一圖1A為本專利技術實施例一提供的一種基于圖像識別的焊點類型檢測方法的流程圖，本實施例可適用于對焊錫缺陷的檢測，該方法可以由基于圖像識別的焊點類型檢測裝置來執行，具體包括如下步驟：S110、基于獲取到的至少兩種類型的焊點的焊錫圖像建立訓練樣本集。其中，至少兩種類型的焊點可包括兩種類型的焊點，例如可將焊點分為正常和不正常兩種類型；當然也可包括兩種以上的焊點的類型，如圖1B-1E所示，可將焊點的類型進行更加細致地劃分，如可分為正常(圖1B)、少錫(圖1C)、連錫(圖1D)和/或多錫(圖1E)等類型。可以理解的是，正常的焊點類型可以是符合要求的類型，例如，焊點的形狀或者焊點焊錫用量在預設的誤差范圍內。在基于獲取到的至少兩種類型的焊點的焊錫圖像建立訓練樣本集之前，還包括：獲取至少兩種類型的焊點的焊錫圖像。具體地，通過人工標注的方法得到焊錫圖像的焊點的類型信息；進而基于所述焊點的類型信息獲取標注過的獲取到的至少兩種類型的焊點的焊錫圖像。其中，可以根據焊點的類型信息確定焊錫是否存在缺陷，進一步地，還可以確定焊錫缺陷的類別信息。一般地，為了使得焊點類型的檢測準確性更高，需要大量的訓練樣本。在本實施例中，訓練樣本集中的焊錫圖像可以是獲取到的大量的原始的焊錫圖像；也可以是將原始的焊錫圖像進行數據擴展后生成新的焊錫圖像，進而將原始的焊錫圖像和擴展后的焊錫圖像均作為訓練樣本集中的訓練樣本，進一步增加樣本的數量。S120、基于訓練樣本集中的訓練樣本對預先構建的卷積神經網絡進行訓練。卷積神經網絡是人工神經網絡中的一種，可用于圖像識別領域。卷積神經網絡以輸入、輸出的重構誤差為能量函數，通過前向、后向傳播過程優化調整網絡的聯結權值，使能量函數達到最小。其中，前向傳播過程采用權值共享方法減少訓練的權值個數，降低復雜度與參數個數；后向傳播過程以標簽值和預測值誤差最小為代價函數，進行權值微調。在本實施例中，為了能夠同時捕捉到低層的特征信息和高層抽象的特征信息，卷積神經網絡在結構上可以包括至少兩個并聯分支的子網絡。具體可以是卷積神經網絡以包括兩個、三個以及更多個并聯分支的子網絡。可以理解的是，卷積神經網絡具體的子網絡的數量，可以在實際應用過程中，結合焊點的類型以及焊錫圖像的特征等進行設定，在此不做限定。考慮到卷積神經網絡所占用的內存及識別效率等問題，卷積神經網絡的結構可以在滿足需求的基礎上盡可能地簡單化。例如，卷積神經網絡可以包括并聯的第一子網絡和第二子網絡。考慮到卷積網絡的構建與訓練的便利性，可選地，訓練樣本集中的訓練樣本(焊錫圖像)在輸入卷積神經網絡之前，可預先調整為同一大小的RGB圖像。S130、將待識別的焊錫圖像輸入到訓練完成的所述卷積神經網絡中，對焊錫圖像中的焊點的類型進行識別。如前所述，在確定了原始的卷積神經網絡的網絡結構之后，通過使用大量的訓練樣本對該原始卷積神經網絡進行訓練，即可得到所述焊點類型的識別模型。只需將待識別的焊錫圖像輸入到訓練完成的卷積神經網絡中，即可完成對焊錫圖像中的焊點的類型的識別。本實施例的技術方案，首先構建了一個卷積神經網絡，該卷積神經網絡輸入的為焊錫圖像，輸出的為焊點的類型，選取至少兩種類型的焊點的焊錫圖像對預先構建的卷積神經網絡進行訓練，進本文檔來自技高網...

【技術保護點】
一種基于圖像識別的焊點類型檢測方法，其特征在于，包括：基于獲取到的至少兩種類型的焊點的焊錫圖像建立訓練樣本集；基于訓練樣本集中的訓練樣本對預先構建的卷積神經網絡進行訓練；將待識別的焊錫圖像輸入到訓練完成的所述卷積神經網絡中，對焊錫圖像中的焊點的類型進行識別。

【技術特征摘要】
1.一種基于圖像識別的焊點類型檢測方法，其特征在于，包括：基于獲取到的至少兩種類型的焊點的焊錫圖像建立訓練樣本集；基于訓練樣本集中的訓練樣本對預先構建的卷積神經網絡進行訓練；將待識別的焊錫圖像輸入到訓練完成的所述卷積神經網絡中，對焊錫圖像中的焊點的類型進行識別。2.根據權利要求1所述的方法，其特征在于，所述基于獲取到的至少兩種類型的焊錫圖像建立訓練樣本集，包括：對獲取到的至少兩種類型的焊點原始的焊錫圖像進行數據擴展；基于原始的焊錫圖像以及數據擴展后的焊錫圖像建立訓練樣本集。3.根據權利要求2所述的方法，其特征在于，所述對獲取到的至少兩種類型的焊點原始的焊錫圖像進行數據擴展，包括下述中的至少一項：對獲取到的至少兩種類型的焊點原始的焊錫圖像依照預設角度旋轉；對獲取到的至少兩種類型的焊點原始的焊錫圖像進行隨機裁剪；對獲取到的至少兩種類型的焊點原始的焊錫圖像進行伽馬Gamma變換。4.根據權利要求1-3任一所述的方法，其特征在于，所述基于訓練樣本集中的訓練樣本對預先構建的卷積神經網絡進行訓練之前,包括：構建包括并聯的第一子網絡和第二子網絡的卷積神經網絡，其中，所述第一子網絡所包括的層級的數量大于所述第二子網絡所包含的層級的數量。5.根據權利要求4所述的方法，其特征在于，所述構建包括并聯的第一子網絡和第二子網絡的卷積神經網絡包括：構建包括一個卷積層、一個非線性激活函數層和一個池化層的第二子網絡，以及包括至少兩個卷積層和至少兩個非線性激活函數層的第一子網絡；并聯所述第一子網...

【專利技術屬性】
技術研發人員：林建民，
申請(專利權)人：廣州視源電子科技股份有限公司，
類型：發明
國別省市：廣東;44