【技術實現(xiàn)步驟摘要】
本專利技術涉及圖像檢測，尤其涉及一種基于rt-detr檢測器的pcb表面缺陷檢測方法及系統(tǒng)。
技術介紹
1、隨著電子設備的日益復雜和功能的不斷增加，pcb(printed?circuit?board)缺陷檢測是電子制造行業(yè)中的關鍵環(huán)節(jié)，直接關系到產(chǎn)品的質(zhì)量和可靠性。該過程涉及檢測pcb上的各種缺陷，如斷路、短路、毛刺等，這些缺陷可能導致產(chǎn)品性能下降、故障或安全隱患。傳統(tǒng)的pcb表面缺陷檢測方法主要依賴于目視檢查和手工測量，這種方法效率低下、耗時且易受主觀因素影響，無法滿足大規(guī)模生產(chǎn)的需求。
2、基于人工智能的技術在表面缺陷檢測領域已經(jīng)取得了顯著的進展，現(xiàn)有的目標檢測算法主要分為兩大類，一是基于傳統(tǒng)深度卷積神經(jīng)網(wǎng)絡(cnn)的目標檢測算法，二是基于tran?sformer架構的目標檢測算法?，F(xiàn)有的基于卷積神經(jīng)網(wǎng)絡(cnn)架構的目標檢測模型可以分為兩類：兩階段方法(fast?r-cnn和faster?r-cnn)和一階段方法(yolo系列和ssd)，兩階段檢測方法在小目標缺陷檢測任務中具有較高的精度，相比之下單階段檢測方法因其不需要生成候選區(qū)域，通過單次檢測即可直接獲得結果，大大提高了檢測速度。與傳統(tǒng)的基于cnn的方法相比，基于transformer架構的目標檢測算法在全局感知、細節(jié)捕獲和序列建模方面具有明顯優(yōu)勢。受益于全局感知的機制使得transformer能夠在不同尺度和層次上對整個圖像進行細致的分析，有利于準確地定位和識別目標對象。
3、然而pcb表面缺陷檢測具有多尺度、復雜的背景干擾和豐富的小目標等
技術實現(xiàn)思路
1、為了解決上述現(xiàn)有技術中現(xiàn)有方法難以提取多尺度特征，導致在挖掘深層語義信息和準確定位目標方面存在不足，以及由于pcb缺陷的復雜性和多樣性，往往會出現(xiàn)多個缺陷區(qū)域之間相互重疊或者被其他元素遮擋的情況，這會導致傳統(tǒng)模型在準確識別和定位每個缺陷時存在困難的問題。
2、本專利技術提出了一種基于rt-detr檢測器的pcb表面缺陷檢測方法。本專利技術是通過以下技術方案實現(xiàn)的：
3、本專利技術包括以下步驟：
4、s1、采集pcb缺陷圖像，對pcb缺陷圖像進行預處理，標注pcb缺陷圖像信息中的缺陷類別，并構建pcb缺陷檢測數(shù)據(jù)集；
5、s2、構建由改進的骨干網(wǎng)絡、改進的混合編碼器和帶輔助預測頭的變壓器解碼器組成的初始缺陷檢測模型；
6、將原始骨干網(wǎng)絡替換成resnet18，所述resnet18是由一個7×7卷積層、一個最大池化層、4個basicblock和一個全連接層組成，將resnet18中的4個basicblock替換為4個faster-ema?block，所述faster-ema?block由pconv、2個conv和ema注意力機制組成，在兩個conv之間放置歸一化(bn)和激活層(relu)，形成改進的骨干網(wǎng)絡；
7、將原始的混合編碼器中的多頭自注意力機制mhsa替換成級聯(lián)組注意力機制cgatt，將ccfm模塊替換為層次尺度感知網(wǎng)絡hs-pan，形成改進的混合編碼器；
8、s3、構建最終的目標損失函數(shù)訓練初始缺陷檢測模型，以獲取優(yōu)化的缺陷檢測模型；
9、s4、根據(jù)pcb缺陷檢測數(shù)據(jù)集和優(yōu)化的缺陷檢測模型，獲取缺陷檢測結果。
10、進一步的，所述步驟s1包括：
11、s11、相機采集pcb板上的多個缺陷類型圖像，形成pcb缺陷圖像；
12、s12、將pcb缺陷圖像依次進行去噪操作、數(shù)據(jù)增強、標準化處理和標簽制作，標注pcb缺陷圖像信息中的缺陷類別，以獲取pcb缺陷檢測數(shù)據(jù)集。
13、進一步的，所述步驟s12中，標注pcb缺陷圖像信息中的缺陷類別包括短路、開路、缺口、毛刺、漏孔和余銅六類。
14、進一步的，所述步驟1中，pcb缺陷檢測數(shù)據(jù)集按照8：1：1劃分為訓練集、驗證集和測試集。
15、進一步的，所述層次尺度感知網(wǎng)絡hs-pan包括特征選擇模塊、自上而下特征融合模塊以及集成特征細化模塊，其中特征選擇模塊將改進的骨干網(wǎng)絡的輸出s3、s4和s5經(jīng)過通道注意力模塊ca和1×1的卷積操作后輸出為p3、p4和p5，p3、p4和p5經(jīng)過自上而下特征融合模塊輸出為n3、n4和n5，n3、n4和n5經(jīng)過集成特征細化模塊輸出為m3、m4和m5。
16、進一步的，所述通道注意力模塊ca首先輸入特征圖fin∈rc×h×w，其中c、h、w分別表示通道數(shù)量、特征圖的高度和寬度，fin表示輸入特征圖，r表示實數(shù)域，rc×h×w表示這個張量是一個實數(shù)域中的三維張量，其次特征映射經(jīng)歷全局平均池化和全局最大池化后組合得到一個新的特征，隨后利用sigmoid激活函數(shù)確定每個通道的權值，最終得到每個通道的權重，即fca∈rc×1×1。
17、進一步的，所述自上而下特征融合模塊和集成特征細化模塊均包括高級選擇性特征融合模塊asff，其中，p5不做任何處理得到n5，p4經(jīng)過asff模塊融合n5得到n4，p3經(jīng)過asff模塊融合n5得到n3，n3、n4和n5進入通道注意力模塊ca和1x1的卷積操作，分別輸出為f3、f4和f5，f3直接得到m3，f4經(jīng)過asff模塊融合m3得到m4，f5經(jīng)過asff模塊融合m4得到m5。
18、進一步的，所述步驟s3中，將原始rt-detr檢測器中的giou損失函數(shù)替換成mpdiou損失函數(shù)作為改進的損失函數(shù)，在改進的損失函數(shù)基礎上引入歸一化高斯瓦瑟斯坦距離損失函數(shù)nwd?loss進行概率融合作為最終的目標損失函數(shù)。
19、進一步的，所述的改進的損失函數(shù)表達式如下：
20、lmpdiou＝1-mpdiou
21、
22、其中a和b表示預測框和真實框，和分別表示邊界框a的左上角和右下角坐標。和表示邊界框b的左上角和右下角坐標，d1表示邊界框a和b左上角坐標之間的距離；d2表示邊界框a和b右下角坐標之間的距離；
23、高斯瓦瑟斯坦距離損失函數(shù)nwd?loss的計算公式如下：
24、
25、其中,cxa和cya是邊界框na的中心點坐標，cxb和cyb是邊界框nb的中心點坐標，wa和ha是邊界框na的寬度和高度，wb、hb是邊界框nb的寬度和高度，是距離度量，歸一化后的指數(shù)形式，如下式所示：
26、
27、對mpdiou?loss和nwd?loss進行了概率融合作為最終的目標損失函數(shù)，如以下公式所示：
28、loss＝α×mpdiou+(1-α)×nwd+l1。
29、本專利技術還設計了一種基于rt-detr檢測器的p本文檔來自技高網(wǎng)...
【技術保護點】
1.一種基于RT-DETR檢測器的PCB表面缺陷檢測方法，其特征在于，包括如下步驟：
2.根據(jù)權利要求1所述的一種基于RT-DETR檢測器的PCB表面缺陷檢測方法，其特征在于，所述步驟S1包括：
3.根據(jù)權利要求2所述的一種基于RT-DETR檢測器的PCB表面缺陷檢測方法，其特征在于：所述步驟S12中，標注PCB缺陷圖像信息中的缺陷類別包括短路、開路、缺口、毛刺、漏孔和余銅六類。
4.根據(jù)權利要求1所述的一種基于RT-DETR檢測器的PCB表面缺陷檢測方法，其特征在于：所述步驟1中，PCB缺陷檢測數(shù)據(jù)集按照8：1：1劃分為訓練集、驗證集和測試集。
5.根據(jù)權利要求1所述的一種基于RT-DETR檢測器的PCB表面缺陷檢測方法，其特征在于：所述層次尺度感知網(wǎng)絡HS-PAN包括特征選擇模塊、自上而下特征融合模塊以及集成特征細化模塊，其中特征選擇模塊將改進的骨干網(wǎng)絡的輸出S3、S4和S5經(jīng)過通道注意力模塊CA和1×1的卷積操作后輸出為P3、P4和P5，P3、P4和P5經(jīng)過自上而下特征融合模塊輸出為N3、N4和N5，N3、N4和N5經(jīng)過集成特
6.根據(jù)權利要求5所述的一種基于RT-DETR檢測器的PCB表面缺陷檢測方法，其特征在于：所述通道注意力模塊CA首先輸入特征圖fin∈RC×H×W，其中C、H、W分別表示通道數(shù)量、特征圖的高度和寬度，fin表示輸入特征圖，R表示實數(shù)域，RC×H×W表示這個張量是一個實數(shù)域中的三維張量，其次特征映射經(jīng)歷全局平均池化和全局最大池化后組合得到一個新的特征，隨后利用Sigmoid激活函數(shù)確定每個通道的權值，最終得到每個通道的權重，即fCA∈RC×1×1。
7.根據(jù)權利要求6所述的一種基于RT-DETR檢測器的PCB表面缺陷檢測方法，其特征在于：所述自上而下特征融合模塊和集成特征細化模塊均包括高級選擇性特征融合模塊ASFF，其中，P5不做任何處理得到N5，P4經(jīng)過ASFF模塊融合N5得到N4，P3經(jīng)過ASFF模塊融合N5得到N3，N3、N4和N5進入通道注意力模塊CA和1x1的卷積操作，分別輸出為F3、F4和F5，F(xiàn)3直接得到M3，F(xiàn)4經(jīng)過ASFF模塊融合M3得到M4，F(xiàn)5經(jīng)過ASFF模塊融合M4得到M5。
8.根據(jù)權利要求1所述的一種基于RT-DETR檢測器的PCB表面缺陷檢測方法，其特征在于：所述步驟S3中，將原始RT-DETR檢測器中的GIoU損失函數(shù)替換成MPDIoU損失函數(shù)作為改進的損失函數(shù)，在改進的損失函數(shù)基礎上引入歸一化高斯瓦瑟斯坦距離損失函數(shù)NWD?Loss進行概率融合作為最終的目標損失函數(shù)。
9.根據(jù)權利要求8所述的一種基于RT-DETR檢測器的PCB表面缺陷檢測方法，其特征在于：所述的改進的損失函數(shù)表達式如下：
10.一種基于RT-DETR檢測器的PCB表面缺陷檢測系統(tǒng)，其特征在于，所述系統(tǒng)包括：
...【技術特征摘要】
1.一種基于rt-detr檢測器的pcb表面缺陷檢測方法，其特征在于，包括如下步驟：
2.根據(jù)權利要求1所述的一種基于rt-detr檢測器的pcb表面缺陷檢測方法，其特征在于，所述步驟s1包括：
3.根據(jù)權利要求2所述的一種基于rt-detr檢測器的pcb表面缺陷檢測方法，其特征在于：所述步驟s12中，標注pcb缺陷圖像信息中的缺陷類別包括短路、開路、缺口、毛刺、漏孔和余銅六類。
4.根據(jù)權利要求1所述的一種基于rt-detr檢測器的pcb表面缺陷檢測方法，其特征在于：所述步驟1中，pcb缺陷檢測數(shù)據(jù)集按照8：1：1劃分為訓練集、驗證集和測試集。
5.根據(jù)權利要求1所述的一種基于rt-detr檢測器的pcb表面缺陷檢測方法，其特征在于：所述層次尺度感知網(wǎng)絡hs-pan包括特征選擇模塊、自上而下特征融合模塊以及集成特征細化模塊，其中特征選擇模塊將改進的骨干網(wǎng)絡的輸出s3、s4和s5經(jīng)過通道注意力模塊ca和1×1的卷積操作后輸出為p3、p4和p5，p3、p4和p5經(jīng)過自上而下特征融合模塊輸出為n3、n4和n5，n3、n4和n5經(jīng)過集成特征細化模塊輸出為m3、m4和m5。
6.根據(jù)權利要求5所述的一種基于rt-detr檢測器的pcb表面缺陷檢測方法，其特征在于：所述通道注意力模塊ca首先輸入特征圖fin∈rc×h×w，其中c、h、w分別表示通道數(shù)量、特征圖的高度和寬度，fin表示輸入特征...
【專利技術屬性】
技術研發(fā)人員：張禮華，吳斌斌，王葉松，王維盼，陳曙光，許疆驍，
申請(專利權)人：江蘇科技大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。