【技術實現步驟摘要】
本專利技術涉及缺陷檢測領域，尤其涉及一種基于深度學習的多模態印刷電路板缺陷檢測方法、裝置及存儲介質。
技術介紹
1、印刷電路板的制造過程包含多個復雜的步驟，如曝光、蝕刻、電鍍、焊接等。在每一個生產階段中，工藝細節的差異都可能導致缺陷的產生，這些缺陷包括劃痕、短路、開路等，這些缺陷都可能直接對印刷電路板的電氣性能和產品質量造成影響，從而導致產品無法正常工作，最終被判定為報廢。為了提高生產效率，缺陷檢測是關鍵環節，及時準確地檢測并識別這些缺陷，可以在生產的早期階段發現潛在的缺陷，進而減少次品流入后續環節，從而降低返工和材料浪費。通過缺陷檢測，不僅能夠保障產品質量還可以減少返工和廢品率，這對于保障產品質量和提高生產效率具有重要意義。如何有效地利用收集到的數據實現準確的缺陷檢測是當前需要解決的主要問題。
2、缺陷檢測主要有以下幾種方法：
3、（1）基于規則的傳統圖像處理的方法，通過依賴于一些經典的圖像處理算法，主要通過設計特定的規則來識別圖像中的缺陷。例如基于邊緣檢測，使用sobel、canny等邊緣檢測算法來識別圖像中的邊緣不連續性，檢測出例如裂紋或斷裂等缺陷。
4、（2）基于傳統機器學習的方法，通過使用手工設計的特征，結合傳統機器學習模型進行缺陷檢測。例如基于手工設計特征，該方法對印刷電路板的特性有深入的理解，通過人工提取圖像的特定特征（如hog、sift等）并輸入到傳統分類器（如svm、knn等）中進行缺陷識別。
5、（3）基于深度學習的方法，通過讓模型自動地從數據中學習特征，進而處
6、在傳統的印刷電路板缺陷檢測技術中，由于這類方法依賴于手動設計的特征和啟發式的目標區域生成方式，導致其適應性和魯棒性較差。在處理復雜且變化多樣的場景時，這些方法往往難以達到理想的檢測效果，且無法有效應用于不同類型的印刷電路板。目前，基于深度學習的方法是最常用的缺陷檢測技術，但在處理小目標時存在一些顯著問題。由于在進行缺陷檢測使用的往往只有二維圖像數據，而小目標在圖像中的面積相對較小，其細節特征在特征提取過程中可能會模糊或消失。此外在特征融合的過程中，經過多個卷積層后小目標的特征容易被高層特征覆蓋，從而導致重要信息被忽略或丟失。這些因素使得往往難以提取足夠的小目標特征信息，尤其是在高噪聲環境或低對比度條件下，進而使得檢測的準確性和可靠性受到嚴重影響。
技術實現思路
1、本專利技術提供基于深度學習的多模態印刷電路板缺陷檢測方法、裝置及存儲介質，旨在至少解決現有技術中存在的技術問題之一。
2、本專利技術的技術方案為基于深度學習的多模態印刷電路板缺陷檢測方法、裝置和存儲介質，所述的基于深度學習的多模態印刷電路板缺陷檢測方法應用在基于深度學習的多模態印刷電路板缺陷檢測裝置上，所述的基于深度學習的多模態印刷電路板缺陷檢測裝置包括：采集模塊，用于采集、配準、對齊及預處理三維點云數據和二維圖像數據；雙視圖融合模塊，用于映射并對三維點云數據進行一次特征提取和插值，所述雙視圖融合模塊包括鳥瞰圖卷積子模塊和前視圖卷積子模塊；注意力模塊，包括與雙視圖融合模塊連接的點云特征提取子模塊、與采集模塊連接的圖像特征提取子模塊和分別與點云特征提取子模塊和圖像特征提取子模塊連接的注意力融合子模塊；檢測模塊，用于輸出缺陷種類和邊界框的預測結果，所述的基于深度學習的多模態印刷電路板缺陷檢測方法包括以下步驟：
3、s100、采集三維點云數據和二維圖像數據，并分別對三維點云數據和二維圖像數據進行配準、對齊和預處理；
4、s200、將三維點云數據輸入到雙視圖融合模塊，映射生成鳥瞰圖bv和前視圖fv，分別對鳥瞰圖bv和前視圖fv進行一次特征提取和插值，最后融合得到多視圖融合特征信息；
5、s300、將多視圖融合特征信息和二維圖像數據多次重復輸入到注意力模塊，生成融合特征；
6、s400、將融合特征輸入檢測模塊，輸出缺陷種類和邊界框的預測結果。
7、進一步，所述步驟s100包括：
8、s110、分別采集三維點云數據和二維圖像數據，所述三維點云數據包含空間坐標信息，所述二維圖像數據包含rgb信息；
9、s120、對三維點云數據和二維圖像數據進行配準和對齊，確保三維點云數據和二維圖像數據相互對應；
10、s130、分別對三維點云數據和二維圖像數據進行預處理，所述預處理至少包括對三維點云數據進行去噪、過濾和下采樣操作，以及對二維圖像數據進行降噪和圖像增強操作。
11、進一步，所述步驟s120包括：
12、s121、通過特征點計算激光雷達坐標系和相機坐標系之間的轉換矩陣；
13、s122、通過轉換矩陣將三維點云數據投影到相機坐標系中，實現三維點云數據和二維圖像數據在空間上的一致化。
14、進一步，所述步驟s200包括：
15、s210、將三維點云數據映射到第一平面生成鳥瞰圖bv和將三維點云數據映射到第二平面生成前視圖fv，所述第一平面為x-y平面，所述第二平面為x-z平面；
16、s220、分別通過鳥瞰圖卷積子模塊和前視圖卷積子模塊提取鳥瞰圖bv和前視圖fv中的特征，得到鳥瞰特征圖和前視特征圖；
17、s230、對鳥瞰特征圖和前視特征圖分別進行雙線性插值操作，得到空間尺寸一致的鳥瞰特征圖和前視特征圖；
18、s240、通過concat操作拼接融合鳥瞰特征圖和前視特征圖，得到多視圖融合特征信息。
19、進一步，所述步驟s220中，所述鳥瞰圖卷積模塊和所述前視圖卷積模塊的結構一致，所述鳥瞰圖卷積模塊或所述前視圖卷積模塊包括依次連接的第一卷積層conv1、批量歸一化bn、relu和第一加法器，所述第一卷積層conv1的輸入與所述第一加法器的第二輸入端連接。
20、進一步，所述步驟s300包括：
21、s310、將二維圖像數據輸入到點云特征提取子模塊，將多視圖融合特征信息輸入到圖像特征提取子模塊中，分別進行二次特征提取，得到對應的三維點云特征和二維圖像特征，其中，注意力模塊包括點云特征提取子模塊和圖像特征提取子模塊；
22、s320、將三維點云特征和二維圖像特征分別與原始特征結合；
23、s330、將結合了原始特征的三維點云特征和二維圖像特征重新輸入到點云特征提取子模塊和圖像特征提取子模塊，并重復步驟s310和步驟s320預設的次數，得到包含有三維點云最終特征和二維圖像最終特征的最終特征；
24、s340、將包含有三維點云最終特征和二維圖像最終特征的最終特征輸入到注意力融合子模塊中，得到融合特征，其中，所述注意力模塊包括注意力融合子模塊。
25、進一步，所述步驟s310中，
26、所述點云特征提取模本文檔來自技高網...
【技術保護點】
1.基于深度學習的多模態印刷電路板缺陷檢測方法，所述的基于深度學習的多模態印刷電路板缺陷檢測方法應用在基于深度學習的多模態印刷電路板缺陷檢測裝置上，所述的基于深度學習的多模態印刷電路板缺陷檢測裝置包括：采集模塊，用于采集、配準、對齊及預處理三維點云數據和二維圖像數據；雙視圖融合模塊，用于映射并對三維點云數據進行一次特征提取和插值，所述雙視圖融合模塊包括鳥瞰圖卷積子模塊和前視圖卷積子模塊；注意力模塊，包括與雙視圖融合模塊連接的點云特征提取子模塊、與采集模塊連接的圖像特征提取子模塊和分別與點云特征提取子模塊和圖像特征提取子模塊連接的注意力融合子模塊；檢測模塊，用于輸出缺陷種類和邊界框的預測結果，其特征在于，所述的基于深度學習的多模態印刷電路板缺陷檢測方法包括以下步驟：
2.根據權利要求1所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述步驟S100包括：
3.根據權利要求2所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述步驟S120包括：
4.根據權利要求1所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在
5.根據權利要求4所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述步驟S220中，所述鳥瞰圖卷積模塊和所述前視圖卷積模塊的結構一致，所述鳥瞰圖卷積模塊或所述前視圖卷積模塊包括依次連接的第一卷積層Conv1、批量歸一化BN、激活函數Relu和第一加法器，所述第一卷積層Conv1的輸入與所述第一加法器的第二輸入端連接。
6.根據權利要求1所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述步驟S300包括：
7.根據權利要求6所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述步驟S310中，
8.根據權利要求6所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述步驟S340中，注意力融合子模塊包括：
9.基于深度學習的多模態印刷電路板缺陷檢測裝置，用于執行如權利要求1至8任一所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述的基于深度學習的多模態印刷電路板缺陷檢測裝置包括：
10.一種計算機可讀存儲介質，其上儲存有程序指令，所述程序指令被處理器執行時實施如權利要求1至8中任一項所述的方法。
...【技術特征摘要】
1.基于深度學習的多模態印刷電路板缺陷檢測方法，所述的基于深度學習的多模態印刷電路板缺陷檢測方法應用在基于深度學習的多模態印刷電路板缺陷檢測裝置上，所述的基于深度學習的多模態印刷電路板缺陷檢測裝置包括：采集模塊，用于采集、配準、對齊及預處理三維點云數據和二維圖像數據；雙視圖融合模塊，用于映射并對三維點云數據進行一次特征提取和插值，所述雙視圖融合模塊包括鳥瞰圖卷積子模塊和前視圖卷積子模塊；注意力模塊，包括與雙視圖融合模塊連接的點云特征提取子模塊、與采集模塊連接的圖像特征提取子模塊和分別與點云特征提取子模塊和圖像特征提取子模塊連接的注意力融合子模塊；檢測模塊，用于輸出缺陷種類和邊界框的預測結果，其特征在于，所述的基于深度學習的多模態印刷電路板缺陷檢測方法包括以下步驟：
2.根據權利要求1所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述步驟s100包括：
3.根據權利要求2所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述步驟s120包括：
4.根據權利要求1所述的基于深度學習的多模態印刷電路板缺陷檢測方法，其特征在于，所述步驟s200包括：
5...
【專利技術屬性】
技術研發人員：王睿，牛源晨，李芃，彭思危，
申請(專利權)人：哈爾濱工業大學深圳哈爾濱工業大學深圳科技創新研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。