【技術實現步驟摘要】
本專利技術涉及缺陷檢測，尤其涉及一種基于少樣本學習的缺陷檢測方法、裝置、設備及介質。
技術介紹
1、在精密零器件的生產制造中，因生產設備、人為因素等常會在鋼片、pcb板等表面出現瑕疵，如孔洞、劃痕、斑點等。為實現對生產制造的產品進行質量控制，常需要人工進行目視質檢，效率低下，極大影響生產交付速度。
2、為提升鋼片等精密零器件的質檢質量與速度，現有技術提出采用機器視覺的方案，針對大型鋼材帶鋼區域進行邊緣檢測，并通過滑動窗口計算邊緣偏移角度，從而定位鋼材的邊緣裂痕位置；或者采用深度學習的方法定位缺陷，并通過度量學習對缺陷roi（region?of?interest，感興趣區域）提取的特征進行缺陷分類；或者融合機器視覺和深度學習的方案提取鋼絲繩表面圖像的特征，并通過機器學習的方法分析其健康狀況。
3、上述專利技術均可實現替代人工目視質檢，提高質檢效率。然而，機器視覺常依賴人工經驗提取待質檢目標的特征，通用性、可遷移性等相對較差；采用深度學習提取特征和異常定位的方案常需要大量的數據進行訓練，現有技術也通過遷移學習、數據增強等方案改善數據依賴問題，但上述方案偽數據與真實數據存在一定差距，影響質檢的準確性。
技術實現思路
1、本專利技術實施例提供了一種基于少樣本學習的缺陷檢測方法、裝置、計算機設備及存儲介質，旨在解決現有機器視覺缺陷檢測方案依賴于大數據量的訓練數據，效率低下，且準確性低的問題。
2、第一方面，本專利技術實施例提供了一種基于少樣本學習的缺陷檢測
3、采集目標工件的原始工件圖像，對所述原始工件圖像進行預處理，得到預處理工件圖像；
4、通過預訓練的第一關鍵點檢測模型檢測所述預處理工件圖像中的工件關鍵點；
5、基于所述工件關鍵點以及預設的標準工件關鍵點，對所述預處理工件圖像進行圖像對齊處理，得到校準工件圖像；
6、通過預訓練的第二關鍵點檢測模型檢測所述校準工件圖像中的缺陷部位關鍵點及缺陷類型文本描述信息；
7、通過預訓練的圖像分割大模型，利用所述缺陷部位關鍵點及缺陷類型文本描述信息，對所述校準工件圖像進行缺陷分割，得到缺陷分割結果。
8、其進一步的技術方案為，所述對所述原始工件圖像進行預處理，得到預處理工件圖像，包括：
9、所述對所述原始工件圖像進行直方圖均衡化處理，得到所述預處理工件圖像。
10、其進一步的技術方案為，所述基于所述工件關鍵點以及預設的標準工件關鍵點，對所述預處理工件圖像進行圖像對齊處理，得到校準工件圖像，包括：
11、基于所述工件關鍵點以及預設的標準工件關鍵點，獲取仿射變換矩陣；
12、基于所述仿射變換矩陣將所述預處理工件圖像變換為校準工件圖像。
13、其進一步的技術方案為，所述基于所述仿射變換矩陣將所述預處理工件圖像變換為校準工件圖像，包括：
14、將所述預處理工件圖像中所有的像素點均通過所述仿射變換矩陣進行仿射變換后得到目標像素點；
15、通過所有的所述目標像素點構成所述校準工件圖像。
16、其進一步的技術方案為，所述通過預訓練的圖像分割大模型，利用所述缺陷部位關鍵點及缺陷類型文本描述信息，對所述校準工件圖像進行缺陷分割，得到缺陷分割結果，包括：
17、將所述校準工件圖像輸入所述圖像分割大模型的圖像編碼器中，得到圖像特征向量；
18、將所述缺陷部位關鍵點及缺陷類型文本描述信息輸入到所述圖像分割大模型的提示編碼器中，得到點提示特征向量以及文本提示特征向量；
19、將所述圖像特征向量、所述點提示特征向量以及所述文本提示特征向量輸入所述圖像分割大模型的掩碼解碼器中，得到缺陷分割掩碼圖及置信度。
20、其進一步的技術方案為，所述通過預訓練的圖像分割大模型，利用所述缺陷部位關鍵點及缺陷類型文本描述信息，對所述校準工件圖像進行缺陷分割，得到缺陷分割結果，還包括：
21、判斷所述缺陷分割掩碼圖的置信度是否大于預設的置信度閾值；
22、若所述缺陷分割掩碼圖的置信度大于預設的置信度閾值，保留所述缺陷分割掩碼圖；
23、若所述缺陷分割掩碼圖的置信度不大于預設的置信度閾值，刪除所述缺陷分割掩碼圖。
24、其進一步的技術方案為，所述第二關鍵點檢測模型以及所述圖像分割大模型的訓練數據相同，在訓練階段對所述第二關鍵點檢測模型以及所述圖像分割大模型進行聯合訓練，設定聯合訓練時的損失函數l為；其中，為所述第二關鍵點檢測模型的缺陷關鍵點回歸損失，為所述圖像分割大模型的缺陷像素級的分類損失和缺陷區域邊界框的回歸損失總和，為損失的權重系數。
25、第二方面，本專利技術實施例還提供了一種基于少樣本學習的缺陷檢測裝置，其包括用于執行上述方法的單元。
26、第三方面，本專利技術實施例還提供了一種計算機設備，其包括存儲器及處理器，所述存儲器上存儲有計算機程序，所述處理器執行所述計算機程序時實現上述方法。
27、第四方面，本專利技術實施例還提供了一種計算機可讀存儲介質，所述存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時可實現上述方法。
28、本專利技術實施例提供了一種基于少樣本學習的缺陷檢測方法、裝置、計算機設備及存儲介質。其中，所述方法包括：采集目標工件的原始工件圖像，對所述原始工件圖像進行預處理，得到預處理工件圖像；通過預訓練的第一關鍵點檢測模型檢測所述預處理工件圖像中的工件關鍵點；基于所述工件關鍵點以及預設的標準工件關鍵點，對所述預處理工件圖像進行圖像對齊處理，得到校準工件圖像；通過預訓練的第二關鍵點檢測模型檢測所述校準工件圖像中的缺陷部位關鍵點及缺陷類型文本描述信息；通過預訓練的圖像分割大模型，利用所述缺陷部位關鍵點及缺陷類型文本描述信息，對所述校準工件圖像進行缺陷分割，得到缺陷分割結果。本專利技術中，考慮了工件質檢過程中光照因素、工件位置因素的影響，采用預處理以及圖像對齊處理等方案得到校準工件圖像，降低光照因素、工件位置因素的影響。創新性地使用關鍵點檢測方法進行缺陷關鍵點初步檢測，并結合文本描述提示，引導圖像分割大模型對缺陷進行精確分割，由于關鍵點檢測模型以及圖像分割大模型對于訓練數據的依賴性較小，從而能夠極大改善工業質檢過程中異常數據缺乏、算法泛化能力不高、異常檢測性能不佳的問題，有效提高了類似質檢過程的工作效率。
本文檔來自技高網...【技術保護點】
1.一種基于少樣本學習的缺陷檢測方法，其特征在于，包括：
2.根據權利要求1所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述對所述原始工件圖像進行預處理，得到預處理工件圖像，包括：
3.根據權利要求1所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述基于所述工件關鍵點以及預設的標準工件關鍵點，對所述預處理工件圖像進行圖像對齊處理，得到校準工件圖像，包括：
4.根據權利要求3所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述基于所述仿射變換矩陣將所述預處理工件圖像變換為校準工件圖像，包括：
5.根據權利要求1所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述通過預訓練的圖像分割大模型，利用所述缺陷部位關鍵點及缺陷類型文本描述信息，對所述校準工件圖像進行缺陷分割，得到缺陷分割結果，包括：
6.根據權利要求5所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述通過預訓練的圖像分割大模型，利用所述缺陷部位關鍵點及缺陷類型文本描述信息，對所述校準工件圖像進行缺陷分割，得到缺陷分割結果，還包括：
7.根據權利要
8.一種基于少樣本學習的缺陷檢測裝置，其特征在于，包括用于執行如權利要求1-7任一項所述方法的單元。
9.一種計算機設備，其特征在于，所述計算機設備包括存儲器及處理器，所述存儲器上存儲有計算機程序，所述處理器執行所述計算機程序時實現如權利要求1-7中任一項所述的方法。
10.一種計算機可讀存儲介質，其特征在于，所述存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時可實現如權利要求1-7中任一項所述的方法。
...【技術特征摘要】
1.一種基于少樣本學習的缺陷檢測方法，其特征在于，包括：
2.根據權利要求1所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述對所述原始工件圖像進行預處理，得到預處理工件圖像，包括：
3.根據權利要求1所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述基于所述工件關鍵點以及預設的標準工件關鍵點，對所述預處理工件圖像進行圖像對齊處理，得到校準工件圖像，包括：
4.根據權利要求3所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述基于所述仿射變換矩陣將所述預處理工件圖像變換為校準工件圖像，包括：
5.根據權利要求1所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述通過預訓練的圖像分割大模型，利用所述缺陷部位關鍵點及缺陷類型文本描述信息，對所述校準工件圖像進行缺陷分割，得到缺陷分割結果，包括：
6.根據權利要求5所述的基于少樣本學習的缺陷檢測方法，其特征在于，所述通過預訓練的圖像分割大模型，利用所述缺陷部位關鍵點及缺陷類型文本描述...
【專利技術屬性】
技術研發人員：李建波，
申請(專利權)人：深圳市銘瑞通精密科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。