【技術實現步驟摘要】
本專利技術涉及缺陷檢測領域，更具體地說，它涉及一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法。
技術介紹
1、在工業產品質量檢測中，錯誤檢測會增加制造成本。因此，僅有高預測精度是不夠的，低的假陽性率和假陰性率更為重要。而由于異常樣本量在生產過程中占比極低，且具有較大不確定性，僅使用正常樣本的異常檢測方法成為主流。一種方法是產生有缺陷的樣本，使用監督學習來訓練分類器，但由于其產生的異常模式缺乏真實性，性能表現較低；另一種方法是基于表征的方法，對經過預先訓練的網絡提取的正常特征分布進行建模。然而現有的基于表征的方法都是獨立地量化輸入特征向量的異常，而沒有考慮相鄰特征之間的相關性，導致無法檢測局部特征正常但位置錯誤的異常。另一方面，基于表征的方法在描述詳細的異常圖時存在局限性，因為局部特征是從中等大小的圖像塊中提取的，圖像塊過小會導致信息提取不足，而過大則會導致定位模糊。
技術實現思路
1、針對現有技術的以上缺陷或改進需求，本專利技術提供了一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，解決了現有基于表征的方法對于異常位置和細節的局限性，通過鄰域信息和細化網絡的結合，有效提高了異常檢測的定位精度。
2、為解決上述技術問題，本專利技術提供了如下技術方案：一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，包括以下步驟：
3、步驟1，使用imagenet預訓練模型將正常樣本轉換為特征圖；
4、步驟2，聚合后的圖像塊特征使用貪婪子采樣方法
5、步驟3，存儲核心集，并分別使用多層感知機和直方圖訓練給定鄰域和位置信息的正常特征分布；
6、步驟4，使用合成缺陷圖像單獨訓練像素級細化網絡；
7、步驟5，使用訓練好的正常特征分布模型評估測試圖片局部特征的異常得分；
8、步驟6，通過細化網絡對輸入圖像進行像素級細化，優化異常圖邊緣紋理。
9、優選地：步驟1中，使用在imagenet上預訓練的wideresnet-101作為特征提取器。
10、優選地：步驟2中，建立條件概率模型，引入從所有訓練圖片中貪婪子采樣獲得的嵌入核心集cemb，其包含的每個元素都代表了一組相似的正常特征；
11、正常特征的出現次數與核心嵌入集向量c∈cemb相關聯，且與c在位置和鄰域信息ω條件下為正常特征的概率p(c|ω)成正比；再次使用貪婪子采樣從核心嵌入集cemb獲得其子集分布核心集cdist，則圖像中某點x的圖像塊特征φi(x)在位置和鄰域信息ω的條件下為正常特征的概率p(φi(x)|ω)可以表示為：
12、
13、優選地：步驟3中，輸入特征φi(x)的鄰域特征np(x)定義為在p×p圖像塊中的特征集合，通過多層感知機模型可以得到輸入特征φi(x)在鄰域特征np(x)條件下為正常特征的概率p(c|np(x))；在位置信息條件下輸入特征為正常特征的概率可表示為p(c|x)，由每個圖像塊位置處的正常特征數所構成的直方圖得到；則在位置和鄰域信息ω條件下的正常特征分布可近似為：
14、
15、多層感知機模型將鄰域特征np(x)中的所有特征向量拼接成一維向量作為輸入，共有nmlp個順序層，每層有cmlp個通道，各層之間均使用了批量歸一化和relu激活函數；多層感知機的輸出具有|cdist|個節點，每個節點的值表示相應分布核心集特征為正常特征的概率。
16、優選地：步驟4中，采用編碼器-解碼器結構來實現細化網絡，使用densenet161作為主干網絡，其輸入為rgb圖像和異常圖組成的4通道，并在第一個卷積層后將圖像和異常圖特征進行融合；細化網絡的損失函數l由回歸損失lreg和梯度損失lgrad共同組成，分別表示為：
17、
18、
19、l＝(lreg+lgrad)/2
20、其中a代表圖像的真值異常圖，代表模型預測的異常圖，h和w分別代表圖像的高和寬，和分別代表在垂直和水平方向的偏微分；
21、細化網絡使用人工合成的缺陷數據集進行訓練，該數據集包含3種同比例但不同類型的數據集，包括大缺陷數據集cutpaste、小缺陷數據集cutpaste(scar)和復雜缺陷數據集draem。
22、優選地：步驟5中，基于位置和鄰域信息ω，將異常得分s(x)表示為：
23、s(x)＝-logp(φi(x)|ω)
24、其中，φi(x)為圖像中某點x的圖像塊特征，p(φi(x)|ω)代表在位置和鄰域信息ω條件下φi(x)為正常特征的概率。
25、優選地：步驟6中，為了生成異常得分圖，對輸入圖像中的所有特征進行異常得分估計；異常圖的分辨率可能與原始輸入的分辨率不同，使用雙線性插值進行調整，并使用高斯核進行平滑去噪；最后使用細化網絡進一步增強調整尺寸后的異常圖，使其更符合輸入圖像中缺陷和物體的邊緣、紋理和形狀。
26、本專利技術的有益效果在于：本專利技術提出的一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，解決了現有基于表征的方法對于異常位置和細節檢測的局限性，通過鄰域信息和細化網絡的結合，有效提高了工業圖像異常檢測的定位精度。
本文檔來自技高網...【技術保護點】
1.一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，步驟1中，使用在ImageNet上預訓練的WideResNet-101作為特征提取器。
3.根據權利要求1所述的一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，步驟2中，建立條件概率模型，引入從所有訓練圖片中貪婪子采樣獲得的嵌入核心集Cemb，其包含的每個元素都代表了一組相似的正常特征；
4.根據權利要求1所述的一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，步驟3中，輸入特征Φi(x)的鄰域特征Np(x)定義為在p×p圖像塊中的特征集合，通過多層感知機模型可以得到輸入特征Φi(x)在鄰域特征Np(x)條件下為正常特征的概率p(c|Np(x))；在位置信息條件下輸入特征為正常特征的概率可表示為p(c|x)，由每個圖像塊位置處的正常特征數所構成的直方圖得到；則在位置和鄰域信息Ω條件下的正常特征分布可近似為：
5.根據權
6.根據權利要求1所述的一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，步驟5中，基于位置和鄰域信息Ω，將異常得分S(x)表示為：
7.根據權利要求1所述的一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，步驟6中，為了生成異常得分圖，對輸入圖像中的所有特征進行異常得分估計；異常圖的分辨率可能與原始輸入的分辨率不同，使用雙線性插值進行調整，并使用高斯核進行平滑去噪；最后使用細化網絡進一步增強調整尺寸后的異常圖，使其更符合輸入圖像中缺陷和物體的邊緣、紋理和形狀。
...【技術特征摘要】
1.一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，步驟1中，使用在imagenet上預訓練的wideresnet-101作為特征提取器。
3.根據權利要求1所述的一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，步驟2中，建立條件概率模型，引入從所有訓練圖片中貪婪子采樣獲得的嵌入核心集cemb，其包含的每個元素都代表了一組相似的正常特征；
4.根據權利要求1所述的一種結合鄰域信息和細化網絡的工業圖像異常檢測與定位方法，其特征在于，步驟3中，輸入特征φi(x)的鄰域特征np(x)定義為在p×p圖像塊中的特征集合，通過多層感知機模型可以得到輸入特征φi(x)在鄰域特征np(x)條件下為正常特征的概率p(c|np(x))；在位置信息條件下輸入特征為正常特征的概率可表示為p(c|x)，由每個圖像塊位置處的正常特征數所構成的直方圖得到；則在位置和...
【專利技術屬性】
技術研發人員：方千慧，王超，郭明現，呂喆朋，李帥，
申請(專利權)人：中電信數智科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。