【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及視覺(jué)檢測(cè)、圖像異常檢測(cè)，特別是涉及一種融合局部—全局特征重建的圖像異常檢測(cè)方法。
技術(shù)介紹
1、近年來(lái)，計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)等技術(shù)得到了迅速發(fā)展，基于深度學(xué)習(xí)的視覺(jué)檢測(cè)技術(shù)在智能制造中具有重要意義，取得了巨大成果。但實(shí)際應(yīng)用場(chǎng)景中存在于缺陷樣本不足以及標(biāo)注成本大等問(wèn)題，導(dǎo)致基于有監(jiān)督學(xué)習(xí)的視覺(jué)缺陷檢測(cè)方法難以應(yīng)用。當(dāng)前的研究工作將深度圖像異常檢測(cè)方法引入視覺(jué)檢測(cè)任務(wù)，通過(guò)正常圖像構(gòu)建檢測(cè)模型以改善缺陷檢測(cè)與定位效果，在解決視覺(jué)檢測(cè)的上述缺點(diǎn)方面具有巨大潛力。
2、現(xiàn)有研究圖像異常檢測(cè)的工作主要集中在局部結(jié)構(gòu)異常，如裂紋、顏色污染、劃痕或污染等缺陷。zavrtanik等人于2021年提出draem(zavrtanik?v,kristan?m,d.draem-adiscriminatively?trained?reconstruction?embedding?for?surfaceanomaly?detection[c]//proceedings?of?the?ieee/cvf?international?conference?oncomputer?vision.2021:8330-8339.)，選擇了各種紋理圖像作為有缺陷的背景，采用噪聲生成方法來(lái)創(chuàng)建異常并將它們疊加在正常圖像上，學(xué)習(xí)正常圖像及其合成異常的聯(lián)合表示從而檢測(cè)異常。roth等人(roth?k,pemula?l,zepeda?j,etal.towards?total?recall?inindustrial?anomaly?detection[c
3、綜上所述，如何解決邏輯異常復(fù)雜正態(tài)模式相關(guān)的挑戰(zhàn)并實(shí)現(xiàn)準(zhǔn)確定位，提高異常檢測(cè)方法在各種實(shí)際場(chǎng)景中的可用性，是目前本領(lǐng)域技術(shù)人員急需解決的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、本專(zhuān)利技術(shù)的目的在于提供一種融合局部—全局特征重建的圖像異常檢測(cè)方法，以解決上述
技術(shù)介紹
中提出的問(wèn)題。
2、本專(zhuān)利技術(shù)的目的至少通過(guò)如下技術(shù)方案之一實(shí)現(xiàn)。
3、一種融合局部—全局特征重建的圖像異常檢測(cè)方法，包括以下步驟：
4、s1、獲取圖像數(shù)據(jù)，包括獲取公開(kāi)數(shù)據(jù)集圖像以及模擬異常樣本圖像，公開(kāi)數(shù)據(jù)集圖像與模擬異常樣本圖像一一對(duì)應(yīng)；
5、s2、在訓(xùn)練階段，將公開(kāi)數(shù)據(jù)集圖像以及模擬異常樣本圖像輸入在imagenet上預(yù)先訓(xùn)練的特征提取器，分別獲取公開(kāi)數(shù)據(jù)集圖像以及其對(duì)應(yīng)的模擬異常樣本圖像的多級(jí)嵌入特征；
6、s3、訓(xùn)練階段中，將獲取到的公開(kāi)數(shù)據(jù)集圖像和模擬異常樣本圖像的多級(jí)嵌入特征輸入過(guò)濾器模塊，得到公開(kāi)數(shù)據(jù)集圖像和模擬異常樣本圖像過(guò)濾后的各級(jí)特征；
7、s4、將公開(kāi)數(shù)據(jù)集圖像的各級(jí)特征輸入局部特征重建分支，通過(guò)局部瓶頸嵌入模塊和解碼器獲取重建特征；
8、s5、將公開(kāi)數(shù)據(jù)集圖像的各級(jí)特征中的最高級(jí)別特征輸入全局特征重建分支，通過(guò)全局瓶頸嵌入模塊和解碼器獲取重建特征；
9、s6、構(gòu)建總體損失，根據(jù)總體損失對(duì)過(guò)濾器模塊以及全局特征重建分支和局部特征重建分支進(jìn)行訓(xùn)練；
10、s7、在推理階段，僅使用公開(kāi)數(shù)據(jù)集圖像中的測(cè)試集樣本輸入特征提取器、訓(xùn)練完成的過(guò)濾器模塊以及全局特征重建分支和局部特征重建分支，通過(guò)公開(kāi)數(shù)據(jù)集圖像測(cè)試集中樣本的各級(jí)過(guò)濾特征與其在全局特征重建分支獲得的全局重建特征和局部特征重建分支獲得的局部重建特征計(jì)算異常檢測(cè)與定位結(jié)果。
11、進(jìn)一步地，步驟s1中，獲取用于邏輯異常和結(jié)構(gòu)異常檢測(cè)的公開(kāi)數(shù)據(jù)集，利用異常模擬策略通過(guò)公開(kāi)數(shù)據(jù)集圖像獲取模擬異常樣本圖像，具體包括如下步驟：
12、s1.1、生成噪聲，通過(guò)閾值獲取噪聲二值化的掩碼；同時(shí)對(duì)輸入圖像進(jìn)行二值化得到對(duì)應(yīng)掩碼；然后，通過(guò)對(duì)得到的兩個(gè)掩碼進(jìn)行元素積，得到最終的掩碼圖像；
13、s1.2、從公開(kāi)紋理數(shù)據(jù)集dtd中隨機(jī)挑選紋理圖掩碼圖像，點(diǎn)乘獲得包含紋理信息的缺陷；對(duì)于結(jié)構(gòu)異常，將公開(kāi)數(shù)據(jù)集圖像先進(jìn)行隨機(jī)調(diào)整，然后將其劃分為多個(gè)相同的網(wǎng)格，隨機(jī)排列后即可得到模擬的結(jié)構(gòu)異常；隨機(jī)采用這兩種方法獲取對(duì)應(yīng)紋理信息缺陷或結(jié)構(gòu)異常的噪聲圖像；
14、s1.3、將掩碼圖像和噪聲圖像執(zhí)行元素積獲取噪聲前景圖像；
15、s1.4、將步驟s1.1中得到的掩碼圖像反轉(zhuǎn)后與公開(kāi)數(shù)據(jù)集圖像進(jìn)行逐元素相乘，再將其與噪聲前景圖像疊加得到最終的異常模擬圖像。
16、進(jìn)一步地，步驟s2中，采用imagenet上預(yù)先訓(xùn)練的特征提取器作為編碼器，將公開(kāi)數(shù)據(jù)集圖像中的正樣本輸入編碼器，固定編碼器網(wǎng)絡(luò)的前k層，獲取k種尺寸不同的輸出特征即公開(kāi)數(shù)據(jù)集圖像的多級(jí)嵌入特征；
17、將公開(kāi)數(shù)據(jù)集圖像對(duì)應(yīng)的模擬異常圖像輸入編碼器，固定編碼器網(wǎng)絡(luò)的前k層，獲取k種尺寸不同的輸出特征即模擬異常圖像的k級(jí)嵌入特征。
18、進(jìn)一步地，步驟s3中，將公開(kāi)數(shù)據(jù)集圖像和模擬異常樣本圖像的多級(jí)嵌入特征輸入過(guò)濾器模塊獲取過(guò)濾后的k級(jí)特征；所述過(guò)濾器模塊每層架構(gòu)為順序堆疊的l個(gè)卷積塊。
19、進(jìn)一步地，根據(jù)公開(kāi)數(shù)據(jù)集圖像和模擬異常樣本圖像過(guò)濾后的k級(jí)特征，計(jì)算一致性損失，具體如下：
20、
21、其中，fni,k,fai,k分別表示第i個(gè)公開(kāi)數(shù)據(jù)集圖像xi和對(duì)應(yīng)的第i個(gè)模擬異常樣本圖像ξ(xi)經(jīng)第k層編碼器的特征輸出：fk表示過(guò)濾器模塊的第k層；
22、通過(guò)模擬異常圖像經(jīng)編碼器獲取的多級(jí)特征和公開(kāi)數(shù)據(jù)集圖像過(guò)濾后獲取的多級(jí)特征計(jì)算對(duì)比損失：
23、
24、fni,k,fai,k分別表示第i個(gè)公開(kāi)數(shù)據(jù)集圖像xi和對(duì)應(yīng)的第i個(gè)模擬本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟S1中，獲取用于邏輯異常和結(jié)構(gòu)異常檢測(cè)的公開(kāi)數(shù)據(jù)集，利用異常模擬策略通過(guò)公開(kāi)數(shù)據(jù)集圖像獲取模擬異常樣本圖像，具體包括如下步驟：
3.根據(jù)權(quán)利要求1所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟S2中，采用ImageNet上預(yù)先訓(xùn)練的特征提取器作為編碼器，將公開(kāi)數(shù)據(jù)集圖像中的正樣本輸入編碼器，固定編碼器網(wǎng)絡(luò)的前K層，獲取K種尺寸不同的輸出特征即公開(kāi)數(shù)據(jù)集圖像的多級(jí)嵌入特征；
4.根據(jù)權(quán)利要求3所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟S3中，將公開(kāi)數(shù)據(jù)集圖像和模擬異常樣本圖像的多級(jí)嵌入特征輸入過(guò)濾器模塊獲取過(guò)濾后的K級(jí)特征；所述過(guò)濾器模塊每層架構(gòu)為順序堆疊的L個(gè)卷積塊。
5.根據(jù)權(quán)利要求4所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，根據(jù)公開(kāi)數(shù)據(jù)集圖像和模擬異常樣本圖像過(guò)濾后的K級(jí)特征，計(jì)算一致性損失，具體如
6.根據(jù)權(quán)利要求4所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟S4中，將步驟S1中輸入的公開(kāi)數(shù)據(jù)集圖像經(jīng)過(guò)濾器模塊過(guò)濾后得到的各級(jí)特征，輸入局部特征重建分支，通過(guò)局部瓶頸嵌入模塊和局部分支解碼器獲取重建特征，具體如下：
7.根據(jù)權(quán)利要求6所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟S5中，將輸入圖像經(jīng)過(guò)濾器模塊過(guò)濾后得到的多層特征中的最高級(jí)別特征輸入全局特征重建分支，通過(guò)全局瓶頸嵌入模塊和全局分支解碼器獲取重建特征，包括：
8.根據(jù)權(quán)利要求7所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，通過(guò)局部重建特征和步驟S1中輸入的公開(kāi)數(shù)據(jù)集圖像過(guò)濾后得到的多層特征計(jì)算余弦距離生成相應(yīng)的特征圖并計(jì)算重建損失，具體如下：
9.根據(jù)權(quán)利要求5和8任一項(xiàng)所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟S6中，總體損失L具體如下：
10.根據(jù)權(quán)利要求1～9任一項(xiàng)所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟S7中，在推理階段，僅使用公開(kāi)數(shù)據(jù)集圖像中的測(cè)試集樣本輸入訓(xùn)練完成后的重建模型，通過(guò)公開(kāi)數(shù)據(jù)集圖像測(cè)試集中樣本的各級(jí)過(guò)濾特征與其在全局特征重建分支獲得的全局重建特征和局部特征重建分支獲得的局部重建特征計(jì)算異常檢測(cè)與定位結(jié)果，包括：
...【技術(shù)特征摘要】
1.一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟s1中，獲取用于邏輯異常和結(jié)構(gòu)異常檢測(cè)的公開(kāi)數(shù)據(jù)集，利用異常模擬策略通過(guò)公開(kāi)數(shù)據(jù)集圖像獲取模擬異常樣本圖像，具體包括如下步驟：
3.根據(jù)權(quán)利要求1所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟s2中，采用imagenet上預(yù)先訓(xùn)練的特征提取器作為編碼器，將公開(kāi)數(shù)據(jù)集圖像中的正樣本輸入編碼器，固定編碼器網(wǎng)絡(luò)的前k層，獲取k種尺寸不同的輸出特征即公開(kāi)數(shù)據(jù)集圖像的多級(jí)嵌入特征；
4.根據(jù)權(quán)利要求3所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟s3中，將公開(kāi)數(shù)據(jù)集圖像和模擬異常樣本圖像的多級(jí)嵌入特征輸入過(guò)濾器模塊獲取過(guò)濾后的k級(jí)特征；所述過(guò)濾器模塊每層架構(gòu)為順序堆疊的l個(gè)卷積塊。
5.根據(jù)權(quán)利要求4所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，根據(jù)公開(kāi)數(shù)據(jù)集圖像和模擬異常樣本圖像過(guò)濾后的k級(jí)特征，計(jì)算一致性損失，具體如下：
6.根據(jù)權(quán)利要求4所述的一種融合局部—全局特征重建的圖像異常檢測(cè)方法，其特征在于，步驟...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：劉艷霞，李宇虹，陳佳佳，
申請(qǐng)(專(zhuān)利權(quán))人：聲瞳科技廣州有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。