本申請涉及圖像處理領(lǐng)域，提供了一種圖像檢測方法及裝置、電子設(shè)備、存儲介質(zhì)。方法包括：將待鑒別圖像輸入內(nèi)容特征提取網(wǎng)絡(luò)和線索特征提取網(wǎng)絡(luò)，得到圖像內(nèi)容特征和偽造線索特征；將偽造線索特征輸入分類器得到檢測結(jié)果；將偽造線索特征輸入生成器，得到線索重建圖像和檢測結(jié)果的可信度；將圖像內(nèi)容特征輸入生成器得到內(nèi)容重建圖像、偽造誤差和偽造區(qū)域；展示線索重建圖像、可信度、內(nèi)容重建圖像、偽造誤差和偽造區(qū)域。本申請在得到檢測結(jié)果后，通過計算檢測結(jié)果的可信度、確定鑒偽誤差，并對其進行可視化展示，使得用戶能夠了解圖像偽造的可能性有多大、為什么認(rèn)定圖像是偽造的，提高了圖像檢測結(jié)果的說服力和可解釋性。
【技術(shù)實現(xiàn)步驟摘要】
本申請涉及圖像處理，尤其是涉及一種圖像檢測方法及裝置、電子設(shè)備、存儲介質(zhì)。
技術(shù)介紹
1、隨著數(shù)字技術(shù)的飛速發(fā)展，圖片編輯和篡改變得輕而易舉，這在一定程度上導(dǎo)致了圖片信息的真實性和可信度受到嚴(yán)重挑戰(zhàn)。生成圖片檢測(也即圖像鑒偽)是指通過技術(shù)手段對圖片的真實性進行甄別。這對于維護信息的真實性、保障公眾的知情權(quán)、維護社會的公平正義和誠信體系具有重要意義。
2、目前主流的圖像鑒偽技術(shù)主要是依賴于深度學(xué)習(xí)算法，通過訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型對圖片的真?zhèn)芜M行鑒別。神經(jīng)網(wǎng)絡(luò)一般由特征提取器和分類器兩部分組成，特征提取器負(fù)責(zé)從輸入圖片中提取高維特征，分類器則基于所提取的特征進行真?zhèn)舞b別。
3、然而，現(xiàn)有的圖像檢測方法，只能對圖片進行鑒偽并對偽造區(qū)域進行標(biāo)注，使用戶能夠了解圖片是否偽造以及具體哪一部分是偽造的，不能給出具體的判斷結(jié)果可信度和判定依據(jù)，無法解釋為什么判定該部分為偽造，其是偽造的可能性有多大，因此說服力不夠、可解釋性較差。
技術(shù)實現(xiàn)思路
1、有鑒于此，本申請的目的在于提供一種圖像檢測方法及裝置、電子設(shè)備、存儲介質(zhì)，在得到檢測結(jié)果后，通過計算檢測結(jié)果的可信度、確定鑒偽誤差，并對其進行可視化展示，使得用戶能夠了解圖片偽造的可能性有多大，以及為什么認(rèn)定圖片是偽造的，提高了圖像檢測結(jié)果的說服力和可解釋性。
2、本申請實施例提供了一種圖像檢測方法，所述圖像檢測方法應(yīng)用于圖像檢測模型，所述圖像檢測模型包括內(nèi)容特征提取網(wǎng)絡(luò)、線索特征提取網(wǎng)絡(luò)、分類器和生成器，所述方法包括：</p>3、獲取待鑒別圖像，并將所述待鑒別圖像分別輸入內(nèi)容特征提取網(wǎng)絡(luò)和線索特征提取網(wǎng)絡(luò)，得到圖像內(nèi)容特征和偽造線索特征，其中，所述圖像內(nèi)容特征包含所述待鑒別圖像的內(nèi)容信息，所述偽造線索特征包含用于鑒別圖像真?zhèn)蔚木€索信息；
4、將所述偽造線索特征輸入分類器，輸出并展示所述待鑒別圖像對應(yīng)的檢測結(jié)果；
5、將所述偽造線索特征輸入生成器，得到基于所述線索信息的線索重建圖像，并根據(jù)所述線索重建圖像得到所述檢測結(jié)果的可信度；
6、將所述圖像內(nèi)容特征輸入所述生成器，得到基于所述內(nèi)容信息的重建圖像，并根據(jù)所述內(nèi)容重建圖像和參考圖像的差值確定偽造誤差和偽造區(qū)域，其中，所述參考圖像為所述待鑒別圖像，或，所述參考圖像由所述圖像內(nèi)容特征和所述偽造線索特征生成；所述偽造誤差為所述待鑒別圖像與對應(yīng)的真實圖像之間的誤差；
7、展示所述線索重建圖像、所述可信度、所述內(nèi)容重建圖像、所述偽造誤差和所述偽造區(qū)域中的至少一個。
8、進一步的，所述根據(jù)所述第一重建圖像得到所述檢測結(jié)果的可信度，包括：
9、根據(jù)所述線索重建圖像和真實線索參照圖像之間的相似度，確定所述檢測結(jié)果的可信度，其中，所述真實線索參照圖像是將真實參照樣本的偽造線索特征輸入所述生成器，得到的重建圖像；
10、和/或，
11、確定所述線索重建圖像和預(yù)設(shè)聚類中心之間的第一距離，并根據(jù)所述第一距離和預(yù)設(shè)距離閾值的大小關(guān)系，確定所述檢測結(jié)果的可信度，其中，所述預(yù)設(shè)聚類中心是對所述真實線索參照圖像進行聚類得到的。
12、進一步的，在所述確定所述線索重建圖像和預(yù)設(shè)聚類中心之間的第一距離之前，所述方法還包括：
13、分別計算每個真實線索參照圖像和偽造線索參照圖像與所述預(yù)設(shè)聚類中心之間的第二距離，并根據(jù)所述第二距離確定所述預(yù)設(shè)距離閾值；
14、其中，所述偽造線索參照圖像是將偽造參照樣本的偽造線索特征輸入所述生成器，得到的重建圖像。
15、進一步的，所述生成器用于利用所述圖像內(nèi)容特征和特定偽造線索特征生成重建圖像，以及，利用所述偽造線索特征和特定圖像內(nèi)容特征生成重建圖像；
16、其中，所述特定內(nèi)容特征為以下之一：隨機向量、全0向量、全1向量、預(yù)設(shè)特定樣本的圖像內(nèi)容特征的均值、所述圖像檢測模型在訓(xùn)練過程中學(xué)習(xí)到的特定向量；
17、所述特定線索特征為以下之一：特定真實樣本的偽造線索特征、多個所述真實樣本的偽造線索特征的均值、所述圖像檢測模型在訓(xùn)練過程中學(xué)習(xí)到的錨點特征。
18、進一步的，在所述將所述待鑒別圖像分別輸入內(nèi)容特征提取網(wǎng)絡(luò)和線索特征提取網(wǎng)絡(luò)之前，所述方法還包括：
19、設(shè)計損失函數(shù)，并利用訓(xùn)練樣本基于所述損失函數(shù)訓(xùn)練所述圖像檢測模型，其中，所述訓(xùn)練樣本包括真實訓(xùn)練樣本和偽造訓(xùn)練樣本；
20、其中，所述損失函數(shù)包括分類損失、對比損失和重建損失；
21、所述對比損失根據(jù)所述錨點特征中的錨點線索特征、所述訓(xùn)練樣本的偽造線索特征、所述訓(xùn)練樣本的圖像內(nèi)容特征確定；
22、所述重建損失包括自重建損失、交叉重建損失和重建對比損失；
23、所述自重建損失根據(jù)所述訓(xùn)練樣本的內(nèi)容特征和線索特征確定；所述交叉重建損失根據(jù)真實訓(xùn)練樣本與對應(yīng)的線索訓(xùn)練樣本確定；所述重建對比損失根據(jù)每對訓(xùn)練樣本的重建圖像確定。
24、進一步的，所述設(shè)計損失函數(shù)，包括：
25、獲取兩個訓(xùn)練樣本組成的訓(xùn)練樣本對，分別將所述訓(xùn)練樣本對中每個訓(xùn)練樣本的偽造線索特征輸入所述生成器，得到所述兩個訓(xùn)練樣本的線索重建圖像；
26、根據(jù)所述兩個訓(xùn)練樣本的線索重建圖像之間的對比損失，確定所述訓(xùn)練樣本對的重建對比損失。
27、進一步的，所述方法還包括：
28、對自學(xué)習(xí)特征向量進行初始化操作；
29、凍結(jié)所述自學(xué)習(xí)特征向量，并基于所述損失函數(shù)，調(diào)整所述圖像檢測模型的參數(shù)；
30、凍結(jié)所述圖像檢測模型的參數(shù)，并基于所述損失函數(shù)，調(diào)整所述自學(xué)習(xí)特征向量；
31、返回至所述凍結(jié)所述自學(xué)習(xí)特征向量的步驟，直至所述損失函數(shù)收斂或小于預(yù)設(shè)損失閾值；
32、確定所述自學(xué)習(xí)特征向量為所述特定向量和/或所述錨點特征。
33、本申請實施例還提供了一種圖像檢測裝置，所述圖像檢測裝置應(yīng)用于圖像檢測模型，所述圖像檢測模型包括內(nèi)容特征提取網(wǎng)絡(luò)、線索特征提取網(wǎng)絡(luò)、分類器和生成器，所述裝置包括：
34、特征提取模塊，用于獲取待鑒別圖像，并將所述待鑒別圖像分別輸入內(nèi)容特征提取網(wǎng)絡(luò)和線索特征提取網(wǎng)絡(luò)，得到圖像內(nèi)容特征和偽造線索特征，其中，所述圖像內(nèi)容特征包含所述待鑒別圖像的內(nèi)容信息，所述偽造線索特征包含用于鑒別圖像真?zhèn)蔚木€索信息；
35、圖像檢測模塊，用于將所述偽造線索特征輸入分類器，輸出所述待鑒別圖像對應(yīng)的檢測結(jié)果；
36、偽造特征確定模塊，用于將所述偽造線索特征輸入生成器，得到基于所述線索信息的線索重建圖像，并根據(jù)所述線索重建圖像得到所述檢測結(jié)果的可信度；
37、偽造線索確定模塊，用于將所述圖像內(nèi)容特征輸入所述生成器，得到基于所述內(nèi)容信息的內(nèi)容重建圖像，并根據(jù)所述內(nèi)容重建圖像和參考圖像的差值確定偽造誤差和偽造區(qū)域，其中，所述參考圖像為所述待鑒別圖像，或，所述參考圖像由所述圖像內(nèi)容特征和所述偽造線索特征生成；所述本文檔來自技高網(wǎng)
...
【技術(shù)保護點】
1.一種圖像檢測方法，其特征在于，所述圖像檢測方法應(yīng)用于圖像檢測模型，所述圖像檢測模型包括內(nèi)容特征提取網(wǎng)絡(luò)、線索特征提取網(wǎng)絡(luò)、分類器和生成器，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述線索重建圖像得到所述檢測結(jié)果的可信度，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述確定所述線索重建圖像和預(yù)設(shè)聚類中心之間的第一距離之前，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述生成器用于利用所述圖像內(nèi)容特征和特定偽造線索特征生成重建圖像，以及，利用所述偽造線索特征和特定圖像內(nèi)容特征生成重建圖像；
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述將所述待鑒別圖像分別輸入內(nèi)容特征提取網(wǎng)絡(luò)和線索特征提取網(wǎng)絡(luò)之前，所述方法還包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述設(shè)計損失函數(shù)，包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括：
8.一種圖像檢測裝置，其特征在于，所述圖像檢測裝置應(yīng)用于圖像檢測模型，所述圖像檢測模型包括內(nèi)容特征提取網(wǎng)絡(luò)、線索特征提取網(wǎng)絡(luò)、分類器和生成器，所述裝置包括：
9.一種電子設(shè)備，其特征在于，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執(zhí)行的機器可讀指令，當(dāng)電子設(shè)備運行時，所述處理器與所述存儲器之間通過所述總線進行通信，所述機器可讀指令被所述處理器運行時執(zhí)行如權(quán)利要求1至7任一所述的圖像檢測方法的步驟。
10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)上存儲有計算機程序，所述計算機程序被處理器運行時執(zhí)行如權(quán)利要求1至7任一所述的圖像檢測方法的步驟。
...
【技術(shù)特征摘要】
1.一種圖像檢測方法，其特征在于，所述圖像檢測方法應(yīng)用于圖像檢測模型，所述圖像檢測模型包括內(nèi)容特征提取網(wǎng)絡(luò)、線索特征提取網(wǎng)絡(luò)、分類器和生成器，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述線索重建圖像得到所述檢測結(jié)果的可信度，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述確定所述線索重建圖像和預(yù)設(shè)聚類中心之間的第一距離之前，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述生成器用于利用所述圖像內(nèi)容特征和特定偽造線索特征生成重建圖像，以及，利用所述偽造線索特征和特定圖像內(nèi)容特征生成重建圖像；
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述將所述待鑒別圖像分別輸入內(nèi)容特征提取網(wǎng)絡(luò)和線索特征提取網(wǎng)絡(luò)之前，所述方法還包括：
6.根據(jù)權(quán)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：賈旭鵬，馮聰，程方琳，郭雨，劉洋，黃富榮，王學(xué)彬，陳志鵬，辛錚，湯平衛(wèi)，李浚哲，
申請(專利權(quán))人：廣州市公安局網(wǎng)絡(luò)警察支隊，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。