【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及基于雙教師知識蒸餾的圖像增強方法、裝置及存儲介質(zhì)，屬于數(shù)字圖像處理。
技術(shù)介紹
1、圖像增強技術(shù)是圖像處理的內(nèi)容之一，是增進攝影圖像可讀性的處理技術(shù)，根據(jù)人眼對光亮度觀察的特性確定，目的是提高圖像的可判讀性。
2、水下圖像的增強對于水下環(huán)境監(jiān)測、探測至關(guān)重要，然而由于浮游生物和微小顆粒等懸浮粒子的散射，原始水下圖像細(xì)節(jié)模糊，對比度降低，呈現(xiàn)出霧蒙蒙的外觀。此外，不同波長的光在水中傳播時會遇到不同程度的吸收。特別是紅光波長較長，更容易被吸收。相比之下，藍光和綠光波長較短，能夠深入水下。這種現(xiàn)象導(dǎo)致了在較深水域中顏色失真增加和視覺范圍受限，這對基于視覺的技術(shù)實施提出了重大挑戰(zhàn)。因此，水下圖像增強和恢復(fù)技術(shù)受到了廣泛關(guān)注，許多研究人員提出了各種方法來提高水下圖像的質(zhì)量。
3、同時隨著深度學(xué)習(xí)模型的日益復(fù)雜，模型的計算需求和資源消耗也大幅增加，這限制了它們在許多實際應(yīng)用場景中的部署。為了解決這個問題，知識蒸餾技術(shù)應(yīng)運而生，并在圖像增強領(lǐng)域展現(xiàn)出其獨特的優(yōu)勢。而傳統(tǒng)的知識蒸餾通常依賴于單個教師模型來指導(dǎo)學(xué)生模型的學(xué)習(xí)，其知識的覆蓋面以及多樣性相對有限，導(dǎo)致學(xué)生模型無法學(xué)習(xí)到某些關(guān)鍵信息，從而影響模型對關(guān)鍵特征的提取，進一步導(dǎo)致圖像增強的效果不理想。
技術(shù)實現(xiàn)思路
1、為了優(yōu)化圖像增強效果，本專利技術(shù)提供了一種圖像增強方法，包括：
2、步驟1：當(dāng)前圖像增強模型的訓(xùn)練次數(shù)小于等于預(yù)設(shè)訓(xùn)練次數(shù)的一半時，將第一待處理圖像傳入第一教師模型，將第二待處理
3、步驟2：將所述第一教師模型和第二教師模型和學(xué)生模型獲取的每層特征圖，輸入至知識收集與蒸餾模塊cdk進行處理，將教師模型提取的特征和學(xué)生模型相同尺度的特征用漸進式特征投影到公共特征空間，對不同的尺度特征分別進行處理；
4、步驟3：基于所述步驟2處理后的特征，得到教師模型和學(xué)生模型輸出的圖像，使用l1損失計算教師模型增強的結(jié)果和教師模型的增強結(jié)果之間差異，同時采用軟對比正則化，將教師模型預(yù)測的結(jié)果作為正樣本，采用退化的圖片作為負(fù)樣本，將學(xué)生網(wǎng)絡(luò)生成的圖像作為樣本，所述學(xué)生模型在教師模型指導(dǎo)下學(xué)習(xí)特征；
5、步驟4：當(dāng)前訓(xùn)練次數(shù)大于預(yù)設(shè)訓(xùn)練次數(shù)的一半時，將待第一待處理圖像和第二待處理圖像輸入學(xué)生模型，利用損失函數(shù)對學(xué)生模型進行訓(xùn)練；
6、步驟5：利用訓(xùn)練好的學(xué)生模型對待處理圖像進行圖像增強任務(wù)；
7、所述第一教師模型和第二教師模型和學(xué)生模型均采用freq-uie網(wǎng)絡(luò)，所述freq-uie網(wǎng)絡(luò)包括編碼器和解碼器，在所述編碼器的淺層加入了輸入圖像的頻域低頻特征圖，在所述編碼器的深層加入了輸入圖像的頻域高頻特征圖。
8、可選的，所述頻域低頻特征圖和頻域高頻特征圖分別通過基于視覺的傅里葉處理模塊獲取，特征提取過程包括：
9、（1）通過傅里葉變換將輸入圖像轉(zhuǎn)換為傅里葉系數(shù)f，并將該系數(shù)分為實部和虛部；
10、（2）使用mlp?mixer?將虛部和實部圖像劃分成邊長為p的補丁，并將它們分別展平為一維序列；
11、（3）通過兩個通道混合器分別處理這些序列，得到實部特征和虛部特征序列；
12、（4）使用線性層處理完圖像后，得到的特征圖通過cmb提取頻域信息；
13、（5）使用層歸一化layer?normalization、1d卷積和激活函數(shù)prelu細(xì)化高頻特征；
14、（6）將實部特征與虛部特征沿著特征通道維度連接起來以便模型能夠同時處理到頻域中實部和虛部的特征；
15、（7）使用3d卷積核濾波減少特征圖的通道數(shù)的同時捕獲特征圖在時間和空間上的相關(guān)性，將3d卷積后的頻域特征壓縮成包含仿射數(shù)的雙邊網(wǎng)格；
16、（8）使用卷積網(wǎng)絡(luò)處理原始圖像，獲得具有引導(dǎo)功能的引導(dǎo)圖像；
17、（9）使用切片操作通過所述引導(dǎo)圖像查詢雙邊網(wǎng)格中的仿射變換矩陣信息，根據(jù)所述引導(dǎo)圖像進行動態(tài)調(diào)整得到輸出圖像；
18、（10）分別用低頻濾波器和高頻濾波器篩選出低頻信息和高頻信息，得到所述頻域低頻特征圖和頻域高頻特征圖。
19、可選的，所述知識收集與蒸餾模塊cdk的處理過程包括：
20、步驟21：將所述教師模塊提取的特征和學(xué)生模型相同尺度的特征用漸進式特征投影pfp投影到公共特征空間，對不同的尺度特征分別進行處理；采用l1損失計算兩個投影間的距離，其公式如下：
21、
22、其中， n為編碼器總數(shù)，和分別為相應(yīng)教師網(wǎng)絡(luò)和學(xué)生網(wǎng)絡(luò)編碼器第 n層pfp投影的特征圖，表示第 i個教師模型；
23、步驟22：采用雙向特征匹配來約束學(xué)習(xí)到的特征，通過逆漸進式投影將教師網(wǎng)絡(luò)的特征投影回到原始空間，使用l1損失來計算逆投影特征與原始特征的差異，其公式如下：
24、
25、其中，為逆投影特征操作，表示原始特征；
26、步驟23：計算cdk模塊的總損失，定義為：
27、
28、其中，表示cdk模塊的總損失。
29、可選的，所述步驟3計算教師模型增強的結(jié)果和學(xué)生模型的增強結(jié)果之間差異，同時采用軟對比正則化，將教師模型預(yù)測的結(jié)果作為正樣本，采用退化的圖片作為負(fù)樣本，將學(xué)生網(wǎng)絡(luò)生成的圖像作為樣本，公式如下：
30、
31、其中，和分別為學(xué)生模型 s和教師模型 ti的預(yù)測結(jié)果，表示類的退化圖像，的公式定義如下：
32、
33、其中分別表示預(yù)測結(jié)果、正樣本和負(fù)樣本，·表示點積運算，表示vgg-19特征提取，表示尺度溫度， n表示負(fù)樣本的總數(shù)；
34、此階段總損失公式如下：
35、
36、其中，表示教師模型的增強結(jié)果和學(xué)生模型的增強結(jié)果之間的差異。
37、可選的，所述步驟4使用硬對比正則化，將圖像的參考圖像作為正樣本，所有退化圖像作為負(fù)樣本，學(xué)生模型的圖像作為樣本，計算公式如下：
38、
39、其中，和分別為學(xué)生模型的預(yù)測結(jié)果和參考圖像，代表了所有類別的退化圖像；
40、總損失公式如下：
41、
42、其中為參考圖像和學(xué)生模型預(yù)測結(jié)果間的l1損失。
43、可選的，所述freq-uie網(wǎng)絡(luò)編碼器第二層的輸出與所述頻域低頻特征圖相加。
44、可選的，所述freq-uie網(wǎng)絡(luò)編碼器第四層的輸出與所述頻域高頻特征圖相加。
45本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種圖像增強方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述頻域低頻特征圖和頻域高頻特征圖分別通過基于視覺的傅里葉處理模塊獲取，特征提取過程包括：
3.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述知識收集與蒸餾模塊CDK的處理過程包括：
4.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述步驟3計算教師模型增強的結(jié)果和學(xué)生模型的增強結(jié)果之間差異，同時采用軟對比正則化，將教師模型預(yù)測的結(jié)果作為正樣本，采用退化的圖片作為負(fù)樣本，將學(xué)生網(wǎng)絡(luò)生成的圖像作為樣本，公式如下：
5.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述步驟4使用硬對比正則化，將圖像的參考圖像作為正樣本，所有退化圖像作為負(fù)樣本，學(xué)生模型的圖像作為樣本，計算公式如下：
6.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述Freq-UIE網(wǎng)絡(luò)編碼器第二層的輸出與所述頻域低頻特征圖相加。
7.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述Freq-UIE網(wǎng)絡(luò)編碼器第四層的輸出與所述頻域高頻特征
8.根據(jù)權(quán)利要求4所述的圖像增強方法，其特征在于，所述的值取0.07。
9.一種圖像增強裝置，其特征在于，包括存儲器和處理器；
10.一種計算機可讀存儲介質(zhì)，其特征在于，所述存儲介質(zhì)上存儲有計算機程序，當(dāng)所述計算機程序被處理器執(zhí)行時，實現(xiàn)如權(quán)利要求1至8任一項所述的圖像增強方法。
...【技術(shù)特征摘要】
1.一種圖像增強方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述頻域低頻特征圖和頻域高頻特征圖分別通過基于視覺的傅里葉處理模塊獲取，特征提取過程包括：
3.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述知識收集與蒸餾模塊cdk的處理過程包括：
4.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述步驟3計算教師模型增強的結(jié)果和學(xué)生模型的增強結(jié)果之間差異，同時采用軟對比正則化，將教師模型預(yù)測的結(jié)果作為正樣本，采用退化的圖片作為負(fù)樣本，將學(xué)生網(wǎng)絡(luò)生成的圖像作為樣本，公式如下：
5.根據(jù)權(quán)利要求1所述的圖像增強方法，其特征在于，所述步驟4使用硬對比正則化，將圖像的參考...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳麗芳，方蓮，
申請(專利權(quán))人：江南大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。