【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及單幅圖像超分辨率重建，特別涉及一種基于多域信息增強(qiáng)的圖像超分辨率重建方法及裝置。
技術(shù)介紹
1、圖像超分辨率重建技術(shù)(super?resolution,sr)指從同一場(chǎng)景的一個(gè)或多個(gè)模糊、不清晰的低分辨率(low?resolution，lr)圖像中恢復(fù)出其相應(yīng)的細(xì)節(jié)豐富、視覺(jué)質(zhì)量更好的高分辨率(high?resolution，hr)圖像；這種技術(shù)基于復(fù)雜的數(shù)學(xué)模型和算法，能夠有效地增加圖像的空間分辨率，使得圖像呈現(xiàn)更為清晰和精細(xì)的細(xì)節(jié)；相比較于提升硬件設(shè)備獲取高分辨率圖像的方法，這種軟件層面的技術(shù)省去了使用更高端設(shè)備重新拍攝制作的環(huán)節(jié)，節(jié)約了大量的成本，且適用范圍更廣、成本更低。
2、近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)在超分辨率領(lǐng)域得到了廣泛的應(yīng)用；與之前使用人工選擇特征的傳統(tǒng)學(xué)習(xí)算法不同，基于卷積神經(jīng)網(wǎng)絡(luò)的算法旨在利用端到端的學(xué)習(xí)形式，以任務(wù)為導(dǎo)向生成深層特征；對(duì)比傳統(tǒng)算法性能大幅提升，取得了非常顯著的重建效果；同時(shí)，由于基于卷積神經(jīng)網(wǎng)絡(luò)的超分辨率重建算法的網(wǎng)絡(luò)深度與網(wǎng)絡(luò)性能之間具備良好的正相關(guān)關(guān)系，提出了各種深度sr模型；然而，網(wǎng)絡(luò)的深度也伴隨著參數(shù)量和計(jì)算量的增加；具體而言，3層srcnn只需要57k參數(shù)和52.7g運(yùn)算量，而作為具有更深層的先進(jìn)的(sota)模型之一，edsr則需要40.7m參數(shù)和9384.7g運(yùn)算量；雖然網(wǎng)絡(luò)的深化提高了性能，但隨之而來(lái)的計(jì)算負(fù)載限制了現(xiàn)實(shí)世界的應(yīng)用，例如移動(dòng)設(shè)備上或?qū)崟r(shí)sr。
3、對(duì)于考慮有限計(jì)算資源的實(shí)際應(yīng)用，對(duì)輕量級(jí)網(wǎng)絡(luò)的需求一直在增長(zhǎng)；構(gòu)建輕量級(jí)網(wǎng)絡(luò)的關(guān)鍵
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)實(shí)施例提供一種基于多域信息增強(qiáng)的圖像超分辨率重建方法及裝置，可以解決現(xiàn)有技術(shù)中，存在的采用降低參數(shù)量和運(yùn)算量的輕量級(jí)網(wǎng)絡(luò)，則重建后的圖像通常會(huì)出現(xiàn)結(jié)構(gòu)失真和紋理不清晰的現(xiàn)象以使得圖像質(zhì)量較差的問(wèn)題。
2、本專利技術(shù)實(shí)施例提供一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，包括以下步驟：
3、獲取待重建的低分辨率自然圖像；
4、利用兩個(gè)卷積層、一個(gè)點(diǎn)卷積、一個(gè)gelu激活函數(shù)及三組不同尺度的大核可分離注意力lksa級(jí)聯(lián)構(gòu)建多路大核可分離注意力模塊，利用兩個(gè)卷積層、一個(gè)點(diǎn)卷積、一個(gè)gelu激活函數(shù)及三組不同尺度的大核注意力lka級(jí)聯(lián)構(gòu)建多路大核注意力模塊，利用一個(gè)深度可分離卷積、兩個(gè)點(diǎn)卷積層、兩個(gè)gelu激活函數(shù)及一個(gè)最大池化層級(jí)聯(lián)構(gòu)建高頻特征增強(qiáng)模塊，利用四個(gè)點(diǎn)卷積、三個(gè)深度可分離卷積及一個(gè)sigmoid激活函數(shù)級(jí)聯(lián)構(gòu)建局部信息增強(qiáng)注意力模塊；并將多路大核可分離注意力模塊、多路大核注意力模塊、高頻特征增強(qiáng)模塊及局部信息增強(qiáng)注意力模塊與層歸一化ln整合形成包含不同分支的多域信息增強(qiáng)特征提取塊；
5、利用多域信息增強(qiáng)特征提取塊構(gòu)建多域信息增強(qiáng)的輕量級(jí)圖像超分辨率重建網(wǎng)絡(luò)模型；使用div2k及flickr2k數(shù)據(jù)集對(duì)多域信息增強(qiáng)的輕量級(jí)圖像超分辨率重建網(wǎng)絡(luò)模型中的包含卷積層的淺層特征提取模塊、包含多個(gè)多域信息增強(qiáng)特征提取塊的深層特征提取模塊及包含卷積層與像素洗牌層的重建模塊內(nèi)的參數(shù)集分別訓(xùn)練，得到訓(xùn)練后的多域信息增強(qiáng)的輕量級(jí)圖像超分辨率重建網(wǎng)絡(luò)模型；
6、將待重建的低分辨率自然圖像輸入至訓(xùn)練后的多域信息增強(qiáng)的輕量級(jí)圖像超分辨率重建網(wǎng)絡(luò)模型中，通過(guò)淺層特征提取模塊內(nèi)的卷積層對(duì)圖像進(jìn)行特征提取，獲得淺層特征圖；通過(guò)深層特征提取模塊內(nèi)級(jí)聯(lián)的多個(gè)多域信息增強(qiáng)特征提取塊內(nèi)的ln層、多個(gè)不同尺度卷積層及點(diǎn)卷積、激活函數(shù)及不同注意力機(jī)制對(duì)圖像進(jìn)行特征提取，獲得深層特征圖；通過(guò)重建模塊內(nèi)的卷積層與像素洗牌層將淺層特征圖和深層特征圖內(nèi)的特征元素加和，及進(jìn)行像素重建，獲得圖像的高分辨率圖像。
7、優(yōu)選地，所述多路大核可分離注意力模塊的構(gòu)建，包括：
8、多路大核可分離注意力模塊由兩個(gè)3×3卷積層、1×1點(diǎn)卷積、一個(gè)gelu激活函數(shù)及三組不同尺度的大核可分離注意力lksa構(gòu)成；
9、所述三組不同尺度的大核可分離注意力的尺寸分為：3-5-1、5-7-1、7-9-1；其表示級(jí)聯(lián)的a×1與1×a的深度可分離卷積、級(jí)聯(lián)的b×1與1×b的深度膨脹卷積，以及1×1的點(diǎn)卷積pconv；
10、多路大核可分離注意力模塊的輸入特征首先通過(guò)一個(gè)3×3的卷積層，并經(jīng)過(guò)gelu激活函數(shù)獲得新特征圖；而后從水平和垂直兩個(gè)方向出發(fā)，通過(guò)三組不同尺度的大核可分離注意力，得到相應(yīng)三組特征圖；將這三組特征圖在通道維度上進(jìn)行拼接，并利用1×1的卷積進(jìn)行降維處理，再通過(guò)一個(gè)3×3的卷積層生成綜合特征圖；通過(guò)跳躍連接將此特征圖與原始輸入特征按元素相加的方式融合，輸出最終特征圖。
11、優(yōu)選地，所述多路大核注意力模塊的構(gòu)建，包括：
12、多路大核注意力模塊由兩個(gè)3×3卷積層、1×1點(diǎn)卷積、一個(gè)gelu激活函數(shù)及三組不同尺度的大核注意力lka構(gòu)成；
13、所述三組不同尺度的大核注意力的尺寸為：3-5-1、5-7-1、7-9-1；a-b-1表示級(jí)聯(lián)a×a深度卷積dwconv、b×b深度擴(kuò)展卷積dpconv和點(diǎn)卷積pconv；
14、多路大核注意力模塊的輸入特征首先經(jīng)3×3卷積層與gelu激活函數(shù)得到新特征，再經(jīng)三組不同尺度的大核注意力得到三組不同的特征，將得到的三組特征圖按通道拼接并利用1×1的點(diǎn)卷積對(duì)拼接后的特征進(jìn)行降維處理，再經(jīng)3×3的卷積層得到長(zhǎng)程信息特征，最后將得到的長(zhǎng)程信息特征通過(guò)跳躍連接與原輸入特征按元素相加得到最終的輸出特征。
15、優(yōu)選地，所述高頻特征增強(qiáng)模塊的構(gòu)建，包括：
16、高頻特征增強(qiáng)模塊由1個(gè)5×5的深度可分離卷積、2個(gè)1×1的點(diǎn)卷積層、2個(gè)gelu激活函數(shù)，以及一個(gè)最大池化層組成；
17、高頻特征增強(qiáng)模塊的輸入特征首先被分割成兩個(gè)通道數(shù)相同的部分，然后通過(guò)5×5的深度可分離卷積層和gelu激活函數(shù)來(lái)提取局部高頻特征；利用最大池化層來(lái)捕獲高頻信息，并通過(guò)一個(gè)1×1的卷積層結(jié)合gelu激活函數(shù)來(lái)進(jìn)一步增強(qiáng)捕獲的高頻特征，從而得到增強(qiáng)后的特征；最終將兩個(gè)通道下增強(qiáng)后的高頻特征進(jìn)行拼接和融合，并通過(guò)1×1的卷積層得到最終輸出特征。
18、優(yōu)選地，所述局部信息增強(qiáng)注意力模塊的構(gòu)建，包括：
19、局部信息增強(qiáng)注意力模塊由4個(gè)1×1的點(diǎn)卷積、3個(gè)5×5的深度可分離卷積，以及一個(gè)sigmoid激活函數(shù)構(gòu)成；
20、局部信息增強(qiáng)注意力模塊的輸入特征首先通過(guò)由1×1卷積和5×5深度卷積構(gòu)成的局部特征提取支路本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述多路大核可分離注意力模塊的構(gòu)建，包括：
3.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述多路大核注意力模塊的構(gòu)建，包括：
4.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述高頻特征增強(qiáng)模塊的構(gòu)建，包括：
5.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述局部信息增強(qiáng)注意力模塊的構(gòu)建，包括：
6.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述淺層特征提取模塊，包括：
7.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述深層特征提取模塊，包括：
8.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述重建模塊，包括：
9.根據(jù)權(quán)利要求1所
10.一種基于多域信息增強(qiáng)的圖像超分辨率重建裝置，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述多路大核可分離注意力模塊的構(gòu)建，包括：
3.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述多路大核注意力模塊的構(gòu)建，包括：
4.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述高頻特征增強(qiáng)模塊的構(gòu)建，包括：
5.根據(jù)權(quán)利要求1所述的一種基于多域信息增強(qiáng)的圖像超分辨率重建方法，其特征在于，所述局部信息增強(qiáng)注意力模塊的構(gòu)建，包括：
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：江鶴，鄭州，朱晨滔，孫蟒，程德強(qiáng)，宋天舒，陳亮亮，黃欣，
申請(qǐng)(專利權(quán))人：中國(guó)礦業(yè)大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。