【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及圖形處理，具體為基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡。
技術(shù)介紹
1、圖像超分辨率(super-resolution,sr)可以從現(xiàn)有的低分辨率圖像(low-resolution,lr)中恢復出細節(jié)豐富的高分辨率(high-resolution,hr)圖像，因此被廣泛應用于遙感成像、紅外成像、醫(yī)療成像、視頻監(jiān)控等領域。
2、現(xiàn)有技術(shù)中實現(xiàn)sr任務的主流方法有三類。
3、基于插值的sr方法是一種傳統(tǒng)的圖像增強技術(shù)，這種方法主要包括雙線性插值、雙三次插值等，盡管這些方法簡單且易于實現(xiàn)，但其缺點也比較明顯，通常無法恢復圖像中的細小紋理和邊緣信息，處理復雜圖像可能導致圖像中出現(xiàn)輕微的模糊現(xiàn)象，無法恢復原本就缺乏的細節(jié)或紋理，不具有學習能力，以及需要相對較高的計算成本。
4、另一類是利用卷積神經(jīng)網(wǎng)絡(convolutional?neural?network,cnn)強大的特征表達能力，形成基于cnn的sr方法，如imdn、vapsr。為了提升sr圖像的質(zhì)量，這一類基于cnn的sr方法通過堆疊更深的網(wǎng)絡來擴大感受野。但是，加深網(wǎng)絡會顯著增加運算復雜度，不利于在實際場景中應用。
5、先進的sr方法，是將具有強大全局信息建模能力的transformer引入到sr任務中，如esrt、lbnet、omni-sr，構(gòu)成輕量級sr算法。使用一種稱為lam的歸因分析方法可直觀地檢查先進的輕量級sr方法所利用的信息性像素的空間范圍。其中，lam可以強調(diào)sr方法在重建過程中所利用的像素。而di
6、如圖1所示，相比于基于cnn的imdn和vapsr，基于transformer的esrt與lbnet所利用像素的空間范圍更窄，得到的sr圖像質(zhì)量更好(例如，更高的psnr客觀指標，更優(yōu)的主觀視覺效果)。盡管omni-sr所利用像素的空間范圍更大，但是由于過多地參考了紋理細節(jié)相似度不高的區(qū)域，導致其sr圖像的質(zhì)量不佳，甚至出現(xiàn)了空間扭曲。
7、造成上述現(xiàn)象的原因，是由于在以圖1為代表的一類圖像中，存在的遠距離結(jié)構(gòu)相似性較少，因此transformer難以有效建模長距離特征依賴。不同于esrt與lbnet建模特征依賴的方式，omni-sr通過提出的meso-osa模塊將整幅圖像切分成若干不重疊的8×8塊，并利用自注意力機制來建模這些塊內(nèi)64個像素之間的依賴。然而，由于存在分散注意力的圖像塊以及global-osa模塊過于稀疏的像素采樣，omni-sr難以準確建模像素之間的依賴，從而導致sr性能下降。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)提供了基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，可以在較大的空間范圍內(nèi)準確利用具有高關聯(lián)度的像素，有助于重建高質(zhì)量的sr圖像。
2、本申請?zhí)峁┤缦录夹g(shù)方案：
3、基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡lsanet，包括級聯(lián)的淺特征提取模塊sfe、若干個多尺度局部特征提取模塊msle、全局自注意力模塊gsa和上采樣模塊，其中，淺特征提取模塊sfe用于從輸入的低分辨率圖像中提取淺層特征，多尺度局部特征提取模塊msle用于按照逐漸增大的特征尺度提取局部特征，全局自注意力模塊gsa用于提取全局特征，上采樣模塊用于恢復特征圖像的空間分辨率，所述的lsanet可被表示為：
4、
5、其中，isr表示重建的sr圖像，ilr表示待重建的lr圖像；fsfe(·)表示sfe模塊對應的函數(shù)；代表n個msle模塊對應的函數(shù)；fgsa(·)代表gsa模塊對應的函數(shù)；↑(·)代表上采樣模塊對應的函數(shù)。
6、進一步，所述的msle模塊包括級聯(lián)的微小尺度特征提取模塊fsfe、中尺度局部自注意力模塊mslsa、可形變局部自注意力模塊delsa、空洞局部自注意力模塊dilsa，其中，
7、微小尺度特征提取模塊fsfe，用于以微小尺度提取中心點周圍的重要特征；
8、中尺度局部自注意力模塊mslsa，用于以中尺度高效建模滑動窗口內(nèi)鄰近像素之間的依賴，提取高質(zhì)量的局部特征；
9、可形變局部自注意力模塊delsa用于突破滑動窗口對感受野的限制，根據(jù)生成的偏移矩陣來尋找特征點并建模它們之間的依賴，以增強網(wǎng)絡對未知lr圖像的適應能力；
10、空洞局部自注意力模塊dilsa用于進一步擴大感受野，以更大的尺度提取局部特征。
11、進一步，所述的msle模塊可被表示為：
12、
13、其中代表msle模塊的輸入特征；ffsfe(·)代表fsfe模塊對應的函數(shù)；fmslsa(·)代表mslsa模塊對應的函數(shù)；fdelsa(·)代表delsa模塊對應的函數(shù)；fdilsa(·)代表dilsa模塊對應的函數(shù)。
14、進一步，所述的中尺度局部自注意力模塊mslsa包括級聯(lián)的移動滑窗單元、patch提取單元、多頭自注意力單元和前饋神經(jīng)網(wǎng)絡單元，其中：
15、移動滑窗單元，用于移動滑動窗口來提取局部特征塊的集合wms
16、
17、其中，代表提取局部特征塊操作對應的函數(shù)；代表局部特征塊的輸入特征；αms和βms分別代表滑動窗口的大小與步長；代表第i個局部特征塊；代表在wms中局部特征塊的數(shù)量；代表對數(shù)值向上取整的操作；分別表示輸入特征圖的長、寬；
18、patch提取單元，用于從來提取參與依賴建模的patch的集合，該過程可被定義為：
19、
20、其中，代表mslsa中第i個局部特征塊中patch的集合；代表從中提取patch操作對應的函數(shù)；代表第i個局部特征塊的第j個patch，(x0,y0)代表該patch在上的絕對位置；代表在中patch的數(shù)量；δms代表patch的尺寸；
21、多頭自注意力單元，用于使用自注意力機制來建模中patch之間的依賴，并輸出建模后的patch的集合該過程可被定義為：
22、
23、其中，attenion(·)代表multi-head?self-attention(mhsa)所對應的函數(shù)；norm(·)代表層歸一化對應的函數(shù)；ffn(·)代表feed-forward?network(ffn)所對應的函數(shù)；γ(·)代表將patch展開為token的操作；∧(·)代表將token折疊為patch的操作；
24、前饋神經(jīng)網(wǎng)絡單元，用于對執(zhí)行與上述過程相反的特征形狀變換操作，得到輸出特征
25本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：包括級聯(lián)的淺特征提取模塊SFE、若干個多尺度局部特征提取模塊MSLE、全局自注意力模塊GSA和上采樣模塊，其中，淺特征提取模塊SFE用于從輸入的低分辨率圖像中提取淺層特征，多尺度局部特征提取模塊MSLE用于按照逐漸增大的特征尺度提取局部特征，全局自注意力模塊GSA用于提取全局特征，上采樣模塊用于恢復特征圖像的空間分辨率，所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡可被表示為：
2.根據(jù)權(quán)利要求1所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：所述的多尺度局部特征提取模塊MSLE包括級聯(lián)的微小尺度特征提取模塊FSFE、若干個中尺度局部自注意力模塊MsLSA、若干個可形變局部自注意力模塊DeLSA、若干個空洞局部自注意力模塊DiLSA，其中：
3.根據(jù)權(quán)利要求2所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：所述的多尺度局部特征提取模塊MSLE可被表示為：
4.根據(jù)權(quán)利要求3所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：所述的中尺度局部自注意力模塊Ms
5.根據(jù)權(quán)利要求4所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：所述的可形變局部自注意力模塊DeLSA包括級聯(lián)的移動滑窗單元、偏移矩陣提取單元、Patch提取單元、多頭自注意力單元和前饋神經(jīng)網(wǎng)絡單元，其中：
6.根據(jù)權(quán)利要求5所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：所述的空洞局部自注意力模塊DiLSA包括級聯(lián)的移動滑窗單元、patch提取單元、多頭自注意力單元和前饋神經(jīng)網(wǎng)絡單元，其中Patch提取單元、多頭自注意力單元、前饋神經(jīng)網(wǎng)絡單元與MsLSA相同，移動滑動窗口并提取局部特征塊的過程可被定義為：
7.根據(jù)權(quán)利要求6所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：
8.根據(jù)權(quán)利要求7所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：所述的輕量級圖像超分辨率網(wǎng)絡，使用訓練集作為LR-HR圖像對，采用平均絕對誤差(MAE)來優(yōu)化參數(shù)，誤差函數(shù)的定義如下：
...【技術(shù)特征摘要】
1.基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：包括級聯(lián)的淺特征提取模塊sfe、若干個多尺度局部特征提取模塊msle、全局自注意力模塊gsa和上采樣模塊，其中，淺特征提取模塊sfe用于從輸入的低分辨率圖像中提取淺層特征，多尺度局部特征提取模塊msle用于按照逐漸增大的特征尺度提取局部特征，全局自注意力模塊gsa用于提取全局特征，上采樣模塊用于恢復特征圖像的空間分辨率，所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡可被表示為：
2.根據(jù)權(quán)利要求1所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：所述的多尺度局部特征提取模塊msle包括級聯(lián)的微小尺度特征提取模塊fsfe、若干個中尺度局部自注意力模塊mslsa、若干個可形變局部自注意力模塊delsa、若干個空洞局部自注意力模塊dilsa，其中：
3.根據(jù)權(quán)利要求2所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：所述的多尺度局部特征提取模塊msle可被表示為：
4.根據(jù)權(quán)利要求3所述的基于局部自注意力的輕量級圖像超分辨率網(wǎng)絡，其特征在于：所述的中尺度局部...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吳偉，王永剛，李河霖，
申請(專利權(quán))人：重慶富民銀行股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。