【技術實現(xiàn)步驟摘要】
本專利技術屬于計算機視覺領域，具體地說，是一種超像素高頻增強的輕量級圖像超分辨率重建方法、裝置、設備及介質。
技術介紹
1、圖像超分辨率(super-resolution,sr)旨在從其退化的低分辨率(low-resolution,lr)圖像中重建出高分辨率(high-resolution,hr)圖像，該方法能夠使生成圖像具有較高的視覺質量和較好的紋理細節(jié)。超分辨率對于許多設備，如高清電視、電腦顯示器、照相機、智能手機、平板電腦，都是至關重要的。此外，它還被應用于各種計算機視覺領域，如目標檢測、醫(yī)學成像、安全和監(jiān)視成像、人臉識別、遙感圖像等。
2、sr重建算法主要包括基于插值、基于重建和基于學習的方法。近年來，由于卷積神經網絡具有強大的特征表達能力，基于深度學習的方法在sr任務中被廣泛使用。dong等人首次將卷積神經網絡(convolutional?neural?network,cnn)應用于單幅圖像超分辨率重建領域，提出srcnn網絡。但由于srcnn結構簡單，重建性能受到一定的限制，kim等人提出深層超分辨率重建網絡(super-resolutionusingverydeepconvolution?networks,vdsr)，通過殘差學習的方式增加網絡的層數(shù)，解決了隨著深度增加而導致的梯度消失現(xiàn)象。隨后，為了降低模型復雜度，ahn等人引入級聯(lián)殘差網絡(cascadingresidualnetwork,carn)，通過使用級聯(lián)連接操作在殘差網絡上實現(xiàn)更高效的超分辨率重建。
3、注意力機制根據(jù)輸入特征計
技術實現(xiàn)思路
1、本專利技術的目的在于提供一種超像素高頻增強的輕量級圖像超分辨率重建方法、裝置、設備及介質。
2、實現(xiàn)本專利技術目的的技術解決方案為：一種超像素高頻增強的輕量級圖像超分辨率重建方法，
3、對輸入的圖像進行基于卷積網絡的淺層特征提取，并讓提取的淺層特征通過k個超像素高頻增強模塊shfeb以提取深層次的特征；超像素高頻增強模塊shfeb包括超像素注意力分支和高頻增強分支，其中超像素注意力分支包括超像素分割sps模塊、像素內注意awp模塊和像素間注意abp模塊；對于每個shfeb模塊中的超像素注意力分支，輸入特征首先經過sps模塊進行超像素聚合，將圖像劃分為多個具有相似特征的像素塊，即超像素，根據(jù)相似度對超像素進行聚類，得到局部區(qū)域；
4、awp模塊分析并捕捉每個超像素內像素之間的復雜依賴關系，abp模塊捕獲遠程像素之間的相互作用，得到的輸出特征與高頻增強分支提取的高頻信息進行元素相加；
5、在k個shfeb模塊之后，采用像素重洗的方式將輸出特征重建成高分辨率圖像。
6、進一步地，輸入的低分辨率圖像首先通過一個3×3卷積層處理以獲得淺層特征。
7、進一步地，所述對于每個shfeb模塊中的超像素注意力分支，輸入特征首先經過sps模塊進行超像素聚合，將圖像劃分為多個具有相似特征的像素塊的具體實現(xiàn)為：
8、采用slic超像素分割算法對初始圖像進行超像素分割，對于共有n個素點的圖片，超像素任務實質是計算像素—超像素的關聯(lián)：
9、k∈{0,1,...,m-1}n×1
10、式中m表示將每個像素分配給m個超像素中的一個；
11、首先，通過在淺層特征圖中平均標記來采樣超像素中心，隨后進行像素-超像素關聯(lián)：
12、
13、式中ip代表第p個像素點，ai代表第i個超像素元素的聚類中心，kp表示第p個像素點所屬的超像素元素，上標t表示第t次迭代；
14、最后，通過計算每個超像素關聯(lián)的所有像素特征的平均值得到新的超像素聚類中心：
15、
16、式中表示第i個超像素元素中所包含的像素數(shù)量；
17、通過迭代上述步驟直至期望最大化，得到最終的關聯(lián)映射qt。
18、進一步地，所述像素間注意模塊abp首先將特征信息從像素傳播到超像素，然后通過交叉注意機制將聚合的超像素信息分發(fā)到像素；超像素能夠利用特征之間的互補性產生高質量的超分辨率圖像；像素特征y∈rn×c，n表示超像素個數(shù)，基礎像素特征x∈rhw×c；采用注意力機制將基礎像素信息映射到超像素，在超像素中完成特征聚合后，需要將聚合的信息分發(fā)回基礎像素，以實現(xiàn)像素之間的信息傳播；利用從基礎像素特征中得到查詢qx，用qy作為鍵以減少參數(shù)數(shù)量，再次利用注意力機制將更新后的超像素特征映射回基礎像素；首先使用線性投影計算查詢qy，鍵kx和值vx，qx、qy均為計算注意力機制時需要的一個元素，
19、
20、式中和分別為查詢、鍵和值的權重矩陣；注意力機制表示為：
21、
22、式中b為動態(tài)相對位置編碼，為比例因子，yu為更新后的超像素特征。
23、進一步地，像素內注意力模塊選擇與每個超像素最相似的most-n個像素，并采用關聯(lián)圖進行注意力機制運算；
24、設z＝{x(i)}n∈rn×c為一個超像素內的基礎像素，其中n為所選像素的個數(shù)，根據(jù)下列公式利用像素內注意機制更新像素，
25、
26、其中查詢、鍵和值的投影權重矩陣分別為和對于n個像素以外的基礎像素，利用進行投影以獲得更新特征，最后將其與每個超像素最相似的most-n個像素集成得到最終的特征信息。
27、進一步地，所述高頻增強分支提取高頻信息包括：
28、所述高頻增強分支包括基礎特征提取bfe分支和高頻特征提取hffe分支；
29、首先，將輸入圖像特征ii∈rh×w×c分成兩部分分別送入bfe分支和hffe分支，得到
30、bfe分支利用一個3×3卷積層和relu激活函數(shù)來提取局部特征；hffe分支采用最大池化層提取輸入特征中的高頻信息，隨后用1×1卷積層和relu激活函數(shù)來增強高頻特征；
31、最后將兩個分支的輸出進本文檔來自技高網...
【技術保護點】
1.一種超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于：
2.根據(jù)權利要求1所述的超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于：輸入的低分辨率圖像首先通過一個3×3卷積層處理以獲得淺層特征。
3.根據(jù)權利要求1所述的超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于，所述對于每個SHFEB模塊中的超像素注意力分支，輸入特征首先經過SPS模塊進行超像素聚合，將圖像劃分為多個具有相似特征的像素塊的具體實現(xiàn)為：
4.根據(jù)權利要求1所述的超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于：
5.根據(jù)權利要求1所述的超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于：
6.根據(jù)權利要求1所述的超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于，所述高頻增強分支提取高頻信息包括：
7.一種超像素高頻增強的輕量級圖像超分辨率重建裝置，其特征在于，包括：
8.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1至6中任一項所述的方法的步驟。
...【技術特征摘要】
1.一種超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于：
2.根據(jù)權利要求1所述的超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于：輸入的低分辨率圖像首先通過一個3×3卷積層處理以獲得淺層特征。
3.根據(jù)權利要求1所述的超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于，所述對于每個shfeb模塊中的超像素注意力分支，輸入特征首先經過sps模塊進行超像素聚合，將圖像劃分為多個具有相似特征的像素塊的具體實現(xiàn)為：
4.根據(jù)權利要求1所述的超像素高頻增強的輕量級圖像超分辨率重建方法，其特征在于：
5.根據(jù)權利要求1所述的超像素高...
【專利技術屬性】
技術研發(fā)人員：李愛華，趙月飛，楊寧，宋彬，謝志剛，徐升智，王志平，王長龍，
申請(專利權)人：中國人民解放軍陸軍工程大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。