【技術實現步驟摘要】
本專利技術涉及圖像處理的，尤其涉及一種圖像超分辨率重建方法及系統。
技術介紹
1、圖像超分辨率技術是一種從低分辨率圖像生成高分辨率圖像的方法，在計算機視覺領域具有重要的研究價值和廣泛的應用前景。隨著現代社會對圖像和視頻質量要求的不斷提升，圖像超分辨率技術在諸多實際場景中有著迫切需求。例如，在醫學影像中，超分辨率技術可以用于提高低分辨率醫療圖像的細節，有助于醫生進行更加精準的診斷；在遙感領域，超分辨率可以幫助提高衛星圖像的分辨率，便于監控和分析大面積區域的細微變化；在安防監控中，超分辨率技術能夠增強視頻圖像的清晰度，更清楚地識別面部特征或車牌號碼。
2、傳統的圖像超分辨率方法主要依賴于插值算法、基于稀疏表示的重建方法等，這些方法往往在復雜紋理區域表現不足，難以捕捉高頻細節信息。隨著深度學習的飛速發展，基于卷積神經網絡（cnn）的圖像超分辨率方法得到了廣泛關注。這類方法通過大規模數據訓練，能夠自適應地學習低分辨率到高分辨率的映射關系，并在圖像細節復原和高頻信息重建方面表現出顯著優勢。
3、近年來，基于transformer結構的圖像超分辨率方法逐漸成為研究熱點。相比于傳統的卷積網絡，transformer具有更強的全局建模能力，能夠更好地捕捉圖像的長程依賴性，進而提升重建質量。尤其是在高頻紋理恢復、細節保留以及復雜結構的處理上，transformer框架展示了其獨特的優勢。在?sisr?領域，一項基于transformer的值得注意的工作是swinir，它采用?swin?transformer進行圖像超分辨率
4、基于?transformer?的?sisr?方法均采用基于窗口的自注意力機制，其中自注意力機制的計算復雜度與窗口大小成二次函數關系。最近的工作表明，基于窗口的注意力機制的性能與窗口所包含的關鍵像素數量有關。因此，提高超分辨率質量的一種直接方法是增加局部窗口的大小，但這會導致較高的計算成本。為了解決這個問題，一些方法嘗試采用精心設計的注意力模式，讓窗口在注意力過程中包含更多像素。雖然這些手動設計的注意模式有效，但在數據處理的過程中，一些重要的遠距離特征可能仍會被遺漏，而不太重要的特征可能會被保留，對處理器計算要求較高，在計算復雜度隨窗口大小成二次增長，且手動設計的注意力模式在處理遠距離重要特征時表現不佳，限制了圖像重建的效果。
技術實現思路
1、為了克服現有技術存在手動設計的注意力模式在處理遠距離重要特征時表現不佳，限制了圖像重建的效果，本專利技術提出一種圖像超分辨率重建方法及系統，能夠在圖像重建過程中充分利用圖像中不同位置的關鍵信息，避免了因固定窗口大小而遺漏重要特征的情況，有效提高圖像重構的效果。
2、為實現本專利技術的目的，本專利技術采用如下技術方案實現：
3、一種圖像超分辨率重建方法，所述方法包括以下步驟：
4、獲取圖像數據，并對所述圖像數據進行預處理；
5、構建超分辨率網絡模型，并將預處理后的圖像數據劃分為訓練集與測試集，利用訓練集對所述超分辨率網絡模型進行圖像超分辨率重建訓練，利用測試集對訓練后的超分辨率網絡模型進行測試，測試通過后得到訓練好的超分辨率網絡模型；
6、利用訓練好的超分辨率網絡模型對待超分的圖像數據進行超分辨率重建，并輸出重建得到的超分辨率圖像。
7、在上述技術方案中，通過對獲取的圖像數據進行已處理，能夠有效提高圖像數據的實用性與可靠性；構建的超分辨率網絡模型在經過訓練集中圖像數據的訓練，并通過測試集的測試后，能夠得到有效掌握圖像數據變化的超分辨率網絡模型，從而能夠通過所述超分辨率網絡模型對待超分辨率重建的圖像數據進行圖像重建，以在圖像重建過程中充分利用圖像中不同位置的關鍵信息，避免了因固定窗口大小而遺漏重要特征的情況，有效提高圖像重構的效果。
8、進一步地，對所述圖像數據進行預處理的過程包括：
9、提取圖像數據中的hr圖像，并采用雙線性下采樣方法對hr圖像進行下采樣，提取對應的lr圖像；
10、將提取的hr圖像與lr圖像組成lr-hr圖像數據集，并對lr-hr圖像數據集中的圖像數據進行歸一化處理；
11、其中，所述hr圖像表示高分辨率圖像，所述lr圖像表示低分辨率圖像。
12、在上述技術方案中，采用雙線性下采樣方法對hr圖像進行下采樣，能夠在提取lr圖像的過程中，提高提取的精準度與速度；對lr-hr圖像數據集中的圖像數據進行歸一化處理，能夠有效提高圖像數據的實用性與可靠性。
13、進一步地，利用訓練集對所述超分辨率網絡模型進行圖像超分辨率重建訓練的過程包括：
14、構建的超分辨率網絡模型包括淺層特征提取模塊、n個可變形窗口注意力模塊、n個卷積前饋網絡及上采樣重建模塊；
15、利用淺層特征提取模塊提取lr圖像中的淺層特征；
16、利用每一個可變形窗口注意力模塊對提取的淺層特征圖進行深層特征提取；
17、利用每一個卷積前饋網絡對提取的深層特征進行權重調整；
18、將提取的淺層特征與最終權重調整后的深層特征進行特征融合，并利用上采樣重建模塊對融合后的特征進行圖像重建，并輸出重建的圖像；
19、設置損失函數對訓練過程中的超分辨率網絡模型進行迭代的優化訓練，并利用測試集對訓練后的超分辨率網絡模型進行性能測試，當損失函數收斂時，得到訓練完成的超分辨率網絡模型。
20、在上述技術方案中，本專利技術根據可變形卷積和可變形注意力的設計理念，提出了一種可變形窗口注意力模塊（deformable?window?attention?block,?dwab）。該模塊通過動態調整窗口位置，自動定位圖像中的重要信息區域，將局部窗口注意力機制擴展為多窗口非局部注意力，從而在保持計算效率的同時，有效捕捉遠距離的相關特征信息。
21、進一步地，利用淺層特征提取模塊提取lr圖像中的淺層特征圖的過程為：
22、在淺層特征提取模塊中設置3×3的卷積層，并利用3×3的卷積層對輸入的lr圖像進行淺層特征提取，表達式為：
23、；
24、其中，表示lr圖像的分辨率，表示3×3的卷積層，表示淺層特征。
25、進一步地，利用每一個可變形窗口注意力模塊對提取的淺層特征圖進行深層特征提取的過程包括：
26、所述可變形窗口注意力模塊包括若干組可變形感受野深度提取單元；
27、將提取的淺層特征輸入若干組可變形感受野深度提取單元中進行深層特征提取，表達式為：
28、；
29、其中，表示可變形感受野深度提取單元。上標n表示第n組可變形感受野深度提取單本文檔來自技高網...
【技術保護點】
1.一種圖像超分辨率重建方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的圖像超分辨率重建方法，其特征在于，對所述圖像數據進行預處理的過程包括：
3.根據權利要求2所述的圖像超分辨率重建方法，其特征在于，利用訓練集對所述超分辨率網絡模型進行圖像超分辨率重建訓練的過程包括：
4.根據權利要求3所述的圖像超分辨率重建方法，其特征在于，利用淺層特征提取模塊提取LR圖像中的淺層特征圖的過程為：
5.根據權利要求4所述的圖像超分辨率重建方法，其特征在于，利用每一個可變形窗口注意力模塊對提取的淺層特征圖進行深層特征提取的過程包括：
6.根據權利要求5所述的圖像超分辨率重建方法，其特征在于，利用每一個卷積前饋網絡對提取的深層特征進行權重調整的過程包括：
7.根據權利要求6所述的圖像超分辨率重建方法，其特征在于，將可變形窗口注意力模塊提取的深層特征進歸一化和深度卷積處理的表達式為：
8.根據權利要求7所述的圖像超分辨率重建方法，其特征在于，利用上采樣重建模塊對融合后的特征進行圖像重建的過程包括：<...
【技術特征摘要】
1.一種圖像超分辨率重建方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的圖像超分辨率重建方法，其特征在于，對所述圖像數據進行預處理的過程包括：
3.根據權利要求2所述的圖像超分辨率重建方法，其特征在于，利用訓練集對所述超分辨率網絡模型進行圖像超分辨率重建訓練的過程包括：
4.根據權利要求3所述的圖像超分辨率重建方法，其特征在于，利用淺層特征提取模塊提取lr圖像中的淺層特征圖的過程為：
5.根據權利要求4所述的圖像超分辨率重建方法，其特征在于，利用每一個可變形窗口注意力模塊對提取的淺層特征圖進行深層特征提取的過程包括：
6.根...
【專利技術屬性】
技術研發人員：朱鑒，陳沛堯，黃超，柳毅，陳炳豐，蔡瑞初，郝志峰，
申請(專利權)人：廣東工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。