本發明專利技術公開了一種輕量化圖像超分辨率重建方法及系統，構建了一種基于部分卷積的信息蒸餾機制模塊和多尺度注意力機制模塊的輕量化超分辨率神經網絡；所述輕量化超分辨率神經網絡包括淺層提取模塊、深層特征提取模塊和重建模塊，所述深層特征提取模塊包括五個多尺度部分卷積殘蒸餾模塊、連接融合層、第二卷積層、像素注意力模塊、第二部分卷積層所述重建模塊包括第一亞像素卷積模塊、第二亞像素卷積模塊和第三卷積層。本發明專利技術不僅可以有效避免通道冗余，簡化特征提取過程，而且能夠獲得更準確的空間信息分布，并采用部分卷積來減少模塊參數，實現了網絡在參數和性能之間的較好平衡。
【技術實現步驟摘要】
本專利技術屬于圖像處理，具體是一種基于信息蒸餾和多尺度注意力的輕量化圖像超分辨率方法及系統。
技術介紹
1、單幅圖像超分辨率是圖像處理中的一項重要任務，旨在從低分辨率的圖像重建出高分辨率的圖像，并同時優化細節和紋理，提高視覺感知質量。它目前被廣泛的應用于現實生活的各種場景，包括安全監控，遙感，視頻增強，圖像分割等，也因此被學術界和工業界所廣泛關注。
2、近年來隨著深度學習技術的逐漸發展，超分辨率的技術也逐漸成熟，有許多強大的超分辨率網絡可以實現高質量的圖像恢復。但為了追求高質量的圖像恢復效果，這些網絡往往具有非常大的參數量和較高的模型復雜度，在移動端或設備性能不太友好的條件下難以部署。為了解決這一問題，人們開始研究高效超分辨率重建算法。
技術實現思路
1、專利技術目的：為了解決原有的超分辨率網絡參數量過大以及難以在參數量和網絡性能之間取得較好平衡的問題。本專利技術提供一種輕量化圖像超分辨率重建方法，該方法可以在較小的模型量和計算量下增強圖像的分辨率，進而可以運用在實際的工業界中。
2、技術方案：為實現上述目的，本專利技術采用的技術方案為：
3、一種輕量化圖像超分辨率重建方法，包括以下步驟：
4、步驟1，獲取輕量化圖像，并預處理作為訓練集。
5、步驟2，構建基于部分卷積的信息蒸餾機制模塊和多尺度注意力機制模塊的輕量化超分辨率神經網絡。
6、所述輕量化超分辨率神經網絡包括淺層提取模塊、深層特征提取模塊和重建模塊，</p>7、所述淺層提取模塊包括第一卷積層。
8、所述深層特征提取模塊包括五個多尺度部分卷積殘蒸餾模塊、連接融合層、第二卷積層、像素注意力模塊、第二部分卷積層，五個多尺度部分卷積殘蒸餾模塊依次連接，且所述第一卷積層的輸出進入到五個多尺度部分卷積殘蒸餾模塊中排在第一個的多尺度部分卷積殘蒸餾模塊中，同時五個多尺度部分卷積殘蒸餾模塊的輸出分別進入到連接融合層，所述連接融合層、第二卷積層、像素注意力模塊、第二部分卷積層依次連接。
9、所述重建模塊包括第一亞像素卷積模塊、第二亞像素卷積模塊和第三卷積層，所述第一亞像素卷積模塊包括第一上采樣操作、第一相加層。所述第二亞像素卷積模塊包括第二相加層、第二上采樣操作，所述第一卷積層的輸出分別進入到第三卷積層、第二相加層，所述第三卷積層、第一上采樣操作、第一相加層依次連接，所述第二相加層、第二上采樣操作、第一相加層依次連接。
10、步驟3，通過訓練集對構建的輕量化超分辨率神經網絡進行訓練，得到訓練好的輕量化超分辨率神經網絡。
11、步驟4，通過訓練好的輕量化超分辨率神經網絡對低分辨率圖像進行重建，獲得重建后的超分辨率圖像。
12、優選的：所述多尺度部分卷積殘蒸餾模塊包括4個第四部分殘差模塊、4個第四卷積層、第四連接融合層、通道注意力模塊、多尺度增強空間注意力模塊、第四相加層一，4個第四部分殘差模塊分別為第四部分殘差模塊一、第四部分殘差模塊二、第四部分殘差模塊三、第四部分殘差模塊四，4個第四卷積層分別為第四卷積層一、第四卷積層二、第四卷積層三、第四卷積層四，所述第四部分殘差模塊一、第四部分殘差模塊二、第四部分殘差模塊三、第四部分殘差模塊四、第四連接融合層、第四卷積層四、通道注意力模塊、多尺度增強空間注意力模塊、第四相加層一依次連接，所述多尺度部分卷積殘蒸餾模塊的輸入分別進入第四部分殘差模塊一、第四卷積層一以及第四相加層一，所述第四卷積層一的輸出與第四連接融合層連接。所述第四卷積層二的輸入與第四部分殘差模塊一的輸出連接，所述第四卷積層二的輸出與第四連接融合層連接。所述第四卷積層三的輸入與第四部分殘差模塊二的輸出連接，所述第四卷積層三的輸出與第四連接融合層連接。
13、優選的：所述多尺度增強空間注意力模塊包括第五卷積層一、第五壓縮卷積層一、第五最大池化層一、第五壓縮卷積層二、第五最大池化層二、第五壓縮卷積層三、第五最大池化層三、第五壓縮卷積層四、第五局部方差模塊、第五相加層一、第五部分卷積組一、第五部分卷積組二、第五部分卷積組三、第五上采樣模塊、第五相加層二、第五卷積層二、第五激活函數模塊、元素乘法運算模塊、第五相加層三，所述多尺度增強空間注意力模塊的輸入分別進入第五卷積層一、元素乘法運算模塊、第五相加層三，所述第五卷積層一的輸出分別進入第五壓縮卷積層一、第五壓縮卷積層二、第五壓縮卷積層三、第五壓縮卷積層四，所述第五壓縮卷積層一、第五最大池化層一、第五部分卷積組一依次連接。所述第五壓縮卷積層二、第五最大池化層二、第五部分卷積組二依次連接。所述第五壓縮卷積層三、第五最大池化層三、第五相加層一、第五部分卷積組三依次連接。所示第五壓縮卷積層四、第五局部方差模塊、第五相加層一依次連接。所述第五部分卷積組一、第五部分卷積組二、第五部分卷積組三的輸出分別進入第五上采樣模塊，所述第五上采樣模塊、第五相加層二、第五卷積層二、第五激活函數模塊、元素乘法運算模塊、第五相加層三依次連接。所述第五卷積層一的輸出進入到第五相加層二。
14、優選的：所述第四部分殘差模塊包括依次連接的第四部分卷積層、第四相加層二、gelu激活層，所述第四部分殘差模塊的輸入分別進入第四部分卷積層、第四相加層二。所述第四部分卷積層包括第四輸入層、第四輸出層，所述第四輸入層的輸入通過卷積操作進入到第四輸出層，所述第四輸入層的輸入通過直接映射進入到第四輸出層。
15、優選的：所述多尺度部分卷積殘蒸餾模塊的信息蒸餾方法為：
16、步驟s101，多尺度部分卷積殘蒸餾模塊的輸入fin分為兩路，一路輸入第四部分殘差模塊一，另一路輸入到第四卷積層一進行特征細化，記為：
17、fc1＝prb1(fin)，
18、fd1＝c1(fin)
19、式中，c1表示第四卷積層一卷積操作，prb1表示第四部分殘差模塊一部分殘差操作，fd1表示第四卷積層一提取的特征，fc1表示第四部分殘差模塊一被送到下一步操作的特征。
20、步驟s102，將得到的fc1進行進一步細化，該過程表示為：
21、fc2＝prb2(prb1(fin))
22、fd2＝c2(prb1(fin))
23、式中，c2表示第四卷積層二卷積操作，prb2表示第四部分殘差模塊二部分殘差操作，fd2表示第四卷積層二提取的特征，fc2表示第四部分殘差模塊二被送到下一步操作的特征。
24、步驟s103，將得到的fc2繼續進行細化，該過程表示為：
25、fc3＝prb3(prb2(prb1(fin)))，
26、fd3＝c3(prb2(prb1(fin)))
27、式中，c3表示第四卷積層三卷積操作，prb3表示第四部分殘差模塊三部分殘差操作，fd3表示第四卷積層三提取的特征，fc3表示第四部分殘差模塊三被送到下一步操作的特征。
28、步驟s104，將得到的fc3送入第四部分殘差模塊四進行最后一本文檔來自技高網
...
【技術保護點】
1.一種輕量化圖像超分辨率重建方法，其特征在于，包括以下步驟：
2.根據權利要求1所述輕量化圖像超分辨率重建方法，其特征在于：所述多尺度部分卷積殘蒸餾模塊包括4個第四部分殘差模塊、4個第四卷積層、第四連接融合層、通道注意力模塊、多尺度增強空間注意力模塊、第四相加層一，4個第四部分殘差模塊分別為第四部分殘差模塊一、第四部分殘差模塊二、第四部分殘差模塊三、第四部分殘差模塊四，4個第四卷積層分別為第四卷積層一、第四卷積層二、第四卷積層三、第四卷積層四，所述第四部分殘差模塊一、第四部分殘差模塊二、第四部分殘差模塊三、第四部分殘差模塊四、第四連接融合層、第四卷積層四、通道注意力模塊、多尺度增強空間注意力模塊、第四相加層一依次連接，所述多尺度部分卷積殘蒸餾模塊的輸入分別進入第四部分殘差模塊一、第四卷積層一以及第四相加層一，所述第四卷積層一的輸出與第四連接融合層連接；所述第四卷積層二的輸入與第四部分殘差模塊一的輸出連接，所述第四卷積層二的輸出與第四連接融合層連接；所述第四卷積層三的輸入與第四部分殘差模塊二的輸出連接，所述第四卷積層三的輸出與第四連接融合層連接。
3.根據權利要求2所述輕量化圖像超分辨率重建方法，其特征在于：所述多尺度增強空間注意力模塊包括第五卷積層一、第五壓縮卷積層一、第五最大池化層一、第五壓縮卷積層二、第五最大池化層二、第五壓縮卷積層三、第五最大池化層三、第五壓縮卷積層四、第五局部方差模塊、第五相加層一、第五部分卷積組一、第五部分卷積組二、第五部分卷積組三、第五上采樣模塊、第五相加層二、第五卷積層二、第五激活函數模塊、元素乘法運算模塊、第五相加層三，所述多尺度增強空間注意力模塊的輸入分別進入第五卷積層一、元素乘法運算模塊、第五相加層三，所述第五卷積層一的輸出分別進入第五壓縮卷積層一、第五壓縮卷積層二、第五壓縮卷積層三、第五壓縮卷積層四，所述第五壓縮卷積層一、第五最大池化層一、第五部分卷積組一依次連接；所述第五壓縮卷積層二、第五最大池化層二、第五部分卷積組二依次連接；所述第五壓縮卷積層三、第五最大池化層三、第五相加層一、第五部分卷積組三依次連接；所示第五壓縮卷積層四、第五局部方差模塊、第五相加層一依次連接；所述第五部分卷積組一、第五部分卷積組二、第五部分卷積組三的輸出分別進入第五上采樣模塊，所述第五上采樣模塊、第五相加層二、第五卷積層二、第五激活函數模塊、元素乘法運算模塊、第五相加層三依次連接；所述第五卷積層一的輸出進入到第五相加層二。
4.根據權利要求3所述輕量化圖像超分辨率重建方法，其特征在于：所述第四部分殘差模塊包括依次連接的第四部分卷積層、第四相加層二、Gelu激活層，所述第四部分殘差模塊的輸入分別進入第四部分卷積層、第四相加層二；所述第四部分卷積層包括第四輸入層、第四輸出層，所述第四輸入層的輸入通過卷積操作進入到第四輸出層，所述第四輸入層的輸入通過直接映射進入到第四輸出層。
5.根據權利要求4所述輕量化圖像超分辨率重建方法，其特征在于：所述多尺度部分卷積殘蒸餾模塊的信息蒸餾方法為：
6.根據權利要求5所述輕量化圖像超分辨率重建方法，其特征在于：所述多尺度部分卷積殘蒸餾模塊的多尺度注意力方法為：
7.根據權利要求6所述輕量化圖像超分辨率重建方法，其特征在于：所述淺層提取模塊淺層提取過程為：
8.根據權利要求7所述輕量化圖像超分辨率重建方法，其特征在于：所述通道注意力模塊通過對比通道注意力將融合特征Ffused進行處理得到多尺度注意力機制的輸入Fs。
9.一種輕量化圖像超分辨率重建系統，其特征在于：用于實現權利要求1-8任一所述的輕量化圖像超分辨率重建方法，包括輸入單元、輕量化超分辨率神經網絡單元、輸出單元，其中：
10.一種計算機系統，其特征在于，包括存儲器和處理器，所述存儲器用于存儲計算機程序/指令；所述處理器用于執行所述計算機程序/指令以實現權利要求1-8任一所述的輕量化圖像超分辨率重建方法。
...
【技術特征摘要】
1.一種輕量化圖像超分辨率重建方法，其特征在于，包括以下步驟：
2.根據權利要求1所述輕量化圖像超分辨率重建方法，其特征在于：所述多尺度部分卷積殘蒸餾模塊包括4個第四部分殘差模塊、4個第四卷積層、第四連接融合層、通道注意力模塊、多尺度增強空間注意力模塊、第四相加層一，4個第四部分殘差模塊分別為第四部分殘差模塊一、第四部分殘差模塊二、第四部分殘差模塊三、第四部分殘差模塊四，4個第四卷積層分別為第四卷積層一、第四卷積層二、第四卷積層三、第四卷積層四，所述第四部分殘差模塊一、第四部分殘差模塊二、第四部分殘差模塊三、第四部分殘差模塊四、第四連接融合層、第四卷積層四、通道注意力模塊、多尺度增強空間注意力模塊、第四相加層一依次連接，所述多尺度部分卷積殘蒸餾模塊的輸入分別進入第四部分殘差模塊一、第四卷積層一以及第四相加層一，所述第四卷積層一的輸出與第四連接融合層連接；所述第四卷積層二的輸入與第四部分殘差模塊一的輸出連接，所述第四卷積層二的輸出與第四連接融合層連接；所述第四卷積層三的輸入與第四部分殘差模塊二的輸出連接，所述第四卷積層三的輸出與第四連接融合層連接。
3.根據權利要求2所述輕量化圖像超分辨率重建方法，其特征在于：所述多尺度增強空間注意力模塊包括第五卷積層一、第五壓縮卷積層一、第五最大池化層一、第五壓縮卷積層二、第五最大池化層二、第五壓縮卷積層三、第五最大池化層三、第五壓縮卷積層四、第五局部方差模塊、第五相加層一、第五部分卷積組一、第五部分卷積組二、第五部分卷積組三、第五上采樣模塊、第五相加層二、第五卷積層二、第五激活函數模塊、元素乘法運算模塊、第五相加層三，所述多尺度增強空間注意力模塊的輸入分別進入第五卷積層一、元素乘法運算模塊、第五相加層三，所述第五卷積層一的輸出分別進入第五壓縮卷積層一、第五壓縮卷積層二、第五壓縮卷積層三、第五壓縮卷積層四，所述第五壓縮卷積層一、第五最大池化層一、第五部分卷積組一依次連接；所述第五壓縮卷積層二、第五最大池...
【專利技術屬性】
技術研發人員：謝超，葉樹桐，周海燕，劉英，
申請(專利權)人：南京林業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。