【技術實現步驟摘要】
本專利技術涉及圖像處理方法領域，具體是一種整合粒度信息圖像超分辨率模型動態量化方法。
技術介紹
1、單圖像超分辨率是計算機領域底層視覺中一項經典的任務，旨在從損壞的低分辨率圖像恢復為高分辨率圖像。受益于深度學習的快速發展，基于卷積神經網絡(cnn)和變換神經網絡(transformer)的單圖像超分辨率方法取得了卓越的性能。雖然后來的方法超分辨率性能不斷取得突破，但其方法的模型復雜度也不斷增加，這也限制了其在實際中對于大尺寸圖像(例如2k和4k)的處理能力。
2、模型量化是一種有效的模型壓縮技術，通過將模型中的權重和激活值從高精度(如32位浮點數)轉換為低精度(如8位整型)數據表示。合適的模型量化方法能夠以最小的性能犧牲來降低計算成本和內存的開銷。不同于高層視覺任務量化，圖像超分辨率任務對量化極為敏感。先前的方法通過調整量化的表示范圍或激活值特征分布來進行建模。然而這些方法忽略了因量化引起的精度下降可能是由圖像內容決定的，圖像中的某些內容對于量化更為敏感，因此對于較低位寬量化后的復原結果較差。近期，動態量化在圖像超分辨率領域受到了更多的關注。現有超分辨率模型動態量化方法多根據圖像的局部內容自適應地動態調整層和圖像塊對應的量化位寬。盡管這些方法能夠保持有競爭力的性能的同時，將繁重的超分辨率模型的潛力拓展到邊緣和移動設備上，但是其在超分辨率精度和量化效率的權衡方面仍然存在不足。除此之外，現有超分辨率模型動態量化方法單獨調整每一層的量化位寬會擾亂原有模型的層間關系，從而降低量化模型的表示能力。
3、因此，提供一
技術實現思路
1、本專利技術提供了一種整合粒度信息圖像超分辨率模型動態量化方法，以解決現有超分辨率模型動態量化方法的精度和量化效率權衡問題。
2、為了達到上述目的，本專利技術所采用的技術方案為：
3、一種整合粒度信息圖像超分辨率模型動態量化方法，包括以下步驟：
4、步驟1、構建圖像超分辨率量化網絡，所述圖像超分辨率量化網絡包括粒度感知比特控制器和圖像熵的廣義分布統計模塊，其中：
5、所述粒度感知比特控制器通過多個下采樣操作的編碼器得到輸入圖像的多層級粒度特征表示，然后利用可微分采樣方案基于多層級粒度特征表示得到輸入圖像中每個圖像塊對整個輸入圖像的貢獻程度，并將每個圖像塊對整個輸入圖像的貢獻程度與潛在的量化位寬相對應，形成初步位寬分配方案；
6、圖像超分辨率量化網絡中通過圖像熵的廣義分布統計模塊計算輸入圖像中每個圖像塊的圖像熵，并按照圖像熵從小到大進行圖像塊的排序后再進行分位統計，由此得到圖像熵的廣義分布統計，然后基于熵到比特的量化位寬調整機制根據得到的圖像熵的廣義分布統計，對由粒度感知比特控制器得到的初步位寬分配方案中較大的位寬進行熵到比特機制位寬調整，由此得到最終量化位寬方案；
7、步驟2、采用訓練集對步驟1構建的圖像超分辨率量化網絡進行訓練，得到訓練好的圖像超分辨率量化網絡；
8、步驟3、將待測試的低分辨率圖像輸入步驟2得到的訓練好的圖像超分辨率量化網絡，輸出最終超分辨率圖像。
9、進一步的步驟1中，所述?？晌⒎植蓸臃桨高^程如下：
10、首先將所有粒度特征經過分組歸一化操作處理后再平均池化到最粗的粒度大?。?/p>
11、接著將所有平均池化后的粒度特征沿著信道維度進行拼接后，再通過全局平均池化壓縮多粒度的信息，得到信道統計量；
12、然后將信道統計量通過一個線性層的可學習權重進行更新，得到門控指數；
13、接著，基于非標準化對數概率可以表示特征的分類分布原理，將所述門控指數引入標準耿貝爾分布噪聲，并對噪聲樣本進行積分，得到離散的門控指數；
14、最后，對門控得分與相應的隨機標準耿貝爾分布噪聲之和進行softmax操作得到每個圖像塊所對應于整張輸入圖像的貢獻程度，由此確定粒度等級并指向相應的位寬，實現將每個圖像塊對整個輸入圖像的貢獻程度與潛在的量化位寬相對應。
15、進一步的步驟1中，所述熵到比特的量化位寬調整機制過程為：
16、設定分位點閾值數量與大小，將圖像熵的廣義分布統計分成多個區間，區間數量與調整位寬數量相匹配，將由粒度感知比特控制器得到的初步位寬分配方案中每個圖像塊的圖像熵值與分位點閾值所對應的熵值進行比較，即可按照劃分好的區間確定相對應的調整位寬，由此實現將較大的位寬進行熵到比特機制位寬調整，得到最終量化位寬方案。
17、進一步的步驟2中訓練時，對設定的分位點閾值使用指數移動平均線的方法進行閾值自適應更新；
18、使用指數移動平均線的方法進行閾值自適應更新時，每一次迭代中將新的訓練圖像塊的信息熵做歸一化處理后作為指數移動平均線的外部信號。
19、進一步的步驟2中訓練時，使用輸出圖像與高分辨率圖像像素之間的平均誤差來作為優化約束。
20、與現有技術相比，本專利技術優點為：
21、本專利技術是一種層量化位寬不變的超分辨率量化方法，通過利用不同圖像內容的多粒度線索，為圖像超分辨率模型低比特動態量化指導。本方法為圖像塊構建了從粗到細的粒度表示層次，并提出了粒度感知比特控制器根據圖像內容進行粒度感知的位寬分配。隨后本專利技術提出了一種熵到比特的位寬調整機制，對高比特的圖像塊進行位寬自適應微調。本專利技術方法通過粒度感知比特控制器和熵到比特的機制確保為每個圖像塊單獨的最佳位寬分配，無需像曾經的方法那樣考慮量化層間敏感性。整合粒度信息的圖像超分辨率模型動態量化方法能夠進一步提升超分辨率模型量化的性能和量化效率。
本文檔來自技高網...【技術保護點】
1.一種整合粒度信息圖像超分辨率模型動態量化方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種整合粒度信息圖像超分辨率模型動態量化方法，其特征在于，步驟1中，所述?？晌⒎植蓸臃桨高^程如下：
3.根據權利要求1所述的根據權利要求1所述的一種整合粒度信息圖像超分辨率模型動態量化方法，其特征在于，步驟1中，所述熵到比特的量化位寬調整機制過程為：
4.根據權利要求1所述的根據權利要求1所述的一種整合粒度信息圖像超分辨率模型動態量化方法，其特征在于，步驟2中訓練時，對設定的分位點閾值使用指數移動平均線的方法進行閾值自適應更新；
5.根據權利要求1所述的根據權利要求1所述的一種整合粒度信息圖像超分辨率模型動態量化方法，其特征在于，步驟2中訓練時，使用輸出圖像與高分辨率圖像像素之間的平均誤差來作為優化約束。
【技術特征摘要】
1.一種整合粒度信息圖像超分辨率模型動態量化方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種整合粒度信息圖像超分辨率模型動態量化方法，其特征在于，步驟1中，所述粒可微分采樣方案過程如下：
3.根據權利要求1所述的根據權利要求1所述的一種整合粒度信息圖像超分辨率模型動態量化方法，其特征在于，步驟1中，所述熵到比特的量化位寬調整機制過程為：
【專利技術屬性】
技術研發人員：張召，朱金良，王明申，韋炎炎，洪日昌，汪萌，鄧子超，
申請(專利權)人：合肥瑞徽人工智能研究院有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。