System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及圖像處理領域,特別是涉及一種圖像復原模型訓練方法、裝置和電子設備。
技術介紹
1、圖像采集系統受到攝像設備或采集環境的影響,會采集到圖像模糊的低分辨率圖像。低分辨率圖像由于清晰度不足,對后續圖像處理產生嚴重的干擾,因此,需要將低分辨率圖像恢復為高分辨圖像。
2、現有技術中,對低分辨率圖像處理,通常采用深度學習超分辨率,以獲得效果良好的高分辨率圖像。在深度學習超分辨率中,無論采用卷積網絡還是移動窗口變壓器進行處理,均是在每個像素點周圍固定區域內配置固定數量的像素,以實現超分辨率的重建。現有技術中采用統一的像素配置的的方法未滿足深度學習超分辨率針對不同區域的重建需求,從而通過這樣的方式獲得的高分辨率圖像效果差。因此,如何滿足深度學習超分辨率圖對不同區域的重建需求成為了亟待解決的問題。
技術實現思路
1、本申請實施例提供了一種圖像復原模型訓練方法、裝置、系統和計算機可讀存儲介質,以至少解決相關技術中無法滿足深度學習超分辨率圖對不同區域的重建需求的問題。
2、第一方面,本申請實施例提供了圖像復原模型訓練方法,其特征在于,包括:
3、根據初始圖像獲取特征圖像;
4、在所述初始圖像中確定目標像素點和所述目標像素點的搜索區域,基于所述特征圖像確定重建所述目標像素點的參照像素點數量;
5、在所述搜索區域內,獲取每一像素點與所述目標像素點的相似度,根據所述參照像素點數量,以相似度從大到小的順序獲取參照像素點集合;
6、
7、以所述初始圖像作為輸入數據,以所述輸出圖像和所述特征圖像構建損失函數,對生成式網絡模型進行訓練,至所述損失函數小于或者等于預設閾值,得到圖像復原模型。
8、在一實施例中,所述在所述初始圖像中確定目標像素點和所述目標像素點的搜索區域,包括:
9、以所述目標像素點為幾何中心,根據預設尺寸在所述初始圖像中獲得局部搜索區域;
10、以所述目標像素點為起始點,按照預設步長在所述初始圖像采樣,獲得全局搜索區域;
11、根據所述局部搜索區域和所述全局搜索區域,確定所述搜索區域。
12、在一實施例中,所述特征圖像包括第一特征圖像和第二特征圖像,所述參照像素點集合滿足以下配置:
13、
14、其中, d f是參照像素點數量, d max為參照像素點數量閾值, norm為最值歸一化函數,f是第一特征圖像,f↓↑是第二特征圖像,「*」是向上取整函數。
15、在一實施例中,所述基于所述輸出圖像和所述特征圖像構建損失函數:
16、基于所述輸出圖像和所述特征圖像,獲取內容損失函數,所述內容損失函數表征所述輸出圖像的細節豐富度;
17、基于預設判別損失函數和所述內容損失函數,獲得損失函數;
18、所述損失函數滿具體配置為:
19、
20、其中, l是損失函數, l g是內容損失函數, l d是預設判別損失函數。
21、在一實施例中,所述內容損失函數具體配置為:
22、
23、其中, l g是內容損失函數, f是第一特征圖像, f↓↑是第二特征圖像, i hr是待處理圖像, y是輸出圖像 ,mse( i hr ,y)是所述輸出圖像和所述特征圖像的均方差。
24、在一實施例中,所述參照像素點集合滿足以下配置:
25、
26、其中, p x是參照像素點集合, u是搜索區域內的像素點, s x是搜索區域, sim( f x ,f u)是余弦相似函數, f x是目標像素點的特征, f u是搜索區域中像素點的特征, d fx 是參照像素點數量。
27、在一實施例中,所述根據所述參照像素點集合和所述目標像素點獲取輸出特征,根據所述輸出特征和所述特征圖像,獲取輸出圖像,包括:
28、將所述參照像素點集合中的特征進行拼接,獲得參照特征;
29、基于所述參照特征和所述目標像素點的特征,通過交叉注意力算法進行特征聚合,獲得所述輸出特征;
30、對所述輸出特征和所述特征圖像進行上采樣處理,獲得所述輸出圖像;
31、所述上采樣處理具體配置為:
32、
33、其中, y為輸出圖像, upsample是上采樣函數, f為特征圖像, f agg是輸出特征。
34、在一實施例中,所述根據初始圖像獲取特征圖像,包括:
35、獲取若干所述待處理圖像,對所述待處理圖像進行退化處理,獲得所述初始圖像;
36、提取所述初始圖像中的圖像特征,獲得所述第一特征圖像;
37、對所述第一特征圖像進行下采樣和下采樣處理,獲得第二特征圖像。
38、第二方面,本申請實施例提供了一種圖像復原裝置,包括:
39、獲取特征圖像模塊,用于根據初始圖像獲取特征圖像;
40、確定模塊,用于在所述初始圖像中確定目標像素點和所述目標像素點的搜索區域,基于所述特征圖像確定重建所述目標像素點的參照像素點數量;
41、獲取參照像素點集合模塊,用于在所述搜索區域內,獲取每一像素點與所述目標像素點的相似度,根據所述參照像素點數量,以相似度從大本文檔來自技高網...
【技術保護點】
1.一種圖像復原模型訓練方法,其特征在于,包括:
2.根據權利要求1所述的圖像復原模型訓練方法,其特征在于,所述在所述初始圖像中確定目標像素點和所述目標像素點的搜索區域,包括:
3.根據權利要求1所述的圖像復原模型訓練方法,其特征在于,所述特征圖像包括第一特征圖像和第二特征圖像,所述參照像素點數量滿足以下配置:
4.根據權利要求1所述的圖像復原模型訓練方法,其特征在于,所述基于所述輸出圖像和所述特征圖像構建損失函數:
5.根據權利要求4所述的圖像復原模型訓練方法,其特征在于,所述內容損失函數具體配置為:
6.根據權利要求1所述的圖像復原模型訓練方法,其特征在于,所述參照像素點集合滿足以下配置:
7.根據權利要求6所述的圖像復原模型訓練方法,其特征在于,所述根據所述參照像素點集合和所述目標像素點獲取輸出特征,根據所述輸出特征和所述特征圖像,獲取輸出圖像,包括:
8.根據權利要求1~7任一項所述的圖像復原模型訓練方法,其特征在于,所述根據初始圖像獲取特征圖像,包括:
9.一種圖像復原裝置,
10.一種電子設備,其特征在于,包括存儲器,處理器,以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序,所述處理器執行所述計算機程序時實現如權利要求1至8中任一項所述的圖像復原模型訓練方法。
...【技術特征摘要】
1.一種圖像復原模型訓練方法,其特征在于,包括:
2.根據權利要求1所述的圖像復原模型訓練方法,其特征在于,所述在所述初始圖像中確定目標像素點和所述目標像素點的搜索區域,包括:
3.根據權利要求1所述的圖像復原模型訓練方法,其特征在于,所述特征圖像包括第一特征圖像和第二特征圖像,所述參照像素點數量滿足以下配置:
4.根據權利要求1所述的圖像復原模型訓練方法,其特征在于,所述基于所述輸出圖像和所述特征圖像構建損失函數:
5.根據權利要求4所述的圖像復原模型訓練方法,其特征在于,所述內容損失函數具體配置為:
6.根據權利要求1所述的圖像復原模型訓練方...
【專利技術屬性】
技術研發人員:陳權,付偉男,張鳴磊,
申請(專利權)人:杭州靈西機器人智能科技有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。