【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及人工智能，尤其涉及一種圖像超分辨率重建方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、圖像超分辨率處理是指將低分辨率圖像放大至高分辨率圖像的過程。
2、相關(guān)技術(shù)往往通過sr-lut(super-resolution，look?up?table，超分辨率-查找表)算法來對(duì)圖像的超分辨率重建處理。具體的，在sr-lut算法的存表階段，可以遍歷一個(gè)預(yù)訓(xùn)練的圖像超分重建模型的數(shù)據(jù)處理記錄并保存至一個(gè)查找表中，以在后續(xù)使用該查找表進(jìn)行圖像超分辨率處理；然而，相關(guān)技術(shù)中的圖像超分重建模型所處理的數(shù)據(jù)量往往是相當(dāng)巨大的，這使得超分辨率-查找表算法生成的查找表往往需要占用電子設(shè)備較大的數(shù)據(jù)存儲(chǔ)空間。
技術(shù)實(shí)現(xiàn)思路
1、本公開提供一種圖像超分辨率重建方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中查找表對(duì)電子設(shè)備的存儲(chǔ)空間占用率較高的問題。本公開的技術(shù)方案如下：
2、根據(jù)本公開實(shí)施例的第一方面，提供一種圖像超分辨率重建方法，包括：
3、獲取待超分辨率圖像；
4、將所述待超分辨率圖像輸入預(yù)訓(xùn)練的圖像超分重建模型，得到所述待超分辨率圖像的超分辨率重建圖像；所述圖像超分重建模型包括采用目標(biāo)卷積模式的卷積神經(jīng)網(wǎng)絡(luò)，所述目標(biāo)卷積模式用于將第一尺寸的旋轉(zhuǎn)卷積核旋轉(zhuǎn)預(yù)設(shè)次數(shù)，以模擬第二尺寸的感受野，所述第二尺寸大于所述第一尺寸，所述旋轉(zhuǎn)卷積核單次處理的像素的數(shù)量為n，n小于4。
5、在一種可能實(shí)現(xiàn)方式，所述將所述待超分辨率圖像輸入預(yù)訓(xùn)練的圖
6、將所述待超分辨率圖像輸入至重構(gòu)卷積模塊，通過所述重構(gòu)卷積模塊將所述待超分辨率圖像轉(zhuǎn)換為重構(gòu)卷積特征圖；
7、將所述重構(gòu)卷積特征圖輸入至所述卷積神經(jīng)網(wǎng)絡(luò)，通過所述卷積神經(jīng)網(wǎng)絡(luò)采用所述目標(biāo)卷積模式對(duì)所述重構(gòu)卷積特征圖進(jìn)行處理，獲得所述待超分辨率圖像的超分辨率重建圖像。
8、在一種可能實(shí)現(xiàn)方式，所述將所述待超分辨率圖像輸入至重構(gòu)卷積模塊，通過所述重構(gòu)卷積模塊將所述待超分辨率圖像轉(zhuǎn)換為重構(gòu)卷積特征圖，包括：
9、針對(duì)所述待超分辨率圖像中的任一待映射像素塊，通過所述重構(gòu)卷積模塊將任一所述待映射像素塊的像素點(diǎn)輸入至線性多層感知機(jī)進(jìn)行映射處理，獲得各所述待映射像素塊對(duì)應(yīng)的映射后的像素點(diǎn)；所述待映射像素塊為具有預(yù)設(shè)尺寸的像素塊；
10、通過所述重構(gòu)卷積模塊將各所述待映射像素塊對(duì)應(yīng)的映射后的像素點(diǎn)進(jìn)行平均池化，得到各所述待映射像素塊對(duì)應(yīng)的聚合像素點(diǎn)，獲得所述重構(gòu)卷積特征圖。
11、在一種可能實(shí)現(xiàn)方式，所述圖像超分重建模型還包括點(diǎn)卷積，所述采用所述目標(biāo)卷積模式對(duì)所述重構(gòu)卷積特征圖進(jìn)行處理，包括：
12、在所述重構(gòu)卷積特征圖中以所述點(diǎn)卷積為中心的像素塊中，確定外圍像素；所述外圍像素為在以所述點(diǎn)卷積為中心的像素塊中除所述點(diǎn)卷積處理的像素之外的像素；
13、依次將所述外圍像素塊中每n個(gè)相鄰的像素，作為所述旋轉(zhuǎn)卷積核單次處理的像素。
14、在一種可能實(shí)現(xiàn)方式，在以所述點(diǎn)卷積為中心的像素塊的尺寸為3×3大小。
15、在一種可能實(shí)現(xiàn)方式，所述圖像超分重建模型還包括與所述旋轉(zhuǎn)卷積核并聯(lián)的圖像邊緣提取卷積核，所述將所述重構(gòu)卷積特征圖輸入至所述卷積神經(jīng)網(wǎng)絡(luò)，通過所述卷積神經(jīng)網(wǎng)絡(luò)采用所述目標(biāo)卷積模式對(duì)所述重構(gòu)卷積特征圖進(jìn)行處理，獲得所述待超分辨率圖像的超分辨率重建圖像，包括：
16、通過所述旋轉(zhuǎn)卷積核，按照所述目標(biāo)卷積模式對(duì)所述重構(gòu)卷積特征圖進(jìn)行卷積處理，以得到所述重構(gòu)卷積特征圖對(duì)應(yīng)的圖像重建特征；
17、通過所述圖像邊緣提取卷積核，提取所述重構(gòu)卷積特征圖的邊緣梯度，得到所述重構(gòu)卷積特征圖對(duì)應(yīng)的圖像邊緣特征；
18、根據(jù)所述圖像重建特征和所述圖像邊緣特征，得到所述待超分辨率圖像的超分辨率重建圖像。
19、根據(jù)本公開實(shí)施例的第二方面，提供一種圖像超分辨率重建方法，包括：
20、獲取待超分辨率圖像；
21、在查找表中，查找所述待超分辨率圖像對(duì)應(yīng)的圖像重建特征；所述查找表為采用如上述預(yù)訓(xùn)練的圖像超分重建模型預(yù)構(gòu)建得到的；
22、根據(jù)所述圖像重建特征，生成所述原始圖像的超分辨率重建圖像。
23、在一種可能實(shí)現(xiàn)方式，所述方法還包括；
24、獲取存表樣本集；所述存表樣本集的各樣本像素塊為遍歷輸入所述旋轉(zhuǎn)卷積核的全部像素值組合得到的；
25、將所述存表樣本集中的各樣本像素塊輸入至所述預(yù)訓(xùn)練的圖像超分重建模型中的卷積神經(jīng)網(wǎng)絡(luò)，獲取所述圖像超分重建模型針對(duì)各所述樣本像素塊輸出的像素重建特征；
26、根據(jù)各所述樣本像素塊和各所述樣本像素塊對(duì)應(yīng)的像素重建特征，構(gòu)建所述查找表。
27、在一種可能實(shí)現(xiàn)方式，所述在查找表中，查找所述待超分辨率圖像對(duì)應(yīng)的圖像重建特征，包括：
28、將所述待超分辨率圖像輸入至所述重構(gòu)卷積模塊，通過所述重構(gòu)卷積模塊將所述待超分辨率圖像轉(zhuǎn)換為重構(gòu)卷積特征圖；
29、按照所述目標(biāo)卷積模式的感受野區(qū)域，分別獲取與所述重構(gòu)卷積特征圖中各像素對(duì)應(yīng)的感受野像素塊；所述感受野區(qū)域包括所述旋轉(zhuǎn)卷積核在至少一個(gè)旋轉(zhuǎn)周期中的各停留區(qū)域；所述感受野像素塊包括在一個(gè)所述旋轉(zhuǎn)周期中參與卷積的像素；
30、在所述查找表中，查找獲取與各所述感受野像素塊對(duì)應(yīng)的像素重建特征；
31、根據(jù)各所述像素重建特征，確定所述重構(gòu)卷積特征圖對(duì)應(yīng)的圖像重建特征。
32、在一種可能實(shí)現(xiàn)方式，所述在所述查找表中，查找獲取與各所述感受野像素塊對(duì)應(yīng)的像素重建特征，包括：
33、針對(duì)每一個(gè)所述感受野像素塊，在所述重構(gòu)卷積特征圖中讀取所述感受野像素塊中每個(gè)像素的像素值；
34、在所述查找表中，查找出各所述像素的像素值對(duì)應(yīng)的查表值，作為所述感受野像素塊對(duì)應(yīng)的像素重建特征。
35、根據(jù)本公開實(shí)施例的第三方面，提供一種圖像超分辨率重建裝置，包括：
36、第一獲取單元，被配置為執(zhí)行獲取待超分辨率圖像；
37、第一重建單元，被配置為執(zhí)行將所述待超分辨率圖像輸入預(yù)訓(xùn)練的圖像超分重建模型，得到所述待超分辨率圖像的超分辨率重建圖像；所述圖像超分重建模型包括采用目標(biāo)卷積模式的卷積神經(jīng)網(wǎng)絡(luò)，所述目標(biāo)卷積模式用于將第一尺寸的旋轉(zhuǎn)卷積核旋轉(zhuǎn)預(yù)設(shè)次數(shù)，以模擬第二尺寸的感受野，所述第二尺寸大于所述第一尺寸，所述旋轉(zhuǎn)卷積核單次處理的像素的數(shù)量為n，n小于4。
38、在一種可能實(shí)現(xiàn)方式，所述預(yù)訓(xùn)練的圖像超分重建模型還包括重構(gòu)卷積模塊，所述第一重建單元，具體被配置為執(zhí)行將所述待超分辨率圖像輸入至所述重構(gòu)卷積模塊，通過所述重構(gòu)卷積模塊將所述待超分辨率圖像轉(zhuǎn)換為重構(gòu)卷積特征圖；將所述重構(gòu)卷積特征圖輸入至所述卷積神經(jīng)網(wǎng)絡(luò)，通過所述卷積神經(jīng)網(wǎng)絡(luò)采用所述目標(biāo)卷積模式對(duì)所述重構(gòu)卷積特征圖進(jìn)行處理，獲得所述待超分辨率圖像的超分辨率重建本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種圖像超分辨率重建方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的圖像超分辨率重建方法，其特征在于，所述將所述待超分辨率圖像輸入預(yù)訓(xùn)練的圖像超分重建模型，得到所述的超分辨率重建圖像，包括：
3.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述將所述待超分辨率圖像輸入至重構(gòu)卷積模塊，通過所述重構(gòu)卷積模塊將所述待超分辨率圖像轉(zhuǎn)換為重構(gòu)卷積特征圖，包括：
4.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述圖像超分重建模型還包括點(diǎn)卷積，所述采用所述目標(biāo)卷積模式對(duì)所述重構(gòu)卷積特征圖進(jìn)行處理，包括：
5.根據(jù)權(quán)利要求3所述的圖像超分辨率重建方法，其特征在于，在以所述點(diǎn)卷積為中心的像素塊的尺寸為3×3大小。
6.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述圖像超分重建模型還包括與所述旋轉(zhuǎn)卷積核并聯(lián)的圖像邊緣提取卷積核，所述將所述重構(gòu)卷積特征圖輸入至所述卷積神經(jīng)網(wǎng)絡(luò)，通過所述卷積神經(jīng)網(wǎng)絡(luò)采用所述目標(biāo)卷積模式對(duì)所述重構(gòu)卷積特征圖進(jìn)行處理，獲得所述待超分辨率圖像的超分辨率重建圖像，包括：
<...【技術(shù)特征摘要】
1.一種圖像超分辨率重建方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的圖像超分辨率重建方法，其特征在于，所述將所述待超分辨率圖像輸入預(yù)訓(xùn)練的圖像超分重建模型，得到所述的超分辨率重建圖像，包括：
3.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述將所述待超分辨率圖像輸入至重構(gòu)卷積模塊，通過所述重構(gòu)卷積模塊將所述待超分辨率圖像轉(zhuǎn)換為重構(gòu)卷積特征圖，包括：
4.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述圖像超分重建模型還包括點(diǎn)卷積，所述采用所述目標(biāo)卷積模式對(duì)所述重構(gòu)卷積特征圖進(jìn)行處理，包括：
5.根據(jù)權(quán)利要求3所述的圖像超分辨率重建方法，其特征在于，在以所述點(diǎn)卷積為中心的像素塊的尺寸為3×3大小。
6.根據(jù)權(quán)利要求2所述的圖像超分辨率重建方法，其特征在于，所述圖像超分重建模型還包括與所述旋轉(zhuǎn)卷積核并聯(lián)的圖像邊緣提取卷積核，所述將所述重構(gòu)卷積特征圖輸入至所述卷積神經(jīng)網(wǎng)絡(luò)，通過所述卷積神經(jīng)網(wǎng)絡(luò)采用所述目標(biāo)卷積模式對(duì)所述重構(gòu)卷積特征圖進(jìn)行處理，獲得所述待超分辨率圖像的超分辨率重建圖像，包括：
...【專利技術(shù)屬性】
技術(shù)研發(fā)人員：丁予康，劉冠都，李馬丁，孫明，周超，
申請(qǐng)(專利權(quán))人：北京達(dá)佳互聯(lián)信息技術(shù)有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。