【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及圖像修復(fù)，尤其涉及一種圖像修復(fù)方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、隨著互聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，圖像處理領(lǐng)域也得到了顯著的提升，尤其是在圖像修復(fù)方面。圖像修復(fù)算法通過智能算法能夠根據(jù)用戶的需求，有效地填充圖像中的缺失區(qū)域，旨在保持修復(fù)區(qū)域的結(jié)構(gòu)合理性和紋理一致性。這些算法在處理大面積缺失區(qū)域以及高分辨率圖像時(shí)，展現(xiàn)了其潛在的應(yīng)用價(jià)值。然而，現(xiàn)有的圖像修復(fù)模型仍然面臨多重挑戰(zhàn)。首先，有限的感受野使得模型在大面積缺失區(qū)域或高分辨率圖像中學(xué)習(xí)語義相合的紋理變得困難。這種局限性導(dǎo)致模型在恢復(fù)圖像時(shí)，無法有效捕捉到全局上下文信息，從而影響修復(fù)效果的自然性和連貫性。其次，現(xiàn)有模型缺乏對整體結(jié)構(gòu)的理解，這在恢復(fù)高分辨率弱紋理場景中的關(guān)鍵邊緣和線框時(shí)尤為突出。由于缺少對圖像整體結(jié)構(gòu)的深入分析，模型在修復(fù)過程中可能無法準(zhǔn)確重建重要的細(xì)節(jié)，導(dǎo)致修復(fù)結(jié)果不夠理想，甚至出現(xiàn)明顯的偽影或不一致的紋理。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本公開實(shí)施例提供了一種圖像修復(fù)方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)的圖像修復(fù)結(jié)果不準(zhǔn)確的技術(shù)問題。
2、本公開實(shí)施例的第一方面，提供了一種圖像修復(fù)方法，包括：獲取被遮擋圖像和被遮擋圖像的提示文本；對被遮擋圖像進(jìn)行圖像結(jié)構(gòu)提取處理，得到被遮擋圖像的結(jié)構(gòu)特征；對被遮擋圖像進(jìn)行圖像編碼處理，得到被遮擋圖像的視覺特征；對被遮擋圖像的提示文本進(jìn)行文本編碼處理，得到提示文本的語義特征；對被遮擋圖像的結(jié)構(gòu)特征、被遮擋圖像的視覺特征、以及
3、本公開實(shí)施例的第二方面，提供了一種圖像修復(fù)裝置，包括：獲取模塊，用于獲取被遮擋圖像和被遮擋圖像的提示文本；結(jié)構(gòu)特征提取模塊，用于對被遮擋圖像進(jìn)行圖像結(jié)構(gòu)提取處理，得到被遮擋圖像的結(jié)構(gòu)特征；視覺特征編碼模塊，用于對被遮擋圖像進(jìn)行圖像編碼處理，得到被遮擋圖像的視覺特征；語義特征編碼模塊，用于對被遮擋圖像的提示文本進(jìn)行文本編碼處理，得到提示文本的語義特征；解碼模塊，用于對被遮擋圖像的結(jié)構(gòu)特征、被遮擋圖像的視覺特征、以及提示文本的語義特征進(jìn)行解碼處理，得到被遮擋圖像與提示文本對應(yīng)的像素級特征；去噪模塊，用于通過擴(kuò)散模型基于被遮擋圖像的視覺特征、像素級特征、提示文本的語義特征對初始噪聲圖進(jìn)行去噪處理，得到被遮擋圖像對應(yīng)的目標(biāo)修復(fù)圖像。
4、本公開實(shí)施例的第三方面，提供了一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器中并且可在處理器上運(yùn)行的計(jì)算機(jī)程序，該處理器執(zhí)行計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述方法的步驟。
5、本公開實(shí)施例的第四方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述方法的步驟。
6、本公開實(shí)施例與現(xiàn)有技術(shù)相比存在的有益效果是：本公開實(shí)施例可以通過對被遮擋圖像進(jìn)行結(jié)構(gòu)特征提取，能夠更好地理解圖像的整體結(jié)構(gòu)。這一過程確保了修復(fù)后的圖像在結(jié)構(gòu)上具有合理性，避免了常見的偽影和不自然的修復(fù)結(jié)果。對被遮擋圖像進(jìn)行視覺特征編碼，能夠捕捉到圖像中的細(xì)節(jié)和紋理信息。這種細(xì)致的特征提取有助于在修復(fù)過程中保持圖像的原始風(fēng)格和細(xì)節(jié)，提高了修復(fù)圖像的視覺質(zhì)量。通過對提示文本進(jìn)行語義特征編碼，能夠?qū)⑽谋拘畔⒂行У厝谌雸D像修復(fù)過程中。這種語義信息的結(jié)合使得修復(fù)結(jié)果更加符合用戶的需求，提升了修復(fù)的智能化水平。通過解碼處理將結(jié)構(gòu)特征、視覺特征和語義特征轉(zhuǎn)化為像素級特征，使得修復(fù)過程中的每一個(gè)像素都能得到精確的處理。這一特性確保了修復(fù)圖像在細(xì)節(jié)上的一致性和連貫性。利用擴(kuò)散模型進(jìn)行初始噪聲圖的去噪處理，能夠有效減少修復(fù)過程中的噪聲干擾，提升修復(fù)圖像的清晰度和質(zhì)量使得修復(fù)結(jié)果更加真實(shí)，符合人眼的視覺感受。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種圖像修復(fù)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述被遮擋圖像進(jìn)行圖像結(jié)構(gòu)提取處理，得到所述被遮擋圖像的結(jié)構(gòu)特征，包括：通過控制網(wǎng)絡(luò)對所述被遮擋圖像進(jìn)行結(jié)構(gòu)提取處理，得到所述被遮擋圖像的結(jié)構(gòu)特征；
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述被遮擋圖像的提示文本進(jìn)行文本編碼處理，得到所述提示文本的語義特征，包括：通過文本編碼器對所述被遮擋圖像的提示文本進(jìn)行文本編碼處理，得到所述提示文本的語義特征；
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過擴(kuò)散模型基于所述被遮擋圖像的視覺特征、所述像素級特征、所述提示文本的語義特征對初始噪聲圖進(jìn)行去噪處理，得到所述被遮擋圖像對應(yīng)的目標(biāo)修復(fù)圖像包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，基于所述初始噪聲圖與所述提示文本的語義特征進(jìn)行文本與圖像對齊處理，得到第一融合特征包括：
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，基于所述像素級特征和所述第一融合特征進(jìn)行融合處理，得到第二融合特征包括：
7.根據(jù)權(quán)利要求3所述的方法，其特征在
8.一種圖像修復(fù)裝置，其特征在于，包括：
9.一種電子設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并且可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。
...【技術(shù)特征摘要】
1.一種圖像修復(fù)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述被遮擋圖像進(jìn)行圖像結(jié)構(gòu)提取處理，得到所述被遮擋圖像的結(jié)構(gòu)特征，包括：通過控制網(wǎng)絡(luò)對所述被遮擋圖像進(jìn)行結(jié)構(gòu)提取處理，得到所述被遮擋圖像的結(jié)構(gòu)特征；
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述被遮擋圖像的提示文本進(jìn)行文本編碼處理，得到所述提示文本的語義特征，包括：通過文本編碼器對所述被遮擋圖像的提示文本進(jìn)行文本編碼處理，得到所述提示文本的語義特征；
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過擴(kuò)散模型基于所述被遮擋圖像的視覺特征、所述像素級特征、所述提示文本的語義特征對初始噪聲圖進(jìn)行去噪處理，得到所述被遮擋圖像對應(yīng)的目標(biāo)修復(fù)圖像包括：
5.根據(jù)權(quán)利要求4所述的方法，其...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：段杰，石雅潔，
申請(專利權(quán))人：深圳須彌云圖空間科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。