【技術(shù)實現(xiàn)步驟摘要】
本申請涉及圖像處理，尤其涉及一種圖像生成方法、裝置及電子設(shè)備。
技術(shù)介紹
1、隨著人工智能技術(shù)的飛速發(fā)展，aigc(artificial?intelligent?generativecontent，人工智能生成內(nèi)容)在各個領(lǐng)域得到了廣泛應(yīng)用，其中包括藝術(shù)創(chuàng)作領(lǐng)域。aigc技術(shù)為藝術(shù)創(chuàng)作帶來了新的可能性和機遇，使得藝術(shù)家和創(chuàng)作者能夠借助人工智能的力量更高效地生成各種風格的藝術(shù)作品。
2、壁畫藝術(shù)作為中國古代藝術(shù)的瑰寶，以其獨特的風格、精湛的技藝和豐富的文化內(nèi)涵而聞名于世。由于年代久遠以及自然和人為等多種因素的影響，大部分壁畫都存在不同程度的損壞，壁畫缺損、模糊、色彩老化區(qū)域使得壁畫不能完整呈現(xiàn)，現(xiàn)有處理的方式是人為修復還原。然而，在操作者著手修復之前，若不能準確把握修復的內(nèi)容，則影響修復的進度或者精準性；反復地操作有可能會對壁畫產(chǎn)生進一步損壞。因此，如何對壁畫藝術(shù)進行準確地修復成為一項至關(guān)重要且具有挑戰(zhàn)性的任務(wù)。
技術(shù)實現(xiàn)思路
1、為解決或部分解決相關(guān)技術(shù)中存在的問題，本申請?zhí)峁┮环N圖像生成方法、裝置及電子設(shè)備，能夠在保證細節(jié)丟失最小化的前提下，可以有效、平滑地對大尺寸圖像進行處理，高效精準地修復獲得具有目標風格的目標圖像。
2、本申請第一方面提供一種圖像生成方法，其包括：
3、獲取待修復的原始圖像；
4、將所述原始圖像進行分割，獲得多幀原始子圖像；
5、通過預(yù)訓練的擴散模型對各幀所述原始子圖像分別進行修復，獲得對應(yīng)的修復子
6、將各幀所述修復子圖像進行拼接，獲得修復后的目標圖像。
7、一些實施方式中，根據(jù)下述方式訓練獲得所述預(yù)訓練的擴散模型：
8、獲取訓練數(shù)據(jù)，所述訓練數(shù)據(jù)包括具有所述目標風格的樣本圖像及對應(yīng)的文本標注；
9、根據(jù)所述訓練數(shù)據(jù)，對基于初始擴散模型的低秩適配模型進行訓練，獲得訓練好的低秩適配模型對應(yīng)的低秩矩陣；
10、將所述低秩矩陣添加至所述初始擴散模型的關(guān)鍵層對應(yīng)的權(quán)重矩陣中，獲得具有目標風格的擴散模型。
11、一些實施方式中，所述樣本圖像包括實景圖像和虛擬圖像，所述實景圖像的數(shù)量大于所述虛擬圖像的數(shù)量；所述文本標注的類型包括色彩風格、顏料質(zhì)感、及畫面內(nèi)容。
12、一些實施方式中，在所述通過具有目標風格的擴散模型對各幀所述原始子圖像分別進行修復，獲得對應(yīng)的修復子圖像的同時或之后，包括：
13、根據(jù)提示文本對所述修復子圖像進行優(yōu)化，和/或，對所述修復子圖像的線條、顏色及構(gòu)圖進行優(yōu)化，獲得優(yōu)化后的修復子圖像。
14、一些實施方式中，所述將所述原始圖像進行分割，獲得多幀原始子圖像，包括：
15、按照預(yù)設(shè)尺寸將所述原始圖像進行分割，獲得多幀原始子圖像；其中，相鄰的多幀原始子圖像具有重疊區(qū)域。
16、一些實施方式中，所述將各所述修復子圖像進行拼接，獲得修復后的目標圖像，包括：
17、根據(jù)各所述原始子圖像的初始位置，分別將對應(yīng)的所述修復子圖像進行拼接，獲得修復后的目標圖像；其中，相鄰的多幀所述修復子圖像的重疊區(qū)域按照預(yù)設(shè)加權(quán)規(guī)則顯示對應(yīng)的色彩強度值。
18、一些實施方式中，在將所述原始圖像進行分割之前或之后，所述方法還包括：
19、對所述原始圖像或所述原始子圖像的分辨率進行提升，獲得優(yōu)化后的所述原始圖像或所述原始子圖像。
20、本申請第二方面提供一種圖像生成裝置，其包括：
21、圖像獲取模塊，用于獲取待修復的原始圖像；
22、圖像分割模塊，用于將所述原始圖像進行分割，獲得多幀原始子圖像；
23、圖像修復模塊，用于通過具有目標風格的擴散模型對各幀所述原始子圖像分別進行修復，獲得對應(yīng)的修復子圖像；
24、圖像拼接模塊，用于將各所述修復子圖像進行拼接，獲得修復后的目標圖像。
25、一些實施方式中，所述裝置還包括細節(jié)提升模塊和/或圖像優(yōu)化模塊，其中：
26、所述細節(jié)提升模塊用于對所述原始圖像或所述原始子圖像的分辨率進行提升，獲得優(yōu)化后的原始圖像或原始子圖像；
27、所述圖像優(yōu)化模塊用于根據(jù)提示文本對所述修復子圖像進行優(yōu)化，和/或，對所述修復子圖像的線條、顏色及構(gòu)圖進行優(yōu)化，獲得優(yōu)化后的修復子圖像。
28、本申請第三方面提供一種擴散模型的訓練裝置，其用于訓練獲得第一方面所述的具有目標風格的擴散模型；所述訓練裝置包括：
29、數(shù)據(jù)獲取模塊，用于獲取訓練數(shù)據(jù)，所述訓練數(shù)據(jù)包括具有所述目標風格的樣本圖像及對應(yīng)的文本標注；
30、模型訓練模塊，用于根據(jù)所述訓練數(shù)據(jù)，對基于初始擴散模型的低秩適配模型進行訓練，獲得訓練好的低秩適配模型對應(yīng)的低秩矩陣；
31、參數(shù)更新模塊，用于將所述低秩矩陣添加至所述初始擴散模型的關(guān)鍵層對應(yīng)的權(quán)重矩陣中，獲得具有目標風格的擴散模型。
32、本申請第四方面提供一種電子設(shè)備，包括：
33、處理器；以及
34、存儲器，其上存儲有可執(zhí)行代碼，當所述可執(zhí)行代碼被所述處理器執(zhí)行時，使所述處理器執(zhí)行如上第一方面所述的圖像生成方法。
35、本申請第五方面提供一種計算機可讀存儲介質(zhì)，其上存儲有可執(zhí)行代碼，當所述可執(zhí)行代碼被電子設(shè)備的處理器執(zhí)行時，使所述處理器執(zhí)行如上第一方面所述的圖像生成方法。
36、本申請第六方面提供一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序用于執(zhí)行如上第一方面所述的圖像生成方法對應(yīng)的計算機程序代碼指令。
37、本申請?zhí)峁┑募夹g(shù)方案可以包括以下有益效果：
38、本申請的圖像生成方法，通過擴散模型進行圖生圖，基于原始圖像生成目標風格的修復后的目標圖像，使目標圖像得以完整呈現(xiàn)損壞區(qū)域的原貌；另外，通過將原始圖像先分割再拼接的方式進行處理，保證獲得完整尺寸的目標圖像，更大程度地還原每處圖像細節(jié)，確保細小區(qū)域的損壞像素毫無遺漏地修復，以生成完整且細致的目標圖像以供展示。
39、應(yīng)當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性和解釋性的，并不能限制本申請。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種圖像生成方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)下述方式訓練獲得所述預(yù)訓練的擴散模型：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述樣本圖像包括實景圖像和虛擬圖像，所述實景圖像的數(shù)量大于所述虛擬圖像的數(shù)量；
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述通過具有目標風格的擴散模型對各幀所述原始子圖像分別進行修復，獲得對應(yīng)的修復子圖像的同時或之后，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述原始圖像進行分割，獲得多幀原始子圖像，包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將各所述修復子圖像進行拼接，獲得修復后的目標圖像，包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將所述原始圖像進行分割之前或之后，所述方法還包括：
8.一種圖像生成裝置，其特征在于，包括：
9.一種擴散模型的訓練裝置，其特征在于，用于訓練獲得權(quán)利要求1-7任一項所述的具有目標風格的擴散模型；所述訓練裝置包括：
10.一種電子設(shè)備，其特
11.一種計算機可讀存儲介質(zhì)，其上存儲有可執(zhí)行代碼，當所述可執(zhí)行代碼被電子設(shè)備的處理器執(zhí)行時，使所述處理器執(zhí)行如權(quán)利要求1至7中任一項所述圖像生成方法。
...【技術(shù)特征摘要】
1.一種圖像生成方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)下述方式訓練獲得所述預(yù)訓練的擴散模型：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述樣本圖像包括實景圖像和虛擬圖像，所述實景圖像的數(shù)量大于所述虛擬圖像的數(shù)量；
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述通過具有目標風格的擴散模型對各幀所述原始子圖像分別進行修復，獲得對應(yīng)的修復子圖像的同時或之后，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述原始圖像進行分割，獲得多幀原始子圖像，包括：
6.根據(jù)權(quán)利要求5所述的方法，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：請求不公布姓名，
申請(專利權(quán))人：北京生數(shù)科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。