【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于圖像生成，具體涉及一種基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法和裝置。
技術(shù)介紹
1、在圖像生成技術(shù)的廣闊領(lǐng)域中，深度學(xué)習(xí)模型的應(yīng)用日益廣泛。然而，傳統(tǒng)的深度學(xué)習(xí)模型在精確控制的輸入條件下，生成結(jié)果難以符合所要求的結(jié)構(gòu)完整性與細(xì)節(jié)區(qū)分度，并且無法實現(xiàn)穩(wěn)定與理想的細(xì)節(jié)生成，導(dǎo)致生成圖像在質(zhì)量和多樣性上均有所欠缺。在現(xiàn)有的圖生圖
，例如二維動畫鏡頭的風(fēng)格圖像制作方面，需要利用深度學(xué)習(xí)方法實現(xiàn)圖像細(xì)節(jié)豐富度的提升，已有的技術(shù)方案主要集中在以下三個方面：匹配式訓(xùn)練、非匹配式訓(xùn)練、以及多領(lǐng)域間融合訓(xùn)練。
2、（1）匹配式訓(xùn)練。在匹配式訓(xùn)練中，其訓(xùn)練集中的源域圖像和目標(biāo)圖像一一對應(yīng)，為模型提供了明確的訓(xùn)練目標(biāo)。pix2pix是這一領(lǐng)域較為通用的框架，其以深度卷積生成對抗網(wǎng)絡(luò)為基礎(chǔ)，采用卷積、批量歸一化和relu激活函數(shù)來設(shè)計網(wǎng)絡(luò)。為了提高生成圖像的質(zhì)量和分辨率，pix2pixhd框架進(jìn)一步將生成器分為兩個子網(wǎng)絡(luò)，分別用于訓(xùn)練分辨率較低和較高的圖像，并引入多尺度判別器來鑒別真實圖像與生成圖像。此外，感知對抗網(wǎng)絡(luò)（pan）在pix2pix的基礎(chǔ)上通過加入感知損失，實現(xiàn)了通用的像素至像素的圖像轉(zhuǎn)換。此類方法通過在輸入與輸出之間構(gòu)建較為嚴(yán)格的映射關(guān)系，使得模型訓(xùn)練難度較小，但易陷入過擬合，導(dǎo)致生成結(jié)果較為單一，缺乏多樣性。
3、（2）非匹配式訓(xùn)練。在非匹配式訓(xùn)練的數(shù)據(jù)集中，輸入與輸出圖像不存在結(jié)構(gòu)關(guān)聯(lián)度，其使用目標(biāo)域中任意圖像作為源域?qū)?yīng)的標(biāo)簽，降低了數(shù)據(jù)獲取難度。較為常見的框架包括cyclegan、du
4、（3）多領(lǐng)域間融合訓(xùn)練。不同領(lǐng)域中存在多種模態(tài)的圖像，存在多領(lǐng)域映射的情況，stargan實現(xiàn)了單個網(wǎng)絡(luò)中同時映射不同領(lǐng)域的數(shù)據(jù)集，為了讓生成器學(xué)習(xí)多個領(lǐng)域間轉(zhuǎn)換的能力，其在生成器中添加目標(biāo)領(lǐng)域信息，判別器需要判斷圖像是否真實并判斷圖像屬于哪個領(lǐng)域，從而保證輸出圖像隨目標(biāo)領(lǐng)域的不同呈現(xiàn)不同效果。mnise-gan使用判別器的前部網(wǎng)絡(luò)作為風(fēng)格編碼器，加強了對于不同模態(tài)圖像風(fēng)格的區(qū)分能力，同時簡化了整體的網(wǎng)絡(luò)結(jié)構(gòu)。然而，這類方法通常需要增加網(wǎng)絡(luò)輸入噪聲等一系列外部因素，這將降低網(wǎng)絡(luò)訓(xùn)練的穩(wěn)定性，存在著一定的實現(xiàn)難度。
5、綜上，上述的各種技術(shù)方案均在一定程度上提升了圖生圖的效果，但仍然存在一些共同的問題：（1）輸入中的提示信息不足，使得模型在學(xué)習(xí)映射關(guān)系時缺乏明確的指引；（2）相關(guān)的網(wǎng)絡(luò)結(jié)構(gòu)缺乏內(nèi)部適應(yīng)能力，使得模型的學(xué)習(xí)能力受限；（3）對于數(shù)據(jù)量的要求較高，在少量訓(xùn)練數(shù)據(jù)的條件下，模型的泛化能力降低，導(dǎo)致生成效果不夠理想；（4）相關(guān)損失函數(shù)的構(gòu)成存在較大的局限性，其監(jiān)督方式無法適用于基于精準(zhǔn)生成的模型訓(xùn)練。因此，需要提供一種更為精準(zhǔn)和高質(zhì)量的圖像生成細(xì)化方法，以推動圖像生成技術(shù)的進(jìn)一步發(fā)展。
技術(shù)實現(xiàn)思路
1、鑒于上述，本專利技術(shù)的目的是提供一種基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法和裝置，以解決深度學(xué)習(xí)模型在精確控制的輸入條件下生成結(jié)果難以符合所要求的結(jié)構(gòu)完整性與細(xì)節(jié)區(qū)分度并且無法實現(xiàn)穩(wěn)定與理想的細(xì)節(jié)生成的問題，實現(xiàn)一對一精準(zhǔn)控制的圖像生成能力，利用深度學(xué)習(xí)方法實現(xiàn)圖像細(xì)節(jié)豐富度的提升，推動圖像生成技術(shù)的發(fā)展，并為二維動畫鏡頭的風(fēng)格圖像制作等領(lǐng)域提供新的解決方案。
2、為實現(xiàn)上述專利技術(shù)目的，本專利技術(shù)提供的技術(shù)方案如下：
3、本專利技術(shù)實施例提供的一種基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，包括以下步驟：
4、將動畫場景設(shè)計圖增加材質(zhì)分類信息并轉(zhuǎn)化為二值化遮罩圖，將二值化遮罩圖與動畫場景設(shè)計圖進(jìn)行通道拼接得到特征圖；
5、將特征圖輸入到帶有改進(jìn)的psa模塊的生成器網(wǎng)絡(luò)中進(jìn)行圖像生成得到細(xì)化結(jié)果圖，其中，在改進(jìn)的psa模塊中，將基于特征圖提取的細(xì)粒度特征圖經(jīng)全局最大池化得到的高頻信息和基于特征圖提取的粗粒度特征圖經(jīng)全局平均池化得到的低頻信息進(jìn)行融合，得到注意力調(diào)整后的特征圖用于細(xì)化結(jié)果圖的生成；
6、將基于unet網(wǎng)絡(luò)構(gòu)建的主判別器和基于預(yù)訓(xùn)練的視覺輔助網(wǎng)絡(luò)構(gòu)建的輔助判別器同步與生成器網(wǎng)絡(luò)進(jìn)行交替對抗訓(xùn)練，同時結(jié)合損失函數(shù)對訓(xùn)練進(jìn)行監(jiān)督，得到優(yōu)化后的生成器網(wǎng)絡(luò)作為最終的圖像細(xì)化模型；
7、將新的動畫場景設(shè)計圖輸入到圖像細(xì)化模型中進(jìn)行圖像生成以得到新的細(xì)化結(jié)果圖。
8、優(yōu)選地，所述將動畫場景設(shè)計圖增加材質(zhì)分類信息并轉(zhuǎn)化為二值化遮罩圖，將二值化遮罩圖與動畫場景設(shè)計圖進(jìn)行通道拼接得到特征圖，包括：
9、獲取包含顏色與結(jié)構(gòu)信息的rgb三通道的動畫場景設(shè)計圖并對其進(jìn)行歸一化，在歸一化后的動畫場景設(shè)計圖的基礎(chǔ)上引入材質(zhì)分類信息，即引入用于區(qū)分不同區(qū)域材質(zhì)的rgb三通道的材質(zhì)分類遮罩圖，將材質(zhì)分類遮罩圖轉(zhuǎn)化為與材質(zhì)類別相同數(shù)量的二值化遮罩圖，將所有二值化遮罩圖進(jìn)行通道拼接后再與歸一化后的動畫場景設(shè)計圖進(jìn)行通道拼接得到作為生成器網(wǎng)絡(luò)輸入的特征圖。
10、優(yōu)選地，所述將特征圖輸入到帶有改進(jìn)的psa模塊的生成器網(wǎng)絡(luò)中進(jìn)行圖像生成得到細(xì)化結(jié)果圖，包括：
11、將特征圖輸入生成器網(wǎng)絡(luò)中，首先對特征圖進(jìn)行下采樣和卷積操作后輸入改進(jìn)的psa模塊中提取得到高頻信息和低頻信息融合的注意力調(diào)整后的特征圖，將注意力調(diào)整后的特征圖輸入若干rrdb模塊再經(jīng)卷積操作進(jìn)行特征提取得到特征提取圖，將特征提取圖和注意力調(diào)整后的特征圖相加后經(jīng)上采樣和卷積操作得到生成器網(wǎng)絡(luò)輸出的細(xì)化結(jié)果圖。
12、優(yōu)選地，在改進(jìn)的psa模塊中生成注意力調(diào)整后的特征圖時，首先對下采樣和卷積操作后的特征圖利用不同卷積核尺寸的卷積層分別提取得到細(xì)粒度特征圖和粗粒度特征圖，對細(xì)粒度特征圖采用全局最大池化得到高頻信息相應(yīng)的權(quán)重向量，對粗粒度特征圖采用全局平均池化得到低頻信息相應(yīng)的權(quán)重向量，將高頻信息相應(yīng)的權(quán)重向量和低頻信息相應(yīng)的權(quán)重向量進(jìn)行通道拼接得到完整的權(quán)重向量并歸一化，將細(xì)粒度特征圖和粗粒度特征圖進(jìn)行通道拼接的拼接結(jié)果與歸一化后的完整的權(quán)重向量進(jìn)行點乘，得到注意力調(diào)整后的特征圖。
13、優(yōu)選地，所述將基于unet網(wǎng)絡(luò)構(gòu)建的主判別器和基于預(yù)訓(xùn)練的視覺輔助網(wǎng)絡(luò)構(gòu)建的輔助判別器同步與生成器網(wǎng)絡(luò)進(jìn)行交替對抗訓(xùn)練，包括：
14、將基于unet網(wǎng)絡(luò)構(gòu)建的主判別器和基于預(yù)訓(xùn)練的視覺輔助網(wǎng)絡(luò)構(gòu)建的輔助判別器共同構(gòu)成與生成器網(wǎng)絡(luò)相對的一組判別器，判別器用于將生成器網(wǎng)絡(luò)輸出的細(xì)化結(jié)果圖判定為假并將真實手繪目標(biāo)圖判定為真，通過交替對抗訓(xùn)練對判別器和生成器網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，其中，對于輔助判別器，固定其中的屬于特征提取部分的各層參數(shù)，僅更新淺層分類器的網(wǎng)絡(luò)參數(shù)。
15、優(yōu)選地，損失函數(shù)包括細(xì)化結(jié)果圖和真實手繪目標(biāo)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，所述將動畫場景設(shè)計圖增加材質(zhì)分類信息并轉(zhuǎn)化為二值化遮罩圖，將二值化遮罩圖與動畫場景設(shè)計圖進(jìn)行通道拼接得到特征圖，包括：
3.根據(jù)權(quán)利要求1所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，所述將特征圖輸入到帶有改進(jìn)的PSA模塊的生成器網(wǎng)絡(luò)中進(jìn)行圖像生成得到細(xì)化結(jié)果圖，包括：
4.根據(jù)權(quán)利要求1或3所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，在改進(jìn)的PSA模塊中生成注意力調(diào)整后的特征圖時，首先對下采樣和卷積操作后的特征圖利用不同卷積核尺寸的卷積層分別提取得到細(xì)粒度特征圖和粗粒度特征圖，對細(xì)粒度特征圖采用全局最大池化得到高頻信息相應(yīng)的權(quán)重向量，對粗粒度特征圖采用全局平均池化得到低頻信息相應(yīng)的權(quán)重向量，將高頻信息相應(yīng)的權(quán)重向量和低頻信息相應(yīng)的權(quán)重向量進(jìn)行通道拼接得到完整的權(quán)重向量并歸一化，將細(xì)粒度特征圖和粗粒度特征圖進(jìn)行通道拼接的拼接結(jié)果與歸一化后的完整的權(quán)重向量進(jìn)行點乘
5.根據(jù)權(quán)利要求1所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，所述將基于Unet網(wǎng)絡(luò)構(gòu)建的主判別器和基于預(yù)訓(xùn)練的視覺輔助網(wǎng)絡(luò)構(gòu)建的輔助判別器同步與生成器網(wǎng)絡(luò)進(jìn)行交替對抗訓(xùn)練，包括：
6.根據(jù)權(quán)利要求1所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，損失函數(shù)包括細(xì)化結(jié)果圖和真實手繪目標(biāo)圖之間的內(nèi)容損失、風(fēng)格損失、相似度損失、以及生成器網(wǎng)絡(luò)的對抗損失，公式表示如下：
7.根據(jù)權(quán)利要求6所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，內(nèi)容損失的計算包括：
8.根據(jù)權(quán)利要求7所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，風(fēng)格損失的計算包括：
9.根據(jù)權(quán)利要求6所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，相似度損失的計算包括：
10.一種基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的裝置，利用權(quán)利要求1-9任一項所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化方法實現(xiàn)，其特征在于，包括：特征圖構(gòu)建模塊、圖像細(xì)化模塊、對抗訓(xùn)練模塊、以及模型應(yīng)用模塊；
...【技術(shù)特征摘要】
1.一種基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，所述將動畫場景設(shè)計圖增加材質(zhì)分類信息并轉(zhuǎn)化為二值化遮罩圖，將二值化遮罩圖與動畫場景設(shè)計圖進(jìn)行通道拼接得到特征圖，包括：
3.根據(jù)權(quán)利要求1所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，所述將特征圖輸入到帶有改進(jìn)的psa模塊的生成器網(wǎng)絡(luò)中進(jìn)行圖像生成得到細(xì)化結(jié)果圖，包括：
4.根據(jù)權(quán)利要求1或3所述的基于對抗神經(jīng)網(wǎng)絡(luò)的動畫制作圖像細(xì)化的方法，其特征在于，在改進(jìn)的psa模塊中生成注意力調(diào)整后的特征圖時，首先對下采樣和卷積操作后的特征圖利用不同卷積核尺寸的卷積層分別提取得到細(xì)粒度特征圖和粗粒度特征圖，對細(xì)粒度特征圖采用全局最大池化得到高頻信息相應(yīng)的權(quán)重向量，對粗粒度特征圖采用全局平均池化得到低頻信息相應(yīng)的權(quán)重向量，將高頻信息相應(yīng)的權(quán)重向量和低頻信息相應(yīng)的權(quán)重向量進(jìn)行通道拼接得到完整的權(quán)重向量并歸一化，將細(xì)粒度特征圖和粗粒度特征圖進(jìn)行通道拼接的拼接結(jié)果與歸一化后的完整的權(quán)重向量進(jìn)行點乘，得到...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吳志煒，梁姬慧，陳東升，張淑君，
申請(專利權(quán))人：杭州雪鸮網(wǎng)絡(luò)科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。