一種基于深度學習的漫畫線稿上色方法技術

本發明專利技術提供一種基于深度學習的漫畫線稿上色方法，包括：獲取成對的彩色漫畫圖片和漫畫線稿圖片作為訓練樣本；建立全自動上色模型和用戶交互式半自動上色模型，利訓練樣本對全自動上色模型和用戶交互式半自動上色模型進行訓練，獲得訓練好的全自動上色模型或用戶交互式半自動上色模型；選擇上色方式，將待上色的漫畫線稿輸入訓練好的全自動上色模型或用戶交互式半自動上色模型中，從全自動上色模型中輸出不同上色方案的上色圖片，或從用戶交互式半自動上色模型中輸出用戶指定上色方案的上色圖片。本發明專利技術能夠實現輸入一張待上色的漫畫線稿，輸出多張不同上色方案的上色圖片，上色效率高，上色效果好，并且還能輸出用戶指定上色方案的上色圖片。上色方案的上色圖片。上色方案的上色圖片。

A coloring method of comic line based on deep learning

【技術實現步驟摘要】
一種基于深度學習的漫畫線稿上色方法


[0001]本專利技術涉及圖像處理的
，更具體地，涉及一種基于深度學習的漫畫線稿上色方法。

技術介紹

[0002]在人工智能的許多領域，深度網絡已經取得了遠遠超過傳統方法的表現，包括語音、自然語言、視覺、游戲等領域。在許多任務中，經典的機器學習方法無法與深度學習比較。過去對于漫畫自動上色的方法大多基于Pix2PixGAN模型，該模型架構一個重要的缺點在于：在不加入顏色提示的情況下，對于一個線稿輸入，只能對應唯一的輸出。對于漫畫線稿上色任務來說，漫畫的上色策略應該是多樣化的，對于同一個漫畫線稿，我們可以選擇不同的配色策略(例如不同的發色、服裝顏色、膚色等)來對線稿進行著色。Paintschainer是現有基于深度學習的漫畫線稿上色應用，先后發表了3個模型來實現漫畫線稿上色，分別是Tanpopo、Satsuki和Canna，分別具有不同的上色風格。這三種模型都具有不同的缺點：Tanpopo模型存在明顯的噪聲，Satsuki模型在顏色交匯的位置會產生“光暈”現象，Canna提供了一個粉色的上色風格，上色位置、顏色不精準，在某些顏色上存在嚴重的色差，存在顏色溢出、分界模糊、不自然的問題。
[0003]2019年3月29日公開的中國專利CN109544662A中提供了一種基于SRUnet的動漫風格線稿上色方法及系統。首先建立由激勵層和殘差U網組成的動漫風格線稿上色網絡模型SRUnet；然后采用訓練集中的圖片對所述SRUnet模型進行訓練，獲得SRUnet生成的動漫風格彩色圖像；根據實際彩色圖像和所述動漫風格彩色圖像確定SRUnet的總損失值；根據所述總損失值優化SRUnet的網絡參數，得到訓練后的SRUnet，采用所述訓練后的SRUnet即可對待上色的黑白線稿圖進行上色。該方法輸入一張待上色的黑白線稿圖，只能輸出一張上色圖片，上色效率低，上色效果不好。

技術實現思路

[0004]本專利技術為克服上述現有上色方法輸出唯一上色圖片上色效率低并且上色效果差的缺陷，提供一種基于深度學習的漫畫線稿上色方法，實現了全自動上色時輸出不同上色方案的上色圖片，用戶交互式半自動上色時輸出用戶指定上色方案的上色圖片，上色效率高并且上色圖片具有優秀的上色效果。
[0005]為解決上述技術問題，本專利技術的技術方案如下：
[0006]本專利技術提供一種基于深度學習的漫畫線稿上色方法，所述方法包括以下步驟：
[0007]S1：獲取成對的彩色漫畫圖片和漫畫線稿圖片作為訓練樣本，組成訓練集；
[0008]S2：建立全自動上色模型和用戶交互式半自動上色模型，利用訓練集中的訓練樣本對全自動上色模型和用戶交互式半自動上色模型進行訓練，獲得訓練好的全自動上色模型或用戶交互式半自動上色模型；
[0009]S3：獲取待上色的漫畫線稿，選擇上色方式，將待上色的漫畫線稿輸入相應訓練好
的全自動上色模型或用戶交互式半自動上色模型中進行上色；
[0010]S4：從全自動上色模型中輸出不同上色方案的上色圖片，或從用戶交互式半自動上色模型中輸出用戶指定上色方案的上色圖片。
[0011]優選地，所述步驟S1中，漫畫線稿圖片為合成模擬漫畫線稿圖片，獲得合成模擬漫畫線稿圖片的方法：
[0012]使用邊界檢測器XDoG對彩色漫畫圖片進行線稿提取，通過改變邊界檢測器XDoG的參數，獲得不同級別線寬的漫畫線稿圖片；對漫畫線稿圖片進行位圖
?
矢量
?
位圖處理，統一線條后得到合成模擬漫畫線稿圖片。手工漫畫線稿通常不具有固定的風格與線條樣式，使用其來訓練模型，很容易會導致模型過擬合，所以采用模擬漫畫線稿圖片作為訓練集。
[0013]優選地，所述獲得訓練好的全自動上色模型的方法為：
[0014]建立全自動上色模型，包括第一特征編碼器、第一空間自適應歸一化模塊、第一生成器、第一判別器和第二判別器；
[0015]將漫畫線稿圖片輸入至第一特征編碼器中進行特征提取，獲得漫畫線稿圖片的特征圖；
[0016]將特征圖輸入第一空間自適應歸一化模塊進行歸一化，獲得歸一化的特征圖；
[0017]將歸一化的特征圖輸入第一生成器中，并向第一生成器輸入隨機隱變量，獲得上色圖片；
[0018]將上色圖片和漫畫線稿圖片對應的彩色漫畫圖片輸入第一判別器和第二判別器中，設置全自動上色模型損失函數，改變隨機隱變量，對全自動上色模型進行訓練，直到全自動上色模型損失函數收斂，獲得訓練好的全自動上色模型。
[0019]優選地，所述全自動上色模型損失函數為：
[0020][0021]式中：
[0022][0023][0024][0025]其中，p
A
表示彩色漫畫圖片數據分布，p
B
表示漫畫線稿圖片數據分布，x,y表示采樣的圖片，x～p
A
表示x采樣自彩色漫畫圖片，y～p
B
表示y采樣自漫畫線稿圖片，z1表示隨機隱變量，z1～p
z
表示隨機隱變量z1采樣自標準高斯分布；G1表示第一生成器，D
k
表示第k判別器，k＝1，2；表示第k判別器對抗損失函數，L
adv,G
(G)表示第一生成器對抗損失函數，E(*)表示分布函數的期望值。
[0026]優選地，所述獲得訓練好的用戶交互式半自動上色模型的方法為：
[0027]建立用戶交互式半自動上色模型，包括第二特征編碼器、第二空間自適應歸一化模塊、第二生成器、第三判別器、第四判別器和預訓練VGG16網絡模塊；
[0028]將漫畫線稿圖片輸入至第二特征編碼器中進行特征提取，獲得漫畫線稿圖片的特征圖；
[0029]將特征圖輸入第二空間自適應歸一化模塊進行歸一化，獲得歸一化的特征圖；
[0030]將歸一化的特征圖輸入第二生成器中，并向第二生成器輸入模擬顏色提示，獲得上色圖片；
[0031]將上色圖片和漫畫線稿圖片對應的彩色漫畫圖片輸入第三判別器、第四判別器和預訓練VGG16網絡模塊中，設置用戶交互式半自動上色模型損失函數，輸入不同的模擬顏色提示，對用戶交互式半自動上色模型進行訓練，直到用戶交互式半自動上色模型收斂，獲得訓練好的用戶交互式半自動上色模型。
[0032]優選地，獲得所述模擬顏色提示的方法為：
[0033]將彩色漫畫圖片轉化為灰度圖；使用二值化方法提取灰度圖中圖像的區域二值圖mask；
[0034]生成隨機矩陣S和隨機值α，將隨機矩陣S中小于α的元素設置為1，大于α的元素設置為0；
[0035]將隨機矩陣S與區域二值圖mask相乘，獲得采樣矩陣K，并將采樣矩陣K擴展到3通道與彩色漫畫圖片相乘，獲得模擬顏色提示。
[0036]優選地，用戶交互式半自動上色模型損失函數為：
[0037][0038]式中：
[0039][0040][0041][0042][0043]其中，p
A...

【技術保護點】

【技術特征摘要】
1.一種基于深度學習的漫畫線稿上色方法，其特征在于，包括以下步驟：S1：獲取成對的彩色漫畫圖片和漫畫線稿圖片作為訓練樣本，組成訓練集；S2：建立全自動上色模型和用戶交互式半自動上色模型，利用訓練集中的訓練樣本對全自動上色模型和用戶交互式半自動上色模型進行訓練，獲得訓練好的全自動上色模型或用戶交互式半自動上色模型；S3：獲取待上色的漫畫線稿，選擇上色方式，將待上色的漫畫線稿輸入相應訓練好的全自動上色模型或用戶交互式半自動上色模型中進行上色；S4：從全自動上色模型中輸出不同上色方案的上色圖片，或從用戶交互式半自動上色模型中輸出用戶指定上色方案的上色圖片。2.根據權利要求1所述的基于深度學習的漫畫線稿上色方法，其特征在于，所述步驟S1中，漫畫線稿圖片為合成模擬漫畫線稿圖片，獲得合成模擬漫畫線稿圖片的方法：使用邊界檢測器XDoG對彩色漫畫圖片進行線稿提取，通過改變邊界檢測器XDoG的參數，獲得不同級別線寬的漫畫線稿圖片；對漫畫線稿圖片進行位圖
?
矢量
?
位圖處理，統一線條后得到合成模擬漫畫線稿圖片。3.根據權利要求1所述的基于深度學習的漫畫線稿上色方法，其特征在于，所述獲得訓練好的全自動上色模型的方法為：建立全自動上色模型，包括第一特征編碼器、第一空間自適應歸一化模塊、第一生成器、第一判別器和第二判別器；將漫畫線稿圖片輸入至第一特征編碼器中進行特征提取，獲得漫畫線稿圖片的特征圖；將特征圖輸入第一空間自適應歸一化模塊進行歸一化，獲得歸一化的特征圖；將歸一化的特征圖輸入第一生成器中，并向第一生成器輸入隨機隱變量，獲得上色圖片；將上色圖片和漫畫線稿圖片對應的彩色漫畫圖片輸入第一判別器和第二判別器中，設置全自動上色模型損失函數，改變隨機隱變量，對全自動上色模型進行訓練，直到全自動上色模型損失函數收斂，獲得訓練好的全自動上色模型。4.根據權利要求3所述的基于深度學習的漫畫線稿上色方法，其特征在于，所述全自動上色模型損失函數為：式中：式中：式中：其中，p
A
表示彩色漫畫圖片數據分布，p
B
表示漫畫線稿圖片數據分布，x,y表示采樣的圖片，x～p
A
表示x采樣自彩色漫畫圖片，y～p
B
表示y采樣自漫畫線稿圖片，z1表示隨機隱變量，z1～p
z
表示隨機隱變量z1采樣自標準高斯分布；G1表示第一生成器，D
k
表示第k判別器，k＝1，
2；表示第k判別器對抗損失函數，L
adv,G
(G)表示第一生成器對抗損失函數，E(*)表示分布函數的期望值。5.根據權利要求1所述的基于深度學習的漫畫線稿上色方法，其特征在于，所述獲得訓練好的用戶交互式半自動上色模型的方法為：建立用戶交互式半自動上色模型，包括第二特征編碼器...

【專利技術屬性】
技術研發人員：崔金榮，練俊健，劉海龍，黃誠，鐘浩偉，
申請(專利權)人：華南農業大學，
類型：發明
國別省市：