【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于數(shù)字圖像處理和機器視覺領(lǐng)域，尤其涉及一種內(nèi)容圖像對象分離的風(fēng)格遷移方法。
技術(shù)介紹
1、優(yōu)秀的藝術(shù)作品往往提供不同于真實照片的信息。然而，普通人若不經(jīng)過長時間的專業(yè)訓(xùn)練，則可能無法獨立完成一幅令自己與他人滿意的藝術(shù)作品。同時，練一位真正的藝術(shù)家的需要的時間與成本也是難以估量的。不僅如此，即使是能熟練進行風(fēng)格作品繪制的藝術(shù)家，完成一幅藝術(shù)作品也需要較長的周期。為了能高效地將真實照片轉(zhuǎn)換為藝術(shù)圖像，圖像風(fēng)格遷移任務(wù)順勢而生。圖像風(fēng)格遷移旨在將一張真實照片的內(nèi)容與一張藝術(shù)作品的風(fēng)格結(jié)合起來，形成一張同時具有照片圖像內(nèi)容與藝術(shù)作品風(fēng)格的風(fēng)格化照片。在風(fēng)格遷移任務(wù)中提供內(nèi)容的圖像被稱作內(nèi)容圖像，提供風(fēng)格的圖像被稱作風(fēng)格圖像，生成的結(jié)果被稱作風(fēng)格化圖像。風(fēng)格遷移特指圖像風(fēng)格遷移。風(fēng)格遷移的發(fā)展主要可以分為兩個階段：20世紀90年代中期到2016為第一階段，其主要特征為使用數(shù)學(xué)模型模擬紋理模擬。2016至今為第二階段，其主要特征為使用深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)進行風(fēng)格遷移。二者相比，前者較為傳統(tǒng)，后者吸納新的方法，故而將第一階段稱做“傳統(tǒng)風(fēng)格遷移”，將第二階段稱做“神經(jīng)風(fēng)格遷移”。傳統(tǒng)風(fēng)格遷移通常使用數(shù)學(xué)和信號處理技術(shù)，如紋理合成、直方圖匹配和濾波等。這些方法涉及對像素的操作，以達成模擬所需風(fēng)格的目的。例如，可以通過頻域濾波來增強或減弱圖像的某些頻率成分，從而改變其外觀。傳統(tǒng)風(fēng)格遷移的優(yōu)勢在于具有更高的計算速度與更低的資源占用，但它們可能無法捕捉到更高級的藝術(shù)風(fēng)格和紋理。
2、基于神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移方法則更為靈活與高效。這些
技術(shù)實現(xiàn)思路
1、專利技術(shù)目的：本專利技術(shù)的目的在于提供一種內(nèi)容圖像對象分離的風(fēng)格遷移方法。在面對內(nèi)容主體紛亂的內(nèi)容圖像時，通過深度估計機制，引導(dǎo)風(fēng)格遷移模塊對特定區(qū)域?qū)崿F(xiàn)風(fēng)格遷移，有效解決了復(fù)雜場景風(fēng)格遷移結(jié)果雜亂的問題，并確保風(fēng)格遷移結(jié)果的背景部分與與原風(fēng)格圖像背景風(fēng)格保持高度的一致性。
2、技術(shù)方案：本專利技術(shù)的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，包括如下步驟：
3、步驟1、提取目標圖像的風(fēng)格圖像和內(nèi)容圖像，將風(fēng)格圖像輸入顯著目標檢測模塊，區(qū)分風(fēng)格圖像的主體對象與背景對象；
4、步驟2、基于內(nèi)容圖像中場景與主體多而雜、相同主體處于相同深度的特點，構(gòu)建深度估計機制，將內(nèi)容圖像輸入深度估計模塊，再根據(jù)攝影圖像拍攝自不同相機模型的模糊性，構(gòu)建標準相機空間變換，利用標準相機變換與去標準化操作估計內(nèi)容圖像中的深度信息，實現(xiàn)分離內(nèi)容圖像為興趣區(qū)域圖像與非興趣區(qū)域圖像；
5、步驟3、對于風(fēng)格圖像主體對象，基于其紋理特征明顯的特點，以傅里葉變換與深度卷積特征通道的風(fēng)格分離屬性為基礎(chǔ)，提取風(fēng)格圖像主體對象的風(fēng)格特征，并設(shè)計不透明度敏感的損失函數(shù)，對主體對象的遷移結(jié)果進行訓(xùn)練，得到風(fēng)格化主體對象遷移結(jié)果；
6、步驟4、對與風(fēng)格圖像背景對象，基于其顏色單一的特點，結(jié)合內(nèi)容非興趣對象包含較多復(fù)雜對象的特點，以背景散焦與自適應(yīng)實例歸一化為基礎(chǔ)，調(diào)整內(nèi)容非興趣對象的清晰度與風(fēng)格信息，以得到風(fēng)格化背景對象遷移結(jié)果；
7、步驟5、將風(fēng)格化主體對象遷移結(jié)果和風(fēng)格化背景對象遷移結(jié)果進行合并，實現(xiàn)目標圖像的對象分離的風(fēng)格遷移。
8、進一步的，步驟1具體包括如下步驟：
9、步驟101、使用顯著性檢測網(wǎng)絡(luò)?對風(fēng)格圖像?進行處理，獲得顯著性圖，用于表示每個像素值屬于主體的概率，公式如下：
10、
11、步驟102、根據(jù)步驟101得到的顯著性圖，將風(fēng)格圖像s分離為主體部分?與背景部分，?公式如下：
12、
13、其中，表示逐元素相乘。
14、進一步的，步驟2具體包括如下步驟：
15、步驟201、對輸入的內(nèi)容圖像?進小波分解，得到低頻分量?與高頻分量，公式如下：
16、
17、其中?表示小波變換，對高頻分量應(yīng)用非局部均值方法進行降噪，得到降噪后的高頻分量，公式如下：
18、
19、其中，權(quán)重?根據(jù)像素塊的相似度計算；
20、將低頻分量?與降噪后的高頻分量?進行小波逆變換，得到增強后的圖像：
21、
22、步驟202、將步驟?101?得到的增強后圖像轉(zhuǎn)換到標準相機空間，以消除由于不同相機模型帶來的度量模糊性，標準相機變換表示為：
23、
24、其中，表示標準相機空間變換操作，?表示標準相機模型圖像；
25、步驟203、在標準相機空間中，對步驟?202?得到的標準相機模型圖像?進行深度估計，得到標準化深度圖，公式如下：
26、
27、其中，表示深度估計模型，表示內(nèi)容圖像?的深度信息；
28、步驟204、進行歸一化操作，以減小誤差，公式如下：
29、
30、其中，表示歸一化操作，與分別表示深度信息?中的最小值與最大值；
31、步驟205、基于步驟204中歸一化后的深度信息，結(jié)合用戶輸入，將原內(nèi)容圖像?劃分成興趣區(qū)域與非興趣區(qū)域?，?創(chuàng)建掩膜?與對應(yīng)的?通道掩膜；
32、步驟206、將基于步驟?205?中得到的四種掩膜應(yīng)用于增強后的內(nèi)容圖像上，得到內(nèi)容興趣圖像?與內(nèi)容非興趣圖像；
33、進一步的，步驟205中，所述通道掩膜公式如下：
34、以表示內(nèi)容圖像劃分區(qū)域的個數(shù)，表示興趣區(qū)域掩膜：
35、
36、表示對應(yīng)興趣區(qū)域掩膜的?通道掩膜：
37、
38、?表示非興趣區(qū)域掩膜：
【技術(shù)保護點】
1.一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟1具體包括如下步驟：
3.根據(jù)權(quán)利要求1所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟2具體包括如下步驟：
4.根據(jù)權(quán)利要求3所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟205中，所述通道掩膜?公式如下：
5.根據(jù)權(quán)利要求3所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟206中，所述內(nèi)容興趣圖像??與內(nèi)容非興趣圖像?，公式如下：
6.根據(jù)權(quán)利要求1所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟3具體包括如下步驟：
7.根據(jù)權(quán)利要求6所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟304中，所述內(nèi)容損失函數(shù)用于確保風(fēng)格化后的圖像保持與原始內(nèi)容圖像相似的結(jié)構(gòu)和細節(jié)，其公式如下：
8.根據(jù)權(quán)利要求1所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟4具體包括如下步驟：
9.根據(jù)權(quán)利要
10.一種計算機裝置，包括存儲器、處理器及存儲在存儲器上的計算機程序，其特征在于，所述處理器執(zhí)行所述計算機程序以實現(xiàn)權(quán)利要求1所述方法的步驟。
...【技術(shù)特征摘要】
1.一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟1具體包括如下步驟：
3.根據(jù)權(quán)利要求1所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟2具體包括如下步驟：
4.根據(jù)權(quán)利要求3所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟205中，所述通道掩膜?公式如下：
5.根據(jù)權(quán)利要求3所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在于，步驟206中，所述內(nèi)容興趣圖像??與內(nèi)容非興趣圖像?，公式如下：
6.根據(jù)權(quán)利要求1所述的一種內(nèi)容圖像對象分離的風(fēng)格遷移方法，其特征在...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭鈺輝，周肖桐，張國慶，
申請(專利權(quán))人：南京信息工程大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。