【技術實現步驟摘要】
本專利技術屬于計算機視覺領域和圖像處理像相結合的，具體涉及一種自動分割材質并對動畫局部目標細化的方法和裝置。
技術介紹
1、人工智能在動畫制作領域的應用日益普及。隨著技術的進步，人工智能已經開始在動畫制作的各個方面發揮重要作用。例如，人工智能可以幫助動畫師自動化一些重復的任務，如顏色匹配和圖像處理，這些任務過去需要手動完成，耗時耗力。
2、人工智能還可以用于動畫場景的設計和布局。通過使用生成式對抗網絡（gan）等算法，可以根據給定的場景描述自動生成動畫場景的初稿。這可以幫助動畫師節省時間和精力，并且可以創造出獨特的有趣的場景設計。
3、在動畫制作過程中，圖像的細化是二維平面動畫制作的重要的一個流程。因為針對不同的區域和目標，需要采用不同的方式進行精細的刻畫，還原物體的細節，通常需要很強的專業知識。人工的繪畫也會因為未理解創作者的意圖和技術水平的限制達不到預期的效果，導致出現偏差。此外，細節的刻畫需要考慮到具體的材質，顏色的搭配和紋理的細節，導致二維平面的動畫制作是需要較長的時間周期和具有很高的經濟成本的。因此，可以根據局部位置定位并進行高質量的細節刻畫的研究是既必要也是極具吸引力的。
4、隨著計算機圖形學和機器學習的快速發展，動畫動漫的創作方式也隨之發生了變化。傳統的手動繪制方法正在被深度學習驅動的自動化創作所取代。深度學習模型通過學習和模擬人類藝術家的創作風格，能夠生成高質量的動畫作品。如公開號為cn118397135a的專利申請公開了一種基于深度學習的漫畫人物一致性上色的方法。如公開號為c
5、上述等現有的方法中進行局部刻畫，主要是在stable?diffusion（穩定擴散）模型中利用sam（segment?anything?model，分割一切模型）這樣的自動分割網絡生成蒙版，然后對蒙版區域采用二次編輯的方式進行局部刻畫。但是，這樣的方式有兩個不足，一是無法根據需要的類別進行準確的分割和定位，另一點是使用大模型生成局部細節時會改變原本的設計方案且生成的結果不可控。
技術實現思路
1、鑒于上述，本專利技術的目的是提供一種自動分割材質并對動畫局部目標細化的方法和裝置，能夠在復雜背景下高效準確地從動畫圖像中分割并提取局部材質目標，進一步對局部材質目標進行細化處理，以提高細節展示效果。
2、為實現上述專利技術目的，實施例提供的一種自動分割材質并對動畫局部目標細化的方法，包括以下步驟：
3、基于目標檢測器grounding?dino構建材質目標檢測模型，并利用材質目標檢測模型基于輸入的材質分類文本對動畫圖像進行目標檢測，得到材質目標框及對應的材質類別；
4、采用目標分割模型以材質目標框作為引導信息，對動畫圖像進行材質目標分割，得到材質目標的掩模圖，并基于掩模圖從動畫圖像中得到材質目標對應的動畫局部圖；
5、基于生成式對抗網絡構建圖像細化模型，采用圖像細化模型對動畫局部圖進行細化處理，并將生成的細化局部材質圖像貼合到動畫圖像。
6、優選地，基于目標檢測器grounding?dino構建材質目標檢測模型，包括：
7、準備含有固有色的動畫圖像，并為動畫圖像中的指定材質進行材質目標框和材質類別的標注，同時生成動畫圖像的內容概要，得到樣本數據；
8、固定grounding?dino中的特征提取模塊參數，以樣本數據中的動畫圖像作為圖像輸入，以內容概要作為文本輸入，分別經過特征提取模塊提取圖像特征和文本特征后，通過特征增強模塊進行特征增強和融合，然后再輸入至語言指導查詢選模塊進行選擇與輸入文本相關的特征作為解碼查詢，并將解碼查詢的特征輸入至跨模態解碼模塊進行回歸預測和材質分類，并基于預測的材質目標框和對應的材質類別構建邏輯回歸損失和分類損失來優化grounding?dino中的特征增強模塊、語言指導查詢選模塊、以及跨模態解碼模塊參數，參數優化后的grounding?dino作為材質目標檢測模型。
9、優選地，所述目標分割模型包括圖像編碼器、引導信息編碼器、以及掩碼解碼器，圖像編碼器對輸入的動畫圖像進行編碼嵌入得到圖像嵌入，引導信息編碼器用于對引導信息進行編碼嵌入得到引導嵌入，掩碼解碼器用于基于圖像嵌入和引導嵌入進行解碼并預測掩模圖。
10、優選地，所述圖像編碼器采用經掩碼自動編碼mae預訓練的vit模型；
11、所述引導信息編碼器中，對作為引導信息的材質目標框中的點和框信息進行位置編碼，位置編碼結果作為引導嵌入；
12、所述掩碼解碼器包括基于transformer的解碼模塊和掩碼預測頭，輸入的圖像嵌入和引導嵌入經過解碼模塊解碼后再經過掩碼預測頭預測掩模圖。
13、優選地，基于生成式對抗網絡構建圖像細化模型，包括：
14、準備含有固有色的動畫圖像及其對應的細節豐富圖像作為樣本數據；
15、構建包含生成器和判別器的生成式對抗網絡，其中生成器用于基于輸入的動畫圖像進行特征提取后生成細化局部材質圖像，判別器用于判別輸入的細化局部材質圖像和細節豐富圖像的真偽；
16、構建損失函數，其包括對抗損失，基于生成的細化局部材質圖像和作為標簽的細節豐富圖像之間的感知損失、風格損失、以及感知圖像塊相似度損失；
17、利用損失函數和樣本數據對生成式對抗網絡進行參數優化，參數優化后的生成器作為圖像細化模型。
18、優選地，所述生成式對抗網絡中，生成器包括第一卷積層、多個密集殘差模塊、上采樣層、第二卷積層、以及第三卷積層，且在第一卷積層的輸出與第三卷積層的輸入之間設有殘差連接，輸入的動畫圖像經過第一卷積層、密集殘差模塊特征提取后，再依據經過上采樣層、第二卷積層和第三卷積層進行上采樣和卷積計算后輸出細化局部材質圖像，判別器采用u-net結構。
19、優選地，所述對抗損失包括生成器損失和判別器損失；
20、針對感知損失，采用細化局部材質圖像和細節豐富圖像在vgg網絡中激活層前提取的每層特征圖，并基于兩圖像的所有層特征圖之間差異的加權求和作為感知損失；
21、針對風格損失，采用細化局部材質圖像和細節豐富圖像在vgg網絡中激活層前提取的每層特征圖以及每層特征圖的格拉姆矩陣，并基于兩圖像的所有層格拉姆矩陣之間差異的和作為風格損失；
22、針對感知圖像塊相似度損失，采用alexnet結構學習細化局部材質圖像和細節豐富圖像之間的相似度分數作為感知圖像塊相似度損失。
23、為實現上述專利技術目的，本專利技術實施例還提供了一種自動分割材質并對動畫局部目標細化的裝置，包括：
24、材質目標確定模塊，其用于基于目標檢測器grounding?dino構建材質目標檢測模型，并利用材質目標檢測模型基于輸入的材質分類文本對動畫圖像進行目標檢測，得到材質目標框及對應的材質類別；
25、材質目標分本文檔來自技高網...
【技術保護點】
1.一種自動分割材質并對動畫局部目標細化的方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，基于目標檢測器Grounding?DINO構建材質目標檢測模型，包括：
3.根據權利要求1所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，所述目標分割模型包括圖像編碼器、引導信息編碼器、以及掩碼解碼器，圖像編碼器對輸入的動畫圖像進行編碼嵌入得到圖像嵌入，引導信息編碼器用于對引導信息進行編碼嵌入得到引導嵌入，掩碼解碼器用于基于圖像嵌入和引導嵌入進行解碼并預測掩模圖。
4.根據權利要求3所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，所述圖像編碼器采用經掩碼自動編碼MAE預訓練的ViT模型；
5.根據權利要求1所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，基于生成式對抗網絡構建圖像細化模型，包括：
6.根據權利要求5所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，所述生成式對抗網絡中，生成器包括第一卷積層、多個密集殘差模塊、上采樣層、
7.根據權利要求5所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，所述對抗損失包括生成器損失和判別器損失；
8.一種自動分割材質并對動畫局部目標細化的裝置，其特征在于，包括：
9.一種計算設備，包括存儲器和一個或多個處理器，所述存儲器中存儲有可執行代碼，其特征在于，所述一個或多個處理器執行所述可執行代碼時，用于實現權利要求1-7中任一項所述的自動分割材質并對動畫局部目標細化的方法。
10.一種計算機可讀存儲介質，其特征在于，其上存儲有程序，該程序被處理器執行時，實現權利要求1-7中任一項所述的自動分割材質并對動畫局部目標細化的方法。
...【技術特征摘要】
1.一種自動分割材質并對動畫局部目標細化的方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，基于目標檢測器grounding?dino構建材質目標檢測模型，包括：
3.根據權利要求1所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，所述目標分割模型包括圖像編碼器、引導信息編碼器、以及掩碼解碼器，圖像編碼器對輸入的動畫圖像進行編碼嵌入得到圖像嵌入，引導信息編碼器用于對引導信息進行編碼嵌入得到引導嵌入，掩碼解碼器用于基于圖像嵌入和引導嵌入進行解碼并預測掩模圖。
4.根據權利要求3所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，所述圖像編碼器采用經掩碼自動編碼mae預訓練的vit模型；
5.根據權利要求1所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，基于生成式對抗網絡構建圖像細化模型，包括：
6.根據權利要求5所述的自動分割材質并對動畫局部目標細化的方法，其特征在于，...
【專利技術屬性】
技術研發人員：梁姬慧，陳東升，張淑君，
申請(專利權)人：杭州雪鸮網絡科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。