【技術實現步驟摘要】
本專利技術涉及計算機，具體涉及一種三維場景的圖像風格化編輯方法、裝置、設備及介質。
技術介紹
1、3d模型風格化是三維模型外觀編輯的一種重要方式，它可以在給定單一參考風格圖像的情況下實現一致的三維風格化，即是從任意風格的2d風格圖像到3d場景的一致風格轉換。3d場景風格轉移的目的是將參考風格圖像風格轉移到3d場景中，同時兼顧風格一致性、內容保真度和多視角一致性等。
2、目前，利用迭代數據集更新策略將圖像編輯提升到三維空間，從而實現3d模型的顏色和紋理等的編輯。這些編輯應用于原始生成場景的數據集圖像。最近，提出一種高效的特征渲染策略，能夠快速渲染高維vgg（visual?geometry?group，視覺幾何組）特征，然而，這種方法需要事先學習樣式圖像，并將其集成到三維高斯特征中，雖然該方法取得了一定3d風格化編輯效果，但仍存在參考風格圖像內容泄露和3d場景幾何過度編輯（如發生變形）等問題。
技術實現思路
1、有鑒于此，本專利技術提供了一種三維場景的圖像風格化編輯方法、裝置、設備及介質，以提高基于參考風格圖像的3d風格化效果，并在保證風格一致的前提下，保證3d內容的保真度和多視角一致性。
2、第一方面，本專利技術提供了一種三維場景的圖像風格化編輯方法，所述方法包括：
3、獲取源三維模型和參考風格圖像，以及獲取第一圖像風格化編輯網絡和第二圖像風格化編輯網絡；
4、對所述源三維模型渲染得到單視角圖像，作為待編輯圖像，以及解耦得到所述待編輯圖
5、將所述內容特征和所述風格特征作為去噪信息，利用圖像擴散損失分別優化添加低秩適配功能的第一圖像風格化編輯網絡和第二圖像風格化編輯網絡，構建第三圖像風格化編輯網絡，所述第三圖像風格化編輯網絡中的跨注意力層上添加低秩適配功能；
6、將所述待編輯圖像和所述參考風格圖像輸入所述第三圖像風格化編輯網絡處理，輸出風格化編輯后的單視角圖像；
7、利用基于3d內容和風格聯合的優化策略，迭代更新所述風格化編輯后的單視角圖像得到風格化編輯后的3d模型。
8、結合第一方面，在一種可能的實施方式中，解耦得到所述參考風格圖像的風格特征，包括：
9、利用圖像標題生成方法對所述參考風格圖像進行解析，得到參考風格圖像的參考文本；
10、使用預訓練模型中的文本編碼器提取所述參考文本的文本特征，并將所述文本特征作為所述參考風格圖像的內容特征；
11、利用預訓練模型中的圖像編碼器提取所述參考風格圖像的圖像特征；
12、利用所述預訓練模型將所述圖像特征和所述內容特征計算，得到所述參考風格圖像的風格特征。
13、本專利技術提供的三維場景的圖像風格化編輯方法，先利用第一圖像風格化編輯網絡學習待編輯圖像的內容特征，然后利用第二圖像風格化編輯網絡學習參考風格圖像的風格特征；利用圖像擴散損失分別優化添加低秩適配功能的兩個圖像風格化編輯網絡，構建成第三圖像風格化編輯網絡，由于該第三圖像風格化編輯網絡的跨注意力層上添加低秩適配功能，如lora層，并且從參考風格圖像的內容以及風格特征解耦，因此利用該第三圖像風格化編輯網絡對待編輯圖像和參考風格圖像處理，輸出符合參考風格圖像風格的單視角圖像。最后，基于3d內容和風格聯合優化兩個角度，迭代更新上述風格化編輯后的單視角圖像，得到風格化編輯后的3d模型，提高基于參考風格圖像的3d風格化效果，在保證風格一致的前提下，保證3d內容的保真度和多視角一致性。
14、結合第一方面，在另一種可能的實施方式中，若參考風格圖像的數量為多個，且屬于同一風格，則使用預訓練模型中的文本編碼器提取所述參考文本的文本特征，并將所述文本特征作為所述參考風格圖像的內容特征，包括：
15、利用語言大模型將多個參考文本合成一個文本描述；
16、使用所述預訓練模型中的文本編碼器提取所述文本描述的總文本特征，并將所述總文本特征作為多個參考風格圖像的內容特征；
17、利用預訓練模型中的圖像編碼器提取參考風格圖像的圖像特征，包括：
18、利用該圖像編碼器分別提取多個參考風格圖像的圖像特征；
19、對所述多個參考風格圖像的圖像特征取均值，得到所述圖像特征。
20、結合第一方面，在又一種可能的實施方式中，所述利用第一圖像風格化編輯網絡學習所述待編輯圖像的內容特征之前，還包括：
21、獲取基礎擴散模型；
22、添加低秩適配功能訓練優化所述基礎擴散模型，生成所述第一圖像風格化編輯網絡；
23、其中，所述第一圖像風格化編輯網絡中包括11個轉換器模塊，每個所述轉換器模塊中包括自注意力層和跨注意力層；所述跨注意力層用于將文本或圖像特征提示作為指導信息，指導圖像生成，所述低秩適配功能用于優化所述跨注意力層。
24、結合第一方面，在又一種可能的實施方式中，將所述內容特征和所述風格特征作為去噪信息，利用圖像擴散損失分別優化添加低秩適配功能的第一圖像風格化編輯網絡和第二圖像風格化編輯網絡，構建第三圖像風格化編輯網絡，包括：
25、將所述待編輯圖像的內容特征輸入所述第一圖像風格化編輯網絡，作為第一去噪信息，并在所述第一圖像風格化編輯網絡中添加低秩適配功能，利用所述圖像擴散損失優化添加低秩適配功能的所述第一圖像風格化編輯網絡；
26、將所述參考風格圖像的風格特征輸入所述第二圖像風格化編輯網絡，作為第二去噪信息，并在所述第二圖像風格化編輯網絡中添加低秩適配功能，利用所述圖像擴散損失優化添加低秩適配功能的所述第二圖像風格化編輯網絡；
27、根據優化后的兩個圖像風格化編輯網絡，構建第三圖像風格化編輯網絡。
28、結合第一方面，在又一種可能的實施方式中，所述根據優化后的兩個圖像風格化編輯網絡，構建第三圖像風格化編輯網絡，包括：
29、根據優化后的第一圖像風格化編輯網絡和優化后的第二圖像風格化編輯網絡，在11個轉換器模塊中，將第5個和第6個轉換器模塊替換為所述第二圖像風格化編輯網絡中第5個和6個轉換器模塊；將第1至第4個，第7至第11個轉換器模塊替換為所述第一圖像風格化編輯網絡中對應的模塊，生成所述第三圖像風格化編輯網絡。
30、其中，所述第三圖像風格化編輯網絡中的第5個和6個轉換器模塊的跨注意力層上添加有低秩適配功能。
31、結合第一方面，在又一種可能的實施方式中，所述方法還包括：
32、在所述第三圖像風格化編輯網絡中，將所述待編輯圖像的內容特征輸入到所述第三圖像風格化編輯網絡中所有的轉換器模塊，作為內容去噪指導信息；
33、將所述參考風格圖像的風格特征輸入到所述第三圖像風格化編輯網絡的第5個和第6個轉換器模塊作為風格去噪指導信息。
34、結合第一方面，在又一種可能的實施方式中，所述利用基于3d內容和風格聯合的優化策略，迭代更新所述風格化本文檔來自技高網...
【技術保護點】
1.一種三維場景的圖像風格化編輯方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，解耦得到所述參考風格圖像的風格特征，包括：
3.根據權利要求2所述的方法，其特征在于，若參考風格圖像的數量為多個，且屬于同一風格，則使用預訓練模型中的文本編碼器提取所述參考風格圖像的文本特征，并將所述文本特征作為所述參考風格圖像的內容特征，包括：
4.根據權利要求1所述的方法，其特征在于，所述獲取第一圖像風格化編輯網絡，包括：
5.根據權利要求4所述的方法，其特征在于，將所述內容特征和所述風格特征作為去噪信息，利用圖像擴散損失分別優化添加低秩適配功能的第一圖像風格化編輯網絡和第二圖像風格化編輯網絡，構建第三圖像風格化編輯網絡，包括：
6.根據權利要求5所述的方法，其特征在于，所述根據優化后的兩個圖像風格化編輯網絡，構建第三圖像風格化編輯網絡，包括：
7.根據權利要求6所述的方法，其特征在于，所述方法還包括：
8.根據權利要求1-7中任一項所述的方法，其特征在于，所述利用基于3D內容和風格聯合
9.根據權利要求8所述的方法，其特征在于，構建所述多損失函數中的風格化損失，包括：
10.根據權利要求8所述的方法，其特征在于，構建所述多損失函數中的內容保持損失，包括：
11.根據權利要求10所述的方法，其特征在于，構建所述多損失函數中的幾何保持損失，包括：
12.根據權利要求9所述的方法，其特征在于，構建所述多損失函數中的一致性損失，包括：
13.一種三維場景的圖像風格化編輯裝置，其特征在于，所述裝置包括：
14.一種電子設備，其特征在于，包括存儲器和處理器，所述存儲器和所述處理器相連接；
15.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機指令，所述計算機指令用于使計算機執行權利要求1至12中任一項所述的三維場景的圖像風格化編輯方法。
16.一種計算機程序產品，其特征在于，包括計算機指令，所述計算機指令用于使計算機執行權利要求1至12中任一項所述的三維場景的圖像風格化編輯方法。
...【技術特征摘要】
1.一種三維場景的圖像風格化編輯方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，解耦得到所述參考風格圖像的風格特征，包括：
3.根據權利要求2所述的方法，其特征在于，若參考風格圖像的數量為多個，且屬于同一風格，則使用預訓練模型中的文本編碼器提取所述參考風格圖像的文本特征，并將所述文本特征作為所述參考風格圖像的內容特征，包括：
4.根據權利要求1所述的方法，其特征在于，所述獲取第一圖像風格化編輯網絡，包括：
5.根據權利要求4所述的方法，其特征在于，將所述內容特征和所述風格特征作為去噪信息，利用圖像擴散損失分別優化添加低秩適配功能的第一圖像風格化編輯網絡和第二圖像風格化編輯網絡，構建第三圖像風格化編輯網絡，包括：
6.根據權利要求5所述的方法，其特征在于，所述根據優化后的兩個圖像風格化編輯網絡，構建第三圖像風格化編輯網絡，包括：
7.根據權利要求6所述的方法，其特征在于，所述方法還包括：
8.根據權利要求1-7中任一項所述的方法，其特征在于，所述利用基于3d內容和風格聯合的優...
【專利技術屬性】
技術研發人員：盧麗華，趙雅倩，李茹楊，魏輝，張曉輝，董剛，
申請(專利權)人：蘇州元腦智能科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。