【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及大模型技術(shù)、圖像處理，具體而言，涉及一種圖像的生成方法、模型的確定方法和圖像的生成系統(tǒng)。
技術(shù)介紹
1、目前，為了便于用戶查看待展示對(duì)象放置在自己家中的搭配效果，可以將待展示對(duì)象融入至用戶場(chǎng)景中，實(shí)現(xiàn)用戶在自己家查看待展示對(duì)象的搭配效果的目的。
2、相關(guān)技術(shù)中，直接使用摳圖的方式，將白底圖商品透明圖層化，進(jìn)而將透明圖層化貼到背景場(chǎng)景中，以實(shí)現(xiàn)將待展示對(duì)象融入背景場(chǎng)景的目的，但這種圖像生成方式缺乏對(duì)細(xì)節(jié)信息的提取能力，導(dǎo)致生成的圖像光影不自然，效果較差。
3、針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供了一種圖像的生成方法、模型的確定方法和圖像的生成系統(tǒng)，以至少解決相關(guān)技術(shù)中圖像生成效果差的技術(shù)問(wèn)題。
2、根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種圖像的生成方法，該方法包括：確定待處理的初始對(duì)象圖像和掩碼圖像，其中，初始對(duì)象圖像的圖像內(nèi)容包括位于純色背景上的至少一待展示對(duì)象，掩碼圖像用于表示待展示對(duì)象在初始場(chǎng)景圖像中待展示至的圖像區(qū)域；利用圖像處理模型將初始對(duì)象圖像作為掩碼圖像的視覺(jué)參考信息，預(yù)測(cè)得到掩碼圖像對(duì)應(yīng)的預(yù)測(cè)對(duì)象圖像，其中，圖像處理模型為利用對(duì)象圖像樣本和視覺(jué)編碼器，對(duì)擴(kuò)散模型訓(xùn)練得到，預(yù)測(cè)對(duì)象圖像的圖像內(nèi)容包括位于透明背景上的待展示對(duì)象，位于透明背景上的待展示對(duì)象與掩碼圖像所表示的圖像區(qū)域相關(guān)聯(lián)；將預(yù)測(cè)對(duì)象圖像疊加至初始場(chǎng)景圖像中，得到目標(biāo)場(chǎng)景圖像，其中，目標(biāo)場(chǎng)景圖像用于表示待展示對(duì)象在圖像區(qū)域
3、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種模型的確定方法，該方法包括：獲取對(duì)象圖像樣本；利用對(duì)象圖像樣本和視覺(jué)編碼器，對(duì)擴(kuò)散模型進(jìn)行訓(xùn)練，得到圖像處理模型，其中，圖像處理模型用于將待處理的初始對(duì)象圖像作為掩碼圖像的視覺(jué)參考信息，預(yù)測(cè)得到掩碼圖像對(duì)應(yīng)的預(yù)測(cè)對(duì)象圖像，初始對(duì)象圖像的圖像內(nèi)容包括位于純色背景上的至少一待展示對(duì)象，掩碼圖像用于表示待展示對(duì)象在初始場(chǎng)景圖像中待展示至的圖像區(qū)域，預(yù)測(cè)對(duì)象圖像的圖像內(nèi)容包括位于透明背景上的待展示對(duì)象，位于透明背景上的待展示對(duì)象與掩碼圖像所表示的圖像區(qū)域相關(guān)聯(lián)，預(yù)測(cè)對(duì)象圖像用于疊加至初始場(chǎng)景圖像中，得到目標(biāo)場(chǎng)景圖像，目標(biāo)場(chǎng)景圖像用于表示待展示對(duì)象在圖像區(qū)域中展示的結(jié)果。
4、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種圖像的生成方法，該方法包括：從電子商務(wù)平臺(tái)上識(shí)別待處理的初始產(chǎn)品圖像，其中，初始產(chǎn)品圖像的圖像內(nèi)容包括位于純色背景上的至少一待展示產(chǎn)品；利用圖像處理模型將初始產(chǎn)品圖像作為掩碼圖像的視覺(jué)參考信息，預(yù)測(cè)得到掩碼圖像對(duì)應(yīng)的預(yù)測(cè)產(chǎn)品圖像，其中，圖像處理模型為利用產(chǎn)品圖像樣本和視覺(jué)編碼器，對(duì)擴(kuò)散模型訓(xùn)練得到，掩碼圖像用于表示待展示產(chǎn)品在初始場(chǎng)景圖像中待展示至的圖像區(qū)域，預(yù)測(cè)產(chǎn)品圖像的圖像內(nèi)容包括位于透明背景上的待展示產(chǎn)品，位于透明背景上的待展示產(chǎn)品與掩碼圖像所表示的圖像區(qū)域相關(guān)聯(lián)；將預(yù)測(cè)產(chǎn)品圖像疊加至初始場(chǎng)景圖像中，得到目標(biāo)場(chǎng)景圖像，其中，目標(biāo)場(chǎng)景圖像用于表示待展示產(chǎn)品在圖像區(qū)域中展示的結(jié)果；將目標(biāo)場(chǎng)景圖像返回至電子商務(wù)平臺(tái)。
5、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種圖像的生成方法，該方法包括：響應(yīng)作用于操作界面上的輸入指令，在操作界面上顯示待處理的初始對(duì)象圖像和掩碼圖像，其中，初始對(duì)象圖像的圖像內(nèi)容包括位于純色背景上的至少一待展示對(duì)象，掩碼圖像用于表示待展示對(duì)象在初始場(chǎng)景圖像中待展示至的圖像區(qū)域；響應(yīng)作用于操作界面上的圖像生成指令，在操作界面上顯示掩碼圖像對(duì)應(yīng)的預(yù)測(cè)對(duì)象圖像，其中，預(yù)測(cè)對(duì)象圖像為利用圖像處理模型將初始對(duì)象圖像作為掩碼圖像的視覺(jué)參考信息，且對(duì)視覺(jué)參考信息預(yù)測(cè)得到，預(yù)測(cè)對(duì)象圖像的圖像內(nèi)容包括位于透明背景上的待展示對(duì)象，位于透明背景上的待展示對(duì)象與掩碼圖像所表示的圖像區(qū)域相關(guān)聯(lián)，圖像處理模型為利用對(duì)象圖像樣本和視覺(jué)編碼器，對(duì)擴(kuò)散模型訓(xùn)練得到；在操作界面上，顯示預(yù)測(cè)對(duì)象圖像對(duì)應(yīng)的目標(biāo)場(chǎng)景圖像，其中，目標(biāo)場(chǎng)景圖像為將預(yù)測(cè)對(duì)象圖像疊加至初始場(chǎng)景圖像中得到，目標(biāo)場(chǎng)景圖像用于表示待展示對(duì)象在圖像區(qū)域中展示的結(jié)果。
6、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種圖像的生成系統(tǒng)，該系統(tǒng)包括：客戶端，用于上傳待處理的初始對(duì)象圖像，其中，初始對(duì)象圖像的圖像內(nèi)容包括位于純色背景上的至少一待展示對(duì)象；服務(wù)器，用于利用圖像處理模型將初始對(duì)象圖像作為掩碼圖像的視覺(jué)參考信息，預(yù)測(cè)得到掩碼圖像對(duì)應(yīng)的預(yù)測(cè)對(duì)象圖像，其中，圖像處理模型為利用對(duì)象圖像樣本和視覺(jué)編碼器，對(duì)擴(kuò)散模型訓(xùn)練得到，掩碼圖像用于表示待展示對(duì)象在初始場(chǎng)景圖像中待展示至的圖像區(qū)域，預(yù)測(cè)對(duì)象圖像的圖像內(nèi)容包括位于透明背景上的待展示對(duì)象，位于透明背景上的待展示對(duì)象與掩碼圖像所表示的圖像區(qū)域相關(guān)聯(lián)；將預(yù)測(cè)對(duì)象圖像疊加至初始場(chǎng)景圖像中，得到目標(biāo)場(chǎng)景圖像，其中，目標(biāo)場(chǎng)景圖像用于表示待展示對(duì)象在圖像區(qū)域中展示的結(jié)果；將目標(biāo)場(chǎng)景圖像返回至客戶端進(jìn)行顯示。
7、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)終端，包括：存儲(chǔ)器，存儲(chǔ)有可執(zhí)行程序；處理器，用于運(yùn)行程序，其中，程序運(yùn)行時(shí)執(zhí)行本申請(qǐng)各個(gè)實(shí)施例中的方法。
8、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的可執(zhí)行程序，其中，在可執(zhí)行程序運(yùn)行時(shí)控制計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行本申請(qǐng)各個(gè)實(shí)施例中的方法。
9、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)各個(gè)實(shí)施例中的方法。
10、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)各個(gè)實(shí)施例中的方法。
11、根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本申請(qǐng)各個(gè)實(shí)施例中的方法。
12、在本申請(qǐng)實(shí)施例中，確定待處理的初始對(duì)象圖像和掩碼圖像，其中，初始對(duì)象圖像的圖像內(nèi)容包括位于純色背景上的至少一待展示對(duì)象，掩碼圖像用于表示待展示對(duì)象在初始場(chǎng)景圖像中待展示至的圖像區(qū)域；利用圖像處理模型將初始對(duì)象圖像作為掩碼圖像的視覺(jué)參考信息，預(yù)測(cè)得到掩碼圖像對(duì)應(yīng)的預(yù)測(cè)對(duì)象圖像，其中，圖像處理模型為利用對(duì)象圖像樣本和視覺(jué)編碼器，對(duì)擴(kuò)散模型訓(xùn)練得到，預(yù)測(cè)對(duì)象圖像的圖像內(nèi)容包括位于透明背景上的待展示對(duì)象，位于透明背景上的待展示對(duì)象與掩碼圖像所表示的圖像區(qū)域相關(guān)聯(lián)；將預(yù)測(cè)對(duì)象圖像疊加至初始場(chǎng)景圖像中，得到目標(biāo)場(chǎng)景圖像，其中，目標(biāo)場(chǎng)景圖像用于表示待展示對(duì)象在圖像區(qū)域中展示的結(jié)果。也就是說(shuō)，在本申請(qǐng)實(shí)施例中，初始對(duì)象圖像的圖像內(nèi)容包括位于純色背景上的至少一待展示對(duì)象，圖像處理模型為利用對(duì)象圖像樣本和視覺(jué)編碼器預(yù)先訓(xùn)練好的模型，基于此，通過(guò)圖像處理模型能夠有效捕捉初始對(duì)象圖像中的細(xì)節(jié)信息，而且掩碼圖像用于表示待展示對(duì)象在初始場(chǎng)景圖像中待展示至的圖像區(qū)域，基于此，利用掩碼圖像可以指定待展示對(duì)象在初始場(chǎng)景中放置的區(qū)本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種圖像的生成方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用圖像處理模型將所述初始對(duì)象圖像作為所述掩碼圖像的視覺(jué)參考信息，預(yù)測(cè)得到所述掩碼圖像對(duì)應(yīng)的預(yù)測(cè)對(duì)象圖像，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于所述預(yù)測(cè)噪聲信息和所述初始噪聲信息，生成所述預(yù)測(cè)對(duì)象圖像，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，利用所述圖像處理模型將所述初始對(duì)象圖像作為所述視覺(jué)參考信息，來(lái)對(duì)所述初始噪聲信息進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)噪聲信息，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，對(duì)所述初始對(duì)象圖像進(jìn)行變換，得到變換后的所述初始對(duì)象圖像，包括：
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，利用所述圖像處理模型將變換后的所述初始對(duì)象圖像作為所述視覺(jué)參考信息，來(lái)對(duì)所述初始噪聲信息進(jìn)行預(yù)測(cè)，得到所述預(yù)測(cè)噪聲信息，包括：
7.根據(jù)權(quán)利要求1至6中任意一項(xiàng)所述的方法，其特征在于，所述方法還包括：
8.一種模型的確定方法，其特征在于，包括：
9.根據(jù)權(quán)利要求8所述的方法，其
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，對(duì)所述初始對(duì)象圖像樣本進(jìn)行變換，得到變換后的所述初始對(duì)象圖像樣本，包括：
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，利用變換后的所述對(duì)象圖像樣本和所述視覺(jué)編碼器，對(duì)所述擴(kuò)散模型進(jìn)行訓(xùn)練，得到所述圖像處理模型，包括：
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述對(duì)象圖像樣本包括預(yù)測(cè)對(duì)象圖像樣本，所述預(yù)測(cè)對(duì)象圖像樣本的圖像內(nèi)容包括位于透明背景樣本上的至少一展示對(duì)象樣本，所述方法還包括：
13.根據(jù)權(quán)利要求12所述的方法，其特征在于，對(duì)所述預(yù)測(cè)對(duì)象圖像樣本中不同顏色通道的圖層進(jìn)行編碼，得到編碼特征，包括：
14.根據(jù)權(quán)利要求13所述的方法，其特征在于，所述方法還包括：
15.根據(jù)權(quán)利要求12所述的方法，其特征在于，所述方法還包括：
16.根據(jù)權(quán)利要求15所述的方法，其特征在于，利用所述掩碼圖像樣本、所述掩碼圖像樣本對(duì)應(yīng)的背景圖像樣本、所述目標(biāo)對(duì)象圖像樣本、所述預(yù)測(cè)對(duì)象圖像樣本、添加了初始噪聲信息樣本的所述重建結(jié)果和所述標(biāo)記結(jié)果樣本，對(duì)所述擴(kuò)散模型進(jìn)行訓(xùn)練，得到所述圖像處理模型，包括：
17.一種圖像的生成方法，其特征在于，包括：
18.一種圖像的生成方法，其特征在于，包括：
19.一種圖像的生成系統(tǒng)，其特征在于，包括：
20.一種電子設(shè)備，其特征在于，包括：
21.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的可執(zhí)行程序，其中，在所述可執(zhí)行程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求1至18中任意一項(xiàng)所述的方法。
22.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至18中任意一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種圖像的生成方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用圖像處理模型將所述初始對(duì)象圖像作為所述掩碼圖像的視覺(jué)參考信息，預(yù)測(cè)得到所述掩碼圖像對(duì)應(yīng)的預(yù)測(cè)對(duì)象圖像，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于所述預(yù)測(cè)噪聲信息和所述初始噪聲信息，生成所述預(yù)測(cè)對(duì)象圖像，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，利用所述圖像處理模型將所述初始對(duì)象圖像作為所述視覺(jué)參考信息，來(lái)對(duì)所述初始噪聲信息進(jìn)行預(yù)測(cè)，得到預(yù)測(cè)噪聲信息，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，對(duì)所述初始對(duì)象圖像進(jìn)行變換，得到變換后的所述初始對(duì)象圖像，包括：
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，利用所述圖像處理模型將變換后的所述初始對(duì)象圖像作為所述視覺(jué)參考信息，來(lái)對(duì)所述初始噪聲信息進(jìn)行預(yù)測(cè)，得到所述預(yù)測(cè)噪聲信息，包括：
7.根據(jù)權(quán)利要求1至6中任意一項(xiàng)所述的方法，其特征在于，所述方法還包括：
8.一種模型的確定方法，其特征在于，包括：
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述對(duì)象圖像樣本包括不同視角下的初始對(duì)象圖像樣本，所述初始對(duì)象圖像樣本的圖像內(nèi)容包括位于純色背景樣本上的至少一展示對(duì)象樣本，利用所述對(duì)象圖像樣本和視覺(jué)編碼器，對(duì)擴(kuò)散模型進(jìn)行訓(xùn)練，得到圖像處理模型，包括：
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，對(duì)所述初始對(duì)象圖像樣本進(jìn)行變換，得到變換后的所述初始對(duì)象圖像樣本，包括：
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，利用變換...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：徐佳宜，李國(guó)球，宋瑾，費(fèi)義云，楊瑞高，蔣健安，
申請(qǐng)(專利權(quán))人：浙江天貓技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。