System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及大模型技術、圖像處理領域,具體而言,涉及一種圖像的生成方法、系統、電子設備和計算機程序產品。
技術介紹
1、目前,隨著人工智能技術的不斷發展和應用,人工智能(art?ificial?intel?ligence,簡稱為ai)模特(也即,輔助展示對象)應用越來越受到用戶的歡迎。用戶可以根據自己的需求選擇相應的姿態、屬性等,比如,服飾、動作、手勢等,從而生成符合個性化要求的ai模特。
2、在相關技術中,針對ai模特為人的情況,當利用人體姿態骨架控制模特姿態時,經常出現肢體異常問題,嚴重影響了生成圖像(也即,目標場景圖像)的美學質量,比如,圖像中ai模特出現三只腿的情況。具體地,針對ai生成圖像中肢體失真度的評估尚缺乏統一標準,往往需要依賴人類的直觀反饋來評估肢體的自然性。上述依賴人工干預的方式不僅效率低下,而且不利于提高ai模特生成效果和目標場景圖像的視覺吸引力,存在圖像生成的效果差的情況。因此,仍存在圖像的生成準確性低的技術問題。
3、針對上述的問題,目前尚未提出有效的解決方案。
技術實現思路
1、本申請實施例提供了一種圖像的生成方法、系統、電子設備和計算機程序產品,以至少解決圖像的生成準確性低的技術問題。
2、根據本申請實施例的一個方面,提供了一種圖像的生成方法。該方法可以包括:確定待處理的初始場景圖像,其中,初始場景圖像的圖像內容包括至少一展示對象;確定在初始場景圖像中的目標位置上,待繪制的輔助對象圖像,其中,輔助對象圖像的圖像內容包括
3、根據本申請實施例的另一個方面,提供了一種模型的確定方法。該方法可以包括:獲取偏好數據集,其中,偏好數據集包括基于輔助展示對象樣本的姿態圖像樣本、對象掩碼圖像樣本,以及初始場景圖像樣本生成的目標場景圖像樣本對,姿態圖像樣本用于表示輔助展示對象樣本的姿態,對象掩碼圖像樣本用于輔助展示對象樣本在初始場景圖像樣本中所處的圖像區域,目標場景圖像樣本對包括評估結果高于評估結果閾值的目標場景圖像樣本,以及評估結果低于評估結果閾值的目標場景圖像樣本;利用偏好數據集,對擴散模型進行強化學習,得到重繪模型,其中,重繪模型用于對至少一輔助展示對象的姿態圖像、輔助展示對象的對象掩碼圖像和待處理的初始場景圖像進行分析,得到目標場景圖像,輔助展示對象用于輔助展示初始場景圖像中的至少一展示對象,姿態圖像用于表示輔助展示對象的姿態,對象掩碼圖像用于表示輔助展示對象在初始場景圖像中所處的圖像區域,姿態圖像和對象掩碼圖像為基于輔助對象圖像、目標位置和初始場景圖像確定,輔助對象圖像為在初始場景圖像中的目標位置上待繪制的圖像,且輔助對象圖像的圖像內容包括輔助展示對象,目標位置包含于圖像區域。
4、根據本申請實施例的另一個方面,提供了另一種圖像的生成方法。該方法可以包括:從電子商務平臺上識別待處理的初始場景圖像,其中,初始場景圖像的圖像內容包括至少一展示產品;確定在初始場景圖像中的目標位置上,待繪制的輔助對象圖像,其中,輔助對象圖像的圖像內容包括至少一輔助展示對象,輔助展示對象用于輔助展示上述展示產品;基于輔助對象圖像、目標位置和初始場景圖像,確定輔助展示對象的姿態圖像和對象掩碼圖像,其中,姿態圖像用于表示輔助展示對象的姿態,對象掩碼圖像用于表示輔助展示對象在初始場景圖像中所處的圖像區域,圖像區域包括目標位置;利用重繪模型,對姿態圖像、對象掩碼圖像和初始場景圖像進行分析,得到目標場景圖像,其中,重繪模型為對擴散模型進行強化學習得到;將目標場景圖像返回至電子商務平臺。
5、根據本申請實施例的另一個方面,提供了另一種圖像的生成方法。該方法可以包括:響應作用于操作界面上的輸入指令,在操作界面上顯示待處理的初始場景圖像,其中,初始場景圖像的圖像內容包括至少一展示對象;響應作用于操作界面上的圖像生成指令,在操作界面上顯示初始場景圖像對應的目標場景圖像,其中,目標場景圖像為利用重繪模型對至少一輔助展示對象的姿態圖像、輔助展示對象的對象掩碼圖像和初始場景圖像進行分析得到,重繪模型為對擴散模型進行強化學習得到,輔助展示對象用于輔助展示初始場景圖像中的至少一展示對象,姿態圖像用于表示輔助展示對象的姿態,對象掩碼圖像用于表示輔助展示對象在初始場景圖像中所處的圖像區域,姿態圖像和對象掩碼圖像為基于輔助對象圖像、目標位置和初始場景圖像確定,輔助對象圖像為在初始場景圖像中的目標位置上待繪制的圖像,且輔助對象圖像的圖像內容包括輔助展示對象,目標位置包含于圖像區域。
6、根據本申請該實施例的另一個方面,提供了一種圖像的生成系統。該系統可以包括:客戶端,用于上傳待處理的初始場景圖像,其中,初始場景圖像的圖像內容包括至少一展示對象;服務器,用于確定在初始場景圖像中的目標位置上,待繪制的輔助對象圖像,其中,輔助對象圖像的圖像內容包括至少一輔助展示對象,輔助展示對象用于輔助展示上述展示對象;基于輔助對象圖像、目標位置和初始場景圖像,確定輔助展示對象的姿態圖像和對象掩碼圖像,其中,姿態圖像用于表示輔助展示對象的姿態,對象掩碼圖像用于表示輔助展示對象在初始場景圖像中所處的圖像區域,圖像區域包括目標位置;利用重繪模型,對姿態圖像、對象掩碼圖像和初始場景圖像進行分析,得到目標場景圖像,其中,重繪模型為對擴散模型進行強化學習得到;其中,客戶端用于顯示目標場景圖像。
7、根據本申請實施例的另一方面,還提供了一種電子設備,電子設備可以包括存儲器和處理器:存儲器用于存儲計算機可執行指令,處理器用于執行計算機可執行指令,上述計算機可執行指令被處理器執行時,實現上述任意一項的方法。
8、根據本申請實施例的另一方面,還提供了一種處理器,處理器用于運行程序,其中,在程序運行時執行上述任意一項的方法。
9、根據本申請實施例的另一方面,還提供了一種計算機可讀存儲介質,計算機可讀存儲介質包括存儲的程序,其中,在程序運行時控制存儲介質所在設備執行上述任意一項的方法。
10、根據本申請實施例的另一方面,還提供了一種計算機程序產品。該計算機程序產品中包括計算機程序,該計算機程序在被處理器執行時實現上述本申請實施例的方法。
11、在本申請實施例中,若需要更好地展示圖像中的展示對象,可以通過添加輔助展示對象的方式,來體現展示對象與輔助展示對象之間的交互,以輔助展示該展示對象,比如,使用展示對象。可以獲取包括展示對象的初始場景圖像。根據用戶的需求,可以從初始場景圖像中,確定出需要繪制輔助對象圖像的目標位置,并可以從大量的輔助對象圖像中篩選出滿足用戶對輔助本文檔來自技高網...
【技術保護點】
1.一種圖像的生成方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述重繪模型為利用偏好數據集對所述擴散模型進行強化學習得到,所述偏好數據集包括基于輔助展示對象樣本的姿態圖像樣本、對象掩碼圖像樣本,以及初始場景圖像樣本生成的目標場景圖像樣本對,所述姿態圖像樣本用于表示所述輔助展示對象樣本的姿態,所述對象掩碼圖像樣本用于表示所述輔助展示對象樣本在所述初始場景圖像樣本中所處的圖像區域,所述目標場景圖像樣本對包括評估結果高于評估結果閾值的目標場景圖像樣本,以及評估結果低于所述評估結果閾值的目標場景圖像樣本。
3.根據權利要求2所述的方法,其特征在于,利用重繪模型對所述姿態圖像、所述對象掩碼圖像和所述初始場景圖像進行分析,得到目標場景圖像,包括:
4.根據權利要求3所述的方法,其特征在于,利用所述重繪模型的模型參數,對所述姿態圖像、所述對象掩碼圖像和所述初始場景圖像進行分析,得到所述目標場景圖像,包括:
5.根據權利要求4所述的方法,其特征在于,利用所述姿態特征控制所述重繪模型在所述模型參數下,對所述姿態圖像、所述對象掩
6.根據權利要求5所述的方法,其特征在于,利用所述控制信息,控制所述重繪模型在所述模型參數下,對所述姿態圖像、所述對象掩碼圖像和所述初始場景圖像進行分析,得到所述目標場景圖像,包括:
7.根據權利要求6所述的方法,其特征在于,利用所述控制信息,控制所述重繪模型在所述模型參數下,對所述初始隱變量進行分析,得到中間場景圖像,包括:
8.根據權利要求6所述的方法,其特征在于,所述方法還包括:
9.根據權利要求8所述的方法,其特征在于,所述方法還包括:
10.根據權利要求8所述的方法,其特征在于,將所述中間場景圖像疊加至所述初始場景圖像,得到所述目標場景圖像,包括:
11.根據權利要求4所述的方法,其特征在于,從所述姿態圖像中提取出姿態特征,包括:
12.根據權利要求1所述的方法,其特征在于,基于所述輔助對象圖像、所述目標位置和所述初始場景圖像,確定所述輔助展示對象的姿態圖像和對象掩碼圖像,包括:
13.根據權利要求12所述的方法,其特征在于,利用姿態估計模型,對所述輔助對象圖像進行分析,得到初始姿態圖像,包括:
14.根據權利要求12所述的方法,其特征在于,將所述初始姿態圖像和所述初始對象掩碼圖像,移動至所述初始場景圖像的所述目標位置上,得到所述姿態圖像和所述對象掩碼圖像,包括:
15.根據權利要求12所述的方法,其特征在于,將所述初始姿態圖像和所述初始對象掩碼圖像,移動至所述初始場景圖像的所述目標位置上,得到所述姿態圖像和所述對象掩碼圖像,包括:
16.一種模型的確定方法,其特征在于,包括:
17.根據權利要求16所述的方法,其特征在于,利用所述偏好數據集,對擴散模型進行強化學習,得到重繪模型,包括:
18.根據權利要求17所述的方法,其特征在于,利用所述偏好數據集,對所述擴散模型交替進行強化學習和監督訓練,得到所述重繪模型,包括:
19.根據權利要求18所述的方法,其特征在于,按照所述目標訓練策略,利用所述偏好數據集對所述擴散模型進行訓練,得到所述重繪模型,包括:
20.根據權利要求18所述的方法,其特征在于,按照所述目標訓練策略,利用所述偏好數據集對所述擴散模型進行訓練,得到所述重繪模型,包括:
21.根據權利要求20所述的方法,其特征在于,基于所述第一噪聲預測結果、所述第一解碼圖像、所述第二噪聲預測結果和所述第二解碼圖像,訓練得到第一繪制模型,包括:
22.根據權利要求16至21中任意一項所述的方法,其特征在于,所述方法還包括:
23.一種圖像的生成方法,其特征在于,包括:
24.一種圖像的生成方法,其特征在于,包括:
25.一種圖像的生成系統,其特征在于,包括:
26.一種電子設備,其特征在于,包括:
27.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質包括存儲的可執行程序,其中,在所述可執行程序運行時控制所述計算機可讀存儲介質所在設備執行權利要求1至24中任意一項所述的方法。
28.一種計算機程序產品,其特征在于,包括計算機程序,所述計算機程序在被處理器執行時實現權利要求1至24中任意一項所述的方法。
...【技術特征摘要】
1.一種圖像的生成方法,其特征在于,包括:
2.根據權利要求1所述的方法,其特征在于,所述重繪模型為利用偏好數據集對所述擴散模型進行強化學習得到,所述偏好數據集包括基于輔助展示對象樣本的姿態圖像樣本、對象掩碼圖像樣本,以及初始場景圖像樣本生成的目標場景圖像樣本對,所述姿態圖像樣本用于表示所述輔助展示對象樣本的姿態,所述對象掩碼圖像樣本用于表示所述輔助展示對象樣本在所述初始場景圖像樣本中所處的圖像區域,所述目標場景圖像樣本對包括評估結果高于評估結果閾值的目標場景圖像樣本,以及評估結果低于所述評估結果閾值的目標場景圖像樣本。
3.根據權利要求2所述的方法,其特征在于,利用重繪模型對所述姿態圖像、所述對象掩碼圖像和所述初始場景圖像進行分析,得到目標場景圖像,包括:
4.根據權利要求3所述的方法,其特征在于,利用所述重繪模型的模型參數,對所述姿態圖像、所述對象掩碼圖像和所述初始場景圖像進行分析,得到所述目標場景圖像,包括:
5.根據權利要求4所述的方法,其特征在于,利用所述姿態特征控制所述重繪模型在所述模型參數下,對所述姿態圖像、所述對象掩碼圖像和所述初始場景圖像進行分析,得到所述目標場景圖像,包括:
6.根據權利要求5所述的方法,其特征在于,利用所述控制信息,控制所述重繪模型在所述模型參數下,對所述姿態圖像、所述對象掩碼圖像和所述初始場景圖像進行分析,得到所述目標場景圖像,包括:
7.根據權利要求6所述的方法,其特征在于,利用所述控制信息,控制所述重繪模型在所述模型參數下,對所述初始隱變量進行分析,得到中間場景圖像,包括:
8.根據權利要求6所述的方法,其特征在于,所述方法還包括:
9.根據權利要求8所述的方法,其特征在于,所述方法還包括:
10.根據權利要求8所述的方法,其特征在于,將所述中間場景圖像疊加至所述初始場景圖像,得到所述目標場景圖像,包括:
11.根據權利要求4所述的方法,其特征在于,從所述姿態圖像中提取出姿態特征,包括:
12.根據權利要求1所述的方法,其特征在于,基于所述輔助對象圖像、所述目標位置和所述初始場景圖像,確定所述輔助展示對象的姿態圖像和對象掩碼圖像,包括:
...【專利技術屬性】
技術研發人員:曾子茹,宋瑾,孔胤棟,費義云,楊瑞高,蔣健安,
申請(專利權)人:浙江天貓技術有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。