System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內(nèi)的位置。 參數(shù)名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及圖像渲染領(lǐng)域,具體而言,涉及一種文本到人與場景互動的生成方法及裝置。
技術(shù)介紹
1、傳統(tǒng)人工制作3d場景可以通過人工手動制作來精確控制3d資產(chǎn)的布局,從而制作出相對符合需求的3d場景。而算法合成3d場景則是通過組織訓(xùn)練數(shù)據(jù)、編寫神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),并訓(xùn)練模型參數(shù),使其具備生成3d場景的能力。然而,算法合成3d無法較為精確地控制人與場景互動的生成效果。
2、針對上述的問題,目前尚未提出有效的解決方案
技術(shù)實現(xiàn)思路
1、本專利技術(shù)實施例提供了一種文本到人與場景互動的生成方法及裝置,以至少解決生成的人與場景互動不精確的技術(shù)問題。
2、根據(jù)本專利技術(shù)實施例的一個方面,提供了一種文本到人與場景互動的生成方法,包括:獲取文本描述,基于所述文本描述識別人物與場景之間正確的空間和上下文關(guān)系;預(yù)測與所述空間和上下文關(guān)系一致的排列,生成人與場景互動。
3、根據(jù)本專利技術(shù)實施例的另一方面,還提供了一種文本到人與場景互動的生成裝置,其特征在于,包括:識別模塊,被配置為獲取文本描述,基于所述文本描述識別人物與場景之間正確的空間和上下文關(guān)系;生成模塊,被配置為預(yù)測與所述空間和上下文關(guān)系一致的排列,生成人與場景互動。
4、在本專利技術(shù)實施例中,獲取文本描述,基于所述文本描述識別人物與場景之間正確的空間和上下文關(guān)系;預(yù)測與所述空間和上下文關(guān)系一致的排列,生成人與場景互動。本申請解決了生成的人與場景互動不精確的技術(shù)問題。
【技術(shù)保護(hù)點】
1.一種文本到人與場景互動的生成方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,基于所述文本描述識別人物與場景之間正確的空間和上下文關(guān)系,包括:
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,基于連接起來的空間關(guān)系節(jié)點,來識別人物與場景之間正確的空間和上下文關(guān)系,包括:基于連接起來的空間關(guān)系節(jié)點,利用基于視覺的代碼審核,來識別場景中每一個資產(chǎn)是否滿足所述文本描述要求的約束,以確定人物與場景之間正確的空間和上下文關(guān)系。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,在場景中的資產(chǎn)不滿足所述文本描述要求的約束的情況下,利用基于大模型的代碼生成器,根據(jù)所述基于視覺的代碼審核,來修改和優(yōu)化代碼,以得到人物與場景之間正確的空間和上下文關(guān)系。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,使用視覺一致性評分函數(shù)來對所述人物與場景之間的空間和上下文關(guān)系的約束是否正確進(jìn)行判斷:
6.根據(jù)權(quán)利要求5所述的方法,其特征在于,所述視覺一致性評分函數(shù)的輸入包括資產(chǎn)布局列表、關(guān)系參數(shù)和人物動作參數(shù),其中,所述資產(chǎn)布局列表是由關(guān)系連接的空間
7.一種文本到人與場景互動的生成裝置,其特征在于,包括:
8.一種計算機(jī)可讀存儲介質(zhì),其特征在于,所述計算機(jī)可讀存儲介質(zhì)包括存儲的程序,其中,在所述程序運行時控制所述計算機(jī)可讀存儲介質(zhì)所在設(shè)備執(zhí)行權(quán)利要求1至6中任意一項所述的方法。
9.一種計算機(jī)設(shè)備,其特征在于,包括:存儲器和處理器,
10.一種計算機(jī)程序產(chǎn)品,包括計算機(jī)程序,其特征在于,該計算機(jī)程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1至6中任一項所述的方法的步驟。
...【技術(shù)特征摘要】
1.一種文本到人與場景互動的生成方法,其特征在于,包括:
2.根據(jù)權(quán)利要求1所述的方法,其特征在于,基于所述文本描述識別人物與場景之間正確的空間和上下文關(guān)系,包括:
3.根據(jù)權(quán)利要求2所述的方法,其特征在于,基于連接起來的空間關(guān)系節(jié)點,來識別人物與場景之間正確的空間和上下文關(guān)系,包括:基于連接起來的空間關(guān)系節(jié)點,利用基于視覺的代碼審核,來識別場景中每一個資產(chǎn)是否滿足所述文本描述要求的約束,以確定人物與場景之間正確的空間和上下文關(guān)系。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于,在場景中的資產(chǎn)不滿足所述文本描述要求的約束的情況下,利用基于大模型的代碼生成器,根據(jù)所述基于視覺的代碼審核,來修改和優(yōu)化代碼,以得到人物與場景之間正確的空間和上下文關(guān)系。
5.根據(jù)權(quán)利要求4所述的方法,其特征在于,使用視覺一致性評分函數(shù)來對所述人物...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員:紀(jì)智輝,
申請(專利權(quán))人:世優(yōu)宇宙成都科技有限公司,
類型:發(fā)明
國別省市:
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。