System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及圖形生成,尤其涉及一種基于aigc的視頻動畫智能生成系統。
技術介紹
1、aigc技術廣泛應用于文生視頻、圖生視頻技術,如runway、pika?labs、sd?+deforum等;視頻生視頻技術,包括逐幀生成、關鍵幀+補幀、動態捕捉和視頻修復技術;以及ai?avatar+語音生成技術,如synthesia、heygen?ai、d-id等。這些技術涉及從文本到視頻的轉換、圖像到視頻的轉換以及視頻內容的自動化生成等多種功能,極大地提高了高質量視頻制作的效率。
2、中國專利授權公告號cn118632049b提供了一種aigc短劇生成信息處理方法及系統,通過目標分鏡的人物說話文本的期望傳達情感信息以及目標分鏡中每句臺詞的臺詞語義情感信息生成多個臉部動作關鍵幀標識;根據用戶針對多個臉部動作關鍵幀標識的第二選擇操作確定至少兩個目標臉部動作關鍵幀標識,至少兩個目標臉部動作關鍵幀標識對應的視頻時間范圍至少包括第一視頻時間范圍;根據至少兩個目標臉部動作關鍵幀標識調整目標分鏡以得到更新后的目標分鏡。該申請實現了設備處理短劇視頻數據時立體化呈現人物劇情期望傳達情感信息的功能,有利于提高設備處理分鏡中人物臉部影像的精細度、準確度。
3、中國專利授權公告號cn118051944b提供了一種利用aigc技術實現生成式內容個性化定制的方法和系統,涉及人工智能
,主要解決的問題是系統數據質量不高、系統不能保持長期穩定和用戶隱私性低,利用aigc技術實現生成式內容個性化定制系統包括數據收集模塊、數據處理模塊、內容生成
4、但是,上述方法存在以下問題:在生成的圖像變動較大時,無法保證視頻的連貫性。
技術實現思路
1、為此,本專利技術提供一種基于aigc的視頻動畫智能生成系統,用以克服現有技術中在生成的圖像與基礎圖像的改變變動較大時,無法保證視頻的連貫性。
2、為實現上述目的,本專利技術提供一種基于aigc的視頻動畫智能生成系統,包括:
3、采集器,用以輸入基礎圖片以及目標圖片詞匯;
4、目標編輯器,其與所述采集器相連,用以根據目標詞匯生成與基礎圖片對應的目標圖片;
5、映射編譯器,其設有基礎映射模式和動作映射模式,其中,
6、所述基礎映射模式為根據所述基礎圖片以及所述目標圖片確定靜止的若干關鍵點和若干關鍵映射;
7、所述動作映射模式為根據所述關鍵點和所述關鍵映射確定動畫的目標動線;
8、動作插入器,其與所述目標編輯器和所述映射編譯器相連,用以根據目標動線按預設幀數設定若干生成若干中間圖片,以及,
9、將所述基礎圖片、所述若干中間圖片以及所述目標圖片按所述目標動線進行連接,以形成動畫;
10、其中,所述關鍵點至少包括所述基礎圖片和所述目標圖片中定義相同的若干點;
11、所述關鍵映射至少包括所述基礎圖片和所述目標圖片中定義相同的區域;
12、所述定義與所述目標詞匯對應,所述區域至少包括一個動畫空間和/或一個動畫對象。
13、進一步地,所述目標編輯器根據所述目標詞匯生成所述目標圖片時,拆解所述目標詞匯,以形成若干關鍵定義;
14、將關鍵定義根據語義映射在所述基礎圖片上,并生成若干關鍵定義空間和若干關鍵定義模型;
15、將各關鍵定義空間固化為動畫空間,并根據所述目標詞匯將各關鍵定義模型映射在所述動畫空間上,以形成所述目標圖片;
16、其中,所述關鍵定義模型中至少包括能夠同步顯示在所述基礎圖片和所述目標圖片上的至少一個點,且附著在動畫對象上。
17、進一步地,所述目標編輯器在生成所述關鍵定義空間時將關鍵定義空間根據所述關鍵定義進行擴展,各關鍵定義空間組成的所述動畫空間的尺寸不小于所述目標圖片對應的尺寸。
18、進一步地,所述映射編譯器在確定所述關鍵映射的過程時,對比所述目標圖片以及所述基礎圖片獲取動畫幅度,并根據動畫幅度設定所述動畫的動作閾值;
19、所述目標編輯器響應超出所述動作閾值的所述關鍵定義模型設定為關鍵映射模型,并根據各關鍵映射模型確定所述動畫的關鍵映射;
20、其中,所述動畫幅度為所述目標圖片與所述基礎圖片的關鍵定義模型在圖片對應面投影上的重疊比例;
21、所述動作閾值與所述關鍵定義模型的變化幅度有關,對于單個動畫,其設定單個動作閾值。
22、進一步地,所述映射編譯器在確定所述關鍵點時,根據所述關鍵映射將各關鍵定義模型劃分為若干子區域,并將超出所述動作閾值的各子區域由大到小排序;
23、確定排序中最大的若干子區域,并將各子區域的幾何中心作為關鍵點。
24、進一步地,所述動作插入器在確定所述動畫的目標動線時,利用平滑曲線連接所述基礎圖片以及所述目標圖片的對應關鍵點,并確定各關鍵點對應的關鍵映射,并確定關鍵點在對應的關鍵定義模型上的對應位置;
25、所述動作插入器根據各平滑曲線設定關鍵定義模型的運動軌跡,以及,
26、根據所述關鍵定義組合各運動軌跡,形成所述目標動線。
27、進一步地,所述動作插入器在設定所述中間圖片時,按所述目標動線連續拍攝若干幀圖片作為中間圖片;
28、其中,在獲取所述中間圖片時,按時間順序將各幀圖片插入所述基礎圖片和目標圖片。
29、進一步地,所述映射編譯器在生成所述關鍵定義空間時,根據所述基礎圖片和所述目標圖片設定對應的動畫空間,并根據所述關鍵定義填充所述動畫空間;
30、其中,所述動畫空間至少包括所述基礎圖片和所述目標圖片的顯示區域。
31、進一步地,所述映射編譯器在生成所述動畫空間時,設定所述動作閾值為無變化的若干關鍵定義模型為所述動畫空間。
32、進一步地,所述映射編譯器生成的動畫空間在所述動畫空間內不發生移動;
33、所述動畫空間在所述基礎圖片或所述目標圖片中存在與所述目標圖片詞匯對應的映射。
34、進一步地,利用上述系統生成動畫的方法包括:
35、輸入基礎圖片以及目標圖片詞匯;
36、根據目標詞匯生成與基礎圖片對應的目標圖片;
37、確定所述基礎圖片以及所述目標圖片的關鍵點和關鍵映射;
38、根據所述關鍵點和所述關鍵映射確定動畫的目標動線;
39、根據目標動線按預設幀數設定若干生成若干中間圖片;
40、將所述基礎圖片、所述若干中間圖片以及所述目標圖片按所述目標動線進行連接,以形成動畫;
41、與現有技術相比,本專利技術的有益效果在于,通過臨時建模的方式,將視頻本文檔來自技高網...
【技術保護點】
1.一種基于AIGC的視頻動畫智能生成系統,其特征在于,包括:
2.根據權利要求1所述的基于AIGC的視頻動畫智能生成系統,其特征在于,所述目標編輯器拆解所述目標詞匯形成若干關鍵定義,并將關鍵定義根據語義映射在所述基礎圖片上,以生成若干關鍵定義空間和若干關鍵定義模型;
3.根據權利要求2所述的基于AIGC的視頻動畫智能生成系統,其特征在于,所述目標編輯器響應所述關鍵定義空間的生成,并將關鍵定義空間根據所述關鍵定義進行擴展,其中,各關鍵定義空間組成的所述動畫空間的尺寸不小于所述目標圖片對應的尺寸。
4.根據權利要求2所述的基于AIGC的視頻動畫智能生成系統,其特征在于,所述映射編譯器在確定所述關鍵映射的過程時,對比所述目標圖片以及所述基礎圖片獲取動畫幅度,并根據動畫幅度設定所述動畫的動作閾值;
5.根據權利要求4所述的基于AIGC的視頻動畫智能生成系統,其特征在于,所述映射編譯器在確定所述關鍵點時,根據所述關鍵映射將各關鍵定義模型劃分為若干子區域,并將超出所述動作閾值的各子區域由大到小排序;
6.根據權利要求5所述的基于A
7.根據權利要求3或6任一項所述的基于AIGC的視頻動畫智能生成系統,其特征在于,所述動作插入器在設定所述中間圖片時,按所述目標動線連續拍攝若干幀圖片作為中間圖片;
8.根據權利要求2所述的基于AIGC的視頻動畫智能生成系統,其特征在于,所述映射編譯器在生成所述關鍵定義空間時,根據所述基礎圖片和所述目標圖片設定對應的動畫空間,并根據所述關鍵定義填充所述動畫空間;
9.根據權利要求4或8任一項所述的基于AIGC的視頻動畫智能生成系統,其特征在于,所述映射編譯器在生成所述動畫空間時,設定所述動作閾值為無變化的若干關鍵定義模型為所述動畫空間。
10.根據權利要求8所述的基于AIGC的視頻動畫智能生成系統,其特征在于,所述映射編譯器生成的動畫空間在所述動畫空間內不發生移動;
...【技術特征摘要】
1.一種基于aigc的視頻動畫智能生成系統,其特征在于,包括:
2.根據權利要求1所述的基于aigc的視頻動畫智能生成系統,其特征在于,所述目標編輯器拆解所述目標詞匯形成若干關鍵定義,并將關鍵定義根據語義映射在所述基礎圖片上,以生成若干關鍵定義空間和若干關鍵定義模型;
3.根據權利要求2所述的基于aigc的視頻動畫智能生成系統,其特征在于,所述目標編輯器響應所述關鍵定義空間的生成,并將關鍵定義空間根據所述關鍵定義進行擴展,其中,各關鍵定義空間組成的所述動畫空間的尺寸不小于所述目標圖片對應的尺寸。
4.根據權利要求2所述的基于aigc的視頻動畫智能生成系統,其特征在于,所述映射編譯器在確定所述關鍵映射的過程時,對比所述目標圖片以及所述基礎圖片獲取動畫幅度,并根據動畫幅度設定所述動畫的動作閾值;
5.根據權利要求4所述的基于aigc的視頻動畫智能生成系統,其特征在于,所述映射編譯器在確定所述關鍵點時,根據所述關鍵映射將各關鍵定義模型劃分為若干子區域,并將超出所述動作閾值的各子區域由大到小排序;
6....
【專利技術屬性】
技術研發人員:劉允鋒,劉芳,劉云,
申請(專利權)人:北京飛天經緯科技股份有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。