【技術實現步驟摘要】
本申請涉及人工智能，尤其涉及一種視頻生成方法、裝置、電子設備及可讀存儲介質。
技術介紹
1、視頻生成是指利用計算機技術和算法，特別是人工智能技術，來創建或編輯視頻內容的過程。這一領域涵蓋了從簡單的視頻剪輯到復雜的動態場景生成等多個方面。當前基于擴散的視頻編輯模型在編輯視頻素材屬性方面取得了顯著的進展，但是基于擴散的視頻編輯技術在修改視頻中的運動信息時，保持視頻主體外觀和背景的原貌能力仍然存在一定的局限性。現有技術主要關注于運動對齊，但在背景和對象內容保持不變的嚴格約束方面尚顯不足，導致生成的視頻與預期有所偏差。
技術實現思路
1、有鑒于此，本申請實施例提供了一種視頻生成方法、裝置、電子設備及可讀存儲介質，以解決現有技術中難以同時精確控制物體運動并保留物體外觀與背景的問題。
2、本申請實施例的第一方面，提供了一種視頻生成方法，該方法包括：
3、獲取外觀參考視頻和運動參考視頻；獲取噪聲圖，將外觀參考視頻、運動參考視頻以及噪聲圖輸入至訓練好的視頻生成模型中進行視頻生成，得到視頻生成模型輸出的目標視頻；其中，視頻生成模型包括運動處理分支、外觀處理分支以及擴散模塊，運動處理分支包括運動適配器，運動適配器用于提取運動參考視頻的全局運動特征和局部運動特征，并根據全局運動特征和局部運動特征確定運動參考視頻的運動特征，外觀處理分支用于提取外觀參考視頻的外觀特征，擴散模塊用于將運動特征、外觀特征以及噪聲圖進行融合，并對融合結果進行擴散處理，生成目標視頻。
4、本申請
5、獲取模塊，被配置為獲取外觀參考視頻和運動參考視頻；生成模塊，被配置為獲取噪聲圖，將外觀參考視頻、運動參考視頻以及噪聲圖輸入至訓練好的視頻生成模型中進行視頻生成，得到視頻生成模型輸出的目標視頻；其中，視頻生成模型包括運動處理分支、外觀處理分支以及擴散模塊，運動處理分支包括運動適配器，運動適配器用于提取運動參考視頻的全局運動特征和局部運動特征，并根據全局運動特征和局部運動特征確定運動參考視頻的運動特征，外觀處理分支用于提取外觀參考視頻的外觀特征，擴散模塊用于將運動特征、外觀特征以及噪聲圖進行融合，并對融合結果進行擴散處理，生成目標視頻。
6、本申請實施例的第三方面，提供了一種電子設備，包括存儲器、處理器以及存儲在存儲器中并且可在處理器上運行的計算機程序，該處理器執行計算機程序時實現上述方法的步驟。
7、本申請實施例的第四方面，提供了一種計算機可讀存儲介質，該計算機可讀存儲介質存儲有計算機程序，該計算機程序被處理器執行時實現上述方法的步驟。
8、本申請實施例與現有技術相比存在的有益效果是：
9、獲取外觀參考視頻和運動參考視頻；獲取噪聲圖，將外觀參考視頻、運動參考視頻以及噪聲圖輸入至訓練好的視頻生成模型中進行視頻生成，得到視頻生成模型輸出的目標視頻；其中，視頻生成模型包括運動處理分支、外觀處理分支以及擴散模塊，運動處理分支包括運動適配器，運動適配器用于提取運動參考視頻的全局運動特征和局部運動特征，并根據全局運動特征和局部運動特征確定運動參考視頻的運動特征，外觀處理分支用于提取外觀參考視頻的外觀特征，擴散模塊用于將運動特征、外觀特征以及噪聲圖進行融合，并對融合結果進行擴散處理，生成目標視頻。通過雙分支的結構可以同時獲取外觀參考視頻的外觀特征和運動參考視頻的運動特征，同時通過運動適配器的配置來提取運動參考視頻的全局運動特征和局部運動特征，從而使得到的運動特征在保持全局運動連貫性的同時，不失對局部細節的精確控制，然后，利用擴散模塊將運動特征、外觀特征以及噪聲圖進行融合，從而在視頻生成過程中精確地利用運動特征進行運動控制，同時利用外觀特征保持外觀背景的完整性，以此生成高質量、高連貫性的視頻，避免了現有技術中難以同時精確控制物體運動并保留原始主角外觀與背景的問題。
本文檔來自技高網...【技術保護點】
1.一種視頻生成方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述將所述外觀參考視頻、所述運動參考視頻以及所述噪聲圖輸入至訓練好的視頻生成模型中進行視頻生成之前，還包括：
3.根據權利要求2所述的方法，其特征在于，所述對所述運動文本特征和所述骨架圖進行特征處理，得到樣本運動特征，包括：
4.根據權利要求3所述的方法，其特征在于，所述運動適配器包括第一全局建模分支和第一局部建模分支，所述利用至少一運動適配器對所述運動控制特征進行特征提取，得到所述樣本運動特征，包括：
5.根據權利要求3所述的方法，其特征在于，所述外觀適配器包括第二全局建模分支和第二局部建模分支，所述利用至少一外觀適配器對所述外觀控制特征進行特征提取，得到樣本外觀特征，包括：
6.根據權利要求2所述的方法，其特征在于，所述擴散模塊包括連續設置的多個擴散子模塊；所述將所述外觀文本特征、所述運動文本特征、所述樣本噪聲圖、所述樣本運動特征以及所述樣本外觀特征輸入至擴散模塊進行擴散處理，得到所述擴散模塊輸出的預測視頻幀，包括：
7.
8.一種視頻生成裝置，其特征在于，包括：
9.一種電子設備，包括存儲器、處理器以及存儲在所述存儲器中并且可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至7中任一項所述方法的步驟。
10.一種可讀存儲介質，所述可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7中任一項所述方法的步驟。
...【技術特征摘要】
1.一種視頻生成方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述將所述外觀參考視頻、所述運動參考視頻以及所述噪聲圖輸入至訓練好的視頻生成模型中進行視頻生成之前，還包括：
3.根據權利要求2所述的方法，其特征在于，所述對所述運動文本特征和所述骨架圖進行特征處理，得到樣本運動特征，包括：
4.根據權利要求3所述的方法，其特征在于，所述運動適配器包括第一全局建模分支和第一局部建模分支，所述利用至少一運動適配器對所述運動控制特征進行特征提取，得到所述樣本運動特征，包括：
5.根據權利要求3所述的方法，其特征在于，所述外觀適配器包括第二全局建模分支和第二局部建模分支，所述利用至少一外觀適配器對所述外觀控制特征進行特征提取，得到樣本外觀特征，包括：
6.根據權利要求2所述的方法，其特征在于...
【專利技術屬性】
技術研發人員：石雅潔，
申請(專利權)人：北京龍智數科科技服務有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。