【技術實現步驟摘要】
本公開涉及計算機，尤其涉及一種視頻生成方法、裝置、設備及介質。
技術介紹
1、在諸如計算機視覺領域、多媒體編輯等需要進行圖像處理的場景中，基于圖像生成視頻的技術已逐漸成為研究熱點。諸如，輸入一張圖像，便可生成該圖像中的某對象出現變化的視頻。但是專利技術人經研究發現，相關技術可達到的圖生視頻的效果不佳，難以滿足用戶多樣化需求，因此亟需新的圖生視頻技術。
技術實現思路
1、為了解決上述技術問題或者至少部分地解決上述技術問題，本公開提供了一種視頻生成方法、裝置、設備及介質。
2、本公開實施例提供了一種視頻生成方法，所述方法包括：響應于針對目標參考圖像的區域選取操作，基于所述區域選取操作確定目標區域；獲取所述目標區域在所述目標參考圖像中運動的目標軌跡信息；其中，所述目標軌跡信息是通過三維空間信息表征的軌跡信息；基于所述目標區域、所述目標參考圖像以及所述目標軌跡信息，利用預設的目標網絡模型生成目標對象的運動視頻；其中，所述目標對象為所述目標區域或者所述目標區域中所包含的對象。
3、可選的，所述三維空間信息包括三維光流信息，所述獲取所述目標區域在所述目標參考圖像中運動的目標軌跡信息，包括：在接收到針對所述目標區域設置的預期軌跡信息的情況下，生成所述預期軌跡信息對應的三維光流信息，基于所述預期軌跡信息對應的三維光流信息得到所述目標區域在所述目標參考圖像中運動的目標軌跡信息；在未接收到針對所述目標區域設置的預期軌跡信息的情況下，將預設的三維光流信息作為所述目標區域在所述目標
4、可選的，所述目標網絡模型是通過如下步驟得到的：獲取目標視頻樣本；其中，所述目標視頻樣本為前景存在運動對象且背景保持靜止的視頻；確定所述目標視頻樣本中的運動區域，并獲取所述運動區域對應的三維光流信息；其中，所述運動區域是包含有運動對象的區域；基于所述目標視頻樣本、所述運動區域以及所述運動區域對應的三維光流信息，調整預設生成模型的參數，以基于參數調整后的預設生成模型得到目標網絡模型。
5、可選的，所述獲取目標視頻樣本，包括：獲取第一視頻樣本；其中，所述第一視頻樣本的數量為多個；獲取所述第一視頻樣本對應的光流信息，基于所述第一視頻樣本對應的光流信息，從多個所述第一視頻樣本中篩選得到第二視頻樣本；其中，所述第二視頻樣本為非靜止視頻；基于所述第二視頻樣本對應的光流信息，確定所述第二視頻樣本中的視頻幀組對應的目標映射信息；其中，所述視頻幀組包括兩張具有預設間隔的視頻幀圖像；基于所述目標映射信息，從所述第二視頻樣本中篩選得到第三視頻樣本，并基于第三視頻樣本得到目標視頻樣本；其中，所述目標視頻樣本是所述第三視頻樣本，或者所述目標視頻樣本是所述第三視頻樣本經切分所得的樣本。
6、可選的，所述第二視頻樣本對應的光流信息包括所述第二視頻樣本中的視頻幀組對應的稠密光流信息；所述基于所述第二視頻樣本對應的光流信息，確定所述第二視頻樣本中的視頻幀組對應的目標映射信息，包括：基于所述第二視頻樣本中的視頻幀組對應的稠密光流信息，利用預設的均勻采樣策略得到多個稀疏光流點；基于所述多個稀疏光流點，確定所述第二視頻樣本中的視頻幀組對應的匹配成功的關鍵點對；從所述匹配成功的關鍵點對中篩選出所述視頻幀組中的視頻幀背景對應的關鍵點對，并基于所述視頻幀背景對應的關鍵點對的映射信息，得到所述第二視頻樣本中的視頻幀組對應的目標映射信息。
7、可選的，確定所述目標視頻樣本中的運動區域，包括：對所述目標視頻樣本的視頻幀圖像進行對象分割處理，得到對象區域；基于所述目標視頻樣本的視頻幀圖像以及與所述目標視頻樣本的視頻幀圖像相鄰的在后幀圖像，確定所述目標視頻樣本的視頻幀圖像對應的二維光流信息；基于所述對象區域以及所述二維光流信息，確定所述目標視頻樣本的視頻幀圖像中的運動區域。
8、可選的，所述基于所述對象區域以及所述二維光流信息，確定所述目標視頻樣本的視頻幀圖像中的運動區域，包括：基于所述二維光流信息，從所述對象區域中篩選出第一區域；其中，所述第一區域對應的二維光流信息的光流值大于預設閾值；基于所述二維光流信息，從所述目標視頻樣本的視頻幀圖像中確定第二區域；其中，所述第二區域是除所述第一區域之外的區域，且所述第二區域對應的二維光流信息的光流值大于所述預設閾值；基于所述第一區域和所述第二區域，得到所述目標視頻樣本的視頻幀圖像中的運動區域。
9、可選的，所述獲取所述運動區域對應的三維光流信息，包括：獲取所述運動區域對應的距離梯度場信息；獲取所述運動區域對應的二維光流信息，并基于所述二維光流信息和所述距離梯度場信息，得到所述運動區域對應的三維光流信息。
10、可選的，所述獲取所述運動區域對應的距離梯度場信息，包括：獲取所述運動區域的像素與所述運動區域的邊緣之間的距離；基于所述運動區域的像素對應的距離以及所述像素的相鄰像素對應的距離，確定所述運動區域對應的距離梯度場信息。
11、可選的，所述預設生成模型包括去噪網絡；其中，所述目標視頻樣本的首幀圖像信息、所述運動區域對應的掩膜圖與所述運動區域對應的三維光流信息是以輸入通道拼接的方式引入至所述去噪網絡的。
12、可選的，所述方法還包括：在對所述預設生成模型進行初始化處理時，設置所述去噪網絡的第一新增通道與第二新增通道對應的權重為零；其中，所述第一新增通道用于輸入所述運動區域對應的掩膜圖，所述第二新增通道用于輸入所述運動區域對應的三維光流信息。
13、本公開實施例還提供了一種視頻生成裝置，包括：區域確定模塊，用于響應于針對目標參考圖像的區域選取操作，基于所述區域選取操作確定目標區域；軌跡獲取模塊，用于獲取所述目標區域在所述目標參考圖像中運動的目標軌跡信息；其中，所述目標軌跡信息是通過三維空間信息表征的軌跡信息；視頻生成模塊，用于基于所述目標區域、所述目標參考圖像以及所述目標軌跡信息，利用預設的目標網絡模型生成目標對象的運動視頻；其中，所述目標對象為所述目標區域或者所述目標區域中所包含的對象。
14、本公開實施例還提供了一種電子設備，所述電子設備包括：處理器；用于存儲所述處理器可執行指令的存儲器；所述處理器，用于從所述存儲器中讀取所述可執行指令，并執行所述指令以實現如本公開實施例提供的視頻生成方法。
15、本公開實施例還提供了一種計算機可讀存儲介質，所述存儲介質存儲有計算機程序，所述計算機程序用于執行如本公開實施例提供的視頻生成方法。
16、本公開實施例提供的上述技術方案，能夠響應于針對目標參考圖像的區域選取操作，基于區域選取操作確定目標區域，并進一步獲取通過三維空間信息表征的目標軌跡信息，從而基于目標區域、目標參考圖像以及目標軌跡信息，利用預設的目標網絡模型生成目標對象的運動視頻，且目標對象為目標區域或者目標區域中所包含的對象。通過上述方式，用戶能夠根據需求選擇圖像中任意所需運動的目標區域，并在此基礎上，通過目標軌跡信息指導本文檔來自技高網...
【技術保護點】
1.一種視頻生成方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述三維空間信息包括三維光流信息，所述獲取所述目標區域在所述目標參考圖像中運動的目標軌跡信息，包括：
3.根據權利要求1所述的方法，其特征在于，所述目標網絡模型是通過如下步驟得到的：
4.根據權利要求3所述的方法，其特征在于，所述獲取目標視頻樣本，包括：
5.根據權利要求4所述的方法，其特征在于，所述第二視頻樣本對應的光流信息包括所述第二視頻樣本中的視頻幀組對應的稠密光流信息；所述基于所述第二視頻樣本對應的光流信息，確定所述第二視頻樣本中的視頻幀組對應的目標映射信息，包括：
6.根據權利要求3所述的方法，其特征在于，確定所述目標視頻樣本中的運動區域，包括：
7.根據權利要求6所述的方法，其特征在于，所述基于所述對象區域以及所述二維光流信息，確定所述目標視頻樣本的視頻幀圖像中的運動區域，包括：
8.根據權利要求3所述的方法，其特征在于，所述獲取所述運動區域對應的三維光流信息，包括：
9.根據權利要求8所述
10.根據權利要求3所述的方法，其特征在于，所述預設生成模型包括去噪網絡；其中，所述目標視頻樣本的首幀圖像信息、所述運動區域對應的掩膜圖與所述運動區域對應的三維光流信息是以輸入通道拼接的方式引入至所述去噪網絡的。
11.根據權利要求10所述的方法，其特征在于，所述方法還包括：
12.一種視頻生成裝置，其特征在于，包括：
13.一種電子設備，其特征在于，所述電子設備包括：
14.一種計算機可讀存儲介質，其特征在于，所述存儲介質存儲有計算機程序，所述計算機程序用于執行上述權利要求1-11中任一項所述的視頻生成方法。
...【技術特征摘要】
1.一種視頻生成方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述三維空間信息包括三維光流信息，所述獲取所述目標區域在所述目標參考圖像中運動的目標軌跡信息，包括：
3.根據權利要求1所述的方法，其特征在于，所述目標網絡模型是通過如下步驟得到的：
4.根據權利要求3所述的方法，其特征在于，所述獲取目標視頻樣本，包括：
5.根據權利要求4所述的方法，其特征在于，所述第二視頻樣本對應的光流信息包括所述第二視頻樣本中的視頻幀組對應的稠密光流信息；所述基于所述第二視頻樣本對應的光流信息，確定所述第二視頻樣本中的視頻幀組對應的目標映射信息，包括：
6.根據權利要求3所述的方法，其特征在于，確定所述目標視頻樣本中的運動區域，包括：
7.根據權利要求6所述的方法，其特征在于，所述基于所述對象區域以及所述二維光流信息，確定所述目標視頻...
【專利技術屬性】
技術研發人員：蘇俊杰，劉文燾，
申請(專利權)人：北京字跳網絡技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。