視頻生成方法、裝置、設備、介質及程序產品制造方法及圖紙

本公開提供一種視頻生成方法、裝置、設備、存儲介質及程序產品。該方法包括：獲取輸入數據，所述輸入數據包括音頻數據或文本數據中的至少一種；對所述輸入數據進行特征提取，得到所述輸入數據的輸入特征；基于所述輸入特征確定目標視頻特征；基于所述目標視頻特征生成目標視頻。標視頻。標視頻。

【技術實現步驟摘要】
視頻生成方法、裝置、設備、介質及程序產品


[0001]本公開涉及計算機
，尤其涉及一種視頻生成方法、裝置、設備、介質及程序產品。

技術介紹

[0002]基于多模態的視頻生成技術(Multi
?
Modal
?
to
?
Video Generation)可以通過文字、語音等其他模態的數據來指導視頻的生成。然而，現有的多模態視頻生成技術中針對不同模態之間的匹配準確度不高，導致視頻生成的準確性不高，降低了用戶體驗。

技術實現思路

[0003]本公開提出一種視頻生成方法、裝置、設備、存儲介質及程序產品，以在一定程度上解決視頻生成的準確性不高的技術問題。
[0004]本公開第一方面，提供了一種視頻生成方法，包括：
[0005]獲取輸入數據，所述輸入數據包括音頻數據或文本數據中的至少一種；
[0006]對所述輸入數據進行特征提取，得到所述輸入數據的輸入特征；
[0007]基于所述輸入特征確定目標視頻特征；
[0008]基于所述目標視頻特征生成目標視頻。
[0009]本公開第二方面，提供了一種視頻生成裝置，包括：
[0010]獲取模塊，用于獲取輸入數據，所述輸入數據包括音頻數據或文本數據；
[0011]提取模塊，用于對所述輸入數據進行特征提取，得到所述輸入數據的輸入特征；
[0012]匹配模塊，用于基于所述輸入特征確定目標視頻特征；
[0013]生成模塊，用于基于所述目標視頻特征生成目標視頻。
[0014]本公開第三方面，提供了一種電子設備，其特征在于，包括一個或者多個處理器、存儲器；和一個或多個程序，其中所述一個或多個程序被存儲在所述存儲器中，并且被所述一個或多個處理器執行，所述程序包括用于執行根據第一方面或第二方面所述的方法的指令。
[0015]本公開第四方面，提供了一種包含計算機程序的非易失性計算機可讀存儲介質，當所述計算機程序被一個或多個處理器執行時，使得所述處理器執行第一方面或第二方面所述的方法。
[0016]本公開第五方面，提供了一種計算機程序產品，包括計算機程序指令，當所述計算機程序指令在計算機上運行時，使得計算機執行第一方面所述的方法。
[0017]從上面所述可以看出，本公開提供的一種視頻生成方法、裝置、設備、介質及程序產品，通過基于輸入數據的輸入特征確定對應的目標視頻特征，從而生成目標視頻。無論輸入數據是何種模態均可以實現與視頻特征的匹配，準確地生成目標視頻，提高了視頻生成的準確性。
附圖說明
[0018]為了更清楚地說明本公開或相關技術中的技術方案，下面將對實施例或相關技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本公開的實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。
[0019]圖1為本公開實施例的視頻生成架構的示意圖。
[0020]圖2為本公開實施例的示例性電子設備的硬件結構示意圖。
[0021]圖3為本公開實施例的視頻生成方法的示意性流程圖。
[0022]圖4為本公開實施例的視頻生成方法的示意性原理圖。
[0023]圖5為本公開實施例的視頻生成裝置的示意圖。
具體實施方式
[0024]為使本公開的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本公開進一步詳細說明。
[0025]需要說明的是，除非另外定義，本公開實施例使用的技術術語或者科學術語應當為本公開所屬領域內具有一般技能的人士所理解的通常意義。本公開實施例中使用的“第一”、“第二”以及類似的詞語并不表示任何順序、數量或者重要性，而只是用來區分不同的組成部分?！鞍ā被蛘摺鞍钡阮愃频脑~語意指出現該詞前面的元件或者物件涵蓋出現在該詞后面列舉的元件或者物件及其等同，而不排除其他元件或者物件?！斑B接”或者“相連”等類似的詞語并非限定于物理的或者機械的連接，而是可以包括電性的連接，不管是直接的還是間接的。“上”、“下”、“左”、“右”等僅用于表示相對位置關系，當被描述對象的絕對位置改變后，則該相對位置關系也可能相應地改變。
[0026]可以理解的是，在使用本公開各實施例公開的技術方案之前，均應當依據相關法律法規通過恰當的方式對本公開所涉及個人信息的類型、使用范圍、使用場景等告知用戶并獲得用戶的授權。
[0027]例如，在響應于接收到用戶的主動請求時，向用戶發送提示信息，以明確地提示用戶，其請求執行的操作將需要獲取和使用到用戶的個人信息。從而，使得用戶可以根據提示信息來自主地選擇是否向執行本公開技術方案的操作的電子設備、應用程序、服務器或存儲介質等軟件或硬件提供個人信息。
[0028]作為一種可選的但非限定性的實現方式，響應于接收到用戶的主動請求，向用戶發送提示信息的方式例如可以是彈窗的方式，彈窗中可以以文字的方式呈現提示信息。此外，彈窗中還可以承載供用戶選擇“同意”或者“不同意”向電子設備提供個人信息的選擇控件。
[0029]可以理解的是，上述通知和獲取用戶授權過程僅是示意性的，不對本公開的實現方式構成限定，其它滿足相關法律法規的方式也可應用于本公開的實現方式中。
[0030]圖1示出了本公開實施例的視頻生成架構的示意圖。參考圖1，該視頻生成架構100可以包括服務器110、終端120以及提供通信鏈路的網絡130。服務器110和終端120之間可通過有線或無線的網絡130連接。其中，服務器110可以是獨立的物理服務器，也可以是多個物理服務器構成的服務器集群或者分布式系統，還可以是提供云服務、云數據庫、云計算、云
函數、云存儲、網絡服務、云通信、中間件服務、安全服務、CDN等基礎云計算服務的云服務器。
[0031]終端120可以是硬件或軟件實現。例如，終端120為硬件實現時，可以是具有顯示屏并且支持頁面顯示的各種電子設備，包括但不限于智能手機、平板電腦、電子書閱讀器、膝上型便攜計算機和臺式計算機等等。終端120設備為軟件實現時，可以安裝在上述所列舉的電子設備中；其可以實現成多個軟件或軟件模塊(例如用來提供分布式服務的軟件或軟件模塊)，也可以實現成單個軟件或軟件模塊，在此不做具體限定。
[0032]需要說明的是，本申請實施例所提供的視頻生成方法可以由終端120來執行，也可以由服務器110來執行。應了解，圖1中的終端、網絡和服務器的數目僅為示意，并不旨在對其進行限制。根據實現需要，可以具有任意數目的終端、網絡和服務器。
[0033]圖2示出了本公開實施例所提供的示例性電子設備200的硬件結構示意圖。如圖2所示，電子設備200可以包括：處理器202、存儲器204、網絡模塊206、外圍接口208和總線210。其中，處理器202、存儲器204、網絡模塊206和外圍接口208通過總線210實現彼此之間在電子設備200的內部的通信連接。
[0034]處理器202可以是中本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種視頻生成方法，包括：獲取輸入數據，所述輸入數據包括音頻數據或文本數據中的至少一種；對所述輸入數據進行特征提取，得到所述輸入數據的輸入特征；基于所述輸入特征確定目標視頻特征；基于所述目標視頻特征生成目標視頻。2.根據權利要求1的方法，其中，對所述輸入數據進行特征提取，得到所述輸入數據的輸入特征，包括：對所述輸入數據進行切分得到單語義數據；基于所述單語義數據得到與輸入數據對應的的多個所述輸入特征。3.根據權利要求1的方法，其中，所述基于所述輸入特征確定目標視頻特征，包括：計算所述輸入特征與視頻特征庫中的視頻特征之間的語義相關度；將所述語義相關度最高的視頻特征確定為所述目標視頻特征。4.根據權利要求1的方法，其中，基于所述目標視頻特征生成目標視頻，包括：基于所述目標視頻特征確定對應的目標視頻切片；將所述目標視頻切片的目標時間戳與所述輸入數據的源時間戳對齊，得到對齊后的目標視頻切片；基于所述源時間戳將對齊后的所述目標視頻切片進行拼接，得到所述目標視頻。5.根據權利要求4的方法，其中，所述輸入數據包括至少一個單語義數據；將所述目標視頻切片的目標時間戳與所述輸入數據的源時間戳對齊，得到對齊后的目標視頻切片，進一步包括：基于所述目標時間戳得到所述目標視頻切片的目標時長，以及基于所述源時間戳得到所述單語義數據的源時長；基于所述目標時長和所述源時長進行所述目標時間戳與所述源時間戳的對齊，得到對齊后的目標視頻切片。6.根據權利要求5的方法，其中，基于所述目標時長和所述源時長進行所述目標時間戳與所述源時間戳的...

【專利技術屬性】
技術研發人員：張濤，
申請(專利權)人：北京字跳網絡技術有限公司，
類型：發明
國別省市：