【技術實現步驟摘要】
本申請實施例涉及計算機，具體而言，涉及一種虛擬生物模型的驅動方法、視頻生成方法、裝置、設備、介質及計算機程序產品。
技術介紹
1、隨著計算機技術的發展，虛擬模型的應用越來越廣泛，尤其是虛擬生物模型(avatar)應用于各種各樣不同的場景中。例如，在線直播或視頻會議中用虛擬人物模型/數字人體模型替代真人進行直播、在動畫視頻中用虛擬生物模型作演員、用虛擬人物模型將真人講話的自然語音轉換/翻譯成手語以方便聽障/言障人士。
2、為了實現虛擬生物模型在各種場景中的應用，虛擬生物模型驅動技術也應運而生。所謂虛擬生物模型驅動技術是指驅動虛擬生物模型進行動作的技術，通俗地講即迫使虛擬生物模型“動起來”的技術。
技術實現思路
1、在相關技術中，主要通過人工驅動的方式驅動虛擬生物模型。具體而言工作人員設定虛擬生物模型中各個頂點/骨骼點在不同時刻在空間中的空間坐標值，并控制虛擬生物模型中各個頂點/骨骼點在相應時刻移動至工作人員設定的相應坐標值所標定的空間位置處，從而實現對虛擬生物模型的驅動。但是人工驅動方式不夠靈活，人工工作量較大。因此，本申請實施例提供一種虛擬生物模型驅動方法、視頻生成方法、裝置、電子設備、存儲介質及計算機程序產品，用于驅動虛擬生物模型，相對于相關技術中的人工驅動方式而言更加靈活，可以在一定程度上減少人工工作量。
2、本申請實施例的第一方面提供了一種虛擬生物模型的驅動方法，所述方法包括：獲取用于驅動虛擬生物模型的驅動信息；所述驅動信息包括文本信息和語音信息中的至
3、本申請實施例的第二方面提供了一種視頻的生成方法，所述方法包括：在根據第一方面所述的虛擬生物模型的驅動方法驅動所述虛擬生物模型進行動作的過程中，同步輸出目標音素序列中的音素，以生成視頻；所述目標音素序列是在根據第一方面所述的虛擬生物模型的驅動方法驅動所述虛擬生物模型進行動作的過程中經驅動信息轉換得到的音素序列。
4、本申請實施例的第三方面提供了一種虛擬生物模型的驅動裝置，所述裝置包括：第一獲取模塊，用于獲取用于驅動虛擬生物模型的驅動信息；所述驅動信息包括文本信息和語音信息中的至少一種；第一轉換模塊，用于將所述驅動信息轉換成音素序列；第一確定模塊，用于確定所述音素序列中每個音素各自所對應的動作信息，得到動作信息序列；所述動作信息序列中存在至少一個動作信息中至少含有所述虛擬生物模型的面部動作信息；第一驅動模塊，用于驅動所述虛擬生物模型按照所述動作信息序列進行動作。
5、本申請實施例的第四方面提供了一種視頻的生成裝置，所述裝置包括：第三方面所述的驅動裝置；第一生成模塊，用于在所述驅動裝置驅動所述虛擬生物模型進行動作的過程中，同步輸出目標音素序列中的音素，以生成視頻；所述目標音素序列是所述驅動裝置在驅動所述虛擬生物模型進行動作的過程中經驅動信息轉換得到的音素序列。
6、本申請實施例的第五方面提供了一種電子設備，所述電子設備包括：處理器和存儲器，所述存儲器存儲可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如第一方面所述的虛擬生物模型的驅動方法的步驟或第二方面所述的視頻的生成方法的步驟。
7、本申請實施例的第六方面提供了一種可讀存儲介質，所述可讀存儲介質上存儲程序或指令，所述程序或指令被處理器執行時實現如第一方面所述的虛擬生物模型的驅動方法的步驟或第二方面所述的視頻的生成方法的步驟。
8、本申請實施例的第七方面提供了一種計算機程序產品，該程序產品被存儲在存儲介質中，該程序產品被至少一個處理器執行以實現如第一方面所述的虛擬生物模型的驅動方法的步驟或第二方面所述的視頻的生成方法的步驟。
9、在本申請實施例中，在獲取了文本形式或語音形式的驅動信息后，將其轉換成音素序列，確定音素序列中各個音素各自對應的動作，得到動作信息序列，驅動虛擬生物模型按照所述動作信息序列進行動作。且動作信息序列中存在至少一個動作信息中至少含有虛擬生物模型的面部動作信息，因此在驅動虛擬生物模型進行動作時，至少可能會在一個動作中會至少驅動虛擬生物模型的面部進行動作，即在驅動生物模型的過程中也會在某些動作中驅動虛擬生物模型的面部肌肉/面部器官進行動作從而改變虛擬生物模型的面部表情。相對于相關技術中的人工驅動方式而言，本申請實施例所提供的虛擬生物模型驅動方法可以基于文本形式或語音形式的驅動信息驅動虛擬生物模型，驅動方式更加靈活，可以在一定程度上減少人工工作量。
10、為使本公開的上述目的、特征和優點能更明顯易懂，下文特舉較佳實施例，并配合所附附圖，作詳細說明如下。
本文檔來自技高網...【技術保護點】
1.一種虛擬生物模型的驅動方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，在所述確定所述音素序列中每個音素各自所對應的動作信息，得到動作信息序列之后，所述方法還包括：
3.根據權利要求2所述的方法，其特征在于，所述確定所述音素序列中每個音素各自所對應的動作信息，得到動作信息序列，包括：
4.根據權利要求3所述的方法，其特征在于，所述根據預設的各種音素與各種動作信息之間的映射關系，確定所述音素序列中每個音素各自所對應的動作信息，得到動作信息序列，包括：
5.根據權利要求4所述的方法，其特征在于，所述對所述動作信息序列中的動作信息進行平滑過渡處理，得到調整后的動作信息序列，包括：
6.根據權利要求5所述的方法，其特征在于，所述音素序列中的每個音素的輸出時長是預設的；
7.根據權利要求1至6中任一項所述的方法，其特征在于，所述方法還包括：
8.根據權利要求1至6中任一項所述的方法，其特征在于，所述方法還包括：
9.一種視頻的生成方法，其特征在于，所述方法包括：p>
10.一種虛擬生物模型的驅動裝置，其特征在于，所述裝置包括：
11.一種視頻的生成裝置，其特征在于，所述裝置包括：
12.一種電子設備，其特征在于，包括：處理器和存儲器，所述存儲器存儲可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如權利要求1至8中任一項所述的虛擬生物模型的驅動方法的步驟或如權利要求9所述的視頻的生成方法的步驟。
13.一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲程序或指令，所述程序或指令被處理器執行時實現如權利要求1至8中任一項所述的虛擬生物模型的驅動方法的步驟或如權利要求9所述的視頻的生成方法的步驟。
14.一種計算機程序產品，其特征在于，包括程序或指令，所述程序或指令被處理器執行時實現如權利要求1至8中任一項所述的虛擬生物模型的驅動方法的步驟或如權利要求9所述的視頻的生成方法的步驟。
...【技術特征摘要】
1.一種虛擬生物模型的驅動方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，在所述確定所述音素序列中每個音素各自所對應的動作信息，得到動作信息序列之后，所述方法還包括：
3.根據權利要求2所述的方法，其特征在于，所述確定所述音素序列中每個音素各自所對應的動作信息，得到動作信息序列，包括：
4.根據權利要求3所述的方法，其特征在于，所述根據預設的各種音素與各種動作信息之間的映射關系，確定所述音素序列中每個音素各自所對應的動作信息，得到動作信息序列，包括：
5.根據權利要求4所述的方法，其特征在于，所述對所述動作信息序列中的動作信息進行平滑過渡處理，得到調整后的動作信息序列，包括：
6.根據權利要求5所述的方法，其特征在于，所述音素序列中的每個音素的輸出時長是預設的；
7.根據權利要求1至6中任一項所述的方法，其特征在于，所述方法還包括：
8.根據權利要求1至6中任一項所述的方法，其...
【專利技術屬性】
技術研發人員：許親親，蘇勢林，李美昊，
申請(專利權)人：上海商湯智能科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。