【技術實現(xiàn)步驟摘要】
本申請涉及音頻生成，尤其涉及一種音頻生成方法、裝置、電子設備和計算機程序產(chǎn)品。
技術介紹
1、發(fā)布視頻成為人們記錄生活、分享觀點以及表達情感的重要方式。然而拍攝時往往存在大量的停頓、脫口而出、詞不達意或冗余內容，人們需要在多次的錄制或繁瑣的剪輯工作后才能得到令人滿意的視頻。若能夠通過編輯文本的形式直接生成視頻中的語音內容，將大大降低音視頻編輯難度，提高用戶的創(chuàng)作效率。
2、因此，如何通過編輯文本的形式直接生成視頻中的語音內容，成為本領域技術人員亟待解決的技術問題。
技術實現(xiàn)思路
1、有鑒于此，本申請?zhí)岢鲆环N音頻的生成方法、裝置、電子設備和計算機程序產(chǎn)品，該方法能夠通過編輯文本的形式直接生成視頻中的語音內容。
2、本申請?zhí)岢龅募夹g方案具體如下：
3、第一方面，本申請的實施例提供一種音頻生成方法，包括：
4、獲取待處理文本和音頻風格信息；其中，所述音頻風格信息用于指示待生成的目標音頻對應的音頻風格；
5、將所述待處理文本和所述音頻風格信息均輸入到預先訓練的音頻編輯模型中，得到所述音頻編輯模型輸出的、與所述待處理文本和所述音頻風格信息對應的離散編碼；
6、對所述離散編碼進行解碼處理，得到所述目標音頻。
7、第二方面，本申請的實施例提供一種音頻生成裝置，包括：
8、獲取模塊，用于獲取待處理文本和音頻風格信息；其中，所述音頻風格信息用于指示待生成的目標音頻對應的音頻風格；
9、輸入模塊
10、解碼模塊，用于對所述離散編碼進行解碼處理，得到所述目標音頻。
11、第三方面，本申請的實施例提供一種電子設備，包括：
12、存儲器和處理器；其中，所述存儲器用于存儲程序；所述處理器，用于通過運行所述存儲器中的程序，實現(xiàn)以上任意一項所述的方法。
13、第四方面，本申請的實施例提供一種計算機程序產(chǎn)品，所述計算機程序產(chǎn)品包括計算機程序或計算機指令，所述計算機程序或計算機指令被處理器執(zhí)行時，實現(xiàn)以上任意一項所述的方法。
14、本申請?zhí)岢龅囊纛l生成方法，能夠獲取待處理文本和音頻風格信息，其中，音頻風格信息用于指示待生成的目標音頻對應的音頻風格，然后將待處理文本和音頻風格信息均輸入到預先訓練的音頻編輯模型中，得到音頻編輯模型輸出的、與待處理文本和音頻風格信息對應的離散編碼，通過對離散編碼進行解碼處理，得到目標音頻。如此設置，利用音頻編輯模型輸出與待處理文本和音頻風格信息對應的離散編碼，通過對離散編碼解碼生成內容風格均符合要求的音頻，大大降低了音視頻編輯難度，提高了用戶的創(chuàng)作效率。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種音頻生成方法，其特征在于，包括：
2.根據(jù)權利要求1所述的方法，其特征在于，所述音頻編輯模型的訓練過程包括：
3.根據(jù)權利要求2所述的方法，其特征在于，所述獲取所述音頻編輯模型的訓練樣本，包括：
4.根據(jù)權利要求2所述的方法，其特征在于，所述獲取音頻編輯模型的訓練樣本，包括：
5.根據(jù)權利要求4所述的方法，其特征在于，所述殘差矢量量化器包括多層并行的子殘差矢量量化器；所述樣本離散編碼包括各層子殘差矢量量化器輸出的子樣本離散編碼；
6.根據(jù)權利要求2所述的方法，其特征在于，所述訓練樣本還包括所述樣本音頻中每個音素對應的時長；所述獲取音頻編輯模型的訓練樣本，包括：
7.根據(jù)權利要求2所述的方法，其特征在于，所述訓練樣本還包括所述樣本音頻中的各音素。
8.一種音頻生成裝置，其特征在于，包括：
9.一種電子設備，其特征在于，包括：
10.一種計算機程序產(chǎn)品，其特征在于，所述計算機程序產(chǎn)品包括計算機程序或計算機指令，所述計算機程序或計算機指令被處理器執(zhí)行時，實現(xiàn)如權利要求1至
...【技術特征摘要】
1.一種音頻生成方法，其特征在于，包括：
2.根據(jù)權利要求1所述的方法，其特征在于，所述音頻編輯模型的訓練過程包括：
3.根據(jù)權利要求2所述的方法，其特征在于，所述獲取所述音頻編輯模型的訓練樣本，包括：
4.根據(jù)權利要求2所述的方法，其特征在于，所述獲取音頻編輯模型的訓練樣本，包括：
5.根據(jù)權利要求4所述的方法，其特征在于，所述殘差矢量量化器包括多層并行的子殘差矢量量化器；所述樣本離散編碼包括各層子殘差矢量量化器輸出的子樣本離散編碼；
6.根據(jù)...
【專利技術屬性】
技術研發(fā)人員：岳顏顏，唐海桃，吳明輝，
申請(專利權)人：科大訊飛股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。