【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及一種雙語語音的合成方法、裝置、計算機設備及存儲介質。
技術介紹
1、近些年，自然語言處理技術nlp和語音合成技術tts（text-to-speech）的發展，在金融領域中的在線客戶服務使用智能語音客服的方式已經普及。tts（text-to-speech）是一種語音合成技術，它能夠將原始文本轉換為合成語音。這項技術使用人工智能（ai）將文本轉換為擬人化程度較高的口語。如通過語音合成技術進行金融客戶服務、金融市場分析以及金融等，從而減少人力成本，滿足金融領域對于消息及時性的需求。
2、但目前智能語音客服所生成的合成語音，仍存在不夠擬人化的問題，尤其是待合成語音的原始文本中存在雙語言或多語言時。由于說話者常使用一種語言，在第一語言的基礎上，第二語言的發音和語調通常有很大的不同。一方面，導致訓練語音合成模型所使用的單語語料庫較多，具有多語言的混合語語料庫較為稀少；另一方面，容易導致所訓練出的語音合成模型，在合成雙語語音時，重音殘留或語言之間的語音不一致，無法避免兩種語言之間的相互干擾，無法準確地在不同語境中模擬第二語言的語音語調。因此，現有的語音合成模型，在進行雙語語音合成時，存在模擬第二語言語音的語調存在準確率較差的問題。
技術實現思路
1、本專利技術實施例提供一種雙語語音的合成方法、裝置、計算機設備及存儲介質，解決了現有的語音合成模型，在進行雙語語音合成時，所模擬第二語言語音的語調存在準確率較差的問題。
2、本專利技術實施例提供了
3、獲取待處理文本，所述待處理文本包括第一語言對應的文本內容和第二語言對應的文本內容；
4、對所述待處理文本進行編碼處理，獲取所述待處理文本對應的雙語文本特征；
5、獲取第一語言特征和第一音韻特征；所述第一語言特征為所述第一語言和所述第二語言之間的語言特征，所述第一音韻特征為所述第一語言和所述第二語言之間的音韻特征；
6、采用特征強度調制器，對所述雙語文本特征和所述第一語言特征進行處理，獲取目標語言特征；對所述雙語文本特征和所述第一音韻特征進行處理，獲取目標音韻特征；
7、對所述雙語文本特征、所述目標語言特征和所述目標音韻特征進行解碼處理，獲取所述待處理文本對應的目標雙語語音。
8、本專利技術實施例還提供了一種雙語語音的合成裝置，包括：
9、待處理文本獲取模塊，用于獲取待處理文本，所述待處理文本包括第一語言對應的文本內容和第二語言對應的文本內容；
10、雙語文本特征獲取模塊，用于對所述待處理文本進行編碼處理，獲取所述待處理文本對應的雙語文本特征；
11、第一語言特征和第一音韻特征獲取模塊，用于獲取第一語言特征和第一音韻特征；所述第一語言特征為所述第一語言和所述第二語言之間的語言特征，所述第一音韻特征為所述第一語言和所述第二語言之間的音韻特征；
12、目標語言特征和目標音韻特征獲取模塊，用于采用特征強度調制器，對所述雙語文本特征和所述第一語言特征進行處理，獲取目標語言特征；對所述雙語文本特征和所述第一音韻特征進行處理，獲取目標音韻特征；
13、目標雙語語音獲取模塊，用于對所述雙語文本特征、所述目標語言特征和所述目標音韻特征進行解碼處理，獲取所述待處理文本對應的目標雙語語音。
14、本專利技術實施例還提供了一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述實現雙語語音的合成方法。
15、本專利技術實施例還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時實現上述實現雙語語音的合成方法。
16、上述的雙語語音的合成方法、裝置、計算機設備及存儲介質，通過將具有第一語音和第二語言的文本內容對應的待處理文本進行編碼處理，獲取到雙語文本特征；根據第一語言和第二語言，獲取該雙語的第一語言特征和第一音韻特征，以用于捕捉不同語言音系之間的語音表達特征的區別；采用特征強度調制器，分別對雙語文本特征、第一語言特征和第一音韻特征進行處理，得到對應的目標語言特征和目標音韻特征，用于捕捉語言和語音的動態強度，調節音韻控制；最后根據雙語文本特征、目標語言特征和目標音韻特征進行解碼處理，得到合成后的目標雙語語音。通過加入音韻特征并結合特征強度調制器，捕捉雙語之間的表達特征，以調節音韻特征，減少混合語料語料庫較少導致所訓練模型的準確性不足的問題，從而提高在不同場景下所合成語音音調的準確性。進而在金融領域應用時，所生成的雙語合成語音更為流暢，提高與客戶的交互性，減輕客服人員的工作負擔并提高客戶滿意度。
本文檔來自技高網...【技術保護點】
1.一種雙語語音的合成方法，其特征在于，包括：
2.如權利要求1所述雙語語音的合成方法，其特征在于，所述對所述待處理文本進行編碼處理，獲取所述待處理文本對應的雙語文本特征，包括：
3.如權利要求1所述雙語語音的合成方法，其特征在于，所述對所述雙語文本特征和所述第一語言特征進行處理，獲取目標語言特征，包括：
4.如權利要求1所述雙語語音的合成方法，其特征在于，所述對所述雙語文本特征和所述第一音韻特征進行處理，獲取目標音韻特征，包括：
5.如權利要求1所述雙語語音的合成方法，其特征在于，所述對所述雙語文本特征、所述目標語言特征和所述目標音韻特征進行解碼處理，獲取所述待處理文本對應的目標雙語語音，包括：
6.如權利要求5所述雙語語音的合成方法，其特征在于，所述對所述雙語文本特征、所述目標語言特征和所述目標音韻特征進行融合處理，獲取目標雙語特征，包括：
7.如權利要求5所述雙語語音的合成方法，其特征在于，所述對所述目標雙語特征進行解碼處理，獲取所述待處理文本對應的目標雙語語音，包括：
8.一種雙語語音的合
9.一種計算機設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至7任一項所述雙語語音的合成方法。
10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述雙語語音的合成方法。
...【技術特征摘要】
1.一種雙語語音的合成方法，其特征在于，包括：
2.如權利要求1所述雙語語音的合成方法，其特征在于，所述對所述待處理文本進行編碼處理，獲取所述待處理文本對應的雙語文本特征，包括：
3.如權利要求1所述雙語語音的合成方法，其特征在于，所述對所述雙語文本特征和所述第一語言特征進行處理，獲取目標語言特征，包括：
4.如權利要求1所述雙語語音的合成方法，其特征在于，所述對所述雙語文本特征和所述第一音韻特征進行處理，獲取目標音韻特征，包括：
5.如權利要求1所述雙語語音的合成方法，其特征在于，所述對所述雙語文本特征、所述目標語言特征和所述目標音韻特征進行解碼處理，獲取所述待處理文本對應的目標雙語語音，包括：
6.如權利要求5所述雙語語音的合...
【專利技術屬性】
技術研發人員：張旭龍，王健宗，程寧，夏晶，
申請(專利權)人：平安科技深圳有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。