System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及人工智能開發與金融科技領域,尤其涉及基于人工智能的文本處理方法、裝置、計算機設備及存儲介質。
技術介紹
1、在語音合成
中,文本正則化處理作為關鍵步驟,對于提升語音輸出的準確性和自然度具有至關重要的作用。該過程涵蓋了拼寫錯誤校正、語法問題調整、數字和特殊字符處理等多個方面,旨在確保在多語言環境下,語音輸出的一致性和流暢性,進而優化用戶體驗。文本正則化的有效實施,不僅對于語音助手、語音導航等語音合成應用的效果至關重要,還對于提高技術的可訪問性具有深遠影響。
2、然而,當前文本正則處理領域面臨諸多挑戰,尤其是在多語言處理方面。傳統上,基于規則的多語言文本正則處理系統需要針對每種語言單獨設計復雜的規則集,這不僅增加了系統的復雜度,還極大地提升了維護難度。并且,現有的基于規則的多語言文本正則處理在適應多語言文本方面存在明顯不足,難以靈活應對多樣化的語言場景,無法實現真正的多語言通用性。這一局限性導致在處理包含多種語言元素的文本時,現有技術往往無法達到理想的正則化效果,進而影響語音合成的整體性能和用戶體驗。
技術實現思路
1、本申請實施例的目的在于提出一種基于人工智能的文本處理方法、裝置、計算機設備及存儲介質,以解決現有的基于規則的多語言文本正則處理需要針對每種語言單獨設計復雜的規則集,這不僅增加了系統的復雜度,還極大地提升了維護難度,并且難以靈活應對多樣化的語言場景,無法實現真正的多語言通用性的技術問題。
2、為了解決上述技術問題,本申請實施例提供一
3、接收用戶輸入的初始文本;
4、基于預設的目標編碼類型對所述初始文本進行編碼處理,得到對應的第一編碼數據;
5、對所述初始文本進行語種識別處理,得到與所述初始文本對應的語種信息;
6、基于所述目標編碼類型對所述語種信息進行編碼處理,得到對應的第二編碼數據;
7、對所述第一編碼數據與所述第二編碼數據進行拼接處理,得到對應的模型輸入文本;
8、調用預先構建的正則處理模型對所述模型輸入文本進行推理處理,生成與所述模型輸入文本對應的正則化文本結果;
9、將所述正則化文本結果返回給所述用戶。
10、進一步的,所述基于預設的目標編碼類型對所述初始文本進行編碼處理,得到對應的第一編碼數據的步驟,具體包括:
11、獲取與所述目標編碼類型對應的目標處理方法;
12、基于所述目標處理方法對所述初始文本進行編碼處理,得到對應的目標編碼數據;
13、將所述目標編碼數據作為所述第一編碼數據。
14、進一步的,所述對所述初始文本進行語種識別處理,得到與所述初始文本對應的語種信息的步驟,具體包括:
15、調用預設的語種識別工具;
16、通過所述語種識別工具對所述初始文本進行語種識別處理,得到與所述初始文本對應的語種標簽;
17、接收所述語種識別工具返回的所述語種標簽,并將所述語種標簽作為與所述初始文本對應的所述語種信息。
18、進一步的,所述對所述第一編碼數據與所述第二編碼數據進行拼接處理,得到對應的模型輸入文本的步驟,具體包括:
19、獲取預設的拼接順序;
20、基于所述拼接順序對所述第一編碼數據與所述第二編碼數據進行拼接處理,得到拼接后的編碼數據;
21、將所述拼接后的編碼數據作為所述模型輸入文本。
22、進一步的,在所述調用預先構建的正則處理模型對所述模型輸入文本進行推理處理,生成與所述模型輸入文本對應的正則化文本結果的步驟之前,還包括:
23、基于預先采集的多語言文本數據集構建多語言文本樣本數據;
24、調用預設的語言模型;
25、基于所述多語言文本樣本數據對所述語言模型進行預訓練處理,得到對應的第一語言模型;
26、獲取預先構建的多語言文本正則任務數據;
27、基于所述多語言文本正則任務數據對所述第一語言模型進行微調處理,得到對應的第二語言模型;
28、將所述第二語言模型作為所述正則處理模型。
29、進一步的,所述基于預先采集的多語言文本數據集構建多語言文本樣本數據的步驟,具體包括:
30、調用預設的多語言文本數據語料庫;
31、從所述多語言文本數據語料庫中獲取指定數量的多語言文本數據,得到所述多語言文本數據集;
32、基于預設的數據過濾規則對所述多語言文本數據集進行過濾處理,得到處理后的多語言文本數據集;
33、將所述處理后的多語言文本數據集作為所述多語言文本樣本數據。
34、進一步的,在所述調用預先構建的正則處理模型對所述模型輸入文本進行推理處理,生成與所述模型輸入文本對應的正則化文本結果的步驟之后,還包括:
35、調用預先訓練好的語音合成模型;
36、基于所述語音合成模型對所述正則化文本結果進行語音合成處理,得到與所述正則化文本結果對應的語音數據;
37、對所述語音數據進行優化處理得到對應的目標語音;
38、將所述目標語音返回給所述用戶。
39、為了解決上述技術問題,本申請實施例還提供一種基于人工智能的文本處理裝置,采用了如下所述的技術方案:
40、接收模塊,用于接收用戶輸入的初始文本;
41、第一處理模塊,用于基于預設的目標編碼類型對所述初始文本進行編碼處理,得到對應的第一編碼數據;
42、識別模塊,用于對所述初始文本進行語種識別處理,得到與所述初始文本對應的語種信息;
43、第二處理模塊,用于基于所述目標編碼類型對所述語種信息進行編碼處理,得到對應的第二編碼數據;
44、拼接模塊,用于對所述第一編碼數據與所述第二編碼數據進行拼接處理,得到對應的模型輸入文本;
45、推理模塊,用于調用預先構建的正則處理模型對所述模型輸入文本進行推理處理,生成與所述模型輸入文本對應的正則化文本結果;
46、第一返回模塊,用于將所述正則化文本結果返回給所述用戶。
47、為了解決上述技術問題,本申請實施例還提供一種計算機設備,采用了如下所述的技術方案:
48、接收用戶輸入的初始文本;
49、基于預設的目標編碼類型對所述初始文本進行編碼處理,得到對應的第一編碼數據;
50、對所述初始文本進行語種識別處理,得到與所述初始文本對應的語種信息;
51、基于所述目標編碼類型對所述語種信息進行編碼處理,得到對應的第二編碼數據;
52、對所述第一編碼數據與所述第二編碼數據進行拼接處理,得到對應的模型輸入文本;
53、調用預先構建的正則處理模型對所述模型輸入文本進行推理處理,生成與所述模型輸入文本對應的正則化文本結果;本文檔來自技高網...
【技術保護點】
1.一種基于人工智能的文本處理方法,其特征在于,包括下述步驟:
2.根據權利要求1所述的基于人工智能的文本處理方法,其特征在于,所述基于預設的目標編碼類型對所述初始文本進行編碼處理,得到對應的第一編碼數據的步驟,具體包括:
3.根據權利要求1所述的基于人工智能的文本處理方法,其特征在于,所述對所述初始文本進行語種識別處理,得到與所述初始文本對應的語種信息的步驟,具體包括:
4.根據權利要求1所述的基于人工智能的文本處理方法,其特征在于,所述對所述第一編碼數據與所述第二編碼數據進行拼接處理,得到對應的模型輸入文本的步驟,具體包括:
5.根據權利要求1所述的基于人工智能的文本處理方法,其特征在于,在所述調用預先構建的正則處理模型對所述模型輸入文本進行推理處理,生成與所述模型輸入文本對應的正則化文本結果的步驟之前,還包括:
6.根據權利要求5所述的基于人工智能的文本處理方法,其特征在于,所述基于預先采集的多語言文本數據集構建多語言文本樣本數據的步驟,具體包括:
7.根據權利要求1所述的基于人工智能的文本處理方法,其
8.一種基于人工智能的文本處理裝置,其特征在于,包括:
9.一種計算機設備,包括存儲器和處理器,所述存儲器中存儲有計算機可讀指令,所述處理器執行所述計算機可讀指令時實現如權利要求1至7中任一項所述的基于人工智能的文本處理方法的步驟。
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質上存儲有計算機可讀指令,所述計算機可讀指令被處理器執行時實現如權利要求1至7中任一項所述的基于人工智能的文本處理方法的步驟。
...【技術特征摘要】
1.一種基于人工智能的文本處理方法,其特征在于,包括下述步驟:
2.根據權利要求1所述的基于人工智能的文本處理方法,其特征在于,所述基于預設的目標編碼類型對所述初始文本進行編碼處理,得到對應的第一編碼數據的步驟,具體包括:
3.根據權利要求1所述的基于人工智能的文本處理方法,其特征在于,所述對所述初始文本進行語種識別處理,得到與所述初始文本對應的語種信息的步驟,具體包括:
4.根據權利要求1所述的基于人工智能的文本處理方法,其特征在于,所述對所述第一編碼數據與所述第二編碼數據進行拼接處理,得到對應的模型輸入文本的步驟,具體包括:
5.根據權利要求1所述的基于人工智能的文本處理方法,其特征在于,在所述調用預先構建的正則處理模型對所述模型輸入文本進行推理處理,生成與所述模型輸入文本對應的正則化文本結果的步驟之前,還包括:
6.根據...
【專利技術屬性】
技術研發人員:李俊杰,劉智恒,陳閩川,王少軍,
申請(專利權)人:平安科技深圳有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。