【技術實現步驟摘要】
本專利技術涉及數據處理，具體的，本專利技術應用于人工智能領域，特別是涉及一種基于ai的人機交互方法、系統、設備及介質。
技術介紹
1、目前，在電商、金融和企業網站等場景中，均需要線上客服提供售前咨詢和售后支持工作；傳統的客服體系包括：基于知識庫問答的人機交互模式和人工客服模式，這兩種模式分別存在如下缺陷：
2、對于基于知識庫問答的人機交互模式，其非人工操作，主要通過預置的回復文本進行回復，回復內容格式固定，缺少交互性，不會顧及用戶情緒，易導致用戶體驗降低，通常在問題未解決時或大多情況下，用戶仍會選擇轉接人工客服進行處理，產生了一定的使用成本和人力資源的附加消耗；
3、對于人工客服模式，大多數場景下需要根據專業能力進行客服人員的配備劃分，且雖然是人工服務，但用戶咨詢的問題有時并不能一次性得到處理、準確和妥善的解決。
技術實現思路
1、本專利技術的目的在于，提供一種基于ai的人機交互方法、系統、設備及介質，進而解決現有技術中存在的上述所有問題或問題之一。
2、為解決上述技術問題，本專利技術的具體技術方案如下：
3、一方面，本專利技術提供一種基于ai的人機交互方法，包括以下步驟：
4、數據采集：
5、獲取用戶輸入信息；
6、數據預處理：
7、根據所述輸入信息的信息類型進行數據轉換處理，得到語音數據和文本數據；
8、特征提取：
9、分別對所述語音數據和所述文本數據進行特征
10、特征融合：
11、將所述多模態數據進行跨模態融合，得到融合特征；
12、特征標簽識別：
13、基于ai模型對所述融合特征進行識別分析，得到特征標簽；
14、特征分析：
15、將所述語音數據、所述文本數據以及所述情緒標簽輸入至回復內容分析大模型中，得到回復數據；
16、擬態回復：
17、根據所述回復數據生成對應的數字人擬態視頻，基于所述數字人擬態視頻與用戶進行可視化交互。
18、作為一種改進的方案，所述根據所述輸入信息的信息類型進行數據轉換處理，得到語音數據和文本數據，包括：
19、響應于所述信息類型為語音類型，將所述輸入信息轉換為對應的所述文本數據，保存所述輸入信息為對應的所述語音數據；
20、或，
21、響應于所述信息類型為文本類型，保存所述輸入信息為對應的文本數據。
22、作為一種改進的方案，所述分別對所述語音數據和所述文本數據進行特征提取，得到多模態數據，包括：
23、提取所述語音數據的音頻特征，所述音頻特征包括：梅爾頻譜和梅爾頻率倒譜系；
24、采用基于深度學習的特征提取算法提取所述文本數據的文本特征；
25、將所述音頻特征和所述文本特征作為所述多模態數據。
26、作為一種改進的方案，所述將所述多模態數據進行跨模態融合，得到融合特征，包括：
27、采用特征級融合、決策級融合、混合融合或基于模型融合將所述多模態數據整合至一個多模態表示中，得到所述融合特征。
28、作為一種改進的方案，所述基于ai模型對所述融合特征進行識別分析，得到特征標簽，包括：
29、預訓練情緒識別模型；
30、將所述融合特征輸入所述預訓練的情緒識別模型中分析，得到所述特征標簽。
31、作為一種改進的方案，所述將所述語音數據、所述文本數據以及所述情緒標簽輸入至回復內容分析大模型中，得到回復數據，進一步包括：
32、調用所述回復內容分析大模型根據所述情緒標簽生成回復音頻數據；
33、根據所述回復音頻數據生成對應的口型動畫；
34、采用所述口型動畫與數字人形象合成所述數字人擬態視頻。
35、作為一種改進的方案，所述基于所述數字人擬態視頻與用戶進行可視化交互，包括：
36、將所述數字人擬態視頻通過webrtc協議推流至用戶端或用戶交互的自助服務終端。
37、另一方面，本專利技術還提供一種基于ai的人機交互系統，包括：
38、數據采集模塊，用于：獲取用戶輸入信息；
39、數據預處理模塊，用于：根據所述輸入信息的信息類型進行數據轉換處理，得到語音數據和文本數據；
40、特征提取模塊，用于：分別對所述語音數據和所述文本數據進行特征提取，得到多模態數據；
41、特征融合模塊，用于：將所述多模態數據進行跨模態融合，得到融合特征；
42、特征標簽識別模塊，用于：基于ai模型對所述融合特征進行識別分析，得到特征標簽；
43、特征分析模塊，用于：將所述語音數據、所述文本數據以及所述情緒標簽輸入至回復內容分析大模型中，得到回復數據；
44、擬態回復模塊，用于：根據所述回復數據生成對應的數字人擬態視頻，基于所述數字人擬態視頻與用戶進行可視化交互。
45、另一方面，本專利技術還提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現所述基于ai的人機交互方法的步驟。
46、另一方面，本專利技術還提供一種計算機設備，所述計算機設備包括處理器、通信接口、存儲器和通信總線，其中，所述處理器，所述通信接口，所述存儲器通過所述通信總線完成相互間的通信；其中：
47、所述存儲器，用于存放計算機程序；
48、所述處理器，用于通過運行所述存儲器上所存放的程序來執行所述基于ai的人機交互方法的步驟。
49、本專利技術技術方案的有益效果是：
50、本專利技術所述的基于ai的人機交互方法，可以實現配合數據特征的提取處理，在與用戶交互時，根據用戶的情緒以及實時情況進行問題的答復和響應，能夠采用針對性的話術和語音語調進行用戶交互，在情感交流、響應速度、用戶滿意度、用戶體驗感以及交互方式上，均優于傳統方案，彌補了現有技術的缺陷，提升了智能交互服務的質量和效率。
51、本專利技術所述的基于ai的人機交互系統，可以通過數據采集模塊、數據預處理模塊、特征提取模塊、特征融合模塊、特征標簽識別模塊、特征分析模塊和擬態回復模塊的相互配合，進而實現配合數據特征的提取處理，在與用戶交互時，根據用戶的情緒以及實時情況進行問題的答復和響應，能夠采用針對性的話術和語音語調進行用戶交互，在情感交流、響應速度、用戶滿意度、用戶體驗感以及交互方式上，均優于傳統方案，彌補了現有技術的缺陷，提升了智能交互服務的質量和效率。
52、本專利技術所述的計算機可讀存儲介質，可以實現引導數據采集模塊、數據預處理模塊、特征提取模塊、特征融合模塊、特征標簽識別模塊、特征分析模塊和擬態回復模塊進行配合，進而實現本專利技術所述的基于ai的人機交互方法，且本專利技術所述的計算機可讀存儲介質還有效提高所述基于ai的人機交互方法的可操作性。<本文檔來自技高網...
【技術保護點】
1.一種基于AI的人機交互方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于AI的人機交互方法，其特征在于：
3.根據權利要求1所述的基于AI的人機交互方法，其特征在于：
4.根據權利要求1所述的基于AI的人機交互方法，其特征在于：
5.根據權利要求1所述的基于AI的人機交互方法，其特征在于：
6.根據權利要求1所述的基于AI的人機交互方法，其特征在于：
7.根據權利要求1所述的基于AI的人機交互方法，其特征在于：
8.一種基于AI的人機交互系統，其特征在于，包括：
9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現權利要求1~7中任一項所述基于AI的人機交互方法的步驟。
10.一種計算機設備，其特征在于，包括處理器、通信接口、存儲器和通信總線，其中，所述處理器，所述通信接口，所述存儲器通過所述通信總線完成相互間的通信；其中：
【技術特征摘要】
1.一種基于ai的人機交互方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于ai的人機交互方法，其特征在于：
3.根據權利要求1所述的基于ai的人機交互方法，其特征在于：
4.根據權利要求1所述的基于ai的人機交互方法，其特征在于：
5.根據權利要求1所述的基于ai的人機交互方法，其特征在于：
6.根據權利要求1所述的基于ai的人機交互方法，其特征在于：
7.根據權利要求1...
【專利技術屬性】
技術研發人員：楊金輝，王元強，
申請(專利權)人：浪潮金融信息技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。