【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)搜索，尤其是一種結(jié)合elasticsearch和ai的搜索問答方法及其系統(tǒng)。
技術(shù)介紹
1、隨著人工智能技術(shù)的快速發(fā)展，ai在客戶服務(wù)領(lǐng)域的應(yīng)用日益廣泛。目前，基于站點(diǎn)內(nèi)容為用戶提供問答服務(wù)的ai客服系統(tǒng)通常采用檢索增強(qiáng)生成（rag）技術(shù)。然而，rag技術(shù)在應(yīng)用中仍存在一定的局限性。例如，對(duì)于需要基于時(shí)間范圍和特定領(lǐng)域知識(shí)（如“最近3個(gè)月有哪些新聞？”）的查詢，rag往往無法精準(zhǔn)應(yīng)答。這是因?yàn)閞ag通常依賴靜態(tài)知識(shí)庫進(jìn)行檢索，當(dāng)用戶提出超出數(shù)據(jù)庫既有信息范疇的問題時(shí)，系統(tǒng)難以提供準(zhǔn)確、及時(shí)的回答，從而可能導(dǎo)致用戶對(duì)系統(tǒng)能力的質(zhì)疑和使用體驗(yàn)的降低。
2、此外，現(xiàn)有基于rag的問答方法在處理用戶問題時(shí)往往只是將問題簡(jiǎn)單轉(zhuǎn)換為搜索詞進(jìn)行檢索，這種粗粒度的檢索方式無法充分捕捉用戶問題中蘊(yùn)含的語義層次和語境關(guān)系。當(dāng)用戶提出的請(qǐng)求無法通過直接搜索數(shù)據(jù)庫內(nèi)容獲得答案時(shí)，系統(tǒng)容易出現(xiàn)回答不當(dāng)或答非所問的情況，嚴(yán)重影響用戶滿意度和使用粘性。
3、因此，迫切需要一種新的技術(shù)方案，以突破現(xiàn)有rag技術(shù)的局限，提升ai客服系統(tǒng)對(duì)于多樣化問題的應(yīng)對(duì)能力和回答精準(zhǔn)度。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供一種結(jié)合elasticsearch和ai的搜索問答方法，包括：
2、將問題進(jìn)行預(yù)先分類，其中問題類型分為：關(guān)于網(wǎng)站基本信息的問題a、與網(wǎng)站內(nèi)容相關(guān)的問題b以及通用問題c；
3、獲取用戶輸入的問題文本，并對(duì)所述問題文本進(jìn)行預(yù)處理，得到處理問
4、對(duì)處理問題文本進(jìn)行特征提取，得到問題文本特征；
5、基于bert模型和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)問題文本特征數(shù)據(jù)進(jìn)行計(jì)算，得到問題分類值，并判斷問題分類值是否處于預(yù)設(shè)閾值區(qū)間內(nèi)；
6、若問題分類值處于預(yù)設(shè)閾值區(qū)間內(nèi)，將其劃分到網(wǎng)站內(nèi)容相關(guān)的問題b；
7、若問題分類值大于預(yù)設(shè)閾值區(qū)間最大值，將其劃分到網(wǎng)站基本信息的問題a；
8、若問題分類值小于預(yù)設(shè)閾值區(qū)間最小值，將其劃分到通用問題c；
9、對(duì)分類之后的問題類型進(jìn)行分類處理以回答用戶問題。
10、進(jìn)一步的，所述對(duì)處理問題文本進(jìn)行特征提取，得到問題文本特征數(shù)據(jù)的步驟包括：
11、將用戶輸入問題的轉(zhuǎn)化為one-hot編碼向量；
12、假設(shè)輸入問題經(jīng)過分詞和去除停用詞后為n個(gè)單詞，表示第i個(gè)單詞（i=1,2,……n），index（）表示單詞在詞表中的索引，則生成的one?-?hot編碼向量v的計(jì)算公式為：
13、
14、其中?j=0,1,2……，v-1。
15、進(jìn)一步的，對(duì)問題文本特征數(shù)據(jù)進(jìn)行計(jì)算，得到問題分類值，并判斷問題分類值是否處于預(yù)設(shè)閾值區(qū)間內(nèi)的步驟包括：
16、經(jīng)過前面的預(yù)處理步驟，問題已被轉(zhuǎn)化為模型可處理的格式，其中，將向量形狀設(shè)為?[序列長(zhǎng)度l，詞向量維度d]；
17、問題分類的計(jì)算公式為：
18、
19、s為問題分類值；
20、對(duì)用戶輸入的問題所屬的類型進(jìn)行判斷；
21、若，則最終分類結(jié)果為關(guān)于網(wǎng)站基本信息的問題a；
22、若，則最終分類結(jié)果為網(wǎng)站內(nèi)容相關(guān)的問題b；
23、若，則最終分類結(jié)果為通用問題c。
24、進(jìn)一步的，對(duì)分類之后的問題類型進(jìn)行分類處理以回答用戶問題的步驟包括：
25、對(duì)于類別?a，首先將問題與預(yù)設(shè)的信息庫中的問題模板或關(guān)鍵詞進(jìn)行匹配；
26、接著，使用?llm根據(jù)檢索到的預(yù)設(shè)網(wǎng)站信息生成回答；
27、最后，將生成的回答輸出給用戶；
28、對(duì)于類別c，首先，在歷史聊天記錄數(shù)據(jù)庫中進(jìn)行檢索；
29、接著，對(duì)檢索到的聊天記錄進(jìn)行篩選，優(yōu)先選擇近期的、與當(dāng)前用戶特征相似的用戶的聊天記錄，并生成預(yù)回答內(nèi)容；
30、根據(jù)所述預(yù)回答內(nèi)容，對(duì)預(yù)回答進(jìn)行自檢，判斷是否存在錯(cuò)誤內(nèi)容；
31、若存在錯(cuò)誤內(nèi)容，則對(duì)錯(cuò)誤內(nèi)容進(jìn)行糾正，并生成修訂回答內(nèi)容，再將修訂回答內(nèi)容輸出給用戶；
32、若不存在錯(cuò)誤內(nèi)容，則直接將預(yù)回答內(nèi)容輸出給用戶。
33、進(jìn)一步的，對(duì)分類之后的問題類型進(jìn)行分類處理以回答用戶問題的步驟還包括：
34、對(duì)被提問的語言進(jìn)行識(shí)別，確定回復(fù)語言；
35、對(duì)問題進(jìn)行搜索參數(shù)提取，其中，包括欄目、時(shí)間范圍、國(guó)家地區(qū)和關(guān)鍵詞；
36、判斷用戶預(yù)期的回復(fù)類型，類型分為純搜索類和需深入閱讀的非純搜索類；
37、調(diào)用elasticsearch進(jìn)行搜索，解決相關(guān)工程問題，所述工程問題包括國(guó)家地區(qū)轉(zhuǎn)換成標(biāo)簽、搜索參數(shù)改寫、多欄目搜索策略；
38、根據(jù)用戶預(yù)期判斷結(jié)果，決定是否直接返回搜索列表或繼續(xù)處理。
39、進(jìn)一步的，若為純搜索類則直接返回搜索列表；
40、若為非純搜索則繼續(xù)以下步驟：
41、獲取搜索結(jié)果的正文內(nèi)容；
42、將正文和元數(shù)據(jù)信息組合成markdown格式；
43、使用ai根據(jù)用戶問題對(duì)內(nèi)容進(jìn)行相關(guān)性判斷和摘要生成；
44、去除不相關(guān)內(nèi)容；
45、對(duì)ai總結(jié)的摘要列表進(jìn)行重排序；
46、使用?ai?根據(jù)總結(jié)摘要結(jié)果列表，綜合回答用戶問題。
47、本專利技術(shù)還公開了一種結(jié)合elasticsearch和ai的搜索問答系統(tǒng)，包括：
48、分類模塊，用于將問題進(jìn)行預(yù)先分類，其中問題類型分為：關(guān)于網(wǎng)站基本信息的問題a、與網(wǎng)站內(nèi)容相關(guān)的問題b以及通用問題c；
49、獲取模塊，用于獲取用戶輸入的問題；
50、轉(zhuǎn)化模塊，用于對(duì)問題進(jìn)行預(yù)處理，包括分詞、去除停用詞，并將文本轉(zhuǎn)化為模型處理的格式數(shù)據(jù)；
51、提取模塊，用于對(duì)模型處理的格式數(shù)據(jù)進(jìn)行特征提取；
52、計(jì)算模塊，用于基于所提取的特征，通過bert模型以及通過內(nèi)部的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行計(jì)算和判斷，計(jì)算問題分類概率；
53、判斷模塊，用于判斷用戶輸入問題的最終分類結(jié)果；
54、處理模塊，用于對(duì)分類之后的問題類型進(jìn)行分類處理以回答用戶問題。
55、進(jìn)一步的，所述處理模塊，包括：
56、識(shí)別單元，用于對(duì)被提問的語言進(jìn)行識(shí)別，確定回復(fù)語言；
57、提取單元，用于對(duì)問題進(jìn)行搜索參數(shù)提取，其中，包括欄目、時(shí)間范圍、國(guó)家地區(qū)和關(guān)鍵詞；
58、判斷單元，用于判斷用戶預(yù)期的回復(fù)類型，類型分為純搜索類和需深入閱讀的非純搜索類；
59、搜索單元，用于調(diào)用elasticsearch進(jìn)行搜索，解決相關(guān)工程問題，所述工程問題包括國(guó)家地區(qū)轉(zhuǎn)換成標(biāo)簽、搜索參數(shù)改寫、多欄目搜索策略；
60、處理單元，用于根據(jù)用戶預(yù)期判斷結(jié)果，決定是否直接返回搜索列表或繼續(xù)處理。
61、本申請(qǐng)還提供了一種計(jì)算機(jī)設(shè)備本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種結(jié)合ElasticSearch和AI的搜索問答方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種結(jié)合ElasticSearch和AI的搜索問答方法，其特征在于，所述對(duì)處理問題文本進(jìn)行特征提取，得到問題文本特征數(shù)據(jù)的步驟包括：
3.根據(jù)權(quán)利要求2所述的一種結(jié)合ElasticSearch和AI的搜索問答方法，其特征在于，對(duì)問題文本特征數(shù)據(jù)進(jìn)行計(jì)算，得到問題分類值，并判斷問題分類值是否處于預(yù)設(shè)閾值區(qū)間內(nèi)的步驟包括：
4.根據(jù)權(quán)利要求1所述的一種結(jié)合ElasticSearch和AI的搜索問答方法，其特征在于，對(duì)分類之后的問題類型進(jìn)行分類處理以回答用戶問題的步驟包括：
5.根據(jù)權(quán)利要求?1?所述的一種結(jié)合ElasticSearch和AI的搜索問答方法，其特征在于，對(duì)分類之后的問題類型進(jìn)行分類處理以回答用戶問題的步驟還包括：
6.根據(jù)權(quán)利要求?5?所述的一種結(jié)合ElasticSearch和AI的搜索問答方法，其特征在于，
7.一種結(jié)合ElasticSearch和AI的搜索問答系統(tǒng)，其特征在于，包括：
<...【技術(shù)特征摘要】
1.一種結(jié)合elasticsearch和ai的搜索問答方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種結(jié)合elasticsearch和ai的搜索問答方法，其特征在于，所述對(duì)處理問題文本進(jìn)行特征提取，得到問題文本特征數(shù)據(jù)的步驟包括：
3.根據(jù)權(quán)利要求2所述的一種結(jié)合elasticsearch和ai的搜索問答方法，其特征在于，對(duì)問題文本特征數(shù)據(jù)進(jìn)行計(jì)算，得到問題分類值，并判斷問題分類值是否處于預(yù)設(shè)閾值區(qū)間內(nèi)的步驟包括：
4.根據(jù)權(quán)利要求1所述的一種結(jié)合elasticsearch和ai的搜索問答方法，其特征在于，對(duì)分類之后的問題類型進(jìn)行分類處理以回答用戶問題的步驟包括：
5.根據(jù)權(quán)利要求?1?所述的一種結(jié)合elasticsearch和ai的搜索問答方法，其特征在于，對(duì)分類之后的問題類型進(jìn)行分類處理以回答用...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：朱海東，肖鳳生，張沫，付穎穎，李莉，羅井榮，
申請(qǐng)(專利權(quán))人：杭州瑞歐科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。