【技術實現步驟摘要】
本申請涉及人工智能，具體地涉及一種用于訓練知識庫選取模型的方法、用戶問題的處理方法、裝置及存儲介質。
技術介紹
1、現有的知識庫檢索一般是利用大模型根據知識庫描述去檢索對應的知識庫或者直接在所有的知識庫中遍歷以得到對應的知識庫。一方面現有的知識庫檢索方式過度依賴于大模型對知識庫描述理解的準確性，而現有的知識庫描述往往做不到全面、準確，而是比較片面、重復冗余、存在歧義，從而導致大模型檢索的知識庫出現錯誤、不夠準確。另一方面直接對全部知識庫進行檢索的方式會導致計算資源大量消耗，且往往無法打破不同知識庫之間的信息壁壘，使得檢索過程十分煩瑣，且檢索結果不夠準確。上述的知識庫檢索方法均無法及時準確地檢索到對應的知識庫，導致無法為后續的用戶咨詢提供良好的回復，無法有效地解決用戶的問題。
技術實現思路
1、本申請實施例的目的是提供一種用于訓練知識庫選取模型的方法、用戶問題的處理方法、裝置及存儲介質，用以解決現有技術中無法準確選取用戶所需的知識庫、造成問答不準確的問題。
2、為了實現上述目的，本申請第一方面提供一種用于訓練知識庫選取模型的方法，方法包括：
3、獲取用戶的多個歷史查詢問題、多個歷史查詢問題的參考回復以及用于表征多個歷史查詢問題及其對應參考回復來源的知識庫的預期選擇向量；
4、預處理多個歷史查詢問題中的每個歷史查詢問題，得到每個歷史查詢問題的歷史嵌入向量；
5、將每個歷史查詢問題的歷史嵌入向量依次輸入至知識庫選取模型，以得到每個歷史查詢問
6、根據每個歷史查詢問題的歷史選取概率向量和預期選擇向量確定每個歷史查詢問題的第一損失值；
7、根據所有的第一損失值確定知識庫選取模型的總損失值；
8、在總損失值小于預設數值的情況下，確定知識庫選取模型訓練完成。
9、在本申請實施例中，根據所有的第一損失值確定知識庫選取模型的總損失值包括：確定每個歷史查詢問題的參考上下文；將每個歷史查詢問題和每個歷史查詢問題的參考上下文輸入至大語言模型，以輸出每個歷史查詢問題的預測回復；根據每個歷史查詢問題的預測回復和每個歷史查詢問題的參考回復確定每個歷史查詢問題的第二損失值；根據所有的第一損失值和第二損失值確定知識庫選取模型的總損失值。
10、在本申請實施例中，確定每個歷史查詢問題的參考上下文包括：針對每個歷史查詢問題，基于預設選擇邏輯處理該歷史查詢問題的歷史選取概率向量，以得到用于表征每個知識庫是否為該歷史查詢問題對應的參考上下文來源的知識庫的歷史選擇向量；根據該歷史查詢問題對應的歷史選擇向量確定該歷史查詢問題的參考上下文的來源知識庫；從來源知識庫中提取出與該歷史查詢問題對應的參考上下文。
11、在本申請實施例中，根據所有的第一損失值和第二損失值確定知識庫選取模型的總損失值包括根據公式（1）確定總損失值：
12、（1）
13、其中，為總損失值，為第i個歷史查詢問題的參考回復，為第i個歷史查詢問題的預測回復，為第i個歷史查詢問題的歷史選取概率向量，為第i個歷史查詢問題的預期選擇向量，si為第i個歷史查詢問題的歷史選擇向量，m為第m個歷史查詢問題。
14、在本申請實施例中，知識庫通過以下步驟訓練得到：確定目標垂域對應的多個參與方，多個參與方擁有目標垂域的本地文本數據；將目標垂域的初始大模型分發至多個參與方，以使多個參與方基于各自所擁有的目標垂域的本地文本數據迭代訓練初始大模型；獲取多個參與方各自返回的迭代訓練得到的臨時大模型，并將其中校驗合規的臨時大模型進行聚合得到當前最新的聚合大模型；在滿足迭代訓練的終止條件的情況下，將當前最新的聚合大模型確定為目標垂域對應的知識庫。
15、在本申請實施例中，預處理多個歷史查詢問題中的每個歷史查詢問題包括：將多個歷史查詢問題中的每個歷史查詢問題輸入至嵌入模型，以通過嵌入模型輸出與每個歷史查詢問題對應的歷史嵌入向量。
16、在本申請實施例中，方法還包括：在總損失值大于或等于預設數值的情況下，確定針對知識庫選取模型的訓練次數遞增，調整知識庫選取模型的模型參數，并再次回到獲取用戶的多個歷史查詢問題、多個歷史查詢問題的參考回復以及用于表征多個歷史查詢問題及其對應參考回復來源的知識庫的預期選擇向量的步驟，直至滿足訓練條件。
17、本申請第二方面提供一種用戶問題的處理方法，方法包括：
18、獲取用戶的當前查詢問題；
19、將當前查詢問題輸入至嵌入模型，以通過嵌入模型輸出當前查詢問題的嵌入向量；
20、將嵌入向量輸入至知識庫選取模型，以得到知識庫選取模型輸出的選取概率向量，其中，知識庫選取模型是使用上述的用于訓練知識庫選取模型的方法訓練的；
21、根據選取概率向量確定表征每個知識庫是否為當前查詢問題對應的當前參考上下文的來源的當前選擇向量；
22、根據所有的當前選擇向量確定是當前查詢問題的當前參考上下文的來源的目標知識庫；
23、從目標知識庫中提取出針對當前查詢問題的當前參考上下文；
24、根據當前查詢問題和當前參考上下文確定當前查詢問題的回復。
25、在本申請實施例中，從目標知識庫中提取出針對當前查詢問題的當前參考上下文包括：基于嵌入向量在目標知識庫中進行檢索，以確定目標知識庫中與嵌入向量的相似度處于預設范圍內的目標向量；將目標向量對應的上下文文本作為當前查詢問題的當前參考上下文。
26、在本申請實施例中，從目標知識庫中提取出針對當前查詢問題的當前參考上下文包括：將當前查詢問題輸入至目標知識庫，以通過目標知識庫中的生成模型生成當前參考上下文。
27、在本申請實施例中，根據當前查詢問題和當前參考上下文確定當前查詢問題的回復包括：在目標知識庫的數量為多個的情況下，確定從每個目標知識庫中提取的一個當前參考上下文與查詢問題之間的語義相似度；基于語義相似度降序排列所有當前參考上下文；將排列后的所有當前參考上下文和當前查詢問題輸入至大語言模型，以通過大語言模型輸出回復。
28、在本申請實施例中，根據當前查詢問題和當前參考上下文確定當前查詢問題的回復包括：將語義相似度大于預設數值的當前參考上下文確定為目標參考上下文；將目標參考上下文和當前查詢問題輸入至大語言模型，以通過大語言模型輸出回復。
29、本申請第三方面提供一種用于訓練知識庫選取模型的裝置，包括：
30、存儲器，被配置成存儲指令；
31、處理器，被配置成從存儲器調用指令以及在執行指令時能夠實現上述的用于訓練知識庫選取模型的方法或實現上述的用戶問題的處理方法。
32、本申請第四方面提供一種機器可讀存儲介質，該機器可讀存儲介質上存儲有指令，該指令用于使得機器執行上述的用于訓練知識庫選取模型的方法或執行上述的用戶問題的處理方法。
33、通過上述技術方案，能夠確定每個歷史查詢本文檔來自技高網...
【技術保護點】
1.一種用于訓練知識庫選取模型的方法，其特征在于，所述方法包括：
2.根據權利要求1所述的用于訓練知識庫選取模型的方法，其特征在于，所述根據所有的第一損失值確定所述知識庫選取模型的總損失值包括：
3.根據權利要求2所述的用于訓練知識庫選取模型的方法，其特征在于，所述確定每個歷史查詢問題的參考上下文包括：
4.根據權利要求3所述的用于訓練知識庫選取模型的方法，其特征在于，根據所有的第一損失值和第二損失值確定所述知識庫選取模型的總損失值包括根據公式（1）確定所述總損失值：
5.根據權利要求1所述的用于訓練知識庫選取模型的方法，其特征在于，所述知識庫通過以下步驟訓練得到：
6.根據權利要求1所述的用于訓練知識庫選取模型的方法，其特征在于，預處理所述多個歷史查詢問題中的每個歷史查詢問題包括：
7.根據權利要求1所述的用于訓練知識庫選取模型的方法，其特征在于，所述方法還包括：
8.一種用戶問題的處理方法，其特征在于，所述方法包括：
9.根據權利要求8所述的用戶問題的處理方法，其特征在于，從所述目
10.根據權利要求8所述的用戶問題的處理方法，其特征在于，從所述目標知識庫中提取出針對所述當前查詢問題的當前參考上下文包括：
11.根據權利要求8所述的用戶問題的處理方法，其特征在于，根據所述當前查詢問題和所述當前參考上下文確定所述當前查詢問題的回復包括：
12.根據權利要求11所述的用戶問題的處理方法，其特征在于，根據所述當前查詢問題和所述當前參考上下文確定所述當前查詢問題的回復包括：
13.一種用于訓練知識庫選取模型的裝置，其特征在于，包括：
14.一種機器可讀存儲介質，其特征在于，該機器可讀存儲介質上存儲有指令，該指令用于使得機器執行根據權利要求1至7中任一項所述的用于訓練知識庫選取模型的方法或執行根據權利要求8至12中任一項所述的用戶問題的處理方法。
...【技術特征摘要】
1.一種用于訓練知識庫選取模型的方法，其特征在于，所述方法包括：
2.根據權利要求1所述的用于訓練知識庫選取模型的方法，其特征在于，所述根據所有的第一損失值確定所述知識庫選取模型的總損失值包括：
3.根據權利要求2所述的用于訓練知識庫選取模型的方法，其特征在于，所述確定每個歷史查詢問題的參考上下文包括：
4.根據權利要求3所述的用于訓練知識庫選取模型的方法，其特征在于，根據所有的第一損失值和第二損失值確定所述知識庫選取模型的總損失值包括根據公式（1）確定所述總損失值：
5.根據權利要求1所述的用于訓練知識庫選取模型的方法，其特征在于，所述知識庫通過以下步驟訓練得到：
6.根據權利要求1所述的用于訓練知識庫選取模型的方法，其特征在于，預處理所述多個歷史查詢問題中的每個歷史查詢問題包括：
7.根據權利要求1所述的用于訓練知識庫選取模型的方法，其特征在于，所述方法還包括：
8.一種用戶問題的處理方法，...
【專利技術屬性】
技術研發人員：周志忠，尹倩倩，童興，
申請(專利權)人：中科云谷科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。