【技術實現步驟摘要】
本專利技術涉及知識問答，特別是涉及基于多模塊協同優化的智能問答方法及系統。
技術介紹
1、大型語言模型（llm）在知識推理和多任務處理方面表現出色，但其內部存儲的參數化知識可能存在局限性，難以快速更新或整合最新信息。為解決這一問題，檢索增強生成（rag）方法被提出，通過外部知識和文檔的檢索，動態提取非參數化知識。這種方法大幅提高了llm在上下文問題中的準確性和適應性。
2、基本的rag系統由知識檢索模塊和閱讀模塊組成，形成檢索-閱讀的流程。然而，這種基本管道存在檢索效率低下、生成回答可靠性不足的問題。為了解決這些問題，rag框架逐漸融入了更復雜的模塊化設計。例如，查詢重寫模塊作為輸入問題與檢索模塊的連接器，通過改寫查詢優化檢索效果，從而演變出重寫-檢索-閱讀的架構。同時，諸如reta-llm和rarr之類的模型則增加了后閱讀和事實核驗模塊，以提高答案的準確性和可靠性。此外，查詢路由器和資源排名器等模塊的加入，使rag在復雜場景中的適用性進一步增強。這些模塊的集成最終形成了模塊化rag的范式，將傳統的rag流程轉變為一個高度靈活和動態的系統。
3、盡管模塊化rag取得了顯著進展，但其實際應用仍然存在一些問題。例如，查詢重寫模塊通常生成單一查詢，這可能限制可檢索信息的多樣性。此外，輸入問題與底層查詢意圖之間的偏差，特別是由模糊表述引發的意圖錯位，常常導致無法準確解讀用戶需求。查詢重寫雖然能改善相關信息的檢索，但無法保證信息的準確性，過度寬泛的檢索還可能引入噪聲，影響回答質量。
技術
1、為了解決現有技術的不足，本專利技術提供了基于多模塊協同優化的智能問答方法及系統；
2、一方面，提供了基于多模塊協同優化的智能問答方法，包括：
3、將待回答的問題，輸入到知識問答模型中，知識問答模型輸出知識問答結果；
4、其中，知識問答模型中的知識范圍判斷模塊判斷依靠自身知識能否解決問題，如果能就進入自反思優化模塊，如果不能就進入動態檢索模塊；所述知識范圍判斷模塊，獲取過程包括：選用llama?3b模型；構建第一訓練集；采用第一訓練集對llama?3b模型進行訓練，當加權動態修正損失函數值不再下降時，停止訓練，得到訓練后的llama?3b模型；訓練后的llama?3b模型作為知識范圍判斷模塊；
5、所述加權動態修正損失函數，其具體表達式為：
6、；
7、其中，n為總樣本數量，為樣本的真實標簽，值為0或1；為模型預測的樣本屬于類別1的概率；為樣本權重；為動態修正系數，用于控制誤差修正的強度；為誤差敏感度指數，調節修正項對誤差幅度的響應程度，表示加權動態修正損失函數；
8、動態檢索模塊根據待回答問題對記憶知識庫的內容進行相似性檢索，如果檢索結果符合要求，則輸出結果，如果檢索結果不符合要求，則進入多層次問題改寫模塊；
9、多層次問題改寫模塊對待回答的問題進行改寫，將改寫的問題輸入知識篩選模塊；
10、知識篩選模塊根據改寫的問題，輸出篩選出的文檔，如果文檔數量超過零，則將文檔和問題輸入到自反思優化模塊；
11、自反思優化模塊根據文檔和問題生成初步答案，并判斷初步答案的是否合理，如果合理就生成最終答案，如果不合理就進行自反思優化；所述自反思優化模塊，包括：將原始問題、重寫問題以及篩選文檔，輸入到大語言模型中，得到初步生成的答案；對初步生成的答案通過大語言模型進行自我反思檢查，所述自我反思檢查，包括：答案一致性檢查、答案完整性檢查、答案邏輯性檢查和答案語義準確性檢查。
12、另一方面，提供了基于多模塊協同優化的智能問答系統，包括：
13、問答模塊，其被配置為：將待回答的問題，輸入到知識問答模型中，知識問答模型輸出知識問答結果；
14、其中，知識問答模型中的知識范圍判斷模塊判斷依靠自身知識能否解決問題，如果能就進入自反思優化模塊，如果不能就進入動態檢索模塊；所述知識范圍判斷模塊，獲取過程包括：選用llama?3b模型；構建第一訓練集；采用第一訓練集對llama?3b模型進行訓練，當加權動態修正損失函數值不再下降時，停止訓練，得到訓練后的llama?3b模型；訓練后的llama?3b模型作為知識范圍判斷模塊；
15、所述加權動態修正損失函數，其具體表達式為：
16、；
17、其中，n為總樣本數量，為樣本的真實標簽，值為0或1；為模型預測的樣本屬于類別1的概率；為樣本權重；為動態修正系數，用于控制誤差修正的強度；為誤差敏感度指數，調節修正項對誤差幅度的響應程度，表示加權動態修正損失函數；
18、動態檢索模塊根據待回答問題對記憶知識庫的內容進行相似性檢索，如果檢索結果符合要求，則輸出結果，如果檢索結果不符合要求，則進入多層次問題改寫模塊；
19、多層次問題改寫模塊對待回答的問題進行改寫，將改寫的問題輸入知識篩選模塊；
20、知識篩選模塊根據改寫的問題，輸出篩選出的文檔，如果文檔數量超過零，則將文檔和問題輸入到自反思優化模塊；
21、自反思優化模塊根據文檔和問題生成初步答案，并判斷初步答案的是否合理，如果合理就生成最終答案，如果不合理就進行自反思優化；所述自反思優化模塊，包括：將原始問題、重寫問題以及篩選文檔，輸入到大語言模型中，得到初步生成的答案；對初步生成的答案通過大語言模型進行自我反思檢查，所述自我反思檢查，包括：答案一致性檢查、答案完整性檢查、答案邏輯性檢查和答案語義準確性檢查。
22、上述技術方案具有如下優點或有益效果：
23、本專利技術面向智能問答系統的性能提升與多領域適配需求，提出了基于小參數量模型驅動的可擴展模塊化問答系統及構建方法。通過改進的微調方法與模塊協同架構，有效解決了傳統方法在資源消耗、復雜問題處理及領域適應性方面的多項不足。系統采用多層模塊化設計，不僅優化了從知識檢索到答案生成的全鏈路流程，還顯著提升了系統在多場景、多任務下的效率與適應能力，為智能問答技術的發展提供了新的解決方案。
24、本專利技術在小參數量模型中引入了基于分層凍結與選擇性參數激活的微調方法，通過動態激活與任務相關的關鍵參數層，避免全量參數更新，顯著降低計算資源消耗，同時提升模型的訓練效率和領域適應能力。此外，結合設計的加權動態修正損失函數（wdcl），在應對類別不平衡問題和復雜樣本優化方面展現了優異性能，顯著提高模型在多場景下的應答精度。
25、本專利技術通過設計多個模塊協同工作，形成從知識判斷到問題生成再到答案優化的完整智能問答鏈路。所設計的動態檢索與多層次問題改寫模塊協同工作的架構，通過將用戶輸入的問題轉化為粗細粒度兼備的子問題集合，實現語義擴展與分解，提升檢索結果的相關性和上下文適配能力，并通過動態置信度評分機制確保檢索階段結果的可靠性；自反思優化模塊通過邏輯一致性檢查和多輪驗證動態改進生成答案，確保輸出內容的語義完整性和邏輯嚴密性，尤其在復雜領域問題中能夠本文檔來自技高網...
【技術保護點】
1.基于多模塊協同優化的智能問答方法，其特征是，包括：
2.如權利要求1所述的基于多模塊協同優化的智能問答方法，其特征是，所述知識范圍判斷模塊，用于將待回答問題進行向量化，得到待回答問題向量，將待回答問題向量與知識范圍判斷模塊內部的知識進行相似度比較，判斷當前問題是否屬于知識范圍判斷模塊已學習的知識范圍，得出待回答問題所歸屬的問題類別；所述問題類別，包括：根據已有知識能解決的問題或根據已有知識不能解決的問題。
3.如權利要求1所述的基于多模塊協同優化的智能問答方法，其特征是，所述構建第一訓練集，包括：
4.如權利要求1所述的基于多模塊協同優化的智能問答方法，其特征是，所述動態檢索模塊根據待回答問題對記憶知識庫的內容進行相似性檢索，如果檢索結果符合要求，則輸出結果，如果檢索結果不符合要求，則進入多層次問題改寫模塊，所述動態檢索模塊，包括：
5.如權利要求4所述的基于多模塊協同優化的智能問答方法，其特征是，所述基于L2距離的近似最近鄰算法計算待回答問題語義向量與記憶知識庫中歷史問題語義向量之間的相似度，包括：
6.如權利要求
7.如權利要求6所述的基于多模塊協同優化的智能問答方法，其特征是，所述構建第二數據集，具體包括：
8.如權利要求1所述的基于多模塊協同優化的智能問答方法，其特征是，所述知識篩選模塊，包括：
9.如權利要求8所述的基于多模塊協同優化的智能問答方法，其特征是，所述構建第三數據集，包括：將問題集合輸入到搜索引擎中，得到包含正確答案的文檔和不包含正確答案的文檔；
10.基于多模塊協同優化的智能問答系統，其特征是，包括：
...【技術特征摘要】
1.基于多模塊協同優化的智能問答方法，其特征是，包括：
2.如權利要求1所述的基于多模塊協同優化的智能問答方法，其特征是，所述知識范圍判斷模塊，用于將待回答問題進行向量化，得到待回答問題向量，將待回答問題向量與知識范圍判斷模塊內部的知識進行相似度比較，判斷當前問題是否屬于知識范圍判斷模塊已學習的知識范圍，得出待回答問題所歸屬的問題類別；所述問題類別，包括：根據已有知識能解決的問題或根據已有知識不能解決的問題。
3.如權利要求1所述的基于多模塊協同優化的智能問答方法，其特征是，所述構建第一訓練集，包括：
4.如權利要求1所述的基于多模塊協同優化的智能問答方法，其特征是，所述動態檢索模塊根據待回答問題對記憶知識庫的內容進行相似性檢索，如果檢索結果符合要求，則輸出結果，如果檢索結果不符合要求，則進入多層次問題改寫模塊，所述動態檢索模塊，包括：
【專利技術屬性】
技術研發人員：劉祥志，周毅，許贊，馬俊朋，胡煥鋼，馬良，滿佳政，侯冬冬，李傳祥，姜鑫昊，喬友為，曹炳陽，吳曉明，董云峰，亓蓓，曾麗麗，
申請(專利權)人：山東省計算中心國家超級計算濟南中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。