【技術實現步驟摘要】
本專利技術涉及自然語言處理，特別是涉及基于語義向量優化和動態提示的智能問答方法及系統。
技術介紹
1、近年來，大語言模型（large?language?models,?llms）在自然語言處理（naturallanguage?processing,?nlp）領域取得了廣泛應用，尤其在生成任務（如文本生成、對話系統）和知識增強任務（如檢索增強生成rag）中表現出了強大的能力。rag結合了生成式模型和檢索技術，通過外部知識庫的輔助，解決了大語言模型固有的知識范圍有限和記憶能力不足的問題。然而，現有的rag技術仍面臨諸多挑戰，這些問題限制了其在實際場景中的廣泛部署和高效應用。
2、在傳統的檢索增強生成rag系統中，用戶輸入通常通過語言模型的嵌入層生成語義向量（semantic?embeddings），這些嵌入向量被用作檢索模塊的查詢向量。然而，大語言模型的嵌入層主要設計用于生成任務，而非專門針對檢索任務優化。因此，直接從嵌入層生成的向量在表達用戶意圖和捕獲上下文語義特征方面可能存在以下問題：語義表達能力不足：嵌入層生成的語義向量無法充分捕捉查詢中的復雜語義，導致檢索結果的相關性較低。適應場景能力有限：現有方法通常使用固定嵌入生成方式，難以根據不同任務需求靈活調整向量生成方式。模型訓練目標不匹配：大語言模型的訓練目標側重于生成能力，導致嵌入層生成的向量無法完全適應檢索任務需求。
3、在檢索增強生成rag系統中，檢索模塊和生成模塊通常是分離的，二者缺乏有機協同的機制。這種解耦方式帶來了以下問題：檢索與生成目標脫節：
4、當前檢索增強生成rag方法中的語義向量生成模塊和生成模塊通常獨立優化，未能形成閉環聯動訓練，這使得檢索和生成性能難以整體提升，嵌入生成過程缺乏對生成任務語境的適應能力，導致生成的答案與用戶實際需求不匹配。
5、大語言模型的不同層次編碼了不同粒度的語義信息，淺層語義，編碼輸入句子的基本詞法和語法結構。深層語義，捕捉輸入句子的上下文語義以及更高階的語義抽象。在當前方法中，檢索任務往往僅依賴淺層嵌入，而生成任務更多使用深層語義。這種語義分離的方式，未能充分利用大語言模型的多層次語義信息。
技術實現思路
1、為了解決現有技術的不足，本專利技術提供了基于語義向量優化和動態提示的智能問答方法及系統；本專利技術在大語言模型中，設計語義向量生成模塊，通過深度理解用戶查詢的語義信息來生成更符合檢索任務需求的語義向量。該模塊不僅能夠提高嵌入向量的質量，還能確保生成的向量與后續的生成模塊有效協同工作，從而提升最終答案的準確性和相關性。
2、一方面，提供了基于語義向量優化和動態提示的智能問答方法，包括：
3、獲取目標問題；
4、將目標問題，輸入到訓練后的問答模型中，得到目標問題對應的答案；其中，訓練后的問答模型，包括：依次連接的輸入層、嵌入層、語義向量生成模塊、特征壓縮模塊、動態提示生成模塊、答案生成模塊、線性層和激活函數層；其中，特征壓縮模塊的輸出端還與rag檢索模塊的輸入端連接，rag檢索模塊的輸出端與動態提示生成模塊的輸入端連接；
5、所述訓練后的問答模型，訓練過程包括：構建語義向量生成模塊，對語義向量生成模塊進行預訓練；將經過預訓練的語義向量生成模塊，設置到問答模型中，對問答模型進行訓練，當總損失函數值不再下降時，停止訓練，得到訓練后的問答模型。
6、另一方面，提供了基于語義向量優化和動態提示的智能問答系統，包括：
7、獲取模塊，其被配置為：獲取目標問題；
8、問答模塊，其被配置為：將目標問題，輸入到訓練后的問答模型中，得到目標問題對應的答案；其中，訓練后的問答模型，包括：依次連接的輸入層、嵌入層、語義向量生成模塊、特征壓縮模塊、動態提示生成模塊、答案生成模塊、線性層和激活函數層；其中，特征壓縮模塊的輸出端還與rag檢索模塊的輸入端連接，rag檢索模塊的輸出端與動態提示生成模塊的輸入端連接；
9、所述訓練后的問答模型，訓練過程包括：構建語義向量生成模塊，對語義向量生成模塊進行預訓練；將經過預訓練的語義向量生成模塊，設置到問答模型中，對問答模型進行訓練，當總損失函數值不再下降時，停止訓練，得到訓練后的問答模型。
10、上述技術方案具有如下優點或有益效果：
11、本專利技術通過在大語言模型中添加了語義向量生層模塊，實現語義向量與生成模塊的協同工作以及動態prompt機制，解決了傳統方法在復雜領域問題處理中的多項不足。
12、本專利技術在大語言模型的嵌入生成模塊中設計了可訓練的語義向量生成模塊，能準確地捕捉用戶查詢的深層語義信息，與檢索任務需求高度匹配，從而提升相關文檔的檢索精度。該模塊不僅能夠提高語義理解能力，還能對多種領域（如法律、醫療等）進行適應性訓練，增強模型的適應能力。與傳統的固定嵌入生成方式相比，該模塊可以在實際應用中根據數據特征和上下文動態調整，從而提高檢索和答案生成的的準確性。此外，結合動態層級選擇模塊和特征壓縮模塊的設計，進一步優化了語義向量生成過程。動態層級選擇模塊通過靈活調整各層的貢獻，使模型能夠根據任務需求選擇最合適的層次結構，從而在復雜查詢中提取最相關的信息。而特征壓縮模塊則通過有效的降維處理和非線性激活函數，確保生成的語義向量在保持信息豐富性的同時，降低計算開銷，進一步提升了模型的效率和應用表現。
13、本專利技術采用語義向量和生成模塊的協同工作，打破了傳統架構中嵌入向量與生成階段的割裂，避免了檢索階段與生成階段的脫節問題，使得最終生成的答案能夠更好地融合用戶的查詢意圖和檢索到的文檔內容，確保回答的上下文連貫性和語義一致性，從而為最終的答案生成提供更加精準的上下文信息。通過這種協同工作，系統能夠處理復雜的查詢并生成符合領域需求的高質量答案。尤其在專業領域問題中，能夠生成符合領域規范且具有邏輯一致性的高質量回答，解決了傳統生成模型回答泛化性過高、領域適配性不足的問題。
14、本專利技術采用動態prompt機制，在推理中，大語言模型根據用戶查詢和檢索內容動態生成prompt，以便更好地適應不同的應用場景，確保生成的prompt更加貼近用戶需求。該動態prompt機制特別是在面對多領域、多任務的場景時尤為有效，確保生成的回答更具上下文相關性和領域針對性，可以大幅提升模型的應變能力。本專利技術能夠快速適應不同的知識結構和用戶需求，生成更具針對性的回答，這種能力不僅擴展了系統的應用范圍，還大幅提升了用戶體驗和滿意度。
15、總之，本方案通過優化語義向量的生成質量、提升檢索與生成的協同性以及引入動態prompt機制，預期能夠在檢索精度、回答質量和領域適配性方面取得突破性提升。相較于現有技術，本專利技術展本文檔來自技高網...
【技術保護點】
1.基于語義向量優化和動態提示的智能問答方法，其特征是，包括：
2.如權利要求1所述的基于語義向量優化和動態提示的智能問答方法，其特征是，所述對語義向量生成模塊進行預訓練，包括：
3.如權利要求2所述的基于語義向量優化和動態提示的智能問答方法，其特征是，所述對比學習損失函數，其表達式為：
4.如權利要求1所述的基于語義向量優化和動態提示的智能問答方法，其特征是，所述總損失函數，包括：
5.如權利要求1所述的基于語義向量優化和動態提示的智能問答方法，其特征是，所述構建語義向量生成模塊，包括：
6.如權利要求5所述的基于語義向量優化和動態提示的智能問答方法，其特征是，根據每個block層的初始權重，計算出每個block層的概率分布，包括：
7.如權利要求5所述的基于語義向量優化和動態提示的智能問答方法，其特征是，基于語義向量生成模塊的每一個block層的概率分布，和語義向量生成模塊的每一個block層輸出的特征向量，生成語義向量生成模塊輸出的最終嵌入表示，包括：
8.如權利要求1所述的基于語義向量優化
9.如權利要求1所述的基于語義向量優化和動態提示的智能問答方法，其特征是，所述RAG檢索模塊，是通過檢索增強生成來實現的，具體包括：從已有知識庫中查詢與待查詢向量相似度最高的相關文檔；
10.基于語義向量優化和動態提示的智能問答系統，其特征是，包括：
...【技術特征摘要】
1.基于語義向量優化和動態提示的智能問答方法，其特征是，包括：
2.如權利要求1所述的基于語義向量優化和動態提示的智能問答方法，其特征是，所述對語義向量生成模塊進行預訓練，包括：
3.如權利要求2所述的基于語義向量優化和動態提示的智能問答方法，其特征是，所述對比學習損失函數，其表達式為：
4.如權利要求1所述的基于語義向量優化和動態提示的智能問答方法，其特征是，所述總損失函數，包括：
5.如權利要求1所述的基于語義向量優化和動態提示的智能問答方法，其特征是，所述構建語義向量生成模塊，包括：
6.如權利要求5所述的基于語義向量優化和動態提示的智能問答方法，其特征是，根據每個block層的初始權重，計算出每個block層的概率分布，包括：
7.如權利要求5所述的基于語義向量優化和動態提示的智能問答...
【專利技術屬性】
技術研發人員：劉祥志，李傳祥，侯冬冬，馬俊朋，周毅，姜鑫昊，馬良，滿佳政，吳曉明，許贊，董云峰，亓蓓，劉杰，
申請(專利權)人：山東省計算中心國家超級計算濟南中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。