System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及自然語言處理,尤其涉及一種基于大語言模型的記憶召回方法及相關裝置。
技術介紹
1、隨著大語言模型的快速發展,其在自然語言理解和生成方面展現出了強大的能力。然而,如何更好地利用這些模型進行深度語義理解和多級推理仍是一個挑戰。
2、傳統的記憶召回系統主要依賴于向量索引的方式進行相似度匹配,而現有的基于向量索引的記憶召回方式存在記憶聯想能力的局限性,系統無法有效地根據一個實體聯想到另一個相關實體。這是由于向量索引主要依賴預先計算的嵌入向量之間的相似度,缺乏對實體間語義關系的深入理解。因此,系統難以進行復雜的記憶推理和關聯,大大降低了智能系統的認知能力和應用范圍。并且,現有的基于向量索引的記憶召回方式召回的實體記憶信息不完整,難以全面召回與特定實體相關的所有記憶信息。這個問題主要表現為記憶信息碎片化、記憶信息偏差和記憶上下文丟失。而這問題造成的原因為向量索引方法主要關注記憶局部相似性,難以捕捉全局的記憶語義結構;缺乏有效的記憶組織和關聯機制,無法構建完整的記憶網絡。這會影響智能系統的決策質量和用戶體驗,特別是在需要全面了解某個實體或概念的記憶場景中,如智能客服、虛擬陪伴等應用。
技術實現思路
1、本申請提供了一種基于大語言模型的記憶召回方法及相關裝置,用于改善現有的基于向量索引的記憶召回方式存在記憶聯想能力的局限性、召回的實體記憶信息不完整的技術問題。
2、有鑒于此,本申請第一方面提供了一種基于大語言模型的記憶召回方法,包括:
3、獲取用戶與智
4、通過大語言模型對所述不活躍的短期記憶進行語義內容解析,獲取第一實體信息和實體關系三元組;
5、將所述第一實體信息和實體關系三元組轉化為長期記憶,獲取長期記憶圖譜;
6、通過大語言模型根據所述長期記憶圖譜中的實體信息對所述活躍的短期記憶進行實體抽取以及對抽取的實體進行推理層級評估,并組合抽取的實體以及對應的推理層級,生成查詢語言;
7、通過所述查詢語言從所述長期記憶圖譜中進行查詢,獲取長期記憶三元組信息,對所述長期記憶三元組信息進行文本化處理,得到長期記憶文本信息;
8、通過大語言模型根據所述長期記憶文本信息和所述短期記憶生成回復。
9、可選的,所述對所述短期記憶進行劃分,獲取不活躍的短期記憶和活躍的短期記憶,包括:
10、將對話輪數超過預置輪次且對話信息產生時間超過預置時間的短期記憶劃分為不活躍的短期記憶,將剩余的短期記憶劃分為活躍的短期記憶。
11、可選的,所述將所述第一實體信息和實體關系三元組轉化為長期記憶,獲取長期記憶圖譜,包括:
12、檢查所述第一實體信息中的各實體是否已存在于圖數據庫中;所述圖數據庫用于存儲長期記憶圖譜;
13、若當前實體未存在于圖數據庫中,則在所述圖數據庫中創建新的實體節點,并添加當前實體的屬性到該新的實體節點中,實體的屬性包括名稱、類型和描述;
14、若當前實體已存在于圖數據庫中,則比較當前實體與圖數據庫中同一名稱實體的描述,合并重復的描述,保留非重復的描述,以更新圖數據庫中實體節點的描述;
15、針對各實體關系三元組,確定當前實體關系三元組對應的源實體和目標實體在圖數據庫中的位置,檢查源實體和目標實體是否存在當前實體關系,所述實體關系三元組包括名稱、描述和情感權重;
16、若不存在,則給當前實體關系三元組對應的源實體和目標實體添加當前實體關系;
17、若存在,則比較當前實體關系三元組對應的源實體和目標實體的當前實體關系與該源實體和目標實體在圖數據庫的實體關系的描述,合并重復的描述,保留非重復的描述,并重新評估該源實體和目標實體的情感權重,以更新圖數據庫中該源實體和目標實體的實體關系;
18、輸出更新后的圖數據庫。
19、可選的,所述通過大語言模型根據所述長期記憶圖譜中的實體信息對所述活躍的短期記憶進行實體抽取以及對抽取的實體進行推理層級評估,包括:
20、通過大語言模型根據所述長期記憶圖譜中的實體信息對所述活躍的短期記憶進行實體抽取,得到第二實體信息;
21、評估各所述第二實體信息中的實體與記憶召回問題的相關度,根據所述相關度對各所述第二實體信息中的實體進行降序排序,輸出排序后的前第一數量個實體,得到實體列表;所述記憶召回問題為所述短期對話信息中用戶向智能體發起的提問;
22、通過大語言模型根據所述記憶召回問題和所述實體列表評估所述實體列表中的實體對對應記憶召回問題的推理層級。
23、可選的,所述對所述長期記憶三元組信息進行文本化處理,得到長期記憶文本信息,之后還包括:
24、計算各所述長期記憶文本信息的總相關分數,根據所述總相關分數對各所述長期記憶文本信息進行降序排序,獲取排序后的前第二數量個長期記憶文本信息;
25、所述通過大語言模型根據所述長期記憶文本信息和所述短期記憶生成回復,包括:
26、通過大語言模型根據排序后的前第二數量個長期記憶文本信息和所述短期記憶生成回復。
27、可選的,所述計算各所述長期記憶文本信息的總相關分數,包括:
28、計算各所述長期記憶文本信息與對應的記憶召回問題的相似分數;
29、對各所述長期記憶文本信息與對應的記憶召回問題的相似分數、各所述長期記憶文本信息中實體的相關度以及實體關系的情感權重進行加權求和,得到各所述長期記憶文本信息的總相關分數。
30、本申請第二方面提供了一種基于大語言模型的記憶召回系統,包括:
31、劃分模塊,用于獲取用戶與智能體的短期對話信息,得到短期記憶,并對所述短期記憶進行劃分,獲取不活躍的短期記憶和活躍的短期記憶;
32、語義解析模塊,用于通過大語言模型對所述不活躍的短期記憶進行語義內容解析,獲取第一實體信息和實體關系三元組;
33、轉化模塊,用于將所述第一實體信息和實體關系三元組轉化為長期記憶,獲取長期記憶圖譜;
34、多級推理模塊,用于通過大語言模型根據所述長期記憶圖譜中的實體信息對所述活躍的短期記憶進行實體抽取以及對抽取的實體進行推理層級評估,并組合抽取的實體以及對應的推理層級,生成查詢語言;
35、查詢模塊,用于通過所述查詢語言從所述長期記憶圖譜中進行查詢,獲取長期記憶三元組信息,對所述長期記憶三元組信息進行文本化處理,得到長期記憶文本信息;
36、回復生成模塊,用于通過大語言模型根據所述長期記憶文本信息和所述短期記憶生成回復。
37、可選的,所述多級推理模塊,具體用于:
38、通過大語言模型根據所述長期記憶圖譜中的實體信息對所述活躍的短期記憶進行實體抽取,得到第二實體信息;
39、評估各所述第二實體信息中的本文檔來自技高網...
【技術保護點】
1.一種基于大語言模型的記憶召回方法,其特征在于,包括:
2.根據權利要求1所述的基于大語言模型的記憶召回方法,其特征在于,所述對所述短期記憶進行劃分,獲取不活躍的短期記憶和活躍的短期記憶,包括:
3.根據權利要求1所述的基于大語言模型的記憶召回方法,其特征在于,所述將所述第一實體信息和實體關系三元組轉化為長期記憶,獲取長期記憶圖譜,包括:
4.根據權利要求1所述的基于大語言模型的記憶召回方法,其特征在于,所述通過大語言模型根據所述長期記憶圖譜中的實體信息對所述活躍的短期記憶進行實體抽取以及對抽取的實體進行推理層級評估,包括:
5.根據權利要求1所述的基于大語言模型的記憶召回方法,其特征在于,所述對所述長期記憶三元組信息進行文本化處理,得到長期記憶文本信息,之后還包括:
6.根據權利要求5所述的基于大語言模型的記憶召回方法,其特征在于,所述計算各所述長期記憶文本信息的總相關分數,包括:
7.一種基于大語言模型的記憶召回系統,其特征在于,包括:
8.根據權利要求7所述的基于大語言模型的記憶召回系統,
9.一種電子設備,其特征在于,所述設備包括處理器以及存儲器;
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質用于存儲程序代碼,所述程序代碼被處理器執行時實現權利要求1-6任一項所述的基于大語言模型的記憶召回方法。
...【技術特征摘要】
1.一種基于大語言模型的記憶召回方法,其特征在于,包括:
2.根據權利要求1所述的基于大語言模型的記憶召回方法,其特征在于,所述對所述短期記憶進行劃分,獲取不活躍的短期記憶和活躍的短期記憶,包括:
3.根據權利要求1所述的基于大語言模型的記憶召回方法,其特征在于,所述將所述第一實體信息和實體關系三元組轉化為長期記憶,獲取長期記憶圖譜,包括:
4.根據權利要求1所述的基于大語言模型的記憶召回方法,其特征在于,所述通過大語言模型根據所述長期記憶圖譜中的實體信息對所述活躍的短期記憶進行實體抽取以及對抽取的實體進行推理層級評估,包括:
5.根據權利要求1所述的基于大語言模型的記憶召回方法,其特征在于...
【專利技術屬性】
技術研發人員:張濤,許汝全,徐志堅,謝睿,
申請(專利權)人:廣州趣研網絡科技有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。