【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及一種大模型的記憶系統、智能體及其記憶存儲更新方法。
技術介紹
1、大模型的出現和發展，不僅改變了自然語言處理的傳統范式，也給各行各業帶來了極大的震撼。以chatgpt為代表的大模型在多項任務上取得的成果，有目共睹。雖然大模型表現十分耀眼，但是其依舊面對一些嚴峻的問題。如知識幻覺、有毒有害內容，沒有記憶能力或者有限的記憶能力，沒法自我成長進化等。比如，chatgpt可以和你就當前的話題侃侃而談，但是當你問它："3天前我和你聊過的一本書叫什么？"，這時chatgpt就無能為力了。由于chatgpt沒有記憶模塊，所以chatgpt記不住你是誰，也不知道3天前你和他聊天的內容，就像一個失憶的聰明人。知識幻覺、有毒有害內容，沒有記憶能力或者有限的記憶能力，沒法自我成長進化，這些問題在一定程度上都可以通過加強記憶和知識得到緩解。比如，對于幻覺和有毒有害內容，可以在和chatgpt交流時用補充知識和規范進行糾正，這些知識和規范需要通過外部記憶(知識)載體或者內隱記憶成為大模型的一部分，從而引導大模型，使大模型能不斷地回憶，反思過去，更新記憶，擴充知識，繼而完成進化。
2、現有的方法中實現大模型記憶能力主要有以下幾種：
3、方法1：添加特定時間窗口內的歷史。這類方法主要是把特定大小時間窗口范圍內的歷史內容，作為新對話的上下文，和新會話一起作為大模型的輸入，以達到實現一定的記憶能力。這些方法實現簡單，但是很顯然，這些方法存在以下問題：首先，它只能完成過去窗口內的記憶，如果，窗口過小，那么記憶
4、方法2：通過語義檢索召回記憶。這類方法，會先用一些embedding的模型，將歷史內容進行存儲，在使用記憶的地方，通過語義相似度的一些算法，從歷史的會話中召回相關語義的記憶內容。這種方法在一定程度上緩解方法1中，記憶內容有限，記憶不完整的問題。但是這類方法也存在一些問題，比如，單純依賴語義相似度，會帶來召回記憶不精確等問題，特別是對于需要精確上下文的場景，比如，庫存管理等。
5、方法3：模型增加記憶相關組件。這類方法通常在模型中增加特殊的token或者外接一個時序模型(lstm)或者注意力模型(transformer以及相關變體)，來用于上下文的學習和記憶的訓練。這個方法在一定程度上能緩解方法1和方法2中的一些問題，但是很明顯，這類方法的成本非常高，模型的訓練比較復雜。
6、此外，這些方法都還存在以下共同的問題：即都沒有對記憶的層級和類別進行細粒度區分，記憶類別單一。他們對歷史記憶一視同仁，直接引用或者簡單生成摘要。因此，當這些記憶內容用于智能體(以下簡稱:agent)agent的時候，這個agent的記憶能力是比較基礎的，只能比較粗糙，機械化地使用這些記憶。無法幫助agent從過去的記憶和知識中提取和反思更多的內容，從而沒法完成知識內隱和進化?？傮w來說，目前智能體的記憶系統，存在以下不足之處：
7、1)記憶持續性：當前技術如大模型雖表現出在處理復雜語言模型方面的能力，但大多數模型缺乏長期記憶功能，無法持續保留和利用以往的交互信息。這導致智能系統在連續對話或任務中無法保持上下文連續性。例如，現有方法通過簡單的時間窗口或短暫的會話歷史來模擬記憶，這些方法雖提供有限的上下文，但無法實現真正的長期記憶和內容的動態更新。
8、2)復雜情境的回憶：盡管現有技術能在一定程度上處理即時對話，但在需要理解和應用長期歷史信息的復雜情境中常力不從心。這些技術通常依賴于淺層的上下文管理，缺乏對深層次語義和情景記憶的模擬，限制了它們在高級任務，如復雜決策支持和個性化交互中的有效性。
9、3)記憶分類粗糙：現有智能系統在處理信息時，往往無法達到人類記憶中對信息細節的識別和處理能力。現有方法通過粗糙的分類和存儲機制來處理信息，這不僅降低了信息處理的精確性，也限制了智能系統在細節豐富的應用場景中的表現。例如，許多系統在處理與先前經驗緊密相關的任務時，無法有效地利用歷史數據的細節來優化決策過程。
技術實現思路
1、本專利技術的目的是提供一種大模型的記憶系統、智能體及其記憶存儲更新方法，可增強智能體的記憶持續性和復雜情境的處理能力，也將使其能更細致地處理和回憶信息，從而在自然語言理解、自動決策支持和個性化學習等領域提供更高的性能和更優的用戶體驗。
2、為實現上述目的，采用以下技術方案：
3、一種大模型的記憶系統，包括
4、感覺記憶模塊，至少用于接收和解碼來自用戶輸入的信號，并對解碼后的信息進行存儲；
5、場景記憶模塊，至少用于在接收到外部信號刺激后，整理當前智能體的場景相關信息，再將其整理成場景化的文本描述信息并存儲；
6、語義記憶模塊，至少用于處理和存儲智能體與外界交互中學習到的新知識；
7、程序記憶模塊，至少用于存儲和執行與特定技能和程序相關的記憶信息；
8、工作記憶模塊，至少用于臨時存儲和操作智能體從感覺記憶模塊、場景記憶模塊、語義記憶模塊、程序記憶模塊中召回的記憶信息，并對召回的記憶信息進行整合；
9、任務編排及執行模塊，至少用于依據當前用戶輸入的信號及工作記憶模塊整合的信息，進行任務編排及執行，并將執行后的結果信息反饋給用戶。
10、進一步的，所述感覺記憶模塊包括信號解碼單元、信號存儲單元；所述信號解碼單元用于對用戶輸入的信號進行解碼，信號存儲單元用于對解碼后的信息進行存儲；所述信號存儲單元采用多級存儲的結構，包括buffer記憶層、緩存記憶層、持久記憶層。
11、進一步的，所述場景記憶模塊包括第一上下文收集單元、場景整理單元、場景存儲單元；所述第一上下文收集單元用于在接收到外部信號刺激后，收集當前智能體的場景相關信息，其中，智能體的場景相關信息包括交互對象、交互時間、交互地點、交互內容；所述場景整理單元包括若干個prompt整理模塊，用于整理第一上下文收集單元收集的當前智能體的場景相關信息，以生成場景化的文本描述信息；所述場景存儲單元用于存儲場景整理單元生成的場景化的文本描述信息。
12、進一步的，所述語義記憶模塊包括事實檢查單元、事實存儲單元；所述事實檢查單元用于檢查智能體接收到的新知識，是否是智能體已知的事實，若不是，則將接收到的新知識存儲于事實存儲單元中。
13、進一步的，所述工作記憶模塊包括工作記憶整合單元、感覺記憶便簽、場景記憶便簽、語義記憶便簽、程序記憶便簽；所述感覺記憶便簽用于臨時存儲從感覺記憶模塊召回的記憶信息；所述場景記憶便簽用于臨時存儲從場景記憶模塊召回的記憶信息；所述語義記憶便簽用于臨時存儲從語義記憶模塊召回的記憶信息；所述程序記憶便簽用于臨時存儲從程序記憶模塊召回的記憶信息；所述工作記憶整合單元用于對召回的記憶信息進行整合。
14、進一步的，所述任務編排及執行模塊包括任務編排單元、本文檔來自技高網...
【技術保護點】
1.一種大模型的記憶系統，其特征在于，包括
2.根據權利要求1所述的大模型的記憶系統，其特征在于，所述感覺記憶模塊包括信號解碼單元、信號存儲單元；所述信號解碼單元用于對用戶輸入的信號進行解碼，信號存儲單元用于對解碼后的信息進行存儲；所述信號存儲單元采用多級存儲的結構，包括buffer記憶層、緩存記憶層、持久記憶層。
3.根據權利要求2所述的大模型的記憶系統，其特征在于，所述場景記憶模塊包括第一上下文收集單元、場景整理單元、場景存儲單元；所述第一上下文收集單元用于在接收到外部信號刺激后，收集當前智能體的場景相關信息，其中，智能體的場景相關信息包括交互對象、交互時間、交互地點、交互內容；所述場景整理單元包括若干個Prompt整理模塊，用于整理第一上下文收集單元收集的當前智能體的場景相關信息，以生成場景化的文本描述信息；所述場景存儲單元用于存儲場景整理單元生成的場景化的文本描述信息。
4.根據權利要求3所述的大模型的記憶系統，其特征在于，所述語義記憶模塊包括事實檢查單元、事實存儲單元；所述事實檢查單元用于檢查智能體接收到的新知識，是否是智能體已知的事
5.根據權利要求4所述的大模型的記憶系統，其特征在于，所述工作記憶模塊包括工作記憶整合單元、感覺記憶便簽、場景記憶便簽、語義記憶便簽、程序記憶便簽；所述感覺記憶便簽用于臨時存儲從感覺記憶模塊召回的記憶信息；所述場景記憶便簽用于臨時存儲從場景記憶模塊召回的記憶信息；所述語義記憶便簽用于臨時存儲從語義記憶模塊召回的記憶信息；所述程序記憶便簽用于臨時存儲從程序記憶模塊召回的記憶信息；所述工作記憶整合單元用于對召回的記憶信息進行整合。
6.根據權利要求5所述的大模型的記憶系統，其特征在于，所述任務編排及執行模塊包括任務編排單元、任務執行單元、任務總結單元；所述任務編排單元用于對任務進行編排，任務執行單元用于執行編排的任務；所述任務總結單元用于將執行的結果信息反饋給用戶，并對場景記憶模塊和語義記憶模塊進行記憶更新。
7.一種智能體的記憶存儲更新方法，包括權利要求6所述的大模型的記憶系統，其特征在于，包括如下步驟：
8.根據權利要求7所述的智能體的記憶存儲更新方法，其特征在于，所述S1具體包括如下步驟：
9.根據權利要求8所述的智能體的記憶存儲更新方法，其特征在于，所述S2具體包括如下步驟：
10.一種智能體，包括權利要求6所述的大模型的記憶系統，其特征在于，采用權利要求7～9任意一項所述的方法進行記憶存儲及更新。
...【技術特征摘要】
1.一種大模型的記憶系統，其特征在于，包括
2.根據權利要求1所述的大模型的記憶系統，其特征在于，所述感覺記憶模塊包括信號解碼單元、信號存儲單元；所述信號解碼單元用于對用戶輸入的信號進行解碼，信號存儲單元用于對解碼后的信息進行存儲；所述信號存儲單元采用多級存儲的結構，包括buffer記憶層、緩存記憶層、持久記憶層。
3.根據權利要求2所述的大模型的記憶系統，其特征在于，所述場景記憶模塊包括第一上下文收集單元、場景整理單元、場景存儲單元；所述第一上下文收集單元用于在接收到外部信號刺激后，收集當前智能體的場景相關信息，其中，智能體的場景相關信息包括交互對象、交互時間、交互地點、交互內容；所述場景整理單元包括若干個prompt整理模塊，用于整理第一上下文收集單元收集的當前智能體的場景相關信息，以生成場景化的文本描述信息；所述場景存儲單元用于存儲場景整理單元生成的場景化的文本描述信息。
4.根據權利要求3所述的大模型的記憶系統，其特征在于，所述語義記憶模塊包括事實檢查單元、事實存儲單元；所述事實檢查單元用于檢查智能體接收到的新知識，是否是智能體已知的事實，若不是，則將接收到的新知識存儲于事實存儲單元中。
5.根據權利要求4所述的大模型的記憶系統，其特征在于，所述工...
【專利技術屬性】
技術研發人員：肖小范，鄭德樂，徐雯，陳慶偉，陳文娜，徐偉招，胡偉，
申請(專利權)人：深圳夸夸菁領科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。