【技術實現步驟摘要】
本專利技術實施例涉及數據處理，尤其涉及一種基于層級專家路由模型與cot推理的檢索優化方法。
技術介紹
1、目前，盡管大語言模型在過去兩年中取得了顯著的進展，并在多個任務上表現出色，但是由于缺乏特定領域知識、實時信息更新，導致模型存在一定局限性。這些不足容易引發“幻覺”現象，即模型生成不準確甚至是虛構的信息。因此，利用外部知識庫對大型語言模型進行補充以緩解幻覺問題，成為一種迫切需求。檢索增強生成（retrieval-augmentedgeneration,?rag）作為一種重要解決方案應運而生，從而有效提升諸如問答等任務的回答準確性，逐漸成為解決復雜信息檢索問題的關鍵手段，但是由于用戶的查詢并非總能明確劃分為簡單或復雜，如何根據查詢復雜度自適應地調整檢索策略，既減少簡單任務的計算負擔，又能高效應對復雜任務，仍然是當前rag技術亟待解決的問題。
2、可見，亟需一種檢索效率和適應性高的基于層級專家路由模型與cot推理的檢索優化方法。
技術實現思路
1、有鑒于此，本專利技術實施例提供一種基于層級專家路由模型與cot推理的檢索優化方法，至少部分解決現有技術中存在檢索效率和適應性較差的問題。
2、本專利技術實施例提供了一種基于層級專家路由模型與cot推理的檢索優化方法，包括：
3、步驟1，對原始文檔分層分割，創建分層知識庫；
4、步驟2，提取分層知識庫中每層各個片段摘要并聚類，創建分層語義庫；
5、步驟3，使用分層語義庫中各個中心摘要
6、步驟4，利用層級專家路由模型確定層級索引庫中與問題匹配的目標層級索引；
7、步驟5，將向量化后的問題與目標層級索引進行相似度計算；
8、步驟6，返回相似度最高的分層語義庫下原始文檔的片段；
9、步驟7，利用cot推理驅動層級切換，最終合并片段返回大模型，生成問題對應的答案。
10、根據本專利技術實施例的一種具體實現方式，所述步驟1具體包括：
11、步驟1.1，對原始文檔進行預處理后采用nltk的sent_tokenize方法對文本進行句子級別的標記化，識別常見的句子終止符以及其他標點，得到分割后的句子集合；
12、步驟1.2，采取自頂向下的逐層分割策略將句子集合分割為頂層片段集合、中層片段集合和底層片段集合。
13、根據本專利技術實施例的一種具體實現方式，所述步驟1.2具體包括：
14、步驟1.2.1，根據句子集合的token數量和第一閾值將句子集合分割，得到頂層片段集合；
15、步驟1.2.2，根據第二閾值將頂層片段集合分割，得到中層片段集合；
16、步驟1.2.3，根據第三閾值將中層片段集合分割，得到底層片段集合；
17、步驟1.2.4，根據頂層片段集合、中層片段集合和底層片段集合的數據結構建立頂層片段集合、中層片段集合和底層片段集合之間的父子映射關系。
18、根據本專利技術實施例的一種具體實現方式，所述第一閾值大于第二閾值，第二閾值大于第三閾值；
19、所述頂層片段集合、中層片段集合和底層片段集合的數據結構均包括片段id、片段內容、片段摘要、片段向量、層級標識和上層片段。
20、根據本專利技術實施例的一種具體實現方式，所述步驟2具體包括：
21、步驟2.1，利用大語言模型生成分層知識庫中每層的各個片段對應的摘要；
22、步驟2.2，對每個摘要進行向量化，獲取其嵌入向量；
23、步驟2.3，分別將各層向量化后的摘要使用dbscan算法進行聚類，構建分層語義庫。
24、根據本專利技術實施例的一種具體實現方式，所述步驟3具體包括：
25、將每個聚類的中心摘要利用向量索引匹配相似摘要，使得聚類后的摘要構成層級索引庫并結合智能路由機制形成層級專家路由模型，其中，每個索引包括聚類中心摘要和關聯文檔片段。
26、根據本專利技術實施例的一種具體實現方式，所述步驟4具體包括：
27、步驟4.1，獲取用戶輸入的問題；
28、步驟4.2，通過spacy模型進行詞性標注，提取關鍵詞；
29、步驟4.3，將關鍵詞與復雜性關鍵詞表進行匹配并據此計算第一布爾值；
30、步驟4.4，提取問題中的其他實體并據此計算第二布爾值；
31、步驟4.5，根據第一布爾值和第二布爾值計算問題的復雜度得分；
32、步驟4.6，根據復雜度得分與層級索引庫中各個層級索引對應的復雜度閾值進行比對，智能路由機制將問題分配到層級索引庫中最適合的層級索引作為目標層級索引。
33、根據本專利技術實施例的一種具體實現方式，所述步驟5具體包括：
34、步驟5.1，使用預訓練的語言模型將問題轉化為高維的向量化表示
35、；
36、其中，bert表示用于問題向量化的預訓練模型，表示問題；
37、步驟5.2，將目標層級索引中的中心摘要轉化為高維的向量化表示
38、；
39、其中，表示第i個語義庫的中心摘要；
40、步驟5.3，計算向量化后的問題與每個向量化后的中心摘要的相似度
41、。
42、根據本專利技術實施例的一種具體實現方式，所述步驟6具體包括：
43、選取最高相似度對應的語義庫并通過索引返回該知識庫下所有相關的文檔片段。
44、根據本專利技術實施例的一種具體實現方式，所述步驟7具體包括：
45、步驟7.1，通過cot推理分析各文檔片段之間的相關性并刪除無關的文檔片段；
46、步驟7.2，判斷當前全部文檔片段是否能輸出問題對應的答案，若是，則執行步驟7.4，若否，則執行步驟7.3；
47、步驟7.3，若當前全部文檔片段提供的信息存在缺失，則根據這些片段的父子映射關系，自動檢索上層的文檔片段，重復步驟7.2直至當前全部文檔片段能輸出問題對應的答案；
48、步驟7.4，合并全部文檔片段并剔除重復信息，生成問題對應的答案。
49、本專利技術實施例中的基于層級專家路由模型與cot推理的檢索優化方案，包括：步驟1，對原始文檔分層分割，創建分層知識庫；步驟2，提取分層知識庫中每層各個片段摘要并聚類，創建分層語義庫；步驟3，使用分層語義庫中各個中心摘要構建層級索引庫并結合智能路由機制形成層級專家路由模型；步驟4，利用層級專家路由模型確定層級索引庫中與問題匹配的目標層級索引；步驟5，將向量化后的問題與目標層級索引進行相似度計算；步驟6，返回相似度最高的分層語義庫下原始文檔的片段；步驟7，利用cot推理驅動層級切換，最終合并片段返回大模型，生成問題對應的答案。
50、本專利技術實施例的有益效果為：通過本專利技術的方案，對文檔進行分層分割，構建層級化的語義庫和層級專家索引，實現了從本文檔來自技高網...
【技術保護點】
1.一種基于層級專家路由模型與CoT推理的檢索優化方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述步驟1具體包括：
3.根據權利要求2所述的方法，其特征在于，所述步驟1.2具體包括：
4.根據權利要求3所述的方法，其特征在于，所述第一閾值大于第二閾值，第二閾值大于第三閾值；
5.根據權利要求4所述的方法，其特征在于，所述步驟2具體包括：
6.根據權利要求5所述的方法，其特征在于，所述步驟3具體包括：
7.根據權利要求6所述的方法，其特征在于，所述步驟4具體包括：
8.根據權利要求7所述的方法，其特征在于，所述步驟5具體包括：
9.根據權利要求8所述的方法，其特征在于，所述步驟6具體包括：
10.根據權利要求9所述的方法，其特征在于，所述步驟7具體包括：
【技術特征摘要】
1.一種基于層級專家路由模型與cot推理的檢索優化方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述步驟1具體包括：
3.根據權利要求2所述的方法，其特征在于，所述步驟1.2具體包括：
4.根據權利要求3所述的方法，其特征在于，所述第一閾值大于第二閾值，第二閾值大于第三閾值；
5.根據權利要求4所述的方法，其特征在于，所述步...
【專利技術屬性】
技術研發人員：彭晗，阮日青，周語杰，黃宇凡，張金傳，劉星寶，李沁，任劍，
申請(專利權)人：湘江實驗室，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。