System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術屬于醫療信息,尤其涉及一種零樣本多智能體的知識圖譜問題生成方法。
技術介紹
1、知識圖譜問題生成(kgqg)是一項基于給定知識圖譜(kg)生成自然語言問題的任務。這項任務提升了問答(qa)模型的性能,并幫助對話系統創建連貫的詢問。對于醫療和醫學領域,通過構建包含疾病、癥狀、治療方案、藥物相互作用等信息的醫療知識圖譜,系統可以根據患者的具體情況,生成針對醫生的診斷建議或對患者的健康咨詢回復,輔助醫生做出更精確的診斷和治療決策,或者幫助分析藥物成分、作用機制、副作用等信息,加速新藥的研發流程。同時,通過監測大規模醫療數據,及時發現藥物不良反應和潛在風險,提高藥品安全性。近年來,這一領域受到了顯著的研究關注。大多數最先進的kgqg解決方案基于小參數模型方法,例如模板法和神經網絡法,本文稱之為“小模型”。模板法使用預定義的模板和規則,但通常缺乏擴展性。相反,由于深度學習的進步,神經網絡法在顯著上升。這些方法利用像g2s和dsm這樣的模型,使用大量標注數據(即與kg對應的問題和答案對)生成復雜且多樣的問題。
2、值得注意的是,kgqg模型的性能嚴重依賴于標注數據的可用性。經驗表明,當標注數據量減少時,kgqg的準確性急劇下降,尤其是在零樣本場景中。盡管存在這一問題,當前文獻往往忽視它,通常依賴現有的kgqa數據庫獲取標注數據。然而,在缺乏qa數據的情況下,生成標注數據需要耗費大量人工注釋。因此,探索kgqg的無監督方法,也稱為零樣本kgqg,對于減少人工標注工作至關重要。
3、近年來,像chatgpt這樣
4、為了應對人工標注成本和部署成本,有必要研究一種新的成本效益高的零樣本kgqg范式。
技術實現思路
1、有鑒于此,本申請提出了通過利用llms生成有價值的問題來訓練小模型,然后在實際中部署小模型,綜合llms和小模型的能力。具體來說,考慮到llms在零樣本生成任務中的表現往往不盡如人意,內容的相關性低且冗余,本申請引入了一種新的合作范式,這一范式受多代理系統的最新進展啟發。該范式名為roleagentqg,通過多代理合作提高llms生成問題的質量,從而有效地訓練較小的模型。具體而言,roleagentqg模擬了一個由總編輯、執行編輯、貢獻者、內容編輯和校對編輯等角色組成的編輯團隊,每個角色由一個llm代表。工作流程始于總編輯根據子圖和答案信息定義總體目標。然后,執行編輯將總體目標細化為具體要求,用于指導貢獻者、內容編輯和校對編輯。這些指南指引貢獻者起草問題,這些問題由內容編輯檢查其邏輯、內容質量和難度。通過檢查的問題由校對編輯在語法和格式方面進行潤色。最后,總編輯評估問題并接受高質量的問題。
2、值得注意的是,為了提高角色間的溝通效率,本申請還設計了兩個工作流程優化工具(即通信協議和成長型數據庫),這些工具可以減少由過于復雜的任務引起的幻覺風險。最終,生成的問題用于訓練較小的模型,提高它們生成高質量問題的能力。
3、為實現上述目的,本申請公開的零樣本多智能體的知識圖譜問題生成方法,包括以下步驟:
4、獲取醫學知識圖譜;
5、總編輯智能體設定問題的生成,確保內容語調與詢問者的真實意圖一致,并監督最終問題的質量;
6、執行編輯智能體管理迭代截止日期,確保問題生成過程的進行;
7、貢獻者智能體模擬典型的詢問者,根據要求創建問題;
8、內容編輯智能體:提供反饋,并確保最終輸出的問題在內容、邏輯和難度方面與答案和子圖一致;
9、校對編輯智能體審查和編輯生成問題的語法、標點、風格和一致性;
10、每個智能體,都執行agent-oda執行機制;agent-oda執行機制包括觀察模塊、行動模塊和反饋模塊;所述觀察該模塊觀察和處理知識圖譜環境中的相關知識;每次迭代i,它構建一個觀察子圖oi,并將該子圖被納入推理推理大語言模型;所述行動模塊同時利用觀察子圖oi和oda內存,選擇最適合知識圖譜的行動,確保基于答案實體生成對應智能體prompt要求的回答;所述反饋模塊利用觀察子圖oi,反饋從行動步驟中獲得的知識;
11、總編輯智能體對經過校對編輯的問題進行評分和評估;得分小于預設閾值的,返回給執行編輯智能體重新生成問題,得分大于預設閾值則被接受,并保存到成長型數據庫中;
12、輸出最終的醫學知識圖譜問題。
13、優選地,所述觀察模塊在每次迭代i時,利用與任務相關的實體ei,智能體的輸入prompt?pi,上一智能體傳入的信息ci和答案實體ei生成觀察子圖oi.這一過程表述為:
14、oi=observation([ei,pi,ci,ei])。
15、優選地,使用d-輪觀察策略解決觀察子圖更新過程中的可擴展性問題,其中d代表最大跳深;每一輪有兩個步驟:更新和細化;所述更新步驟用于擴展子圖,而細化步驟改變子圖大小而不丟失重要信息。
16、優選地,所述更新步驟如下:
17、對于起始觀測實體中的每個實體e中,都從知識圖譜中提取其相鄰的三元組;每個三元組的形式為[e,r,t],其中r表示關系,t表示尾部實體;
18、計算余弦相似度得分:
19、
20、是基于智能體的輸入prompt?pi、上一智能體傳入的信息ci兩個組合后的向量,vr+t是關系r,尾部實體t組合后的向量,基于智能體的輸入promptpi、上一智能體傳入的信息ci、關系r、尾部實體t均為文本形式;
21、所有與e中實體相關的三元組根據它們的相似性得分按降序集體排序;前n個三元組被添加到觀察子圖中oi。
22、優選地,所述細化步驟只保留相似性得分最高的前p%,進一步細化前n三元組;并將來自細化后的前p%三元組的尾部實體確定為下一次迭代的起始觀測實體
23、優選地,行動模塊利用大語言模型設計戰略提示,以生成最佳行動,基于其智能體的輸入promptpi,內存m<i、觀察子圖oi和歷史行動a<i選擇最準確的行動ai:
24、ai=action([pi,oi,a<i,m<i])
25、內存m<i包括前i個智能體的所有歷史記錄;
26、行動包括鄰域探索、路徑發現和回答;所述鄰域探索任務探索相關實體的知識圖譜鄰本文檔來自技高網...
【技術保護點】
1.一種零樣本多智能體的知識圖譜問題生成方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,所述觀察模塊在每次迭代i時,利用與任務相關的實體Ei,智能體的輸入prompt?pi,上一智能體傳入的信息ci和答案實體ei生成觀察子圖Oi.這一過程表述為:
3.根據權利要求2所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,使用D-輪觀察策略解決觀察子圖更新過程中的可擴展性問題,其中D代表最大跳深;每一輪有兩個步驟:更新和細化;所述更新步驟用于擴展子圖,而細化步驟改變子圖大小而不丟失重要信息。
4.根據權利要求3所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,所述更新步驟如下:
5.根據權利要求4所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,所述細化步驟只保留相似性得分最高的前P%,進一步細化前N三元組;并將來自細化后的前P%三元組的尾部實體確定為下一次迭代的起始觀測實體
6.根據權利要求3所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,行
7.根據權利要求3所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,Mi內存采用子圖格式,由符合知識圖譜結構的路徑網絡組成反饋模塊整合觀察子圖Oi,現有內存M<i,智能體的輸入prompt?pi,上一智能體傳入的信息ci,這一過程可形式化為:
8.根據權利要求7所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,使用結構化面對面通信來增強代理之間的通信;為每個智能體角色構建場景,并要求個體根據其特定角色和上下文提供模塊化輸出;所述構建場景包括告知智能體在互動中的對手的角色和職責,使其動態調整其內容生成;所述模塊化輸出建立每個角色處理的關鍵數據點,簡化信息流。
9.根據權利要求8所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,為了給生成問題的貢獻者提供參考示例問題,將總編輯智能體通過的歷史數據存儲在成長型數據庫中,并選擇其自身歷史樣本中的前k個樣本作為每個代理工作的參考;
...【技術特征摘要】
1.一種零樣本多智能體的知識圖譜問題生成方法,其特征在于,包括以下步驟:
2.根據權利要求1所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,所述觀察模塊在每次迭代i時,利用與任務相關的實體ei,智能體的輸入prompt?pi,上一智能體傳入的信息ci和答案實體ei生成觀察子圖oi.這一過程表述為:
3.根據權利要求2所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,使用d-輪觀察策略解決觀察子圖更新過程中的可擴展性問題,其中d代表最大跳深;每一輪有兩個步驟:更新和細化;所述更新步驟用于擴展子圖,而細化步驟改變子圖大小而不丟失重要信息。
4.根據權利要求3所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,所述更新步驟如下:
5.根據權利要求4所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于,所述細化步驟只保留相似性得分最高的前p%,進一步細化前n三元組;并將來自細化后的前p%三元組的尾部實體確定為下一次迭代的起始觀測實體
6.根據權利要求3所述的零樣本多智能體的知識圖譜問題生成方法,其特征在于...
【專利技術屬性】
技術研發人員:唐九陽,趙潤豪,曾維新,趙翔,陳子陽,吳繼冰,
申請(專利權)人:中國人民解放軍國防科技大學,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。