【技術實現步驟摘要】
本專利技術涉及自然語言處理和機器學習，特別涉及一種基于大模型雙重提示學習的少樣本連續增量關系抽取方法和系統。
技術介紹
1、關系抽取(relation?extraction，簡稱re)是信息抽取的基本任務之一，早在1988年的message?understanding?conference(muc)大會上就被提出。它能夠從非結構化文本中抽取出實體之間的關系，為知識圖譜的自動構建、搜索引擎、問答等下游任務提供支撐。
2、連續關系抽取(continual?relation?extraction，簡稱cre)有別于傳統關系抽取，連續關系提取(cre)旨在不斷地在新數據上訓練模型，以學習新的關系，同時避免忘記舊的關系。而少樣本連續增量關系抽取任務要求模型能夠從少量的帶有標簽的新類別樣本中學習到一個關系類別的特征，并對這些類別進行準確分類。
3、連續增量關系抽取面臨兩個重要的挑戰，即災難性遺忘和順序敏感性。災難性遺忘是指模型在學習新任務時，會忽略或遺忘之前學習過的任務的知識。順序敏感性是指模型的性能會受到任務到達順序的影響，不同的順序可能導致不同的結果。
4、少樣本連續增量關系抽取任務的研究方法主要有以下幾類：
5、(1)基于模型微調的方法：這類方法是利用已有的大規模語料庫對預訓練好的神經網絡模型進行參數微調，使其能夠適應新的小樣本數據集。這類方法通常需要大量高質量的標注數據，而且可能導致模型過擬合。一些代表性的工作有ulmfit[1]等；
6、(2)基于數據增強的方法：這類方法
7、(3)基于元學習和遷移學習的方法：這類方法是利用元學習或者遷移學習來優化模型在不同任務或者不同領域上的參數，從而實現跨任務或者跨領域的少樣本關系抽取。這類方法可以分為基于初始化網絡參數和預訓練網絡參數兩種類型。一些代表性的工作有maml[2]、原型網絡[3]等。
8、現有技術一的技術方案
9、現有技術文獻[3]提出了一種少樣本持續關系抽取(nk-cre)任務和一種新穎的少樣本持續關系抽取方法，即一致原型學習(conpl)。conpl主要由三個模塊組成：
10、(1)基于原型的分類模塊：這個模塊的具體作用是利用少量標記樣本來學習一個能夠區分不同類別和不同關系的分類器。這個模塊通過原型學習來更新其參數，使得它能夠在新任務中快速適應并保持較高的準確性；
11、(2)記憶增強模塊：記憶增強模塊的作用是增強對關鍵信息的記憶，以緩解在連續關系提取中的遺忘問題。通過這一模塊，模型能夠更好地保持對先前學習的知識的記憶，從而在處理新的關系提取任務時，能夠更準確地識別和提取連續關系；
12、(3)一致學習模塊：這個模塊通過強制分布一致性來減少災難性遺忘，即保證在新任務中能夠正確地識別已經學習過但可能被遺忘掉或混淆掉的類別和關系。考慮到新關系和舊關系在訓練數據集訓練中的不平衡分布，此技術添加了一個擴展的訓練步驟，通過計算樣本分布和原型分布之間的一致性約束，提出了分布一致性損失加入到訓練過程中。
13、現有技術一的缺點
14、(1)原型學習可能會引入額外的存儲空間。由于每個關系類別需要一個或多個原型來表示，因此存儲空間的開銷會增加。
15、(2)原型的選擇和質量評估是一個困難的問題。不同的原型選擇可能對不同的任務和數據有不同的效果，因此需要根據具體的場景來選擇合適的原型。同時，也需要定義一些合理的指標來評估原型的質量。
16、(3)對于不同的數據集，可能需要重新選擇和訓練原型，這會額外增加算力和時間上的開銷。
17、參考文獻
18、[1]howard?j,ruder?s.universal?language?model?fine-tuning?fortextclassification.arxiv?preprint?arxiv:1801.06146,2018；
19、[2]finn?c,abbeel?p,levine?s.model-agnostic?meta-learning?for?fastadaptationof?deep?networks[c]//international?conference?on?machinelearning.pmlr,2017:1126-1135；
20、[3]chen?x,wu?h,shi?x.consistent?prototype?learning?for?few-shotcontinualrelation?extraction[c]//proceedings?of?the?61st?annual?meeting?ofthe?association?forcomputational?linguistics(volume?1:long?papers).2023:7409-7422；
21、[4]liu?x,ji?k,fu?y,et?al.p-tuning?v2:prompt?tuning?can?be?comparabletofine-tuning?universally?across?scales?and?tasks[j].arxiv?preprint?arxiv:2110.07602,2021。
技術實現思路
1、本專利技術針對現有技術的缺陷，提供了一種少樣本連續增量關系抽取方法和系統。
2、為了實現以上專利技術目的，本專利技術采取的技術方案如下：
3、一種少樣本連續增量關系抽取方法，包括以下步驟：
4、步驟1，準備輸入；
5、關系抽取指令,輸入的內容包括待處理的文本和任務指令。文本是需要進行關系抽取的原始數據。任務指令包含任務描述和任務目標。
6、步驟2，設計雙重提示模塊；
7、雙重提示模塊包括兩種提示：g-prompt：全局的、共享的提示集，代表以前學習的所有相關關系抽取任務的提示。e-prompt：當前任務的提示，通過微調技術進行更新。e-prompt通過查詢函數與g-prompt進行交互，以便找到與當前任務相關的提示。
8、步驟3，設計任務難度遞進學習模塊，其功能如下：
9、對g-prompt進行難度排序，以確保模型按適當的順序學習。使用余弦相似度衡量每個g-prompt與當前e-prompt的相關性。根據相似度對g-prompt進行排序，以確保最相關的提示被優先學習。將排序后的g-prompt與當前e-prompt合并，形成最終的雙重提示。
10、步驟4，關系抽取
11、將關系抽取指令中的文本輸入大模型的嵌入層，獲取文本嵌入。將得到的雙重提示與文本嵌入相結合，輸入到大模型中本文檔來自技高網...
【技術保護點】
1.一種少樣本連續增量關系抽取方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種少樣本連續增量關系抽取方法，其特征在于：e-prompt通過查詢函數與g-prompt進行交互，公式如下所示：
3.根據權利要求1所述的一種少樣本連續增量關系抽取方法，其特征在于：余弦相似度的計算公式如下：
4.一種少樣本連續增量關系抽取系統，其特征在于：該系統能夠用于實施權利要求1至3其中一項所述的少樣本連續增量關系抽取方法，具體的，包括：
5.根據權利要求4所述的一種少樣本連續增量關系抽取系統，其特征在于，還包括：
6.一種計算機設備，其特征在于：包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現權利要求1至3其中一項所述的少樣本連續增量關系抽取方法。
7.一種計算機可讀存儲介質，其特征在于：其上存儲有計算機程序，該程序被處理器執行時實現權利要求1至3其中一項所述的少樣本連續增量關系抽取方法。
【技術特征摘要】
1.一種少樣本連續增量關系抽取方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種少樣本連續增量關系抽取方法，其特征在于：e-prompt通過查詢函數與g-prompt進行交互，公式如下所示：
3.根據權利要求1所述的一種少樣本連續增量關系抽取方法，其特征在于：余弦相似度的計算公式如下：
4.一種少樣本連續增量關系抽取系統，其特征在于：該系統能夠用于實施權利要求1至3其中一項所述的少樣本連續增量關系抽取方法，...
【專利技術屬性】
技術研發人員：顏榮恩，孫洲，孟湘皓，李冬梅，李亞坤，范新，
申請(專利權)人：北京林業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。