【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于信息抽取領(lǐng)域，具體涉及一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法。
技術(shù)介紹
1、關(guān)系抽取任務(wù)的核心目標(biāo)是從文本數(shù)據(jù)中識(shí)別出兩個(gè)給定實(shí)體之間的特定關(guān)系。傳統(tǒng)的關(guān)系抽取任務(wù)通常假設(shè)所有關(guān)系類型均為已知，未考慮到在現(xiàn)實(shí)世界中不斷涌現(xiàn)的新關(guān)系類型。面對(duì)這些新出現(xiàn)的關(guān)系，現(xiàn)有工作通常采取對(duì)模型進(jìn)行重新訓(xùn)練的策略。然而，在存儲(chǔ)和計(jì)算資源有限的情況下，這種重訓(xùn)練的方法已經(jīng)變得不再可行，這促使研究人員探索更為高效的解決方案。因此，持續(xù)關(guān)系抽取（cre）的概念應(yīng)運(yùn)而生，旨在解決這一挑戰(zhàn)。
2、cre的核心在于使模型能夠在學(xué)習(xí)新關(guān)系的同時(shí)，保持對(duì)已學(xué)關(guān)系的處理能力不受影響。不同于監(jiān)督學(xué)習(xí)范式中模型訓(xùn)練時(shí)已知所有關(guān)系類型，持續(xù)關(guān)系抽取的過(guò)程中，模型并不知道全部的關(guān)系類型，而是隨著學(xué)習(xí)不斷獲得新的關(guān)系類型和訓(xùn)練數(shù)據(jù)。在學(xué)習(xí)新的關(guān)系類型的同時(shí)，由于關(guān)鍵參數(shù)的改變，使得模型在習(xí)得對(duì)新關(guān)系的分類效果的同時(shí)，對(duì)已有關(guān)系的分類能力大幅下降，這種現(xiàn)象被稱為“災(zāi)難性遺忘”。
3、基于記憶的持續(xù)關(guān)系抽取方法已在cre任務(wù)中得到了廣泛的應(yīng)用，其核心在于通過(guò)存儲(chǔ)并使用少量的典型樣本來(lái)重新訓(xùn)練模型，以減輕遺忘現(xiàn)象。然而，此方法存在著一些問(wèn)題：
4、一方面，隨著訓(xùn)練次數(shù)的增加，模型可能會(huì)對(duì)少量典型樣本產(chǎn)生過(guò)擬合，從而損害其處理新任務(wù)的泛化能力；
5、另一方面，該方法可能引入表示偏差，即新舊關(guān)系在特征表示空間中的重疊，導(dǎo)致先前學(xué)習(xí)的知識(shí)被新知識(shí)覆蓋。
6、因此，本專利技術(shù)提供一種結(jié)合醒睡記憶循環(huán)和
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，通過(guò)結(jié)合經(jīng)驗(yàn)記憶的回放和多樣化夢(mèng)境數(shù)據(jù)的生成，設(shè)計(jì)了經(jīng)驗(yàn)迭代框架，該框架優(yōu)先保留高質(zhì)量經(jīng)驗(yàn)，淘汰低質(zhì)量經(jīng)驗(yàn)，并動(dòng)態(tài)調(diào)整關(guān)系樣本的分布，解決了現(xiàn)有的問(wèn)題，有效緩解過(guò)擬合現(xiàn)象，糾正模型的表示偏差。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，包括如下步驟：
3、s1：將一個(gè)新任務(wù)輸入到模型中；
4、s2：使用數(shù)據(jù)增強(qiáng)技術(shù)擴(kuò)展新關(guān)系實(shí)例，并與任務(wù)共同構(gòu)建合成短期記憶；
5、s3：采用k-means算法利用從中篩選出具有代表性的實(shí)例，并將這些實(shí)例存儲(chǔ)于長(zhǎng)期記憶中，供后續(xù)階段的訓(xùn)練使用；
6、s4：在清醒階段，模型通過(guò)快速適應(yīng)新關(guān)系樣本來(lái)更新其處理能力，并將這些樣本納入經(jīng)驗(yàn)池中；
7、s5：使用經(jīng)驗(yàn)迭代框架，在模型學(xué)習(xí)的過(guò)程中動(dòng)態(tài)調(diào)整關(guān)系樣本的分布，以更好地糾正模型的表示偏差；
8、s6：在睡眠階段，模型經(jīng)歷非快速眼動(dòng)（nrem）和快速眼動(dòng)（rem）兩個(gè)子階段；在nrem階段，神經(jīng)網(wǎng)絡(luò)重放海馬體中的長(zhǎng)期記憶。在rem階段，模型通過(guò)模擬新關(guān)系的夢(mèng)境數(shù)據(jù)，為處理未來(lái)新關(guān)系的能力做準(zhǔn)備。
9、進(jìn)一步地，所述步驟s1中的新任務(wù)配備有其獨(dú)立的數(shù)據(jù)集和關(guān)系集，分別包含訓(xùn)練集、驗(yàn)證集以及測(cè)試集，并且每個(gè)至少涵蓋一種關(guān)系類型；不同任務(wù)間的關(guān)系集互不重疊。
10、進(jìn)一步的，所述步驟s2的具體過(guò)程如下：
11、s2-1：采用了混合增強(qiáng)和反轉(zhuǎn)增強(qiáng)這兩種數(shù)據(jù)增強(qiáng)策略得到增強(qiáng)后的數(shù)據(jù)集；
12、s2-1-1：混合增強(qiáng)基于任務(wù)的已有關(guān)系，通過(guò)隨機(jī)配對(duì)這些關(guān)系，生成對(duì)關(guān)系對(duì)。基于這些關(guān)系對(duì)，可以構(gòu)建混合合成類別，得到數(shù)據(jù)集；
13、s2-1-2：反轉(zhuǎn)增強(qiáng)通過(guò)互換對(duì)應(yīng)實(shí)例中的頭尾實(shí)體的位置，創(chuàng)建了一個(gè)額外的反向類別，得到數(shù)據(jù)集；
14、s2-1-3：結(jié)合數(shù)據(jù)集和數(shù)據(jù)集得到增強(qiáng)后的數(shù)據(jù)集，其計(jì)算方式如下：
15、；
16、s2-2：將當(dāng)前任務(wù)的原始訓(xùn)練數(shù)據(jù)集與增強(qiáng)后的數(shù)據(jù)集相結(jié)合，形成短期記憶。其計(jì)算公式如下：
17、
18、進(jìn)一步的，所述步驟s3的具體過(guò)程如下：
19、s3-1：對(duì)于第個(gè)任務(wù)，將中的所有實(shí)例編碼為嵌入向量集合。
20、s3-2：對(duì)編碼后的實(shí)例應(yīng)用兩次k-means聚類算法，得到一些最靠近質(zhì)心的實(shí)例存儲(chǔ)到長(zhǎng)期記憶中。
21、s3-2-1：首先對(duì)這些嵌入向量進(jìn)行一次聚類，將這些嵌入向量劃分為個(gè)簇。在每個(gè)簇中選擇最接近簇中心的實(shí)例，形成一個(gè)代表性實(shí)例集，記為。
22、s3-2-2：統(tǒng)計(jì)中每個(gè)關(guān)系的實(shí)例數(shù)量用以評(píng)估關(guān)系的重要性。對(duì)于這些更重要的關(guān)系，至少選擇個(gè)實(shí)例存儲(chǔ)到長(zhǎng)期記憶中；對(duì)于相對(duì)不重要的關(guān)系，則選擇至多個(gè)實(shí)例。如果某個(gè)關(guān)系的實(shí)例數(shù)量不足以填滿其分配的記憶，則將其未使用的記憶容量重新分配給其他關(guān)系。
23、s3-2-3：對(duì)每個(gè)關(guān)系選定的實(shí)例再次進(jìn)行聚類,并選擇最靠近質(zhì)心的實(shí)例存儲(chǔ)到長(zhǎng)期記憶中。
24、進(jìn)一步的，所述步驟s4的具體過(guò)程如下：
25、s4-1：使用預(yù)訓(xùn)練語(yǔ)言模型bert處理短期記憶中的實(shí)例，得到結(jié)果表示為。其計(jì)算公式如下：
26、
27、其中和是頭實(shí)體和尾實(shí)體的隱藏表示，和是兩個(gè)訓(xùn)練參數(shù)。
28、s4-2：使用線性softmax分類器來(lái)計(jì)算輸入實(shí)例的分類概率，定義分類損失函數(shù)來(lái)優(yōu)化模型參數(shù)。分類概率和損失函數(shù)計(jì)算公式如下：
29、
30、
31、其中是模型在當(dāng)前任務(wù)期間的參數(shù)集合，是分類器的可訓(xùn)練權(quán)重矩陣，是模型預(yù)測(cè)輸入實(shí)例屬于關(guān)系的概率，是實(shí)例的實(shí)際標(biāo)簽，如果，則指示函數(shù)的值為1，否則為0；
32、s4-3：生成的短期記憶表示以及相應(yīng)的分類損失值存儲(chǔ)于經(jīng)驗(yàn)池中。
33、進(jìn)一步的，所述步驟s5的具體過(guò)程如下：
34、s5-1：在經(jīng)驗(yàn)傳播階段，模型通過(guò)學(xué)習(xí)先前任務(wù)來(lái)持續(xù)擴(kuò)展其經(jīng)驗(yàn)池。當(dāng)執(zhí)行任務(wù)批次時(shí)，模型能夠利用之前所有積累的經(jīng)驗(yàn)來(lái)執(zhí)行當(dāng)前任務(wù)，并根據(jù)特定的經(jīng)驗(yàn)傳播策略，將新獲得的經(jīng)驗(yàn)加入到經(jīng)驗(yàn)池中。該過(guò)程可以描述為：
35、
36、其中是累積的經(jīng)驗(yàn)池。表示任務(wù)批次上的經(jīng)驗(yàn)利用率。
37、s5-2：在經(jīng)驗(yàn)淘汰階段，為了有效地優(yōu)化經(jīng)驗(yàn)池的結(jié)構(gòu)，根據(jù)經(jīng)驗(yàn)的使用頻率和經(jīng)驗(yàn)的重要性對(duì)其進(jìn)行篩選。在每個(gè)任務(wù)批次結(jié)束后，通過(guò)如下公式篩選保留的經(jīng)驗(yàn)集合：
38、
39、其中是在當(dāng)前任務(wù)批次中篩選后的經(jīng)驗(yàn)集合。表示按照損失值大小排序準(zhǔn)則對(duì)經(jīng)驗(yàn)進(jìn)行排名。函數(shù)代表每個(gè)經(jīng)驗(yàn)的使用頻率。是一個(gè)經(jīng)驗(yàn)保留的閾值。
40、s5-3：利用線性分類損失函數(shù)和知識(shí)蒸餾損失函數(shù)提升經(jīng)驗(yàn)池的質(zhì)量和運(yùn)作效率。線性分類損失函數(shù)用于衡量模型預(yù)測(cè)分布與真實(shí)分布的差異，并通過(guò)最小化該差異來(lái)調(diào)整模型參數(shù)，使預(yù)測(cè)更接近真實(shí)分布。蒸餾損失旨在將先前模型的知識(shí)遷移到當(dāng)前模型，提高其性能和泛化能力，同時(shí)減少表示偏差。
41、
42、其中和分別代表線性分類損失和知識(shí)蒸餾損失。是一個(gè)權(quán)重系數(shù)，用于平衡這兩種損失對(duì)總損失的貢獻(xiàn)。
【技術(shù)保護(hù)點(diǎn)】
1.一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟S1中，所述任務(wù)配備有獨(dú)立的數(shù)據(jù)集和關(guān)系集；
3.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟S2中，構(gòu)建合成短期記憶的步驟具體如下：
4.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，?所述步驟S21中數(shù)據(jù)集Daug的生成步驟如下：
5.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟S3中，篩選出最靠近質(zhì)心的實(shí)例的具體步驟如下：
6.根據(jù)權(quán)利要求5所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟S32中，獲取最靠近質(zhì)心的實(shí)例的方法包括以下步驟：
7.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟S4中，將生成的短期記憶及相應(yīng)的分類損失值納入
8.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟S5中，使用經(jīng)驗(yàn)迭代框架動(dòng)態(tài)調(diào)整關(guān)系樣本分布的具體方式為：
9.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟S6中，模型經(jīng)歷非快速眼動(dòng)和快速眼動(dòng)兩個(gè)子階段的具體方式為：
10.根據(jù)權(quán)利要求9所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟S63中，夢(mèng)境數(shù)據(jù)的生成步驟如下：
...【技術(shù)特征摘要】
1.一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟s1中，所述任務(wù)配備有獨(dú)立的數(shù)據(jù)集和關(guān)系集；
3.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟s2中，構(gòu)建合成短期記憶的步驟具體如下：
4.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，?所述步驟s21中數(shù)據(jù)集daug的生成步驟如下：
5.根據(jù)權(quán)利要求1所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代的持續(xù)關(guān)系抽取方法，其特征在于，所述步驟s3中，篩選出最靠近質(zhì)心的實(shí)例的具體步驟如下：
6.根據(jù)權(quán)利要求5所述的一種結(jié)合醒睡記憶循環(huán)和經(jīng)驗(yàn)迭代...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：杭婷婷，李德勝，郭亞，黃俊，
申請(qǐng)(專利權(quán))人：安徽工業(yè)大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。