【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于知識(shí)圖譜，尤其涉及一種基于超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法。
技術(shù)介紹
1、知識(shí)圖譜是一種以圖形結(jié)構(gòu)存儲(chǔ)的知識(shí)庫，其中的信息以三元組形式表示，包括主體實(shí)體(subject)、關(guān)系(relation)以及客體實(shí)體(object)。這些實(shí)體可以是人、地點(diǎn)、事物等，而關(guān)系則描述了這些實(shí)體之間的聯(lián)系，比如“蘋果是一種水果”。這種結(jié)構(gòu)化的表示方式使得計(jì)算機(jī)可以更有效地理解和處理這些信息，支持諸如自然語言處理、推薦系統(tǒng)和語義搜索等應(yīng)用。
2、盡管知名的知識(shí)圖譜如wikidata和dbpedia已經(jīng)包含了數(shù)十億條的知識(shí)三元組，但它們?nèi)匀淮嬖谥畔⒉煌暾膯栴}。這可能是因?yàn)閿?shù)據(jù)源的限制、信息抽取的局限性或者更新不及時(shí)等原因。為了解決這一問題，研究者們提出了圖譜補(bǔ)全任務(wù)。這項(xiàng)任務(wù)的目標(biāo)是通過分析已有的知識(shí)圖譜，預(yù)測并填補(bǔ)其中的缺失信息，以提高知識(shí)圖譜的完整性和準(zhǔn)確性。
3、現(xiàn)有的知識(shí)圖譜補(bǔ)全模型主要包括基于距離的翻譯模型、基于深度神經(jīng)網(wǎng)絡(luò)的模型、基于圖神經(jīng)網(wǎng)絡(luò)的模型和基于張量分解的模型等。其中基于距離的翻譯模型如transe、transh等雖然計(jì)算較為高效而且?guī)缀我饬x直觀，但也正是因?yàn)槿绱耍浔磉_(dá)能力存在較高的限制；使用深度神經(jīng)網(wǎng)絡(luò)的模型包括conve、comdense等，它們使用卷積神經(jīng)網(wǎng)絡(luò)或是簡單的dnn，這造成了較高的計(jì)算開銷，而且由于參數(shù)冗余極易遇到嚴(yán)重的過擬合；基于圖神經(jīng)網(wǎng)絡(luò)的方法如compgcn、rgcn等能夠有效捕捉圖結(jié)構(gòu)信息和語義信息，具有良好的可擴(kuò)展性，然而在并行訓(xùn)練上存在一定問題
4、傳統(tǒng)的基于張量分解的方法采用三維張量來表示知識(shí)圖譜，由于現(xiàn)實(shí)知識(shí)的稀疏性，這種稀疏的張量可以被分解為因子張量的乘積形式。經(jīng)典的方法包括cp分解、distmult、rescal、complex、simple、tucker、mei、meim等。張量分解方法使用較少的參數(shù)量便能夠達(dá)到很好的補(bǔ)全效果，在計(jì)算開銷和效果之間也達(dá)到了很好的平衡。研究表明，幾乎所有的矩陣分解方法都可以看成是三個(gè)因子矩陣與一個(gè)核心張量的模態(tài)積形式，然而，cp分解、distmult、complex等方法的核心張量過于稀疏，特征嵌入的不同維度之間缺乏交互，導(dǎo)致表現(xiàn)不佳；tucker方法的核心張量是完全致密的，這導(dǎo)致了大量的參數(shù)冗余，最終引起過擬合。mei和meim嘗試通過嵌入分組的方式稀疏化核心張量，達(dá)成效果與參數(shù)量的折中，然而這種方法仍有提升空間。另一方面，這些方法所對(duì)應(yīng)的核心張量形狀均是固定的，這從一定程度限制了自適應(yīng)學(xué)習(xí)的能力。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本專利技術(shù)提供一種基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，該方法能夠?qū)崿F(xiàn)圖譜的補(bǔ)全。
2、實(shí)現(xiàn)本專利技術(shù)的技術(shù)方案如下：
3、一種基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，具體過程為：
4、數(shù)據(jù)采集：圖譜數(shù)據(jù)獲取，所述圖譜數(shù)據(jù)為包含頭實(shí)體、嵌入向量、尾實(shí)體構(gòu)成的三元；
5、可能性得分計(jì)算：對(duì)圖譜數(shù)據(jù)進(jìn)行特征嵌入稀疏分組，每組對(duì)應(yīng)一個(gè)致密的子核心張量，并將所述子核心張量沿著超對(duì)角線放置，組成總體的稀疏核心張量針對(duì)所述稀疏核心張量進(jìn)行基于門控機(jī)制的交互增強(qiáng)，并計(jì)算稀疏核心張量可能性得分；
6、新圖譜數(shù)據(jù)生成：針對(duì)每一圖譜數(shù)據(jù)，固定圖譜數(shù)據(jù)的頭實(shí)體和嵌入向量，根據(jù)所述可能性得分計(jì)算方式，計(jì)算所有實(shí)體作為尾實(shí)體時(shí)的可能性得分，選取可能性得分最高所對(duì)應(yīng)頭實(shí)體和嵌入向量，共同構(gòu)成新的圖譜數(shù)據(jù)，實(shí)現(xiàn)圖譜數(shù)據(jù)的補(bǔ)全。
7、進(jìn)一步地，本專利技術(shù)所述特征嵌入稀疏分組具體為：
8、將實(shí)體和關(guān)系的嵌入向量按照“主要組”和“輔助組”的方式進(jìn)行稀疏分組，每組對(duì)應(yīng)于一個(gè)致密的子核心張量；其中，嵌入“主要組”對(duì)應(yīng)的張量核為“主核”，“輔助組”對(duì)應(yīng)的核為“輔助核”，主核構(gòu)成超塊對(duì)角，輔助核構(gòu)成超對(duì)角線；子核心張量將沿著超對(duì)角線放置，組成總體的稀疏核心張量
9、進(jìn)一步地，本專利技術(shù)所述針對(duì)所述稀疏核心張量進(jìn)行基于門控機(jī)制的交互增強(qiáng)，并計(jì)算稀疏核心張量可能性得分，具體過程為：
10、首先，將核心張量與關(guān)系嵌入向量進(jìn)行模態(tài)積運(yùn)算，得到變換矩陣
11、其次，利用對(duì)頭實(shí)體嵌入向量ei和應(yīng)用變換矩陣計(jì)算得到中間變量
12、再次，對(duì)所述中間變量進(jìn)行基于門控機(jī)制的交互增強(qiáng)，得到中間輸出；
13、最后，基于所述中間輸出，計(jì)算核心張量可能性得分。
14、進(jìn)一步地，本專利技術(shù)所述基于門控機(jī)制的交互增強(qiáng)為利用門控層實(shí)現(xiàn)，所述門控層的結(jié)構(gòu)為神經(jīng)網(wǎng)絡(luò)與sigmoid函數(shù)的串聯(lián)構(gòu)成。
15、進(jìn)一步地，本專利技術(shù)利用門控層實(shí)現(xiàn)交互增強(qiáng)得到的中間輸出為
16、
17、其中，g(x)＝σ(wx+b)，w與b分別是門控層的權(quán)重矩陣和偏置，⊙是逐元素相乘算子，σ(·)代表sigmoid函數(shù)，rk表示嵌入向量。
18、進(jìn)一步地，本專利技術(shù)所述基于所述中間輸出，計(jì)算核心張量可能性得分，具體為：
19、首先，對(duì)中間輸出應(yīng)用批次歸一化batchnorm操作：
20、
21、其次，將中間輸出與尾實(shí)體的嵌入ej進(jìn)行點(diǎn)乘，并應(yīng)用sigmoid函數(shù)得到可能性得分，即：
22、
23、進(jìn)一步地，本專利技術(shù)還包括對(duì)核心張量自適應(yīng)剪枝，具體為：
24、根據(jù)核心張量中主核的重要性向量η和中間變量對(duì)應(yīng)的差異度向量ρ，對(duì)所有主核的同樣維度進(jìn)行剪枝，使用輔助核替換剪枝維度。
25、進(jìn)一步地，本專利技術(shù)所述重要性向量代表主核所有c個(gè)維度的重要性，其中第l維度的重要性為：
26、
27、其中，||·||f為矩陣的frobenuis范數(shù)，p為主核的數(shù)量為主核沿著第一維度的第l個(gè)切片，為主核沿著第二個(gè)維度的的第l個(gè)切片，為主核沿著第三個(gè)維度的第l個(gè)切片。
28、進(jìn)一步地，本專利技術(shù)所述差異度向量ρ為；
29、
30、其中，std和μ分別為取標(biāo)準(zhǔn)差和取平均操作，p為主核的數(shù)量，是數(shù)據(jù)緩沖區(qū)，分別代表n個(gè)三元組數(shù)據(jù)對(duì)應(yīng)的三個(gè)中間變量組成的張量。
31、進(jìn)一步地，本專利技術(shù)核心張量自適應(yīng)剪枝的具體過程為：
32、初始時(shí)，核心張量初始嵌入維度d＝p0c+q0，混合權(quán)重α，最小主核規(guī)模cmin，緩沖區(qū)大小n，更新周期t，最大訓(xùn)練輪次h；
33、在訓(xùn)練過程中，每間隔周期t且c大于cmin就進(jìn)行一次數(shù)據(jù)采樣，采樣并存儲(chǔ)n條三元組對(duì)應(yīng)的模型中間變量輸出，計(jì)算核心張量中主核的權(quán)重重要性ρ和中間變量對(duì)應(yīng)的差異度η；基于所述重要性ρ和差異度η計(jì)算γ；γ＝αη+(1-α)ρ，尋找γ中最小的元素對(duì)應(yīng)的維度索引l，將對(duì)應(yīng)l維進(jìn)行剪枝，在剪枝第l維時(shí)，將所有主核的第l維對(duì)應(yīng)的三個(gè)方向的切片刪除，并增加和初始化p個(gè)輔助核參與后續(xù)訓(xùn)練，令c＝c-1；
34、當(dāng)完成h輪次的訓(xùn)練后，自適應(yīng)剪枝結(jié)束。...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，具體過程為：
2.根據(jù)權(quán)利要求1所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，所述特征嵌入稀疏分組具體為：
3.根據(jù)權(quán)利要求1或2所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，所述針對(duì)所述稀疏核心張量進(jìn)行基于門控機(jī)制的交互增強(qiáng)，并計(jì)算稀疏核心張量可能性得分，具體過程為：
4.根據(jù)權(quán)利要求3所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，所述基于門控機(jī)制的交互增強(qiáng)為利用門控層實(shí)現(xiàn)，所述門控層的結(jié)構(gòu)為神經(jīng)網(wǎng)絡(luò)與sigmoid函數(shù)的串聯(lián)構(gòu)成。
5.根據(jù)權(quán)利要求3所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，利用門控層實(shí)現(xiàn)交互增強(qiáng)得到的中間輸出為
6.根據(jù)權(quán)利要求5所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，所述基于所述中間輸出，計(jì)算核心張量可能性得分，具體為：
7.根據(jù)權(quán)利要求1所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖
8.根據(jù)權(quán)利要求1所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，所述重要性向量代表主核所有c個(gè)維度的重要性，其中第l維度的重要性為：
9.根據(jù)權(quán)利要求1所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，所述差異度向量ρ為；
10.根據(jù)權(quán)利要求7-9任意一項(xiàng)所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，核心張量自適應(yīng)剪枝的具體過程為：
...【技術(shù)特征摘要】
1.一種基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，具體過程為：
2.根據(jù)權(quán)利要求1所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，所述特征嵌入稀疏分組具體為：
3.根據(jù)權(quán)利要求1或2所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，所述針對(duì)所述稀疏核心張量進(jìn)行基于門控機(jī)制的交互增強(qiáng)，并計(jì)算稀疏核心張量可能性得分，具體過程為：
4.根據(jù)權(quán)利要求3所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，所述基于門控機(jī)制的交互增強(qiáng)為利用門控層實(shí)現(xiàn)，所述門控層的結(jié)構(gòu)為神經(jīng)網(wǎng)絡(luò)與sigmoid函數(shù)的串聯(lián)構(gòu)成。
5.根據(jù)權(quán)利要求3所述基于自適應(yīng)超塊對(duì)角稀疏核心張量分解的知識(shí)圖譜補(bǔ)全方法，其特征在于，利用門控層實(shí)現(xiàn)交互增強(qiáng)得到...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李彬，楊楚鴻，武楠，張婷婷，何東軒，
申請(qǐng)(專利權(quán))人：北京理工大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。