System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及補全算法領域,具體涉及一種結合鄰域路徑編碼的知識圖譜補全算法。
技術介紹
1、在21世紀,隨著科技的快速發展,數據量呈現出指數級增長,導致信息繁雜和難以高效處理。傳統的網頁應用和數據庫技術已無法滿足當前爆炸性數據增長的需求。在這一背景下,知識圖譜技術應運而生,成為結構化組織和提取有用知識信息的關鍵工具。2012年,google公司首次提出了知識圖譜的概念,定義其為一個大規模的語義網絡,其中包含了實體、概念及其之間的語義關系。知識圖譜旨在通過結構化的方式組織和管理海量信息,從而提升數據的查詢、推薦和推理能力。
2、知識圖譜補全算法的核心目標是通過現有的知識圖譜和其他數據源填補缺失的部分,以提升圖譜的準確性和完整性,確保其能及時反映現實世界的變化和新的知識。然而,知識圖譜中的許多關系往往只有少數的實體對應,這使得傳統的大規模訓練方法難以有效應用。隨著知識圖譜的不斷更新和擴展,某些新的關系可能只有極少的三元組實例,因此如何處理少樣本關系成為一個重要且具有挑戰性的課題。
3、傳統的知識圖譜補全方法假設每個關系有大量的實體對進行訓練,但在現實場景中,很多關系只存在少量樣本。
4、少樣本知識圖譜補全(few-shot?knowledge?graph?completion,fkgc)是知識圖譜研究中的一個重要方向,尤其在醫療、個性化推薦和環境監測等領域有著廣泛的應用前景。
5、例如,在新產品推薦系統中,當用戶的反饋數據非常有限時,fkgc能夠幫助系統更準確地預測用戶偏好。少樣本知識
6、總而言之,少樣本知識圖譜補全技術對于確保知識圖譜的完整性和準確性至關重要。結合神經網絡的先進技術,這種補全方法不僅能夠提升知識圖譜的語義表示和推理能力,還能夠通過高效的數據補全和噪聲處理,幫助解決各種領域中的實際問題,展現出廣闊的應用前景。
7、目前,fkgc主要挑戰包括:如何從有限的數據中挖掘盡可能多的有用信息、如何防止模型過擬合,以及如何有效應對數據中的噪聲等。
8、可以理解的是,上述陳述僅提供與本專利技術有關的
技術介紹
,而并不必然地構成現有技術。
技術實現思路
1、本專利技術的目的是提供一種結合鄰域路徑編碼的知識圖譜補全算法,具有顯著提高知識圖譜補全的效率的優點。
2、為了達到上述目的,本專利技術提供了一種結合鄰域路徑編碼的知識圖譜補全算法,包含以下步驟:s1、構建包括三層的注意力網絡結構,分別計算實體的鄰域特征的權重、關系的鄰域特征的權重以及實體-關系的鄰域特征的權重;s2、使用注意力機制對實體的鄰域特征的權重進行加權,得到第一層加權后權重x1;s3、生成所有實體所對應的實體鄰居節點;s4、逐個計算所有關系的注意力權重;s5、使用注意力機制聚合所有關系中的隱藏狀態,獲得雙向長短時記憶網絡模型下所有關系加權后的隱藏狀態r′bi-lstm;s6、獲取門控值g;s7、采用門控值g作為調整隱藏狀態r′bi-lstm的權重向量,獲得經過門控多層感知機網絡處理后的輸出r′gmlp;采用殘差連接得到最終的關系表示r′,并利用隨機流形解碼器計算得到輸入所有關系下的實體得分score。
3、優選的,所述的s1中,每一層逐個計算實體、關系以及實體-關系所對應的鄰域特征的權重計算公式為:
4、
5、其中,i表示輸入的第i個實體、或關系、或實體-關系的計數值;w為權重矩陣;d為輸入值;b為偏置項;x表示層數。
6、優選的,所述的s2中,計算公式為:
7、x1=sigmoid(wattnu1);
8、其中,u1表示第一層所有實體對應的鄰域特征的權重的注意力頭的輸出串聯起來的向量;wattn是隨機初始化的注意力權重矩陣;sigmoid為激活函數。
9、優選的,采用層間注意力機制增強了對于各種實體的區分能力。
10、優選的,所述的s3中,采用門控機制來生成最終的實體鄰居節點,計算公式為:
11、gtmp=wgv(3)+bg;
12、其中,wg是門控機制的原始權重;v(3)是第三層的全部實體-關系對應的鄰域特征的權重的輸出向量表示;bg是門控機制的偏置;gtmp為輸出映射,范圍在[0,1]之間;
13、oneighbor=oneigh+(1-gtmp)⊙eselfembed;
14、
15、其中,eselfembed表示單個實體的自身語義;⊙表示映射運算;oneigh為第一層加權后權重x1下鄰居節點所在區域;oneighbor為單個實體對應的單個實體鄰居節點。
16、優選的,所述的s4中,計算公式為:
17、
18、其中,wattn是隨機初始化的注意力權重矩陣;mri是第i個實體鄰居節點中對應的實體在第一層中的特征信息;n(v)是所有實體鄰居節點的集合;ri是第i個關系的關系表示;r′是實際鄰居節點的關系的集合;mr′i是第i個實際鄰居節點的關系;表示第i個關系的注意力權重。
19、優選的,所述的s5中,聚合隱藏狀態指的是在模型運算中,獲得關系的更加深層次的信息,計算公式為:
20、ri=tanh(wis′i+bi);
21、
22、
23、
24、其中,wi表示第i個關系的權重矩陣;bi表示第i個關系的偏置;ri是第i個關系的關系表示;ci代表第i個關系的新注意力權重;s′i表示雙向長短時記憶網絡模型下第i個關系的隱藏輸出狀態;r′bi-lstm代表雙向長短時記憶網絡下所有關系加權后的隱藏狀態;k表示當前輸入的關系的總數量;tanh為雙曲正切函數。
25、優選的,所述的s6中,計算公式為:
26、g=sigmoid(wgr′bi-lstm+bg);
27、
28、其中,wg為門控機制的原始權重;bg為門控機制的偏置;wgr′bi-lstm為r′bi-lstm的加權表示。
29、優選的,所述的s7中,計算公式為:
30、r′gmlp=gmlp(r′bi-lstm);
31、其中,r′gmlp是經過門控多層感知機網絡處理后的輸出。
32、優選的,所述的s8中,計算公式為:
33、r′=r′gmlp+r′bi-lstm;
34、
35、score=|s(h′,r′,t′)-mlp(z′)2|;
36、
37、其中,s(h′,r′,t′)表示將實體-關系代入門控循環單元中,并利用轉移距離模型模型所計算出的得分函數;mlp為多層感知器;z′為r′gmlp的初始默認得分。
38、綜上所述,與現有技術相比,本文檔來自技高網...
【技術保護點】
1.一種結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,包含以下步驟:
2.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的S1中,每一層逐個計算實體、關系以及實體-關系所對應的鄰域特征的權重計算公式為:
3.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的S2中,計算公式為:
4.如權利要求3所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,采用層間注意力機制增強了對于各種實體的區分能力。
5.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的S3中,采用門控機制來生成最終的實體鄰居節點,計算公式為:
6.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的S4中,計算公式為:
7.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的S5中,聚合隱藏狀態指的是在模型運算中,獲得關系的更加深層次的信息,計算公式為:
8.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,
9.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的S7中,計算公式為:
10.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的S8中,計算公式為:
...【技術特征摘要】
1.一種結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,包含以下步驟:
2.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的s1中,每一層逐個計算實體、關系以及實體-關系所對應的鄰域特征的權重計算公式為:
3.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的s2中,計算公式為:
4.如權利要求3所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,采用層間注意力機制增強了對于各種實體的區分能力。
5.如權利要求1所述的結合鄰域路徑編碼的知識圖譜補全算法,其特征在于,所述的s3中,采用門控機制來生成最終的實體鄰居節點,計算...
【專利技術屬性】
技術研發人員:謝邦鵬,周敏,王佳裕,沈浩,陳赟,潘智俊,趙文愷,傅超然,王曉慧,杜海舟,曹渝昆,李晶晶,
申請(專利權)人:國網上海市電力公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。