System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術涉及互聯網,尤其涉及一種基于對抗神經網絡的標識解析知識圖譜構建方法。
技術介紹
1、在工業互聯網或物聯網環境中,不同的系統存在大量設備和數據資源,而設備之間存在復雜的上下游依賴關系或功能協作關系。
2、傳統的知識圖譜構建方法,如基于規則或基于模板的方法,無法在處理大規模數據時具有更高的效率和更好的可擴展性,在實體識別和關系抽取等關鍵步驟中,不能夠有效識別并處理文本中的復雜和模糊信息,降低了實體和關系抽取的準確率,同時,降低了知識圖譜的構建效率和質量。
3、因此,本專利技術提出一種基于對抗神經網絡的標識解析知識圖譜構建方法。
技術實現思路
1、本專利技術提供一種基于對抗神經網絡的標識解析知識圖譜構建方法,用以解決現有技術中無法在處理大規模數據時具有更高的效率和更好的可擴展性,在實體識別和關系抽取等關鍵步驟中,不能夠有效識別并處理文本中的復雜和模糊信息,降低了實體和關系抽取的準確率,同時,降低了知識圖譜的構建效率和質量的缺陷。
2、一方面,本專利技術提供一種基于對抗神經網絡的標識解析知識圖譜構建方法,包括:
3、步驟1:獲取與標識解析相關的各類數據,并對所述標識解析相關的各類數據進行清洗和轉換;
4、步驟2:對清洗和轉換后的數據基于bert模型對文本進行實體識別,得到實體識別結果,并根據循環神經網絡從文本中實現實體之間的語義關系抽取,得到關系抽取結果;
5、步驟3:基于實體識別結果和關系抽取結果構建“實體
6、步驟4:將所述初步的知識圖譜作為數據集訓練對抗神經網絡,采用交替訓練策略并引入self-attention機制,獲取判別器的判別能力以及生成器的數據生成能力;
7、步驟5:根據判別器的判別能力以及生成器的數據生成能力獲取經過對抗神經網絡訓練得到的實體和關系,并轉化為知識圖譜中的節點和邊,構建完整的知識圖譜。
8、根據本專利技術提供的一種基于對抗神經網絡的標識解析知識圖譜構建方法,獲取與標識解析相關的各類數據,并對所述標識解析相關的各類數據進行清洗和轉換,包括:
9、根據標識數據庫獲取與標識解析相關的各類數據,并將與標識解析相關的各類數據組成數據集;
10、對所述數據集進行數據清洗和轉換,根據清洗和轉換后的數據集獲取實體名稱或非實體名稱的其他標識性文本信息,并將實體名稱或非實體名稱的其他標識性文本信息映射為唯一的實體id;
11、根據所述唯一的實體id確定實體間的關系;
12、獲取非實體名稱的其他標識性文本信息中的關系描述,進行標準化處理,獲取一致性的關系標簽。
13、根據本專利技術提供的一種基于對抗神經網絡的標識解析知識圖譜構建方法,根據所述唯一的實體id確定實體間的關系,包括:
14、根據唯一的實體id確定實體名稱特征和實體屬性特征,根據實體名稱特征和實體屬性特征生成初始實體特征;
15、將初始實體特征輸入到基于關系表示的深層神經網絡中提取實體的關系特征;
16、獲取實體之間的曼哈頓距離,根據曼哈頓距離確定實體間的相似度,選擇相似度最高的兩兩實體作為對齊實體;
17、獲取對齊實體之間的目標關系特征,根據目標關系特征與預設的實體關系之間的差異性確定特征損失項;
18、根據特征損失項確定對齊實體間的局部關系特征描述分量和全局關系特征描述分量;
19、獲取局部關系特征描述分量和全局關系特征描述分量各自對應的實體表征;
20、根據實體表征確定對齊實體的預測缺失關系,根據預測缺失關系和預設關系表確定對齊實體的預設保留關系;
21、獲取對齊實體各自的顆粒度特征表示信息,根據顆粒度特征表示信息獲取對齊實體之間的節點特征表示信息;
22、基于對齊實體之間的節點特征表示信息根據預先構建的基于關系類型的自適應銜接矩陣確定對齊實體之間的關系節點特征表示信息;
23、根據關系節點特征表示信息確定對齊節點之間的關系類型,根據關系類型在預設保留關系中獲取匹配關系。
24、根據本專利技術提供的一種基于對抗神經網絡的標識解析知識圖譜構建方法,根據清洗和轉換后的數據集獲取實體名稱或非實體名稱的其他標識性文本信息,并將實體名稱或非實體名稱的其他標識性文本信息映射為唯一的實體id,包括:
25、從清洗和轉換后的數據中提取所有包含實體名稱的信息或非實體名稱的其他標識性文本信息,并根據所有包含實體名稱的信息或非實體名稱的其他標識性文本信息確定實體名稱或非實體名稱的其他標識性文本信息的具體描述和屬性;
26、根據實體名稱或非實體名稱的其他標識性文本信息的具體描述和屬性確定實體名稱或非實體名稱的其他標識性文本信息類型以及屬性值,獲取每個實體名稱或非實體名稱的其他標識性文本信息的唯一標識符;
27、使用反推法映射所述實體名稱或非實體名稱的其他標識性文本信息的唯一標識符到原始實體名稱。
28、根據本專利技術提供的一種基于對抗神經網絡的標識解析知識圖譜構建方法,對清洗和轉換后的數據基于bert模型對文本進行實體識別,得到實體識別結果,并根據循環神經網絡從文本中實現實體之間的語義關系抽取,得到關系抽取結果,包括:
29、將清洗和轉換后的數據轉換成統一格式的輸入文本,并將所述輸入文本轉換為固定長度的序列;
30、根據輸入文本的文本特征確定對應的預訓練的bert模型,并將轉換后的輸入文本輸入到預訓練的bert模型中;
31、根據bert模型的輸出結果獲取輸入文本中的每個詞語的一個或多個標簽,根據所述一個或多個標簽識別輸入文本中的實體,得到實體識別結果,并進行分類;
32、對分類后的實體,根據循環神經網絡從文本中實現實體之間的語義關系抽取,得到關系抽取結果。
33、根據本專利技術提供的一種基于對抗神經網絡的標識解析知識圖譜構建方法,基于實體識別結果和關系抽取結果構建“實體-關系-實體”的三元組,形成初步的知識圖譜,并利用圖數據庫對初步的知識圖譜進行存儲,包括:
34、將實體識別結果轉換為三元組形式,其中每個實體都包含一個唯一的id、類別和文本描述;
35、將關系抽取結果轉換為三元組形式,其中關系抽取結果轉換的每個三元組中包含兩個屬性:前件和后件;
36、將轉換后的實體和關系組織到圖結構中,獲取每個實體對應的節點以及每個關系對應的邊;
37、根據所述每個實體對應的節點以及每個關系對應的邊形成初步的知識圖譜,并使用圖數據庫對初步的知識圖譜進行存儲。
38、根據本專利技術提供的一種基于對抗神經網絡的標識解析知識圖譜構建方法,將所述初步的知識圖譜作為數據集訓練對抗神經網絡,采用交替訓練策略并引入self-attention機制,獲取判別器的判別能力以及生成器的本文檔來自技高網...
【技術保護點】
1.一種基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,包括:
2.根據權利要求1所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,獲取與標識解析相關的各類數據,并對所述標識解析相關的各類數據進行清洗和轉換,包括:
3.根據權利要求2所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,根據所述唯一的實體ID確定實體間的關系,包括:
4.根據權利要求2所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,根據清洗和轉換后的數據集獲取實體名稱或非實體名稱的其他標識性文本信息,并將實體名稱或非實體名稱的其他標識性文本信息映射為唯一的實體ID,包括:
5.根據權利要求1所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,對清洗和轉換后的數據基于BERT模型對文本進行實體識別,得到實體識別結果,并根據循環神經網絡從文本中實現實體之間的語義關系抽取,得到關系抽取結果,包括:
6.根據權利要求1所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,基于實體識別結果和關系抽取結果構
7.根據權利要求1所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,將所述初步的知識圖譜作為數據集訓練對抗神經網絡,采用交替訓練策略并引入Self-Attention機制,獲取判別器的判別能力以及生成器的數據生成能力,包括:
8.根據權利要求1所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,根據判別器的判別能力以及生成器的數據生成能力獲取經過對抗神經網絡訓練得到的實體和關系,并轉化為知識圖譜中的節點和邊,構建完整的知識圖譜,包括:
9.根據權利要求1所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,在將所述初步的知識圖譜作為數據集訓練對抗神經網絡之前,還包括:
...【技術特征摘要】
1.一種基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,包括:
2.根據權利要求1所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,獲取與標識解析相關的各類數據,并對所述標識解析相關的各類數據進行清洗和轉換,包括:
3.根據權利要求2所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,根據所述唯一的實體id確定實體間的關系,包括:
4.根據權利要求2所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,根據清洗和轉換后的數據集獲取實體名稱或非實體名稱的其他標識性文本信息,并將實體名稱或非實體名稱的其他標識性文本信息映射為唯一的實體id,包括:
5.根據權利要求1所述的基于對抗神經網絡的標識解析知識圖譜構建方法,其特征在于,對清洗和轉換后的數據基于bert模型對文本進行實體識別,得到實體識別結果,并根據循環神經網絡從文本中實現實體之間的語義關系抽取,得到關系抽取結果,包括:...
【專利技術屬性】
技術研發人員:李韶鈺,商廣勇,齊光鵬,馬振,羅濤,
申請(專利權)人:浪潮云洲工業互聯網有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。