【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種企業(yè)知識圖譜推理補(bǔ)全方法及推理補(bǔ)全系統(tǒng)，屬于知識圖譜推理補(bǔ)全。
技術(shù)介紹
1、知識圖譜是構(gòu)建企業(yè)大腦系統(tǒng)的必要性知識庫，通過對企業(yè)內(nèi)外部的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行整合與關(guān)聯(lián)分析，形成一個全面準(zhǔn)確且實(shí)時的企業(yè)知識庫，為企業(yè)的智能化運(yùn)營和決策提供強(qiáng)大的知識支撐。然而，在構(gòu)建企業(yè)大腦知識圖譜的過程中，往往面臨著知識獲取不完整、知識關(guān)聯(lián)不充分等問題，獲取到的初始知識圖譜通常存在大量缺失或不完整的知識三元組。因此，需要利用已有的知識圖譜結(jié)構(gòu)和語義信息，推斷和填充缺失的知識三元組。
2、現(xiàn)有技術(shù)的知識圖譜補(bǔ)全方法主要采用基于圖的表示學(xué)習(xí)方法，通過學(xué)習(xí)實(shí)體和關(guān)系的低維嵌入表示，捕捉其語義特征和互相關(guān)系，進(jìn)而預(yù)測缺失的三元組。但現(xiàn)有方法通常為每個實(shí)體和關(guān)系學(xué)習(xí)一個固定的嵌入向量，忽略了實(shí)體在不同局部結(jié)構(gòu)下可能呈現(xiàn)出不同的語義特性，這種靜態(tài)嵌入表示難以刻畫實(shí)體的多樣性和上下文相關(guān)性。并且，現(xiàn)有方法僅考慮實(shí)體和關(guān)系在全局范圍內(nèi)的特征交互，缺乏對局部結(jié)構(gòu)和細(xì)粒度語義的建模，這導(dǎo)致模型難以捕捉復(fù)雜、多樣的語義關(guān)系，尤其是對于長尾實(shí)體和稀疏關(guān)系。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種企業(yè)知識圖譜推理補(bǔ)全方法及推理補(bǔ)全系統(tǒng)，首先，基于知識圖譜嵌入模型的多層圖卷積神經(jīng)網(wǎng)絡(luò)模塊和門控神經(jīng)網(wǎng)絡(luò)，能夠提供更加精準(zhǔn)的語義信息用于特征交互，實(shí)現(xiàn)了三元組在子張量核粒度和全局粒度上的多層次特征交互與聚合。其次，模型的訓(xùn)練過程中引入三元組二分類損失函數(shù)和對
2、為達(dá)到上述目的，本專利技術(shù)是采用下述技術(shù)方案實(shí)現(xiàn)的：
3、一方面，本專利技術(shù)公開了一種企業(yè)知識圖譜推理補(bǔ)全方法，包括：
4、獲取目標(biāo)企業(yè)待補(bǔ)全的知識圖譜；所述待補(bǔ)全的知識圖譜包括多個已知三元組和殘缺三元組；
5、將所述待補(bǔ)全的知識圖譜輸入至訓(xùn)練好的知識圖譜嵌入模型，通過對所述殘缺三元組進(jìn)行預(yù)測，以實(shí)現(xiàn)知識圖譜的推理補(bǔ)全；
6、其中，所述知識圖譜嵌入模型包括實(shí)體節(jié)點(diǎn)編碼模塊、多層圖卷積神經(jīng)網(wǎng)絡(luò)模塊、softmax池化層以及基于自注意力機(jī)制的門控神經(jīng)網(wǎng)絡(luò)；所述知識圖譜嵌入模型的訓(xùn)練步驟包括：
7、獲取訓(xùn)練集；
8、根據(jù)所述訓(xùn)練集，以最小化總損失函數(shù)為目標(biāo)，采用梯度下降算法對預(yù)構(gòu)建的知識圖譜嵌入模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的知識圖譜嵌入模型；所述總損失函數(shù)包括三元組二分類損失函數(shù)和對抗正則化項(xiàng)損失函數(shù)。
9、進(jìn)一步的，所述得到訓(xùn)練集的步驟包括：
10、獲取訓(xùn)練知識圖譜，所述訓(xùn)練知識圖譜包括多個原始三元組；
11、將所述原始三元組作為正三元組；針對每一個正三元組，通過負(fù)采樣策略生成對應(yīng)的負(fù)三元組；
12、對所述正三元組或負(fù)三元組中的頭實(shí)體、關(guān)系和尾實(shí)體進(jìn)行嵌入式表示的隨機(jī)初始化，得到正樣本或負(fù)樣本；
13、根據(jù)所述訓(xùn)練知識圖譜、所有的正樣本和對應(yīng)的負(fù)樣本，得到訓(xùn)練集。
14、進(jìn)一步的，所述知識圖譜嵌入模型包括：
15、實(shí)體節(jié)點(diǎn)模塊，用于根據(jù)輸入的知識圖譜，得到實(shí)體節(jié)點(diǎn)及所述實(shí)體節(jié)點(diǎn)的鄰接矩陣；
16、多層圖卷積神經(jīng)網(wǎng)絡(luò)，用于根據(jù)所述實(shí)體節(jié)點(diǎn)的鄰接矩陣，基于多層圖卷積神經(jīng)網(wǎng)絡(luò)對所述實(shí)體節(jié)點(diǎn)的特征進(jìn)行迭代更新，得到實(shí)體節(jié)點(diǎn)的最終實(shí)體嵌入表示矩陣；
17、softmax池化層，用于根據(jù)所述實(shí)體節(jié)點(diǎn)的最終實(shí)體嵌入表示矩陣，基于softmax池化操作進(jìn)行子集劃分，得到軟劃分矩陣；根據(jù)所述軟劃分矩陣，對所述實(shí)體節(jié)點(diǎn)的最終實(shí)體嵌入表示矩陣進(jìn)行加權(quán)求和，得到多子集的聚合嵌入矩陣；
18、基于自注意力機(jī)制的門控神經(jīng)網(wǎng)絡(luò)，用于根據(jù)所述多子集的聚合嵌入矩陣，得到語義交互后的最終特征表示矩陣。
19、進(jìn)一步的，所述多層圖卷積神經(jīng)網(wǎng)絡(luò)中，任一層圖卷積神經(jīng)網(wǎng)絡(luò)對所述實(shí)體節(jié)點(diǎn)的特征進(jìn)行迭代更新的表達(dá)式如下：
20、；
21、；
22、；
23、式中，表示第層圖卷積神經(jīng)網(wǎng)絡(luò)更新得到的實(shí)體嵌入表示矩陣；表示relu激活函數(shù)；表示第層圖卷積神經(jīng)網(wǎng)絡(luò)更新得到的實(shí)體嵌入表示矩陣；表示第層圖卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重矩陣；
24、表示加入自連接的鄰接矩陣；表示實(shí)體節(jié)點(diǎn)的鄰接矩陣；表示n階單位矩陣；
25、表示矩陣的度數(shù)矩陣；表示矩陣中第i行第i列的元素；表示矩陣中第i行第j列的元素。
26、進(jìn)一步的，所述軟劃分矩陣的表達(dá)式如下：
27、；
28、式中，表示軟劃分矩陣中第i行第j列的元素，即第個實(shí)體嵌入屬于第個子集的概率；表示最終實(shí)體嵌入表示矩陣中第個實(shí)體嵌入向量；表示可學(xué)習(xí)的劃分矩陣；表示矩陣中的第個元素，即第個子集對應(yīng)的變換向量；表示矩陣中的第個元素，即第個子集對應(yīng)的變換向量；表示子集的數(shù)量。
29、進(jìn)一步的，所述基于自注意力機(jī)制的門控神經(jīng)網(wǎng)絡(luò)包括：
30、輸入層，用于輸入多子集的聚合嵌入矩陣；
31、門控層，用于根據(jù)所述多子集聚合嵌入矩陣，進(jìn)行門控操作，得到門控操作后的多子集聚合嵌入矩陣；
32、注意力層，用于根據(jù)所述門控操作后的多子集聚合嵌入矩陣，計(jì)算注意力權(quán)重矩陣和值矩陣并進(jìn)行加權(quán)求和，得到注意力增強(qiáng)的嵌入表示矩陣；
33、拼接映射層，用于根據(jù)所述門控操作后的多子集聚合嵌入矩陣和注意力增強(qiáng)的嵌入表示矩陣，進(jìn)行特征拼接和非線性映射，得到語義交互后的最終特征表示矩陣；
34、輸出層，用于輸出語義交互后的最終特征表示矩陣。
35、進(jìn)一步的，所述語義交互后的最終特征表示矩陣的表達(dá)式如下：
36、；
37、；
38、；
39、式中，表示頭實(shí)體的語義交互后的最終特征表示矩陣；表示關(guān)系的語義交互后的最終特征表示矩陣；表示尾實(shí)體的語義交互后的最終特征表示矩陣；表示relu激活函數(shù)；
40、表示頭實(shí)體的注意力增強(qiáng)的嵌入表示矩陣；表示關(guān)系的注意力增強(qiáng)的嵌入表示矩陣；表示尾實(shí)體的注意力增強(qiáng)的嵌入表示矩陣。
41、表示頭實(shí)體的門控操作后的多子集聚合嵌入矩陣；表示關(guān)系的門控操作后的多子集聚合嵌入矩陣；表示尾實(shí)體的門控操作后的多子集聚合嵌入矩陣；
42、表示頭實(shí)體的映射矩陣；表示關(guān)系的映射矩陣；表示尾實(shí)體的映射矩陣；
43、表示頭實(shí)體的偏置項(xiàng)；表示關(guān)系的偏置項(xiàng)；表示尾實(shí)體的偏置項(xiàng)。
44、進(jìn)一步的，所述三元組二分類損失函數(shù)的表達(dá)式如下：
45、；
46、式中，表示訓(xùn)練樣本的數(shù)量；表示第個樣本的標(biāo)簽，正樣本取值為1，負(fù)樣本取值為0；
47、表示第個樣本的概率分值；
48、所述對抗正則化項(xiàng)損失函數(shù)的表本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，包括：
2.根據(jù)權(quán)利要求1所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述得到訓(xùn)練集的步驟包括：
3.根據(jù)權(quán)利要求1所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述知識圖譜嵌入模型包括：
4.根據(jù)權(quán)利要求3所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述多層圖卷積神經(jīng)網(wǎng)絡(luò)中，任一層圖卷積神經(jīng)網(wǎng)絡(luò)對所述實(shí)體節(jié)點(diǎn)的特征進(jìn)行迭代更新的表達(dá)式如下：
5.根據(jù)權(quán)利要求3所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述軟劃分矩陣的表達(dá)式如下：
6.根據(jù)權(quán)利要求3所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述基于自注意力機(jī)制的門控神經(jīng)網(wǎng)絡(luò)包括：
7.根據(jù)權(quán)利要求6所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述語義交互后的最終特征表示矩陣的表達(dá)式如下：
8.根據(jù)權(quán)利要求1所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述三元組二分類損失函數(shù)的表達(dá)式如下：
9.根據(jù)權(quán)利要求1所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，將所述待補(bǔ)全的知識圖譜輸入至訓(xùn)練好的知識圖譜嵌入模型，以
10.一種企業(yè)知識圖譜推理補(bǔ)全系統(tǒng)，適用于權(quán)利要求1-9任一項(xiàng)所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，包括：
...【技術(shù)特征摘要】
1.一種企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，包括：
2.根據(jù)權(quán)利要求1所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述得到訓(xùn)練集的步驟包括：
3.根據(jù)權(quán)利要求1所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述知識圖譜嵌入模型包括：
4.根據(jù)權(quán)利要求3所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述多層圖卷積神經(jīng)網(wǎng)絡(luò)中，任一層圖卷積神經(jīng)網(wǎng)絡(luò)對所述實(shí)體節(jié)點(diǎn)的特征進(jìn)行迭代更新的表達(dá)式如下：
5.根據(jù)權(quán)利要求3所述的企業(yè)知識圖譜推理補(bǔ)全方法，其特征是，所述軟劃分矩陣的表達(dá)式如下：
6.根據(jù)權(quán)利要求3所述的企業(yè)知識圖譜推理補(bǔ)全...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：金泳，樓衛(wèi)東，陸海龍，高揚(yáng)華，單宇翔，
申請(專利權(quán))人：浙江中煙工業(yè)有限責(zé)任公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。