基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)提供一種基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法及系統(tǒng)，涉及計(jì)算機(jī)技術(shù)領(lǐng)域，該方法包括：利用多層非線性圖注意力編碼器映射圖中的原始節(jié)點(diǎn)內(nèi)容和圖結(jié)構(gòu)，得到節(jié)點(diǎn)特征表示；采用l1，2

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法及系統(tǒng)


[0001]本專利技術(shù)涉及計(jì)算機(jī)
，尤其涉及一種基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法及系統(tǒng)。

技術(shù)介紹

[0002]本部分的陳述僅僅是提供了與本專利技術(shù)相關(guān)的
技術(shù)介紹
信息，不必然構(gòu)成已經(jīng)成為本領(lǐng)域一般技術(shù)人員所公知的現(xiàn)有技術(shù)。
[0003]圖結(jié)構(gòu)是一種非線性結(jié)構(gòu)，圖結(jié)構(gòu)在實(shí)際生活中具有廣泛的應(yīng)用，例如：通信網(wǎng)絡(luò)、人際關(guān)系網(wǎng)絡(luò)等。圖聚類是一個長期的研究課題，早期采用各種淺層方法來進(jìn)行圖聚類，如使用中心指數(shù)來尋找社區(qū)邊界并檢測社區(qū)；將信念傳播應(yīng)用于社區(qū)檢測并確定最可能的社區(qū)排列；許多基于嵌入學(xué)習(xí)的方法將現(xiàn)有的聚類算法應(yīng)用于學(xué)習(xí)嵌入，為了處理內(nèi)容和結(jié)構(gòu)信息，關(guān)系主題模型、聯(lián)合聚類方法和內(nèi)容傳播也被廣泛使用。這些方法的局限性在于(1)它們僅捕獲網(wǎng)絡(luò)信息的一部分或內(nèi)容和結(jié)構(gòu)數(shù)據(jù)之間的淺層關(guān)系，以及(2)它們直接應(yīng)用于稀疏的原始圖。因此，這些方法不能有效地利用圖結(jié)構(gòu)或圖結(jié)構(gòu)與節(jié)點(diǎn)內(nèi)容信息之間的相互作用。
[0004]近年來，受益于深度學(xué)習(xí)的發(fā)展，圖聚類取得了快速的進(jìn)步。許多深度圖聚類算法采用自動編碼器，具體為使用變分自動編碼器、稀疏自動編碼器、對抗正則化方法或去噪自動編碼器來學(xué)習(xí)聚類的深度表示。為了更好地利用深度非線性表示，提出了基于深度學(xué)習(xí)的方法，最具代表性的方法之一是圖形自動編碼器(GAE)。它將圖結(jié)構(gòu)和節(jié)點(diǎn)屬性編碼為節(jié)點(diǎn)表示，在該節(jié)點(diǎn)表示上訓(xùn)練解碼器以重建圖結(jié)構(gòu)。為了提高節(jié)點(diǎn)表示的魯棒性，Pan等人提出了對抗正則化圖自動編碼器(ARGAE)。然而，在上述方法中，每個節(jié)點(diǎn)的鄰居都具有相同的權(quán)重，而沒有考慮圖結(jié)構(gòu)中噪聲的存在。為了更好地挖掘節(jié)點(diǎn)及其鄰居的相關(guān)性，Velickovic等人提出了圖注意力網(wǎng)絡(luò)(GATs)，但是，他們的方法旨在重建圖結(jié)構(gòu)而不是節(jié)點(diǎn)屬性，其中圖結(jié)構(gòu)在解碼器部分根本無法使用，導(dǎo)致圖學(xué)習(xí)能力下降。
[0005]現(xiàn)階段，提出了幾種基于圖卷積自動編碼器的聚類模型，其核心是學(xué)習(xí)低維、緊湊和連續(xù)的表示，然后在學(xué)習(xí)的表示上實(shí)施經(jīng)典的聚類方法，以獲得聚類標(biāo)簽。專利技術(shù)人發(fā)現(xiàn)，現(xiàn)有方法仍然存在以下限制：(1)忽略了節(jié)點(diǎn)表示的集群特異性分布，不同的社區(qū)分布在不同的特征維度上，這就使得節(jié)點(diǎn)的特征分布非常混亂，即使在大多數(shù)維度上，節(jié)點(diǎn)的特征也非常的相似，這可能會使算法將他們?nèi)烤垲惖酵粋€社區(qū)中，導(dǎo)致聚類的結(jié)果不準(zhǔn)確；(2)從拓?fù)渖希従庸?jié)點(diǎn)通過邊來表示目標(biāo)節(jié)點(diǎn)，即只考慮圖的1跳鄰居節(jié)點(diǎn)，由于圖具有復(fù)雜的結(jié)構(gòu)關(guān)系，高階鄰居節(jié)點(diǎn)也具有豐富的節(jié)點(diǎn)信息；(3)現(xiàn)有方法中大多數(shù)無法同時(shí)重建節(jié)點(diǎn)屬性和圖結(jié)構(gòu)，導(dǎo)致節(jié)點(diǎn)表示不理想。

技術(shù)實(shí)現(xiàn)思路

[0006]為了解決上述問題，本專利技術(shù)提供一種基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法及系統(tǒng)，利用l1，2
?
范數(shù)懲罰來解決節(jié)點(diǎn)表示的社團(tuán)特異性分布的問題，以很好地刻畫聚類結(jié)
構(gòu)，并且將聚類損失、特異性約束和重建損失確定總目標(biāo)函數(shù)，通過最小化總目標(biāo)函數(shù)確定軟標(biāo)簽分布，以提高聚類結(jié)果的準(zhǔn)確性。
[0007]為了實(shí)現(xiàn)上述目的，本專利技術(shù)主要包括以下幾個方面：
[0008]第一方面，本專利技術(shù)實(shí)施例提供一種基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法，包括：
[0009]利用多層非線性圖注意力編碼器映射圖中的原始節(jié)點(diǎn)內(nèi)容和圖結(jié)構(gòu)，得到圖中各節(jié)點(diǎn)的節(jié)點(diǎn)特征表示；
[0010]采用l1，2
?
數(shù)懲罰對所述節(jié)點(diǎn)特征表示進(jìn)行特異性約束，以及采用內(nèi)積解碼器預(yù)測圖中各節(jié)點(diǎn)之間的鏈接，確定出節(jié)點(diǎn)內(nèi)容和圖結(jié)構(gòu)的重建損失；
[0011]對圖中各節(jié)點(diǎn)進(jìn)行自訓(xùn)練聚類，根據(jù)軟標(biāo)簽分布和目標(biāo)分布之間的散度，構(gòu)建聚類損失；根據(jù)所述聚類損失、特異性約束和重建損失確定總目標(biāo)函數(shù)，通過最小化所述總目標(biāo)函數(shù)，優(yōu)化所述軟標(biāo)簽分布使其不斷逼近目標(biāo)分布；
[0012]從優(yōu)化后的軟標(biāo)簽分布中獲取聚類結(jié)果，從而發(fā)現(xiàn)社區(qū)。
[0013]在一種可能的實(shí)施方式中，在多層非線性圖注意力編碼器的映射過程中，針對每一個節(jié)點(diǎn)，根據(jù)其預(yù)設(shè)跳數(shù)的鄰居節(jié)點(diǎn)學(xué)習(xí)該節(jié)點(diǎn)的隱藏表示。
[0014]在一種可能的實(shí)施方式中，將所述節(jié)點(diǎn)特征表示的l1，2
?
范數(shù)懲罰作為社區(qū)的特異性約束L
norm
，其表示如下：
[0015][0016]其中，β是一個權(quán)衡參數(shù)，Z為節(jié)點(diǎn)特征表示，N為節(jié)點(diǎn)的總數(shù)量，||
·
||
1，2
為向量表示的l1，2
?
范數(shù)；第i行的Z
i
的平方l1
?
范數(shù)中的不同元素相互競爭生存，并且行中至少有一個元素非零，以為每個社區(qū)保留判別特征。
[0017]在一種可能的實(shí)施方式中，所述內(nèi)積解碼器表示如下：
[0018][0019]其中，φ(
·
)為映射函數(shù)，)為映射函數(shù)，是圖的重構(gòu)結(jié)構(gòu)矩陣，Z
i
為節(jié)點(diǎn)i的節(jié)點(diǎn)特征表示，Z
j
為節(jié)點(diǎn)j的節(jié)點(diǎn)特征表示，σ表示sigmoid函數(shù)。
[0020]在一種可能的實(shí)施方式中，所述節(jié)點(diǎn)內(nèi)容和圖結(jié)構(gòu)的重建損失L
R
為：
[0021][0022]其中，N為節(jié)點(diǎn)數(shù)量，X
i
表示節(jié)點(diǎn)i的特征內(nèi)容，表示節(jié)點(diǎn)i的重構(gòu)特征內(nèi)容，ξ
r
是控制平衡的系數(shù)，N
j
表示節(jié)點(diǎn)j的鄰居節(jié)點(diǎn)的集合，表示向量的2范數(shù)。
[0023]在一種可能的實(shí)施方式中，所述聚類損失L
c
為：
[0024][0025]其中，KL(
·
||
·
)表示分布之間的Kullback
?
Leibler的散度，Q是軟標(biāo)簽分布，P是目標(biāo)分布；軟標(biāo)簽分布Q用于表征節(jié)點(diǎn)i的節(jié)點(diǎn)特征表示Z
i
和集群中心之間的相似性，其中，每個節(jié)點(diǎn)的軟聚類分配分布q
ij
為：
[0026][0027]每個節(jié)點(diǎn)的目標(biāo)分布p
ij
為：
[0028][0029]其中，j
’
表示社區(qū)，∑
i
q
ij
是軟聚類頻率。
[0030]在一種可能的實(shí)施方式中，所述總目標(biāo)函數(shù)為：
[0031]L＝L
R
+λL
C
+L
norm
；
[0032]其中，L
R
和L
C
分別是重建損失和聚類損失，L
norm
是特異性損失，λ≥0是用于控制平衡的系數(shù)。
[0033]第二方面，本專利技術(shù)實(shí)施例提供一種基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)系統(tǒng)，包括：
[0034]編碼模塊，用于利用多層非線性圖注意力編碼器映射圖中的原始節(jié)點(diǎn)內(nèi)容和圖結(jié)構(gòu)，得到圖中各節(jié)點(diǎn)的節(jié)點(diǎn)特征表示；
[0035]解碼模塊，用于采用l1，2
?
范數(shù)懲罰對所述節(jié)點(diǎn)特征表示進(jìn)行特異性約束，以及采用內(nèi)積解碼本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法，其特征在于，包括：利用多層非線性圖注意力編碼器映射圖中的原始節(jié)點(diǎn)內(nèi)容和圖結(jié)構(gòu)，得到圖中各節(jié)點(diǎn)的節(jié)點(diǎn)特征表示；采用l1，2
?
范數(shù)懲罰對所述節(jié)點(diǎn)特征表示進(jìn)行特異性約束，以及采用內(nèi)積解碼器預(yù)測圖中各節(jié)點(diǎn)之間的鏈接，確定出節(jié)點(diǎn)內(nèi)容和圖結(jié)構(gòu)的重建損失；對圖中各節(jié)點(diǎn)進(jìn)行自訓(xùn)練聚類，根據(jù)軟標(biāo)簽分布和目標(biāo)分布之間的散度，構(gòu)建聚類損失；根據(jù)所述聚類損失、特異性約束和重建損失確定總目標(biāo)函數(shù)，通過最小化所述總目標(biāo)函數(shù)，優(yōu)化所述軟標(biāo)簽分布使其不斷逼近目標(biāo)分布；從優(yōu)化后的軟標(biāo)簽分布中獲取聚類結(jié)果，從而發(fā)現(xiàn)社區(qū)。2.如權(quán)利要求1所述的基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法，其特征在于，在多層非線性圖注意力編碼器的映射過程中，針對每一個節(jié)點(diǎn)，根據(jù)其預(yù)設(shè)跳數(shù)的鄰居節(jié)點(diǎn)學(xué)習(xí)該節(jié)點(diǎn)的隱藏表示。3.如權(quán)利要求1所述的基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法，其特征在于，將所述節(jié)點(diǎn)特征表示的l1，2
?
范數(shù)懲罰作為社區(qū)的特異性約束L
norm
，其表示如下：其中，β是一個權(quán)衡參數(shù)，Z為節(jié)點(diǎn)特征表示，N為節(jié)點(diǎn)的總數(shù)量，||
·
||
1，2
為向量表示的l1，2
?
范數(shù)；第i行的Z
i
的平方l1
?
范數(shù)中的不同元素相互競爭生存，并且行中至少有一個元素非零，以為每個社區(qū)保留判別特征。4.如權(quán)利要求3所述的基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法，其特征在于，所述內(nèi)積解碼器表示如下：其中，φ(
·
)為映射函數(shù)，)為映射函數(shù)，是圖的重構(gòu)結(jié)構(gòu)矩陣，Z
i
為節(jié)點(diǎn)i的節(jié)點(diǎn)特征表示，Z
j
為節(jié)點(diǎn)j的節(jié)點(diǎn)特征表示，σ表示sigmoid函數(shù)。5.如權(quán)利要求4所述的基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法，其特征在于，所述節(jié)點(diǎn)內(nèi)容和圖結(jié)構(gòu)的重建損失L
R
為：其中，N為節(jié)點(diǎn)數(shù)量，X
i
表示節(jié)點(diǎn)i的特征內(nèi)容，表示節(jié)點(diǎn)i的重構(gòu)特征內(nèi)容，ξ
r
是控制平衡的系數(shù)，N
j
表示節(jié)點(diǎn)j的鄰居節(jié)點(diǎn)的集合，表示向量的2范數(shù)。6.如權(quán)利要求5所述的基于圖注意力自動編碼器的社區(qū)發(fā)現(xiàn)方法，其特征在于，所述聚類損失L...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：姜雪松，陳佃迎，尉秀梅，陳珺，馬浩翔，柴慧慧，
申請(專利權(quán))人：齊魯工業(yè)大學(xué)，
類型：發(fā)明
國別省市：