【技術實現步驟摘要】
本專利技術屬于圖神經網絡可解釋性領域，特別涉及一種具有自適應信息約束的魯棒異構圖神經網絡解釋器。
技術介紹
1、圖神經網絡(gnn)作為從圖結構數據中學習信息的強大工具，在各種現實場景中均有應用，如社交網絡、引文網絡和推薦系統等。gnn將節點特征和圖結構信息集成到消息傳遞框架中，在圖分類、節點分類和鏈路預測等許多任務中都取得了顯著的性能。盡管gnn能夠學習到豐富的網絡信息，但gnn的決策過程是不透明的，缺乏對人類理解的可解釋性解釋。這種不透明性阻礙了它們在與公平、隱私和安全相關的關鍵領域的應用。因此，研究gnn的可解釋性可以更好地理解其功能，并促進對有益結果的改進。
2、gnn解釋器將原始圖和模型作為輸入，旨在識別對預測有顯著影響的關鍵子圖。現有的gnn解釋器可以分為事后方法和內置方法。事后方法應用解釋技術或在訓練好的模型基礎上建立解釋模型，以衡量不同組成部分的貢獻，從而解釋工作機制或決策原理。常用的事后方法包括基于擾動的方法和基于代理模型的方法。內置方法在模型訓練過程中生成解釋，其中生成的圖作為目標預測的解釋，并期望滿足特定的任務目標。常用的內置方法包括基于原型學習的方法和基于圖生成的方法。由于內置方法是為特定模型量身定制的，需要針對不同場景進行單獨訓練，因此缺乏可推廣性，而事后方法可以適用于大多數場景。
3、然而，現實世界的數據面臨著許多挑戰，限制了這些解釋方法在實際應用中的適用性。首先，現實世界中的圖通常是異構的，包含多種類型的節點和邊，這增加了結構的復雜性。其次，現實世界中的圖數據是有噪聲的，具體
4、現有的工作已經證明了噪聲的存在會嚴重損害可解釋器的性能，加劇了生成錯誤解釋的風險。然而，還沒有可解釋方法針對異構圖上的噪聲進行研究。同時，噪聲加劇了圖結構的不規則性，并改變了節點的重要性，對于以往需要嚴格的結構約束(例如大小，預算，連通性)的可解釋方法來說是不適用的，其會將噪聲邊考慮進去并在節點重要性的影響下排除掉部分正確的邊。如何應對噪聲情況下的圖的不規則性并自適應的探索關鍵子圖也對可解釋方法提出了很大的挑戰。
技術實現思路
1、針對上述挑戰，本專利技術提出了一種具有自適應信息約束的魯棒異構圖神經網絡解釋器，重點研究事后方法，開發gnn解釋器，可以在不同的真實世界場景中生成高質量的解釋，提高可解釋器的魯棒性，提升在異構圖中的可解釋效果。
2、本專利技術包括以下步驟：
3、s1、通過網絡數據獲取不同類型的實體之間的關系，例如在引文網絡中，實體類型為論文、作者、會議，網絡中的關系為“作者-寫作-論文”、“論文-發表在-會議”等。并將這些關系用“節點-邊-節點”表示，并建模成圖
4、并且由邊組成邊矩陣es；由實體的信息構成圖的特征矩陣x。
5、s2、使用變分圖自編碼器獲得圖的圖表示。
6、通過變分推斷，可以從潛在空間而不是觀察空間中有效地推斷出潛在變量的統計信息，從而得到魯棒的圖信息。給定s1步驟觀察到的圖變分圖自編碼器假設數據是通過兩個步驟獨立同分布生成的。首先，使用一個初始化高斯分布生成潛在變量z的先驗分布p(z)；其次，圖和變量z的聯合分布為其中θ代表需要優化的變分圖自編碼器參數，優化θ以最大化觀察圖的對數似然根據琴生不等式，推導如下：
7、
8、其中，是用來近似真實后驗分布的后驗分布，表示期望，λ表示要中估計的參數；證據下界表示為如下形式：
9、
10、其中，表示由z觀察到的分布，kl(·||·)表示kl散度。
11、使用由圖卷積神經網絡構成的變分圖自編碼器估計上述證據下界中的參數，采樣得到的潛在變量z和重構得到的鄰接矩陣的計算過程如下：
12、z(l)＝gcn(z(l-1)，a)，z(0)＝x
13、μ＝gcnμ(z(l)，a)，logσ＝gcnσ(z(l)，a)
14、
15、其中，gcn為圖卷積神經網絡，a是圖的鄰接矩陣，z(l)為第l層的變量，即為該層的圖表示，l是模型的層數，μ和σ為高斯分布參數，sigmoid是激活函數；通過重構得到的鄰接矩陣計算損失，對變分圖自編碼器進行訓練。
16、由于變分推理的目的是讓后驗分布在捕獲顯著圖信息的同時緩解噪聲的影響，因此沒有設計單獨的異構語義學習模塊。相反，將采樣的潛在變量z輸入到基于關系的解釋生成器中，在該生成器中學習異構圖上的復雜語義。
17、s3、使用基于關系的解釋生成器，捕獲圖表示中的異質語義，生成對預測的解釋子圖。
18、假設解釋子圖是一個gilbert隨機圖，其中邊是條件獨立的，邊矩陣es中每個元素eij是二進制變量，表示該邊是否包含在子圖中，當節點vi與節點vj之間存在一條邊(i，j)時，eij＝1，否則為eij＝0，giibert隨機圖變量分解為：
19、
20、其中，eij是遵從伯努利分布bern(θij)的二元變量，p(eij)表示邊(i，j)存在的概率；二元變量eij是離散的，應用重參數化方法將其松弛為0到1之間的連續變量，具體如下：
21、
22、其中，τ為平滑優化的溫度系數，αij為參數，∈符合均勻分布uniform(0，1)。
23、為每個邊類型分配一個邊類型嵌入并同時利用邊類型嵌入和節點嵌入計算αij：
24、
25、其中，a、w表示可學習的參數，zi表示圖表示z中第i個值，表示節點i的鄰居，wr是一個可學習的邊類型權重矩陣，relu是激活函數。
26、所有的αij組成概率矩陣mp，從mp中采樣生成解釋子圖
27、
28、as＝mp⊙a；xs＝mp⊙x
29、as為解釋子圖的鄰接矩陣，xs為解釋子圖的特征矩陣，⊙表示元素點乘。
30、進一步的，所述變分圖自編碼器和解釋生成器構成異構圖解釋網絡模型，該網絡模型損失函數構造如下：
31、由神經網絡f構成預測器，解釋子圖通過預測器得到預測結果使用擴展的自信息約束優化由神經網絡α構成的解釋生成器，損失函數如下所示：
32、
33、表示通過預測器f得到的預測結果的分布，表示解釋生成器α得到的的分布；
34、總損失函數如下：
35、
36、本專利技術有益效果：
37、本專利技術提出了一種具有自適應信息約束的魯棒異構圖神經網絡解釋器。使用變分推斷來獲得魯棒的圖表示，減輕噪聲影響的同時提升模型的泛化能力。并使用神經網絡參數化解釋子圖生成過程，在生成解釋子圖的過程中融合異構關系的權重，使其可以捕獲異構圖中的復雜語義。并通過自信息約束來獲本文檔來自技高網...
【技術保護點】
1.一種具有自適應信息約束的魯棒異構圖神經網絡解釋方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種具有自適應信息約束的魯棒異構圖神經網絡解釋方法，其特征在于，在所述步驟1中還包括：由邊組成邊矩陣Es；由實體的信息構成圖的特征矩陣X。
3.根據權利要求2所述的一種具有自適應信息約束的魯棒異構圖神經網絡解釋方法，其特征在于，所述使用變分圖自編碼器獲得圖的圖表示具體實現過程如下：
4.根據權利要求3所述的一種具有自適應信息約束的魯棒異構圖神經網絡解釋方法，其特征在于，所述步驟S3具體實現過程如下：
5.根據權利要求4所述的一種具有自適應信息約束的魯棒異構圖神經網絡解釋方法，其特征在于，所述變分圖自編碼器和解釋生成器構成異構圖解釋網絡模型，該網絡模型損失函數構造如下：
【技術特征摘要】
1.一種具有自適應信息約束的魯棒異構圖神經網絡解釋方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種具有自適應信息約束的魯棒異構圖神經網絡解釋方法，其特征在于，在所述步驟1中還包括：由邊組成邊矩陣es；由實體的信息構成圖的特征矩陣x。
3.根據權利要求2所述的一種具有自適應信息約束的魯棒異構圖神經網絡解釋方法，其特征在于，所述使...
【專利技術屬性】
技術研發人員：焦鵬飛，魯逸凡，郭翾，高夢州，吳華明，
申請(專利權)人：杭州電子科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。