【技術實現步驟摘要】
【國外來華專利技術】
本公開總體上涉及人工智能，并且更具體地，涉及圖神經架構搜索技術。
技術介紹
1、近年來，圖結構化數據已經吸引了許多關注，因為其在各種領域中具有靈活的表示能力。已經提出了圖神經網絡(gnn)模型，并且在許多圖任務中取得了巨大的成功。為了在設計用于不同任務的gnn架構方面節省人力以及自動設計更強大的gnn，已經利用圖神經架構搜索(gnas)來搜索最佳gnn架構。在獨立和相同分布(i.i.d.)假設下，即，訓練和測試圖是從相同的分布中獨立地采樣的，這些自動設計的架構與在具有相同分布的數據集上手動設計的gnn相比已經實現了具有競爭性的或更好的性能。
2、然而，在存在大量不可預見和不可控的隱藏因素的現實世界圖應用中，分布偏移是普遍存在的和不可避免的。在i.i.d.假設下的現有gnas方法在直接將所選架構應用于測試集上之前，僅基于訓練集搜索單個固定gnn架構，無法處理分布外設置(out-of-distribution?setting)下的變化的分布偏移。由于現有方法發現的單個gnn架構可能過度擬合訓練圖數據的分布，因此可能無法對具有與訓練圖數據不同的各種分布的測試圖數據進行準確預測。
3、因此，需要一種用于在訓練圖數據與測試圖數據之間的分布偏移下進行圖神經架構搜索的改進的方法和裝置。
技術實現思路
1、以下呈現了根據本公開的一個或多個方面的簡化概述，以便提供對這些方面的基本理解。該概述不是所有預期方面的廣泛概述，并且既不旨在標識所有方面的關鍵或重要元素，也不旨在描繪任何
2、在本公開的一方面，公開了一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計圖神經網絡(gnn)的方法。該方法包括通過圖編碼器模塊獲得解耦隱空間中的輸入圖的圖表示；通過架構定制模塊基于在搜索的gnn架構的層中從候選操作集中選擇的操作的概率來獲得針對所述輸入圖的所述搜索的gnn架構，其中所述操作的概率是所獲得的圖表示與所述操作的可學習原型向量表示之間的相似性的函數；以及通過超網絡模塊獲得所述搜索的gnn架構的權重，其中所述候選操作集中的不同操作被混合到連續空間中。
3、在本公開的另一方面，公開了一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索設計的gnn的裝置。該裝置包括：圖編碼器模塊，用于獲得解耦隱空間中的輸入圖的圖表示；架構定制模塊，用于基于在搜索的gnn架構的層中從候選操作集中選擇的操作的概率來獲得針對所述輸入圖的所述搜索的gnn架構，其中所述操作的概率是所獲得的圖表示與所述操作的可學習原型向量表示之間的相似性的函數；以及超網絡模塊，用于獲得所述搜索的gnn架構的權重，其中所述候選操作集中的不同操作在所述超網絡模塊中被混合到連續空間中。
4、在本公開的另一方面，公開了一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計gnn的裝置。該裝置可以包括存儲器和耦合到該存儲器的至少一個處理器。該至少一個處理器可以被配置為:通過圖編碼器模塊獲得解耦隱空間中的輸入圖的圖表示；通過架構定制模塊基于在搜索的gnn架構的層中從候選操作集中選擇的操作的概率來獲得針對所述輸入圖的所述搜索的gnn架構，其中所述操作的概率是所獲得的圖表示與所述操作的可學習原型向量表示之間的相似性的函數；以及通過超網絡模塊獲得所述搜索的gnn架構的權重，其中所述候選操作集中的不同操作被混合到連續空間中。
5、在本公開的另一方面，公開了一種存儲用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計gnn的計算機代碼的計算機可讀介質。該計算機代碼在由處理器執行時可以使處理器:通過圖編碼器模塊獲得解耦隱空間中的輸入圖的圖表示；通過架構定制模塊基于在搜索的gnn架構的層中從候選操作集中選擇的操作的概率來獲得針對所述輸入圖的所述搜索的gnn架構，其中所述操作的概率是所獲得的圖表示與所述操作的可學習原型向量表示之間的相似性的函數；以及通過超網絡模塊獲得所述搜索的gnn架構的權重，其中所述候選操作集中的不同操作被混合到連續空間中。
6、在本公開的另一方面，公開了一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計gnn的計算機程序產品。該計算機程序產品可以包括處理器可執行計算機代碼，用于:通過圖編碼器模塊獲得解耦隱空間中的輸入圖的圖表示；通過架構定制模塊基于在搜索的gnn架構的層中從候選操作集中選擇的操作的概率來獲得針對所述輸入圖的所述搜索的gnn架構，其中所述操作的概率是所獲得的圖表示與所述操作的可學習原型向量表示之間的相似性的函數；以及通過超網絡模塊獲得所述搜索的gnn架構的權重，其中所述候選操作集中的不同操作被混合到連續空間中。
7、通過考慮以下詳細描述和附圖，本公開的其他方面或變型將變得顯而易見。
本文檔來自技高網...【技術保護點】
1.一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計圖神經網絡(GNN)的方法，包括：
2.根據權利要求1所述的方法，其中，所述輸入圖是裝配線布局圖或電路設計布局圖，并且所設計的GNN用于在分布偏移下對所述裝配線布局圖或所述電路設計布局圖進行分類。
3.根據權利要求1所述的方法，其中，所述圖編碼器模塊是通過監督學習任務和自監督學習任務來訓練的。
4.根據權利要求3所述的方法，其中，所述GNN是基于主損失函數和正則化項來優化的，并且其中，所述主損失函數是所述搜索的GNN架構的監督損失，并且所述正則化項是基于所述圖編碼器的監督學習損失函數和自監督學習目標函數以及所述不同操作的可學習原型向量表示之間的余弦距離損失函數的。
5.根據權利要求4所述的方法，其中，所述主損失函數的權重是在訓練過程中逐漸增加的。
6.根據權利要求1所述的方法，其中，所述候選操作集包括圖卷積網絡(GCN)、圖注意力網絡(GAT)、圖同構網絡(GIN)、以及圖樣本和聚合(SAGE)中的至少一個。
7.根據權利要求1所述的方法，其
8.一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索設計的圖神經網絡(GNN)的裝置，包括：
9.根據權利要求8所述的裝置，其中，所述輸入圖是裝配線布局圖或電路設計布局圖，并且所述GNN用于在分布偏移下對所述裝配線布局圖或所述電路設計布局圖進行分類。
10.根據權利要求8所述的裝置，其中，所述圖編碼器模塊是通過監督學習任務和自監督學習任務來訓練的。
11.根據權利要求10所述的裝置，其中，所述GNN是基于主損失函數和正則化項來優化的，并且其中，所述主損失函數是所述搜索的GNN架構的監督損失，并且所述正則化項是基于所述圖編碼器的監督學習損失函數和自監督學習目標函數以及所述不同操作的可學習原型向量表示之間的余弦距離損失函數的。
12.根據權利要求11所述的裝置，其中，所述主損失函數的權重是在訓練過程中逐漸增加的。
13.根據權利要求8所述的裝置，其中，所述候選操作集包括圖卷積網絡(GCN)、圖注意力網絡(GAT)、圖同構網絡(GIN)、以及圖樣本和聚合(SAGE)中的至少一個。
14.根據權利要求8所述的裝置，其中，池化層被固定在所述搜索的GNN架構的末尾處作為全局平均池化。
15.一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計圖神經網絡(GNN)的裝置，包括：
16.一種計算機可讀介質，其存儲用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計圖神經網絡(GNN)的計算機代碼，所述計算機代碼在由處理器執行時使所述處理器執行權利要求1-7中的一項所述的方法。
17.一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計圖神經網絡(GNN)的計算機程序產品，包括：用于執行權利要求1-7中的一項所述的方法的處理器可執行計算機代碼。
18.一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計圖神經網絡(GNN)的計算機實現的方法，包括權利要求1-7中的一項所述的方法的步驟。
...【技術特征摘要】
【國外來華專利技術】
1.一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索來設計圖神經網絡(gnn)的方法，包括：
2.根據權利要求1所述的方法，其中，所述輸入圖是裝配線布局圖或電路設計布局圖，并且所設計的gnn用于在分布偏移下對所述裝配線布局圖或所述電路設計布局圖進行分類。
3.根據權利要求1所述的方法，其中，所述圖編碼器模塊是通過監督學習任務和自監督學習任務來訓練的。
4.根據權利要求3所述的方法，其中，所述gnn是基于主損失函數和正則化項來優化的，并且其中，所述主損失函數是所述搜索的gnn架構的監督損失，并且所述正則化項是基于所述圖編碼器的監督學習損失函數和自監督學習目標函數以及所述不同操作的可學習原型向量表示之間的余弦距離損失函數的。
5.根據權利要求4所述的方法，其中，所述主損失函數的權重是在訓練過程中逐漸增加的。
6.根據權利要求1所述的方法，其中，所述候選操作集包括圖卷積網絡(gcn)、圖注意力網絡(gat)、圖同構網絡(gin)、以及圖樣本和聚合(sage)中的至少一個。
7.根據權利要求1所述的方法，其中，池化層被固定在所述搜索的gnn架構的末尾處作為全局平均池化。
8.一種用于在訓練圖和測試圖之間的分布偏移下通過圖神經架構搜索設計的圖神經網絡(gnn)的裝置，包括：
9.根據權利要求8所述的裝置，其中，所述輸入圖是裝配線布局圖或電路設計布局圖，并且所述gnn用于在分布偏移下對所述裝配線布局圖或所述電路設計布局圖進行分類。
10.根據權利要求8所述的裝置，其中，所述圖編碼器模塊是通過監...
【專利技術屬性】
技術研發人員：王鑫，朱文武，陳虹，程澤，
申請(專利權)人：羅伯特·博世有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。