【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及深度學(xué)習(xí)，特別是一種面向無(wú)監(jiān)督圖神經(jīng)網(wǎng)絡(luò)的對(duì)比學(xué)習(xí)方法和裝置。
技術(shù)介紹
1、圖數(shù)據(jù)分析是讓計(jì)算機(jī)模擬人類大腦對(duì)圖數(shù)據(jù)進(jìn)行處理、分析和理解，挖掘隱藏在圖數(shù)據(jù)背后的語(yǔ)義信息，以進(jìn)一步對(duì)目標(biāo)節(jié)點(diǎn)、目標(biāo)連接或全圖的特性展開(kāi)研究。隨著深度學(xué)習(xí)技術(shù)的不斷進(jìn)步，基于圖神經(jīng)網(wǎng)絡(luò)模型的圖挖掘分析技術(shù)也被廣泛應(yīng)用于個(gè)性化推薦、金融風(fēng)控、攻擊溯源、藥物研制等領(lǐng)域。但是，大多數(shù)圖數(shù)據(jù)標(biāo)注的準(zhǔn)確性都比較低，從而對(duì)圖神經(jīng)網(wǎng)絡(luò)模型的性能造成一定限制。
2、相關(guān)技術(shù)中，可以通過(guò)圖對(duì)比學(xué)習(xí)(graph?contrast?learning，gcl)的方法，以拉近正樣本對(duì)的表示和拉開(kāi)負(fù)樣本對(duì)的表示為訓(xùn)練目標(biāo)，從無(wú)標(biāo)注的圖數(shù)據(jù)中學(xué)習(xí)通用特征，并通過(guò)生成的正負(fù)樣本對(duì)之間的對(duì)比損失來(lái)優(yōu)化模型，以解決圖數(shù)據(jù)的標(biāo)注準(zhǔn)確率較低的問(wèn)題，并提升圖神經(jīng)網(wǎng)絡(luò)模型的性能。
3、但是，通過(guò)上述方法訓(xùn)練得到的圖神經(jīng)網(wǎng)絡(luò)模型在實(shí)際使用時(shí)仍然會(huì)出現(xiàn)錯(cuò)誤，圖神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)準(zhǔn)確率仍然不高。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述問(wèn)題，本申請(qǐng)實(shí)施例提供了一種面向無(wú)監(jiān)督圖神經(jīng)網(wǎng)絡(luò)的對(duì)比學(xué)習(xí)方法、裝置、電子設(shè)備和可讀存儲(chǔ)介質(zhì)，以便克服上述問(wèn)題或者至少部分地解決上述問(wèn)題。
2、第一方面，本申請(qǐng)實(shí)施例提供一種面向無(wú)監(jiān)督圖神經(jīng)網(wǎng)絡(luò)的對(duì)比學(xué)習(xí)方法，所述方法包括：
3、向樣本圖數(shù)據(jù)對(duì)應(yīng)的第一樣本鄰接矩陣中添加噪聲向量，得到第二樣本鄰接矩陣和第三樣本鄰接矩陣；其中，所述第二樣本鄰接矩陣和所述第三樣本鄰接矩陣中包含的噪聲
4、將所述樣本圖數(shù)據(jù)對(duì)應(yīng)的第一樣本嵌入表示和所述第二樣本鄰接矩陣輸入第一圖神經(jīng)網(wǎng)絡(luò)模型中，得到所述第一圖神經(jīng)網(wǎng)絡(luò)模型輸出的第一樣本最終嵌入表示，將所述第一樣本嵌入表示和所述第三樣本鄰接矩陣輸入所述第一圖神經(jīng)網(wǎng)絡(luò)模型中，得到所述第一圖神經(jīng)網(wǎng)絡(luò)模型輸出的第二樣本最終嵌入表示；其中，所述第一樣本嵌入表示基于所述樣本圖數(shù)據(jù)中各個(gè)樣本節(jié)點(diǎn)的第一節(jié)點(diǎn)數(shù)據(jù)生成；
5、基于聚類超參數(shù)，對(duì)所述第一樣本最終嵌入表示和所述第二樣本的嵌入表示進(jìn)行聚類，得到多個(gè)聚類簇以及各個(gè)所述聚類簇分別對(duì)應(yīng)的聚類標(biāo)簽和聚類概率；其中，所述聚類簇的數(shù)量基于所述聚類超參數(shù)確定；
6、基于所述聚類標(biāo)簽、所述聚類概率、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，生成第一正樣本對(duì)，并基于所述聚類標(biāo)簽、所述聚類概率、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，生成第一負(fù)樣本對(duì)；
7、基于所述第一正樣本對(duì)和所述第一負(fù)樣本對(duì)，確定所述第一圖神經(jīng)網(wǎng)絡(luò)模型的對(duì)比損失值；
8、基于所述對(duì)比損失值，調(diào)整所述第一圖神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，得到目標(biāo)圖神經(jīng)網(wǎng)絡(luò)模型；所述目標(biāo)圖神經(jīng)網(wǎng)絡(luò)模型用于基于目標(biāo)用戶對(duì)應(yīng)的目標(biāo)社交記錄圖數(shù)據(jù)，輸出所述目標(biāo)用戶的目標(biāo)最終嵌入表示。
9、可選地，所述基于聚類超參數(shù)，對(duì)所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示進(jìn)行聚類，得到多個(gè)聚類簇以及各個(gè)所述聚類簇分別對(duì)應(yīng)的聚類標(biāo)簽和聚類概率，包括：
10、基于聚類超參數(shù)，對(duì)所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示進(jìn)行聚類，得到多個(gè)聚類簇；
11、基于各個(gè)所述聚類簇分別對(duì)應(yīng)的預(yù)設(shè)聚類權(quán)重向量、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，確定各個(gè)所述聚類簇分別對(duì)應(yīng)的聚類概率；
12、基于各個(gè)所述聚類簇的預(yù)設(shè)聚類權(quán)重向量以及所述聚類概率的最大值對(duì)應(yīng)的第一樣本最終嵌入表示或第二樣本最終嵌入表示，生成各個(gè)所述聚類簇的聚類標(biāo)簽。
13、可選地，所述基于所述聚類標(biāo)簽、所述聚類概率、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，生成第一正樣本對(duì)，包括：
14、在所述第一樣本最終嵌入表示對(duì)應(yīng)的第二樣本鄰接矩陣和所述第二樣本最終嵌入表示對(duì)應(yīng)的第三樣本鄰接矩陣所對(duì)應(yīng)的第一樣本鄰接矩陣相同的情況下，對(duì)所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示進(jìn)行組合，得到第一樣本最終嵌入表示對(duì)；
15、在所述第一樣本最終嵌入表示對(duì)中包含的第一樣本最終嵌入表示和第二樣本最終嵌入表示所對(duì)應(yīng)的聚類標(biāo)簽相同的情況下，將所述第一樣本最終嵌入表示對(duì)確定為第一正樣本對(duì)；
16、在所述第一樣本最終嵌入表示對(duì)中包含的第一樣本最終嵌入表示和第二樣本最終嵌入表示所對(duì)應(yīng)的聚類標(biāo)簽不同的情況下，基于所述第一樣本最終嵌入表示對(duì)中包含的第一樣本最終嵌入表示和第二樣本最終嵌入表示分別對(duì)應(yīng)的聚類概率，確定所述第一樣本最終嵌入表示對(duì)的第一聚類分布一致性評(píng)分；
17、在所述第一聚類分布一致性評(píng)分大于或等于第一閾值的情況下，將所述第一樣本最終嵌入表示對(duì)確定為第一正樣本對(duì)。
18、可選地，所述基于所述聚類標(biāo)簽、所述聚類概率、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，生成第一負(fù)樣本對(duì)，包括：
19、對(duì)所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示進(jìn)行組合，得到第二樣本最終嵌入表示對(duì)；
20、在所述第二樣本最終嵌入表示對(duì)包含的第一樣本最終嵌入表示和所述第一樣本最終嵌入表示分別對(duì)應(yīng)的聚類標(biāo)簽不同的情況下，基于所述第二樣本最終嵌入表示對(duì)包含的第一樣本最終嵌入表示和所述第二樣本最終嵌入表示分別對(duì)應(yīng)的聚類概率，確定所述第二樣本最終嵌入表示對(duì)的第二聚類分布一致性評(píng)分；
21、在所述第二聚類分布一致性評(píng)分小于或等于第二閾值的情況下，將所述第二樣本最終嵌入表示對(duì)確定為第一負(fù)樣本對(duì)；其中，所述第二閾值小于第一閾值。
22、可選地，所述基于所述第一正樣本對(duì)和所述第一負(fù)樣本對(duì)，確定所述第一圖神經(jīng)網(wǎng)絡(luò)模型的對(duì)比損失值，包括：
23、從所述第一負(fù)樣本對(duì)中確定各個(gè)所述第一正樣本對(duì)分別對(duì)應(yīng)的第二負(fù)樣本對(duì)；其中，所述第一正樣本對(duì)對(duì)應(yīng)的第二負(fù)樣本對(duì)與所述第一正樣本對(duì)中包含一個(gè)相同的第一樣本最終嵌入表示或第二樣本最終嵌入表示；
24、基于所述第二負(fù)樣本對(duì)的余弦相似度，確定所述第二負(fù)樣本對(duì)的權(quán)重值；
25、基于所述權(quán)重值和預(yù)設(shè)訓(xùn)練周期數(shù)量，確定所述第二負(fù)樣本對(duì)的權(quán)重歸一化系數(shù)；
26、基于所述第一正樣本對(duì)、所述權(quán)重值、所述權(quán)重歸一化系數(shù)和所述第二負(fù)樣本對(duì)，確定所述第一圖神經(jīng)網(wǎng)絡(luò)模型的對(duì)比損失值。
27、可選地，所述基于所述對(duì)比損失值，調(diào)整所述第一圖神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，得到目標(biāo)圖神經(jīng)網(wǎng)絡(luò)模型，包括：
28、基于所述聚類概率，確定所述第一圖神經(jīng)網(wǎng)絡(luò)模型的整體聚類損失值；
29、基于所述整體聚類損失值和所述對(duì)比損失值，調(diào)整所述第一圖神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)和所述聚類超參數(shù)，得到目標(biāo)圖神經(jīng)網(wǎng)絡(luò)模型。
30、可選地，所述基于所述聚類概率，確定所述第一圖神經(jīng)網(wǎng)絡(luò)模型的整體聚類損失值，包括：
31、采用sinkhorn-knopp算法生成所述聚類概率對(duì)應(yīng)的第一聚類概率矩陣；
32本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種面向無(wú)監(jiān)督圖神經(jīng)網(wǎng)絡(luò)的對(duì)比學(xué)習(xí)方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于聚類超參數(shù)，對(duì)所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示進(jìn)行聚類，得到多個(gè)聚類簇以及各個(gè)所述聚類簇分別對(duì)應(yīng)的聚類標(biāo)簽和聚類概率，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述聚類標(biāo)簽、所述聚類概率、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，生成第一正樣本對(duì)，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述聚類標(biāo)簽、所述聚類概率、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，生成第一負(fù)樣本對(duì)，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一正樣本對(duì)和所述第一負(fù)樣本對(duì)，確定所述第一圖神經(jīng)網(wǎng)絡(luò)模型的對(duì)比損失值，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述對(duì)比損失值，調(diào)整所述第一圖神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)，得到目標(biāo)圖神經(jīng)網(wǎng)絡(luò)模型，包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于所述聚類概率，確定所述第
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述聚類標(biāo)簽、所述聚類概率、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，生成第一正樣本對(duì)，包括：
9.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于所述整體聚類損失值和所述對(duì)比損失值，調(diào)整所述第一圖神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)和聚類超參數(shù)，得到目標(biāo)圖神經(jīng)網(wǎng)絡(luò)模型，包括：
10.一種面向無(wú)監(jiān)督圖神經(jīng)網(wǎng)絡(luò)的對(duì)比學(xué)習(xí)裝置，其特征在于，所述裝置包括：
...【技術(shù)特征摘要】
1.一種面向無(wú)監(jiān)督圖神經(jīng)網(wǎng)絡(luò)的對(duì)比學(xué)習(xí)方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于聚類超參數(shù)，對(duì)所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示進(jìn)行聚類，得到多個(gè)聚類簇以及各個(gè)所述聚類簇分別對(duì)應(yīng)的聚類標(biāo)簽和聚類概率，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述聚類標(biāo)簽、所述聚類概率、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，生成第一正樣本對(duì)，包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述聚類標(biāo)簽、所述聚類概率、所述第一樣本最終嵌入表示和所述第二樣本最終嵌入表示，生成第一負(fù)樣本對(duì)，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述第一正樣本對(duì)和所述第一負(fù)樣本對(duì)，確定所述第一圖神經(jīng)網(wǎng)絡(luò)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曾菊香，王平輝，趙安凱，王昀，程亮，張布澤，管曉宏，陶敬，趙俊舟，韓婷，裴紅斌，馬杰，郝曉寧，田康，梅迪菲，王偉，郝峻，張晨，崔立真，
申請(qǐng)(專利權(quán))人：西交網(wǎng)絡(luò)空間安全研究院，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。