【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及機(jī)器學(xué)習(xí)，特別涉及一種抗投毒的聯(lián)邦學(xué)習(xí)方法。
技術(shù)介紹
1、隨著智能可穿戴設(shè)備的迅速普及，聯(lián)邦學(xué)習(xí)（fl）在隱私敏感的數(shù)據(jù)分布式應(yīng)用中展現(xiàn)出重要價值，尤其是在醫(yī)療診斷領(lǐng)域。聯(lián)邦學(xué)習(xí)技術(shù)允許各參與方在不共享原始數(shù)據(jù)的情況下，共同訓(xùn)練全局模型，從而有效保護(hù)用戶隱私。然而，基于中心服務(wù)器的聯(lián)邦學(xué)習(xí)架構(gòu)易受到中毒攻擊的威脅，因?yàn)榉?wù)器在模型聚合過程中掌握主導(dǎo)權(quán)，攻擊者可以利用這一過程向全局模型注入后門。為降低中心化服務(wù)器帶來的安全風(fēng)險，近期一些方案引入了雙服務(wù)器模式，并通過異常梯度過濾提供了較為高效的分布式信任聯(lián)邦學(xué)習(xí)架構(gòu)。如隨服務(wù)器和梯度數(shù)量增加而線性增長。
2、現(xiàn)有的聯(lián)邦學(xué)習(xí)（fl）解決方案缺乏魯棒性，容易受到協(xié)議內(nèi)拒絕服務(wù)（dos）攻擊的影響。例如，一個“懶惰”的服務(wù)器可能會拒絕接受某些客戶端的梯度，以減少其計算負(fù)擔(dān)。更嚴(yán)重的情況下，惡意服務(wù)器可能在獲得最終模型后終止協(xié)議，導(dǎo)致誠實(shí)方（如患者或醫(yī)療機(jī)構(gòu)）無法獲得結(jié)果。很少有研究關(guān)注聯(lián)邦學(xué)習(xí)系統(tǒng)的魯棒性。盡管采用容錯多方計算（mpc）框架可以防御此類攻擊，但大規(guī)模的插值和承諾對于像可穿戴手表這樣的資源受限設(shè)備來說構(gòu)成了巨大的計算負(fù)擔(dān)。
3、雙服務(wù)器聯(lián)邦學(xué)習(xí)框架仍然容易受到投毒攻擊的影響，尤其是在服務(wù)器和客戶端之間可能發(fā)生串通的情況下。例如，在一些聯(lián)邦學(xué)習(xí)模型的應(yīng)用中，客戶端必須計算秘密共享的非交互式證明以保證梯度的正確性。然而，惡意服務(wù)器可能與客戶端串通，繞過驗(yàn)證，將惡意梯度注入全局模型中。
技術(shù)實(shí)現(xiàn)思路>
1、本專利技術(shù)實(shí)施例提供了一種抗投毒的聯(lián)邦學(xué)習(xí)方法，用以解決現(xiàn)有技術(shù)中在服務(wù)器和客戶端之間可能發(fā)生串通的情況下，惡意服務(wù)器可能與客戶端串通，繞過驗(yàn)證，將惡意梯度注入全局模型中的問題。
2、一方面，本專利技術(shù)實(shí)施例提供了一種抗投毒的聯(lián)邦學(xué)習(xí)方法，包括：
3、通過非交互密鑰生成隨機(jī)共享密鑰；
4、通過哈希函數(shù)與所述隨機(jī)共享密鑰生成共享隨機(jī)數(shù)；
5、通過所述共享隨機(jī)數(shù)保證共享輸入數(shù)據(jù)的一致性；
6、第一服務(wù)器生成相關(guān)性數(shù)據(jù)發(fā)送到第二服務(wù)器和第三服務(wù)器；
7、所述第一服務(wù)器、第二服務(wù)器和第三服務(wù)器驗(yàn)證所述相關(guān)性數(shù)據(jù)的一致；
8、排除所述第一服務(wù)器、第二服務(wù)器和第三服務(wù)器中所述相關(guān)性數(shù)據(jù)不一致的服務(wù)器；
9、所述第一服務(wù)器、第二服務(wù)器和第三服務(wù)器通過所述相關(guān)性數(shù)據(jù)過濾異常梯度；
10、所述第一服務(wù)器、第二服務(wù)器和第三服務(wù)器對所有合法梯度進(jìn)行聚合完成模型更新。
11、在一種可能的實(shí)現(xiàn)方式中，所述通過非交互密鑰生成隨機(jī)共享密鑰之前還包括：
12、通過公鑰生成器為每個服務(wù)器生成公鑰和私鑰對；
13、通過公鑰生成器為所有所述服務(wù)器之間生成公共參數(shù)。
14、在一種可能的實(shí)現(xiàn)方式中，所述通過所述共享隨機(jī)數(shù)保證共享輸入數(shù)據(jù)的一致性之前還包括：
15、每個所述共享隨機(jī)數(shù)由兩個所述服務(wù)器共同持有，所述共享隨機(jī)數(shù)通過哈希值進(jìn)行一致性校驗(yàn)確保所述共享隨機(jī)數(shù)正確有效。
16、在一種可能的實(shí)現(xiàn)方式中，所述通過所述共享隨機(jī)數(shù)保證共享輸入數(shù)據(jù)的一致性包括：
17、客戶端通過服務(wù)器提供的共享隨機(jī)數(shù)對本地梯度進(jìn)行掩碼處理得到掩碼梯度；
18、將每個所述客戶端的所述掩碼梯度作為輸入發(fā)送到所述服務(wù)器進(jìn)行交換和一致性驗(yàn)證后作為有效的所述共享輸入數(shù)據(jù)。
19、在一種可能的實(shí)現(xiàn)方式中，所述第一服務(wù)器生成相關(guān)性數(shù)據(jù)發(fā)送到第二服務(wù)器和第三服務(wù)器包括：
20、所述第一服務(wù)器生成ot和平方相關(guān)性數(shù)據(jù)；
21、所述ot和平方相關(guān)性數(shù)據(jù)通過localot算法分發(fā)給第二服務(wù)器和第三服務(wù)器。
22、在一種可能的實(shí)現(xiàn)方式中，所述第一服務(wù)器、第二服務(wù)器和第三服務(wù)器通過所述相關(guān)性數(shù)據(jù)過濾異常梯度包括：
23、所述第一服務(wù)器、第二服務(wù)器和第三服務(wù)器通過所述相關(guān)性數(shù)據(jù)驗(yàn)證所述掩碼梯度的約束；
24、對不滿足所述約束的所述異常梯度進(jìn)行過濾。
25、在一種可能的實(shí)現(xiàn)方式中，所述第一服務(wù)器、第二服務(wù)器和第三服務(wù)器對所有合法梯度進(jìn)行聚合完成模型更新包括：
26、每個所述服務(wù)器對所有通過所述過濾的所述合法梯度進(jìn)行聚合；
27、檢測所述聚合的結(jié)果保證所有所述服務(wù)器的所述聚合的結(jié)果一致；
28、剔除所述聚合的結(jié)果不一致的所述服務(wù)器保證所述模型更新的準(zhǔn)確性。
29、本專利技術(shù)中的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，具有以下優(yōu)點(diǎn)：
30、（1）采用三服務(wù)器模型構(gòu)建了一個客戶端友好的框架，以保證輸出交付。使用一致性檢查來檢測異常行為，省去了高昂的零知識證明開銷。
31、（2）結(jié)合密鑰同態(tài)的偽隨機(jī)函數(shù)降低了客戶端的計算開銷并在無用戶掉線的情況下，提供了一種高效的結(jié)果恢復(fù)方法。
32、（3）利用一致性檢查來實(shí)現(xiàn)輸入和輸出的驗(yàn)證檢測，防止惡意服務(wù)器與惡意客戶端串通，聚合投毒梯度。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述通過非交互密鑰生成隨機(jī)共享密鑰之前還包括：
3.根據(jù)權(quán)利要求2所述的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述通過所述共享隨機(jī)數(shù)保證共享輸入數(shù)據(jù)的一致性之前還包括：
4.根據(jù)權(quán)利要求3所述的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述通過所述共享隨機(jī)數(shù)保證共享輸入數(shù)據(jù)的一致性包括：
5.根據(jù)權(quán)利要求4所述的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述第一服務(wù)器生成相關(guān)性數(shù)據(jù)發(fā)送到第二服務(wù)器和第三服務(wù)器包括：
6.根據(jù)權(quán)利要求5所述的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述第一服務(wù)器、第二服務(wù)器和第三服務(wù)器通過所述相關(guān)性數(shù)據(jù)過濾異常梯度包括：
7.根據(jù)權(quán)利要求6所述的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述第一服務(wù)器、第二服務(wù)器和第三服務(wù)器對所有合法梯度進(jìn)行聚合完成模型更新包括：
【技術(shù)特征摘要】
1.一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述通過非交互密鑰生成隨機(jī)共享密鑰之前還包括：
3.根據(jù)權(quán)利要求2所述的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述通過所述共享隨機(jī)數(shù)保證共享輸入數(shù)據(jù)的一致性之前還包括：
4.根據(jù)權(quán)利要求3所述的一種抗投毒的聯(lián)邦學(xué)習(xí)方法，其特征在于，所述通過所述共享隨機(jī)數(shù)保證共享輸入數(shù)據(jù)的一致性包括：
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李吉亮，唐偉，薛佳雯，董城宜，蘇院，紀(jì)守領(lǐng)，劉小壘，于登秀，
申請(專利權(quán))人：西安交通大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。