【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于聯(lián)邦學(xué)習(xí)的，更具體地，涉及面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法。
技術(shù)介紹
1、聯(lián)邦學(xué)習(xí)（federated?learning,?fl）是一種分布式機(jī)器學(xué)習(xí)框架，它使得多個(gè)分布式客戶端在保持?jǐn)?shù)據(jù)本地化的前提下，協(xié)同訓(xùn)練共享模型，從而顯著降低了數(shù)據(jù)集中帶來的隱私泄露風(fēng)險(xiǎn)。然而，隨著深度學(xué)習(xí)模型在各類任務(wù)（如信號(hào)處理、網(wǎng)絡(luò)建模和流量分析等）中的廣泛應(yīng)用，研究表明，即使在聯(lián)邦學(xué)習(xí)框架中，訓(xùn)練得到的模型仍可能泄露用戶的敏感信息，暴露于潛在的隱私威脅之下。因此，差分隱私（differential?privacy,?dp）技術(shù)成為保護(hù)聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)隱私的重要手段。
2、中國(guó)專利文獻(xiàn)cn118674014a公開一種隱私保護(hù)的多層級(jí)異構(gòu)縱向聯(lián)邦學(xué)習(xí)方法，采用兩級(jí)數(shù)據(jù)分布：對(duì)于數(shù)據(jù)在地域上分散且各區(qū)域內(nèi)部不同的實(shí)體各自擁有本地樣本集合的不同特征，本專利技術(shù)允許在這樣的環(huán)境中進(jìn)行有效的模型訓(xùn)練。采用模型異構(gòu)性處理：對(duì)于區(qū)域之間因標(biāo)簽分布和模型架構(gòu)不同而導(dǎo)致的數(shù)據(jù)集異構(gòu)性，本專利技術(shù)通過特定機(jī)制進(jìn)行協(xié)同訓(xùn)練。使得異構(gòu)區(qū)域下?lián)碛胁煌瑪?shù)據(jù)特征的參與方在不分享本地?cái)?shù)據(jù)的前提下協(xié)作訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型，進(jìn)一步采用差分隱私技術(shù)進(jìn)行隱私增強(qiáng)。
3、差分隱私的核心思想是通過在模型更新中添加噪聲，使得攻擊者無法從分析結(jié)果中準(zhǔn)確推斷出原始數(shù)據(jù)的具體內(nèi)容，從而有效保護(hù)用戶隱私。在聯(lián)邦學(xué)習(xí)場(chǎng)景中，差分隱私通過在客戶端上傳的模型參數(shù)中引入適量的噪聲。然而，傳統(tǒng)的差分隱私聯(lián)邦學(xué)習(xí)方法由于噪聲的引入，通常會(huì)對(duì)模型的性能產(chǎn)生負(fù)面影響，尤其是
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)旨在克服上述現(xiàn)有技術(shù)的至少一種缺陷，提供一種基于正則化與動(dòng)量機(jī)制的自適應(yīng)差分隱私聯(lián)邦學(xué)習(xí)方法，以解決傳統(tǒng)的差分隱私聯(lián)邦學(xué)習(xí)方法由于噪聲的引入，通常會(huì)對(duì)模型的性能產(chǎn)生負(fù)面影響，尤其是降低模型的收斂速度和精度的問題。具體而言，在模型的不同層次上引入自適應(yīng)噪聲。模型的各層次對(duì)整體學(xué)習(xí)效果的貢獻(xiàn)存在差異，為了在加噪的同時(shí)盡可能減小對(duì)關(guān)鍵特征的破壞，本文基于模型層次的重要性程度對(duì)不同部分進(jìn)行差異化加噪，即在較重要的層次上施加較少噪聲，而在次要層次上施加更多噪聲。這種自適應(yīng)加噪策略不僅增強(qiáng)了隱私保護(hù)的靈活性，還有效降低了噪聲對(duì)模型精度的負(fù)面影響，從而優(yōu)化了模型性能。
2、本專利技術(shù)提供一種基于面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法的裝置。
3、本專利技術(shù)還提供實(shí)現(xiàn)上述方法的計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。
4、本專利技術(shù)詳細(xì)的技術(shù)方案如下：
5、面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法，所述方法包括：
6、s1、對(duì)本地模型的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行分層處理，對(duì)各層設(shè)置不同的損失函數(shù)并更新本地模型損失函數(shù)進(jìn)行優(yōu)化，更好地捕捉各層次的學(xué)習(xí)目標(biāo)；
7、s2、將優(yōu)化后的深度神經(jīng)網(wǎng)絡(luò)聚合得到中心服務(wù)器初始的全局參數(shù)，中心服務(wù)器下發(fā)全局參數(shù)；本地模型接收全局參數(shù)，然后基于本地?cái)?shù)據(jù)集計(jì)算當(dāng)前迭代輪次中的樣本梯度；
8、s3、應(yīng)用梯度下降算法，基于樣本梯度計(jì)算得到本地梯度并更新本地模型參數(shù)，并計(jì)算本地模型相應(yīng)的損失值；
9、s4、根據(jù)計(jì)算得到的損失值分配各層的隱私預(yù)算，并對(duì)本地模型參數(shù)進(jìn)行加噪處理；
10、s5、將更新后的本地模型參數(shù)即加噪處理的模型參數(shù)上傳至中心服務(wù)器，進(jìn)行參數(shù)聚合，并將更新后的全局模型參數(shù)下發(fā)至各個(gè)客戶端，如此迭代更新至迭代閾值。
11、進(jìn)一步地，所述s1具體包括：
12、s11、對(duì)本地模型的深度神經(jīng)網(wǎng)絡(luò)進(jìn)行分層處理，將本地模型的深度神經(jīng)網(wǎng)絡(luò)分為卷積層和全連接層，即；
13、s12、根據(jù)不同層的特性和需求設(shè)置不同的損失函數(shù)，優(yōu)化模型：
14、在卷積層中添加一個(gè)分段的正則項(xiàng)，以此來控制卷積層參數(shù)的變化：
15、（1）；
16、公式（1）中，設(shè)定總?cè)值螖?shù)為，總本地迭代次數(shù)為，在第輪迭代中，；代表客戶端在第t次全局迭代中進(jìn)行第次本地迭代后的卷積層參數(shù)，k≤，而則代表第t-1次全局迭代的卷積層參數(shù)，該正則項(xiàng)通過限制卷積層參數(shù)的更新幅度，有效減少了高噪聲對(duì)特征提取能力的負(fù)面影響，為裁剪閾值；
17、在全連接層中添加一個(gè)動(dòng)量項(xiàng)，以加快全連接層的收斂速度：
18、（2）；
19、公式（2）中，代表客戶端在第t次全局迭代中進(jìn)行第次本地迭代后的全連接層參數(shù)，而則代表客戶端在第t次全局迭代中進(jìn)行第次本地迭代后的全連接層參數(shù)；
20、s13、更新本地模型損失函數(shù)：
21、（3）；
22、公式（3）中，，是交叉熵?fù)p失函數(shù)；、分別是控制正則化機(jī)制和動(dòng)量機(jī)制的系數(shù)，b代表本地?cái)?shù)據(jù)集中的樣本總數(shù)，bi代表第i個(gè)客戶端本地?cái)?shù)據(jù)集中的第b個(gè)樣本。
23、進(jìn)一步地，所述本地模型接收全局參數(shù)，然后基于本地?cái)?shù)據(jù)集計(jì)算當(dāng)前迭代輪次中的樣本梯度，具體包括：
24、在本地模型中，對(duì)于客戶端，使用本地?cái)?shù)據(jù)集獲取在每一迭代輪次中的樣本梯度，設(shè)定總迭代次數(shù)為，在第輪全局迭代中，，客戶端在第輪全局迭代中的樣本梯度為：
25、（4）；
26、公式（4）中，表示客戶端在第輪全局迭代中的模型參數(shù)，表示客戶端在第輪全局迭代從其本地?cái)?shù)據(jù)集中抽樣的樣本，令和，即：
27、（5）；
28、（6）；
29、公式（5）~（6）中，代表第次迭代時(shí)第次本地迭代的客戶端i的卷積層的模型參數(shù)，代表第次迭代時(shí)的全局卷積層的模型參數(shù)，代表第次迭代時(shí)第次本地迭代的客戶端i的全連接層的模型參數(shù)，代表第次迭代時(shí)第次本地迭代的客戶端i的全連接層的模型參數(shù)；
30、使用樣本梯度計(jì)算得到本地梯度為：
31、（7）；
32、（8）；
33、公式（7）~（8）中：和分別表示客戶端在第輪迭代的第次本地迭代時(shí)卷積層和全連接層的本地梯度；表示客戶端的本地?cái)?shù)據(jù)集中的樣本總數(shù)。
34、進(jìn)一步地，所述s3具體包括：
35、（9）；
36、（10）；
37、公式（9）~（10）中：和分別表示更新得到的第次本地迭代時(shí)客戶端的卷積層與全連接層參數(shù)；和分別表示訓(xùn)練時(shí)卷積層與全連接層的學(xué)習(xí)率；
38、然后，通過損失函數(shù)計(jì)算得到卷積層與全連接層的損失值和。
39、進(jìn)一步地，所述s4具體包括：
40、當(dāng)分配給卷積層的隱私預(yù)算為時(shí)，則分配給全連接層的噪聲為滿足差分隱私，其中，是一個(gè)控制隱私預(yù)算分配的系數(shù)；為隱私預(yù)算；
41、卷積層的主要作用是通過卷積操作提取輸入數(shù)據(jù)中的特征，具備普適性，所以在迭代前期為了其更好地學(xué)習(xí)全局知識(shí)，本專利技術(shù)在前期分配較小的隱私預(yù)算，卷積層與全連接層隱私預(yù)算的比值為2：1，即當(dāng)時(shí)，為1.5，則卷積層與全連接層的噪聲比值為：=1：2；本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法，其特征在于，所述S1具體包括：
3.根據(jù)權(quán)利要求2所述的面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法，其特征在于，所述本地模型接收全局參數(shù)，然后基于本地?cái)?shù)據(jù)集計(jì)算當(dāng)前迭代輪次中的樣本梯度，具體包括：
4.根據(jù)權(quán)利要求3所述的面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法，其特征在于，所述S3具體包括：
5.根據(jù)權(quán)利要求4所述的面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法，其特征在于，所述S4具體包括：
6.?一種基于面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法的裝置，其特征在于，所述裝置包括：
7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1～5任一項(xiàng)所述方法的步驟。
【技術(shù)特征摘要】
1.一種面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法，其特征在于，所述s1具體包括：
3.根據(jù)權(quán)利要求2所述的面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)差分隱私保護(hù)方法，其特征在于，所述本地模型接收全局參數(shù)，然后基于本地?cái)?shù)據(jù)集計(jì)算當(dāng)前迭代輪次中的樣本梯度，具體包括：
4.根據(jù)權(quán)利要求3所述的面向異構(gòu)聯(lián)邦學(xué)習(xí)的自適應(yīng)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吳曉明，劉騰，楊明，王鑫，陳振婭，穆超，劉臣勝，賀云鵬，徐碩，吳法宗，
申請(qǐng)(專利權(quán))人：齊魯工業(yè)大學(xué)山東省科學(xué)院，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。