【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及信息共享領(lǐng)域，尤其指聯(lián)邦學(xué)習(xí)信息共享中減輕數(shù)據(jù)異構(gòu)性和保證模型精確度，具體是一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法。
技術(shù)介紹
1、在當(dāng)前的大數(shù)據(jù)時代，“數(shù)據(jù)孤島”現(xiàn)象十分普遍。手機(jī)和平板電腦逐漸成為許多人主要的計算設(shè)備。這些設(shè)備配備了強(qiáng)大的傳感器，如攝像頭、麥克風(fēng)和gps，并且由于其便攜性，可以獲取大量獨特的數(shù)據(jù)，而這些數(shù)據(jù)大多是私密的。基于這些數(shù)據(jù)訓(xùn)練的模型相比單一客戶端的模型具有更高的可用性。然而，由于數(shù)據(jù)的敏感性，將其集中存儲可能帶來風(fēng)險和責(zé)任問題。
2、聯(lián)邦學(xué)習(xí)是一種分布式訓(xùn)練方法，客戶端之間可以通過共享梯度，在中央服務(wù)器的協(xié)作下訓(xùn)練全局模型。同時訓(xùn)練的數(shù)據(jù)保留在本地客戶端而不共享，從而緩解數(shù)據(jù)隱私問題。fedavg這一開創(chuàng)性工作引入了本地模型的模型聚合，它解決了計算和通信的多樣性，為分布式訓(xùn)練提供了一種策略。然而，聯(lián)邦學(xué)習(xí)中一個臭名昭著的問題是使用非獨立同分布數(shù)據(jù)進(jìn)行訓(xùn)練。由于用戶行為不同，不同客戶端的本地數(shù)據(jù)可能存在較大的異質(zhì)性，這會導(dǎo)致訓(xùn)練不穩(wěn)定且收斂緩慢，并且導(dǎo)致模型性能不理想甚至有害。因此，如何應(yīng)對這一問題，提出更有效地解決該問題的辦法，在當(dāng)今這個數(shù)據(jù)量暴增，但是各方對數(shù)據(jù)共享都存在隱私性擔(dān)憂，急需數(shù)據(jù)共享的時代是具有重要價值和意義的。
3、已經(jīng)有大量的工作在探索非獨立同分布數(shù)據(jù)聯(lián)邦學(xué)習(xí)的解決方案。它們大致可以分為四類：1)客戶端漂移緩解，修改客戶端的局部目標(biāo)，使局部模型與全局模型在一定程度上保持一致；2)聚合方案，改進(jìn)了服務(wù)器端的模型融合機(jī)制；3)數(shù)據(jù)共享，引入公
4、在上述探索中，共享客戶端信息被認(rèn)為是減輕數(shù)據(jù)異構(gòu)性的一種直接且有前途的方法。然而，我們在共享客戶信息的時候，一個最重要的問題是保護(hù)數(shù)據(jù)隱私和提升模型性能，這個問題阻礙了信息共享策略的有效性。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的在于提出一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法來解決聯(lián)邦學(xué)習(xí)的數(shù)據(jù)異構(gòu)性和模型精度問題，能夠有效提升聯(lián)邦學(xué)習(xí)數(shù)據(jù)共享的收斂速度和精確度。
2、本專利技術(shù)的目的是這樣達(dá)到的：
3、首先，第一階段特征蒸餾為通過ib(信息瓶頸)策略將數(shù)據(jù)劃分為兩部分，一部分為性能敏感的數(shù)據(jù)，一部分為性能魯棒的數(shù)據(jù)。然后，進(jìn)行第二階段的特征蒸餾，我們將fl特征對模型的性能貢獻(xiàn)視為順序合作游戲，并根據(jù)shapley算法計算性能敏感的特征中某個特征對模型性能的貢獻(xiàn)，最終我們根據(jù)特征對模型的貢獻(xiàn)大小設(shè)置閾值進(jìn)一步剔除掉貢獻(xiàn)較低的特征。
4、具體方式如下：
5、一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，包含如下步驟：
6、步驟1、通過聯(lián)邦學(xué)習(xí)的方法進(jìn)行訓(xùn)練，首先需要初始化全局服務(wù)器和各個客戶端，對于server，我們初始化全局模型φ0，以及當(dāng)前全局訓(xùn)練的輪數(shù)tr然后server將全局參數(shù)φ0發(fā)送給所有客戶端。對于每個客戶端，得到的輸入有當(dāng)前的epoch，客戶端的本地數(shù)據(jù)集dk，以及學(xué)習(xí)率ηk。
7、步驟2、考慮聯(lián)邦學(xué)習(xí)客戶端和服務(wù)器的關(guān)系，客戶端通過基于兩階段特征蒸餾的訓(xùn)練方法，返回性能敏感的特征給服務(wù)器，服務(wù)器進(jìn)行全局參數(shù)整合，通過分類器可以預(yù)測出結(jié)果。
8、進(jìn)一步地、根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，所述步驟2中對于第一步蒸餾，根據(jù)信息瓶頸的方法，用z表示從輸入x和其標(biāo)簽y中提取的信息,i(·)指相互信息，那第一步特征蒸餾的目標(biāo)為：
9、
10、進(jìn)一步地、根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，所述步驟2中嘗試構(gòu)建損失函數(shù)來解決這個優(yōu)化問題。其中θ是為了生成敏感特征z(·；θ)，(x,y)服從第k個客戶端的分布p(xk,yk)。p(y|·)是y＝y(tǒng)的可能性。所以，優(yōu)化的表達(dá)式如下：
11、
12、進(jìn)一步地、根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，所述步驟2中由于上述式子不能很好地用于劃分特征，不能保證分解出來的性能魯棒特征與原始特征在形式或特性上是保留的，所以通過引入一種競爭機(jī)制，通過顯示地建模兩類特征。首先，性能魯棒特征q(x；θ)是明確建模出來的，保證這些特征是保留原始特征信息的部分。然后性能敏感的特征z(x；θ)是通過公式z(x；θ)＝x-q(x；θ)隱含地建模出來的。換句話說，性能敏感特征是通過原始特征減去性能魯棒特征得出來的。我們轉(zhuǎn)換后的原理式如下：
13、
14、進(jìn)一步地、根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，所述步驟2中對于計算出來的性能敏感的特征z(x；θ)＝x-q(x；θ)，我們可以通過引入一個本地分類器f(·；wk)，這個分類器的參數(shù)是wk，它的任務(wù)是根據(jù)輸入的性能敏感特征z(x；θ)來預(yù)測標(biāo)簽y。換句話說，分類器利用生成的性能敏感特征來完成預(yù)測任務(wù)，而生成模型則提取與預(yù)測相關(guān)的重要特征。通過交叉熵?fù)p失函數(shù)l(·)用于衡量預(yù)測標(biāo)簽和真實標(biāo)簽的差異。因此，本地分類器會根據(jù)性能敏感特征z(x；θ)來預(yù)測標(biāo)簽y并計算相應(yīng)的損失l((f(z(x；θ)；wk),y)。其完整優(yōu)化目標(biāo)的計算式為：
15、
16、進(jìn)一步地、根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，所述步驟2中對生成模型的參數(shù)θ進(jìn)行優(yōu)化，使得根據(jù)性能敏感特征z(x；θ)＝x-q(x；θ)的分類器f(·；wk)能夠最小化交叉熵?fù)p失(即預(yù)測越準(zhǔn)確越好)，同時需要確保性能敏感特征的范數(shù)不超過預(yù)設(shè)的閾值ρ，以控制特征的大小。
17、進(jìn)一步地、根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，所述步驟2中在第一階段特征蒸餾之后，開始第二階段的特征蒸餾。第二階段的特征蒸餾主要對第一階段篩選出來的性能敏感的特征進(jìn)行進(jìn)一步的提純操作。由于ib只是基于信息瓶頸理論進(jìn)行劃分，其忽視了特征的獨立貢獻(xiàn)，可能具有信息損失的風(fēng)險，所以我們考慮特征之間的交互效應(yīng)，利用shapley算法，進(jìn)行更進(jìn)一步的特征蒸餾，這樣可以提供更精準(zhǔn)的特征評估和選擇，有助于克服單獨使用ib方法時可能出現(xiàn)的特征選擇不足，從而提升聯(lián)邦學(xué)習(xí)模型的性能和魯棒性。這種結(jié)合方法使得特征選擇過程更為全面，適應(yīng)性更強(qiáng)，能夠有效應(yīng)對數(shù)據(jù)異構(gòu)性帶來的挑戰(zhàn)。shapley值源于博弈論，它通過考慮所有可能的特征組合，計算某個特征的邊際貢獻(xiàn)。其優(yōu)勢在于能夠公平、準(zhǔn)確地反映每個特征在不同組合中的作用，因而適合于聯(lián)邦學(xué)習(xí)中的特征選擇問題。在本專利技術(shù)中的作用主要是評估每個特征的貢獻(xiàn)度。其原理式如下：
18、
19、其中фi(v)是特征i的shapley值，s是特征f的一個子集，不包含特征i。v(s)是由特征集合s構(gòu)成的模型的精確度。v(s∪{i})-v(s)是特征i加入特本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述方法包含以下步驟：
2.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中對于第一步蒸餾，根據(jù)信息瓶頸的方法，用Z表示從輸入X和其標(biāo)簽Y中提取的信息,I(·)指相互信息，那第一步特征蒸餾的目標(biāo)為：
3.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中對于計算出來的性能敏感的特征z(x；θ)＝x-q(x；θ)，我們可以通過引入一個本地分類器f(·；wk)，這個分類器的參數(shù)是wk，它的任務(wù)是根據(jù)輸入的性能敏感特征z(x；θ)來預(yù)測標(biāo)簽y；換句話說，分類器利用生成的性能敏感特征來完成預(yù)測任務(wù)，而生成模型則提取與預(yù)測相關(guān)的重要特征；通過交叉熵?fù)p失函數(shù)l(·)用于衡量預(yù)測標(biāo)簽和真實標(biāo)簽的差異；因此，本地分類器會根據(jù)性能敏感特征z(x；θ)來預(yù)測標(biāo)簽y并計算相應(yīng)的損失l((f(z(x；θ)；wk),y)；其完整優(yōu)化目標(biāo)的計算式為：
4.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法
5.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中在第一階段特征蒸餾之后，開始第二階段的特征蒸餾；第二階段的特征蒸餾主要對第一階段篩選出來的性能敏感的特征進(jìn)行進(jìn)一步的提純操作；由于IB只是基于信息瓶頸理論進(jìn)行劃分，其忽視了特征的獨立貢獻(xiàn)，可能具有信息損失的風(fēng)險，所以我們考慮特征之間的交互效應(yīng)，利用Shapley算法，進(jìn)行更進(jìn)一步的特征蒸餾，這樣可以提供更精準(zhǔn)的特征評估和選擇，有助于克服單獨使用IB方法時可能出現(xiàn)的特征選擇不足，從而提升聯(lián)邦學(xué)習(xí)模型的性能和魯棒性；這種結(jié)合方法使得特征選擇過程更為全面，適應(yīng)性更強(qiáng)，能夠有效應(yīng)對數(shù)據(jù)異構(gòu)性帶來的挑戰(zhàn)；Shapley值源于博弈論，它通過考慮所有可能的特征組合，計算某個特征的邊際貢獻(xiàn)；其優(yōu)勢在于能夠公平、準(zhǔn)確地反映每個特征在不同組合中的作用，因而適合于聯(lián)邦學(xué)習(xí)中的特征選擇問題；在本專利技術(shù)中的作用主要是評估每個特征的貢獻(xiàn)度；其原理式如下：
6.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，所述步驟2中根據(jù)Shapley算法可以幫助確定哪些特征對于最終預(yù)測y更為重要，哪些是次要的；其好處在于，由于性能敏感的特征是要共享的；對于聯(lián)邦學(xué)習(xí)，本地二次特征蒸餾后，能夠最大限度地減少網(wǎng)絡(luò)通信的開銷，提高訓(xùn)練效率。
7.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中具體做法為：對每個客戶端，通過構(gòu)建一個基礎(chǔ)分類器計算性能敏感特征的Shapley值；但是由于計算Shapley值需要評估某個特征在所有可能的特征組合中的邊際貢獻(xiàn)；如果有N個特征，那么特征的所有可能子集數(shù)是2N,這意味著計算成本隨著特征數(shù)量呈指數(shù)級增長；即使對于中等數(shù)量的特征，直接評估所有特征組合也會帶來巨大的計算開銷；所以通過蒙特卡洛采樣通過隨機(jī)選擇一部分子集近似計算Shapley值；通過這一步篩選出了需要共享的性能敏感的特征，用于全局共享。
8.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中采用的近似Shapley算法，其步驟為1)設(shè)定采樣輪次；2)隨機(jī)生成特征子集；3)評估模型性能；4)計算邊際貢獻(xiàn)；5)累計和平均；通過這種方式，我們可以近似得到每個特征的Shapley值，而不需要遍歷所有可能的特征組合；然后我們可以根據(jù)指定的閾值篩選出符合的最終第二階段特征蒸餾所需要共享的性能敏感的特征。
9.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中為了保護(hù)隱私，可以給全局共享的性能敏感的特征加入高斯噪聲，拉普拉斯噪聲等。
10.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2在得到客戶端返回的結(jié)果后，服務(wù)器根據(jù)策略(FedAvg等)聚合得到的參數(shù)，得到更新后的分類器，根據(jù)最終的分類器即可進(jìn)行預(yù)測。
...【技術(shù)特征摘要】
1.一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述方法包含以下步驟：
2.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中對于第一步蒸餾，根據(jù)信息瓶頸的方法，用z表示從輸入x和其標(biāo)簽y中提取的信息,i(·)指相互信息，那第一步特征蒸餾的目標(biāo)為：
3.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中對于計算出來的性能敏感的特征z(x；θ)＝x-q(x；θ)，我們可以通過引入一個本地分類器f(·；wk)，這個分類器的參數(shù)是wk，它的任務(wù)是根據(jù)輸入的性能敏感特征z(x；θ)來預(yù)測標(biāo)簽y；換句話說，分類器利用生成的性能敏感特征來完成預(yù)測任務(wù)，而生成模型則提取與預(yù)測相關(guān)的重要特征；通過交叉熵?fù)p失函數(shù)l(·)用于衡量預(yù)測標(biāo)簽和真實標(biāo)簽的差異；因此，本地分類器會根據(jù)性能敏感特征z(x；θ)來預(yù)測標(biāo)簽y并計算相應(yīng)的損失l((f(z(x；θ)；wk),y)；其完整優(yōu)化目標(biāo)的計算式為：
4.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中對生成模型的參數(shù)θ進(jìn)行優(yōu)化，使得根據(jù)性能敏感特征z(x；θ)＝x-q(x；θ)的分類器f(·；wk)能夠最小化交叉熵?fù)p失(即預(yù)測越準(zhǔn)確越好)，同時需要確保性能敏感特征的范數(shù)不超過預(yù)設(shè)的閾值ρ，以控制特征的大小。
5.根據(jù)權(quán)利要求書1中所述的一種基于兩階段特征蒸餾的聯(lián)邦學(xué)習(xí)信息共享方法，其特征在于：所述步驟2中在第一階段特征蒸餾之后，開始第二階段的特征蒸餾；第二階段的特征蒸餾主要對第一階段篩選出來的性能敏感的特征進(jìn)行進(jìn)一步的提純操作；由于ib只是基于信息瓶頸理論進(jìn)行劃分，其忽視了特征的獨立貢獻(xiàn)，可能具有信息損失的風(fēng)險，所以我們考慮特征之間的交互效應(yīng)，利用shapley算法，進(jìn)行更進(jìn)一步的特征蒸餾，這樣可以提供更精準(zhǔn)的特征評估和選擇，有助于克服單獨使用ib方法時可能出現(xiàn)的特征選擇不足，從而提升聯(lián)邦學(xué)習(xí)模型的性能和魯棒性；這種結(jié)合方法使得特征選擇過程更為全面，適應(yīng)性更強(qiáng)，能夠有效應(yīng)對數(shù)據(jù)異構(gòu)性帶來的挑戰(zhàn)；shapley值源于博弈論，它通過考慮所有可能的...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳良銀，黃飛煬，張媛媛，劉靜雯，程健峰，孫揚(yáng)，張國彬，廖鑫源，羅張偉，
申請(專利權(quán))人：四川大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。