【技術實現(xiàn)步驟摘要】
本專利技術屬于數(shù)據(jù)安全隱私保護領域，涉及聯(lián)邦學習和聯(lián)邦忘卻學習技術，具體為一種基于小樣本知識蒸餾的聯(lián)邦忘卻學習方法。
技術介紹
1、隨著各行業(yè)的快速數(shù)字化，大量數(shù)據(jù)的涌現(xiàn)使得數(shù)據(jù)隱私和安全問題日益受到關注。傳統(tǒng)的深度學習方法通常依賴于獲取大量數(shù)據(jù)，并通過神經網絡模型進行訓練。然而，由于數(shù)據(jù)隱私和安全限制，不同機構間的數(shù)據(jù)難以共享，如醫(yī)院中的病歷數(shù)據(jù)。聯(lián)邦學習作為一種新興的機器學習方法，通過在多個設備或計算節(jié)點間進行分布式訓練，在不共享原始數(shù)據(jù)的前提下，實現(xiàn)模型的優(yōu)化，從而有效解決隱私和安全問題。此外，隨著公眾對“被遺忘權”的關注增加，最近的立法(如《網絡安全法》)明確規(guī)定用戶有權要求刪除其對已訓練模型的貢獻，進一步加強了數(shù)據(jù)控制和隱私保護。
2、聯(lián)邦忘卻學習旨在不侵犯用戶隱私權且不損害模型性能的前提下，有效移除全局模型中特定客戶端的數(shù)據(jù)貢獻并消除因遺忘帶來的負面影響。知識蒸餾作為一種高效的模型優(yōu)化技術，被研究人員應用于聯(lián)邦忘卻的模型恢復階段，以減輕因遺忘對全局模型造成的負面影響。通過將教師模型中的知識傳遞給一個較小或結構不同的學生模型，以此提升學生模型的性能。然而，在面臨客戶端需要進行遺忘數(shù)據(jù)或退出訓練的聯(lián)邦學習場景中，現(xiàn)有的基于知識蒸餾的聯(lián)邦忘卻學習方法依賴于服務器端大量高質量圖像數(shù)據(jù)進行訓練，忽略了圖像數(shù)據(jù)可用性受限的場景。
技術實現(xiàn)思路
1、針對服務器端數(shù)據(jù)資源受限的問題，本專利技術公開了一種基于小樣本知識蒸餾的聯(lián)邦忘卻學習方法，，通過采用遺忘模塊有效擦除目標客戶
2、為了實現(xiàn)上述目的，本專利技術采用如下技術方案：
3、步驟1：服務器初始化全局模型，并廣播至每個客戶端。
4、步驟2：各個客戶端使用本地數(shù)據(jù)對接收到的全局模型進行本地訓練，在本地訓練完成后，將其模型更新發(fā)送回服務器。
5、步驟3：服務器保存并聚合來自所有客戶端的模型更新，用于對服務器本地的全局模型進行更新，重復步驟1到3的聯(lián)邦學習過程。
6、步驟4：某一時刻目標客戶端提出忘卻請求，停止聯(lián)邦學習，此時服務器端使用遺忘模塊擦除最后全局模型中保存的目標客戶端模型歷史貢獻，生成忘卻模型，并將其作為學生模型。
7、步驟5：服務器端根據(jù)本地的小樣本數(shù)據(jù)微調clip模型，微調過程將原始的clip模型引入神經網絡模塊作為適配器，使其更好適應下游數(shù)據(jù)，訓練至該模型收斂，并將其作為教師模型。
8、步驟6：服務器端使用本地的小樣本數(shù)據(jù)通過知識蒸餾方法進行恢復訓練，利用教師模型豐富的視覺和語義知識，增強學生模型對圖像語義上下文的理解，最終提高忘卻模型的性能。
9、進一步地，所述步驟1具體包括：
10、步驟1.1：在聯(lián)邦忘卻學習過程中參與訓練的客戶端總量為n，可以表示為n＝{n1,n2,n3,…,nn}，對應的本地數(shù)據(jù)可以表示為d＝{d1,d2,d3,…,dn}，他們的數(shù)據(jù)不在客戶端之間共享，而且是非獨立同分布的。
11、步驟1.2：服務器端初始化全局模型w，并將其廣播給每個客戶端n。
12、進一步地，所述步驟2具體包括：
13、步驟2.1：每個客戶端作為參與方使用自身本地數(shù)據(jù)對接收到服務器端的模型進行訓練，假設某個客戶端ni在t輪時，其訓練過程使用公式(1)表示：
14、
15、其中η是訓練過程中使用的學習率，l是損失函數(shù)，di表示客戶端ni的本地數(shù)據(jù)，而(xij；yij)表示第j個樣本及其標簽。
16、步驟2.2：每個客戶端依據(jù)本地數(shù)據(jù)訓練完成后，將更新的本地模型發(fā)送回服務器端。
17、進一步地，所述步驟3具體包括：
18、步驟3.1：服務器端保存來自每個客戶端的模型參數(shù)到一個列表中方便后續(xù)的忘卻操作。
19、步驟3.2：服務器端采用平均聚合的方式對所有客戶端的模型更新進行聚合，此過程使用公式(2)表示：
20、
21、其中ui表示客戶端ni的本地數(shù)據(jù)di的數(shù)據(jù)量，而u表示所有客戶端本地數(shù)據(jù)總量的和。
22、步驟3.3：重復步驟1到3的聯(lián)邦學習過程。
23、進一步地，所述步驟4具體包括：
24、步驟4.1：在某一時刻k目標客戶端對服務器端發(fā)送忘卻請求，這時服務器端響應此請求并停止聯(lián)邦學習進入到忘卻學習。
25、步驟4.2：服務器端通過遺忘模塊，根據(jù)之前保存的目標客戶端歷史模型參數(shù)信息進行擦除，擦除過程使用公式(3)表示：
26、
27、其中是忘卻后的全局模型，wk是第k輪的全局模型，表示目標客戶端ni在前k輪中的模型更新增量。
28、步驟4.3：將上述忘卻模型作為學生模型，用于后續(xù)的知識蒸餾。
29、進一步地，所述步驟5具體包括：
30、步驟5.1：服務器端小樣本數(shù)據(jù)集包含圖像i及其對應的類別名稱{class}，將這些自然語言類別名稱c＝{c1,...,ck}融入預設的硬提示模板p中，其中k表示類別總數(shù)，最后生成的文本描述為“a?photo?of?a{ci}”，其中ci屬于c。
31、步驟5.2：微調過程中保持原始clip骨干網絡不變，使用原始的圖像編碼器和文本編碼器提取圖像特征f(v)和文本特征f(t)，將提取過程分別使用公式(4)和(5)表示：
32、
33、
34、步驟5.3：引入兩個瓶頸線性層和激活函數(shù)構成一個特征適配器微調過程中僅微調圖像分支的特征適配器，而不微調文本分支的特征適配器，微調過程使用公式(6)表示：
35、
36、其中ai(·)圖像分支的特征適配器，relu為激活函數(shù)，f(v)t為轉制后的圖像特征，和是圖像分支中兩個瓶頸線性層的權重。
37、步驟5.4：為避免遺忘預訓練的clip編碼器原始知識并防止過擬合，進一步采用殘差連接，將微調的知識與對比語言圖像預訓練模型(clip)原始知識動態(tài)融合，過程使用公式(7)表示：
38、f*＝αai(f(v))t+(1-α)f(v)???(7)
39、其中α為殘差比，f*為最終提取的圖像特征。
40、步驟5.5：進一步使用原clip模型的對比損失函數(shù)來最大化每個圖像樣本的特征與其正確類別的文本特征之間的相似度，同時最小化其與所有其他類別文本特征的相似度。
41、步驟5.6：采用梯度下降法更新對比語言圖像預訓練模型(clip)初始參數(shù)wclip，直到對比損失lθ收斂到一個較小的值，將最終得到的模型作為教師模型，用于后續(xù)的知識蒸餾，過程使用公式(8)表示：
42、
43、其中wclip為clip初始參數(shù)，為微調后的clip模型參數(shù)。
44、進一本文檔來自技高網...
【技術保護點】
1.一種基于小樣本知識蒸餾的聯(lián)邦忘卻學習方法，其特征在于包括：
2.根據(jù)權利要求1所述的一種基于小樣本知識蒸餾的聯(lián)邦忘卻學習方法，其特征在于：生成忘卻模型時：
3.根據(jù)權利要求1所述的一種基于小樣本知識蒸餾的聯(lián)邦忘卻學習方法，其特征在于：
4.根據(jù)權利要求1所述的一種基于小樣本知識蒸餾的聯(lián)邦忘卻學習方法，其特征在于：
【技術特征摘要】
1.一種基于小樣本知識蒸餾的聯(lián)邦忘卻學習方法，其特征在于包括：
2.根據(jù)權利要求1所述的一種基于小樣本知識蒸餾的聯(lián)邦忘卻學習方法，其特征在于：生成忘卻模型時：
...【專利技術屬性】
技術研發(fā)人員：張建新，趙夢達，王振偉，蘇偉健，王鵬飛，
申請(專利權)人：大連民族大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。