【技術實現步驟摘要】
本專利技術涉及分布式學習和無線通信，特別是一種殘差自適應壓縮的高效通信聯邦學習模型訓練方法及系統。
技術介紹
1、聯邦學習是一種高效的分布式機器學習框架，通過網絡連接利用客戶端設備上的分布式數據來訓練各種模型，而無需上傳原始數據。聯邦學習可以保護用戶隱私，同時使用分布式網絡數據進行聯邦模型訓練，達到或接近集中式訓練的性能。在模型訓練過程中，用戶客戶端不需要傳輸原始數據，而是傳輸模型權重。隨著機器學習模型規模的不斷擴大，現有的移動通信基礎設施在帶寬和延遲方面并不總是能夠滿足聯邦學習的要求，這限制了聯邦學習的廣泛部署。通信效率是部署聯邦學習的關鍵因素，尤其是在無線網絡中。
2、現有的聯邦學習壓縮方法大多是直接對當前模型權重或梯度進行壓縮量化或丟棄部分參數，將壓縮后的模型權重或梯度發送給服務器進行聚合。這些壓縮方法對所有客戶端采用統一的壓縮率，并沒有考慮實際應用中的通信異構性。因此，在客戶端的通信資源受限的條件下，需要對客戶端的傳輸參數進行自適應壓縮，降低上行鏈路的通信開銷，提高全局模型訓練的效率。
技術實現思路
1、鑒于現有技術存在的問題，提出了本專利技術。
2、因此，本專利技術所要解決的問題在于現有的聯邦學習壓縮方法大多是直接對當前模型權重或梯度進行壓縮量化或丟棄部分參數，將壓縮后的模型權重或梯度發送給服務器進行聚合。這些壓縮方法對所有客戶端采用統一的壓縮率，并沒有考慮實際應用中的通信異構性。因此，在客戶端的通信資源受限的條件下，需要對客戶端的傳輸參數進行自適
3、為解決上述技術問題，本專利技術提供如下技術方案：
4、第一方面，本專利技術實施例提供了一種殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其包括，客戶端獲取聯邦學習全局模型，并使用本地數據集進行模型更新；
5、客戶端利用本地模型內存集和更新模型權重獲得本地模型殘差；
6、客戶端對本地模型殘差進行自適應稀疏壓縮，將其通過上行鏈路傳輸到服務器，并產生歷史模型權重保存在本地模型內存集中；
7、服務器選擇可靠的客戶端進行本地模型權重預測，將其保存在全局模型內存集中，并完成聯邦學習模型聚合；
8、服務器將聚合更新的全局模型通過下行鏈路廣播至各個客戶端，重復上述步驟多次，直至各個客戶端模型收斂至最優全局模型。
9、作為本專利技術所述殘差自適應壓縮的高效通信聯邦學習模型訓練方法的一種優選方案，其中：所述客戶端獲取聯邦學習全局模型，并使用本地數據集進行模型更新包括如下步驟：
10、各個客戶端根據本地數據集進行本地模型更新，在任意一個客戶端，使用隨機梯度下降算法減少本地模型的損失函數，本地模型采用如下公式進行更新：
11、
12、其中，wt,m與wt-1,m分別表示客戶端um在第t輪與第t-1輪訓練更新的本地模型權重，dt,m表示用于更新wt,m的訓練數據集，由客戶端um的本地數據集dm隨機產生，ηt是第t次迭代的學習率；是損失函數f(wt-1,m,dt,m)關于wt-1,m的梯度。
13、作為本專利技術所述殘差自適應壓縮的高效通信聯邦學習模型訓練方法的一種優選方案，其中：所述客戶端利用本地模型內存集和更新模型權重獲得本地模型殘差包括如下步驟：
14、客戶端將本地模型內存集中的k個本地歷史模型權重輸入至模型預測模塊獲得預測模型權重，預測模塊按如下公式計算輸出預測的模型權重：
15、
16、其中，表示在第t輪訓練時客戶端um的預測模型權重，表示保存在本地模型內存集中在第t-k輪訓練時客戶端um的歷史模型權重，λk是權重系數，且
17、客戶端使用預測模型權重與更新模型權重計算得到本地模型殘差，本地模型殘差采用如下公式進行計算：
18、
19、其中，表示預測模型權重；wt,m表示更新模型權重；rt,m表示客戶端um在第t輪訓練中獲得的本地模型殘差。
20、作為本專利技術所述殘差自適應壓縮的高效通信聯邦學習模型訓練方法的一種優選方案，其中：所述客戶端對本地模型殘差進行自適應稀疏壓縮，將其通過上行鏈路傳輸到服務器，并產生歷史模型權重保存在本地模型內存集中包括如下步驟：
21、稀疏壓縮表征通過去掉原始向量中一些不重要的元素，將原始向量轉換為具有少量非零元素的稀疏向量；
22、稀疏壓縮方法通過將本地模型殘差中的大于某個閾值的元素發送給服務器，以減少通信所占的帶寬，不同的稀疏化閾值會影響通信開銷和模型準確率，需要動態設定稀疏化閾值，根據模型準確率和迭代輪次來選擇最佳的稀疏化閾值；要實現對稀疏化閾值進行自適應選擇，需要動態設定稀疏壓縮率：
23、
24、其中，ρt,m和acct,m分別表示客戶端um在第t輪訓練時的稀疏壓縮率和模型準確率，t表示訓練輪次的總次數，α和β是權重系數；
25、稀疏化閾值根據稀疏壓縮率和本地模型殘差來確定：
26、
27、其中，θt,m表示客戶端um在第t輪訓練時的稀疏化閾值，jt,m＝ρt,m·d表示模型殘差壓縮后的剩余元素個數，d表示本地模型殘差rt,m的元素個數，表示將|rt,m|降序排序后，取排序在第jt,m個位置所對應的參數值，|·|表示取絕對值；
28、將本地模型殘差中的元素按如下公式計算得到壓縮模型殘差：
29、
30、其中，和rt,m,i分別表示壓縮模型殘差和本地模型殘差rt,m的第i個元素；客戶端um將壓縮模型殘差通過上行鏈路發送到服務器；
31、客戶端利用壓縮模型殘差和預測模型權重獲得歷史模型權重：
32、
33、其中，表示保存在本地模型內存集中在第t輪訓練時客戶端um的歷史模型權重。
34、作為本專利技術所述殘差自適應壓縮的高效通信聯邦學習模型訓練方法的一種優選方案，其中：所述服務器選擇可靠的客戶端進行本地模型權重預測，將其保存在全局模型內存集中，并完成聯邦學習模型聚合包括如下步驟：
35、服務器根據客戶端與服務器之間的數據包錯誤率來評估客戶端的通信可靠性；
36、服務器將接收到的本地模型殘差和k個全局歷史模型權重輸入到模型預測模塊，獲得預測的本地模型權重；
37、服務器對各客戶端的預測模型權重進行聯邦學習模型聚合；
38、因無線上行鏈路的不可靠性，客戶端在傳輸模型殘差時會產生誤碼，服務器則需要選擇可靠的客戶端參與聯邦學習的模型聚合，
39、服務器根據客戶端與服務器之間的數據包錯誤率來評估客戶端的通信可靠性，客戶端與服務器之間的數據包錯誤率通過下式計算：
40、
41、其中，qm是客戶端um與服務器之間的數據包錯誤率，hm是客戶端um與服務器之間的信道增益，是對hm的數學期望，bul是客戶端上行傳輸帶寬，n0是噪聲功率譜密度，pm是本文檔來自技高網...
【技術保護點】
1.一種殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：包括，
2.如權利要求1所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述客戶端獲取聯邦學習全局模型，并使用本地數據集進行模型更新包括如下步驟：
3.如權利要求2所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述客戶端利用本地模型內存集和更新模型權重獲得本地模型殘差包括如下步驟：
4.如權利要求3所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述客戶端對本地模型殘差進行自適應稀疏壓縮，將其通過上行鏈路傳輸到服務器，并產生歷史模型權重保存在本地模型內存集中包括如下步驟：
5.如權利要求4所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述服務器選擇可靠的客戶端進行本地模型權重預測，將其保存在全局模型內存集中，并完成聯邦學習模型聚合包括如下步驟：
6.如權利要求5所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述服務器將接收到的本地模型殘差和K個全局歷史模型權重輸入到模型預
7.如權利要求6所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述服務器對各客戶端的預測模型權重進行聯邦學習模型聚合：
8.一種殘差自適應壓縮的高效通信聯邦學習模型訓練系統，基于權利要求1～7任一所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：還包括，獲取模塊，客戶端獲取聯邦學習全局模型，并使用本地數據集進行模型更新；
9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于：所述處理器執行所述計算機程序時實現權利要求1～7任一所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法的步驟。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于：所述計算機程序被處理器執行時實現權利要求1～7任一所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法的步驟。
...【技術特征摘要】
1.一種殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：包括，
2.如權利要求1所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述客戶端獲取聯邦學習全局模型，并使用本地數據集進行模型更新包括如下步驟：
3.如權利要求2所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述客戶端利用本地模型內存集和更新模型權重獲得本地模型殘差包括如下步驟：
4.如權利要求3所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述客戶端對本地模型殘差進行自適應稀疏壓縮，將其通過上行鏈路傳輸到服務器，并產生歷史模型權重保存在本地模型內存集中包括如下步驟：
5.如權利要求4所述的殘差自適應壓縮的高效通信聯邦學習模型訓練方法，其特征在于：所述服務器選擇可靠的客戶端進行本地模型權重預測，將其保存在全局模型內存集中，并完成聯邦學習模型聚合包括如下步驟：
6.如權利要求5所述的殘差自適應壓縮的高效通信聯邦學習模型...
【專利技術屬性】
技術研發人員：趙海濤，呂錦鈺，王祎明，孫金龍，徐波，史曜煒，
申請(專利權)人：南京郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。