本發明專利技術公開了一種聯邦學習通信方法、系統及設備，其中方法包括：在橫向聯邦學習的任意一輪聯邦聚合過程中，接收參與當前輪次聯邦聚合的各個第一客戶端發送的量化模型參數和反量化器；采用目標客戶端對應的反量化器反量化目標客戶端對應的量化模型參數，得到還原模型參數；在得到各個第一客戶端分別對應的還原模型參數后，對各個第一客戶端的還原模型參數進行聚合得到聚合模型參數，將聚合模型參數反饋給各個第一客戶端，本發明專利技術提供了一種橫向聯邦學習過程中服務端與客戶端之間的通信方案，以提高聯邦學習通信效率。
【技術實現步驟摘要】
本專利技術涉及聯邦學習，尤其涉及一種聯邦學習通信方法、系統及設備。
技術介紹
1、在人工智能時代，機器學習、深度學習等ai算法逐步走進我們的生活，ai算法的基礎是更多、更優的數據。數據孤島效應制約了ai算法的優化，為了解決這些限制，聯邦學習應用而生，其保證在數據不出域的情況，通過更多(數量和維度)數據提升ai算法性能。
2、在聯邦學習實際應用落地中，由于各個設備之間的異構性和資源的限制，加劇了聯邦學習面臨的通信瓶頸問題。如何在有限的資源降低通信成本，提高海量客戶端聯邦建模效率，稱為目前亟待解決的一個問題。
技術實現思路
1、本專利技術的主要目的在于提供一種聯邦學習通信方法、系統及設備，旨在提出一種橫向聯邦學習過程中服務端與客戶端之間的通信方案，以提高聯邦學習通信效率。
2、為實現上述目的，本專利技術提供一種聯邦學習通信方法，所述聯邦學習通信方法應用于參與橫向聯邦學習的服務端，所述方法包括以下步驟：
3、在橫向聯邦學習的任意一輪聯邦聚合過程中，接收參與當前輪次聯邦聚合的各個第一客戶端發送的量化模型參數和反量化器，其中，對于各個所述第一客戶端中的任一目標客戶端，目標客戶端發送的所述量化模型參數是由目標客戶端采用目標客戶端的量化器對目標客戶端的原始模型參數量化得到，目標客戶端的量化器和反量化器是由目標客戶端采用目標客戶端的原始模型參數訓練得到；
4、采用目標客戶端對應的反量化器反量化目標客戶端對應的量化模型參數，得到還原模型參數；
<
p>5、在得到各個所述第一客戶端分別對應的所述還原模型參數后，對各個所述第一客戶端的所述還原模型參數進行聚合得到聚合模型參數，將所述聚合模型參數反饋給各個所述第一客戶端。6、可選地，目標客戶端的量化器為采用lq-nets算法對目標客戶端的原始模型參數訓練得到的，所述量化器中包括量化基準向量，所述反量化器用于將反量化操作的對象除以所述量化基準向量，以對反量化操作的對象進行反量化，所述采用目標客戶端對應的反量化器反量化目標客戶端對應的量化模型參數，得到還原模型參數的步驟包括：
7、采用目標客戶端對應的反量化器將目標客戶端對應的量化模型參數除以目標客戶端對應的量化基準向量，得到還原模型參數。
8、可選地，所述聯邦學習通信方法還包括：
9、接收各個所述第一客戶端發送的模型損失；
10、計算目標客戶端在當前輪次的聯合聚合過程中發送的模型損失相比于目標客戶端在上一輪次的聯邦聚合過程中發送的模型損失的減少量；
11、根據各個所述第一客戶端對應的所述減少量，從參與橫向聯邦學習的各個第二客戶端中選取出參與下一輪次聯邦聚合的各個客戶端；其中，目標客戶端對應的所述減少量大于各個所述第一客戶端對應的所述減少量的平均值的情況下，目標客戶端被選中參與下一輪次聯邦聚合的概率，大于目標客戶端被選中參與當前輪次聯邦聚合的概率；目標客戶端對應的所述減少量小于或等于所述平均值的情況下，目標客戶端被選中參與下一輪次聯邦聚合的概率，小于目標客戶端被選中參與當前輪次聯邦聚合的概率。
12、可選地，所述根據各個所述第一客戶端對應的所述減少量，從參與橫向聯邦學習的各個第二客戶端中選取出參與下一輪次聯邦聚合的各個客戶端的步驟包括：
13、在目標客戶端對應的所述減少量大于各個所述第一客戶端對應的所述減少量的平均值的情況下，將目標客戶端對應的貝塔分布的α參數值調大以更新目標客戶端對應的貝塔分布，其中，在第一輪次的聯邦聚合之前，為各個所述第二客戶端初始化相同的貝塔分布，貝塔分布中的α參數和β參數的初始化值相等；
14、在目標客戶端對應的所述減少量小于或等于所述平均值的情況下，將目標客戶端對應的貝塔分布的β參數值調大以更新目標客戶端對應的貝塔分布；
15、在更新各個所述第一客戶端的貝塔分布后，采用各個所述第二客戶端的貝塔分布分別產生一個隨機數，按照隨機數從大到小的順序對各個所述第二客戶端進行排序，將排在前預設個數的所述第二客戶端選定為參與下一輪次聯邦聚合的各個客戶端。
16、可選地，目標客戶端發送的所述量化模型參數是由目標客戶端采用目標客戶端的量化器對目標客戶端的原始模型參數量化后，再進行編碼得到的，所述采用目標客戶端對應的反量化器反量化目標客戶端對應的量化模型參數，得到還原模型參數的步驟包括：
17、對目標客戶端對應的編碼后的量化模型參數進行解碼得到解碼結果，再采用目標客戶端對應的反量化器反量化所述解碼結果，得到還原模型參數。
18、可選地，所述對目標客戶端對應的編碼后的量化模型參數進行解碼得到解碼結果的步驟包括:
19、將目標客戶端對應的編碼前的所述量化模型參數中的各個量化值作為信源符號,獲取各種信源符號按照預設順序排列時分別對應的累積概率；
20、將所述目標客戶端對應的編碼后的所述量化模型參數作為目標解碼對象，從各種信源符號中確定目標信源符號，滿足所述目標解碼對象處于所述目標信源符號的累積概率和下一信源符號的累積概率所構成的區間中，其中，所述下一信源符號為各種信源符號按照所述預設順序排列時所述目標信源符號中的下一個信源符號；
21、將所述目標信源符號對應的參數值作為解碼得到的一個參數值，將所述目標解碼對象減去所述目標信源符號的累積概率后再除以所述目標信源符號的預設出現概率，將計算結果更新為目標解碼對象，返回執行所述從各種信源符號中確定目標信源符號的步驟；
22、在解碼得到最后一個參數值后，根據解碼得到的參數值得到所述目標客戶端對應的編碼前的量化模型參數，將所述目標客戶端對應的編碼前的量化模型參數作為解碼結果。
23、為實現上述目的，本專利技術提供一種聯邦學習通信方法，所述聯邦學習通信方法應用于參與橫向聯邦學習的各個第一客戶端中的任一目標客戶端，所述聯邦學習通信方法包括以下步驟：
24、在橫向聯邦學習的任意一輪聯邦聚合過程中，采用原始模型參數訓練得到量化器和反量化器；
25、采用所述量化器量化所述原始模型參數得到量化模型參數；
26、將所述量化模型參數和所述反量化器發送給參與橫向聯邦學習的服務端，以供所述服務端采用目標客戶端對應的反量化器反量化目標客戶端對應的量化模型參數得到還原模型參數，并在得到各個所述第一客戶端分別對應的所述還原模型參數后，對各個所述第一客戶端的所述還原模型參數進行聚合得到聚合模型參數。
27、可選地，所述將所述量化模型參數和所述反量化器發送給參與橫向聯邦學習的服務端的步驟包括：
28、將所述量化模型參數中的各個量化值作為信源符號,并計算各種信源符號按照預設順序排列時分別對應的累積概率；
29、初始化編碼區間,將所述量化模型參數中第一個信源符號作為目標信源符號；
30、將所述編碼區間的下限加上所述編碼區間的長度與下一信源符號的累積概率之積,采用計算結果更新所述編碼區間的上限,其中,所述本文檔來自技高網
...
【技術保護點】
1.一種聯邦學習通信方法，其特征在于，所述聯邦學習通信方法應用于參與橫向聯邦學習的服務端，所述聯邦學習通信方法包括以下步驟：
2.如權利要求1所述的聯邦學習通信方法，其特征在于，目標客戶端的量化器為采用LQ-Nets算法對目標客戶端的原始模型參數訓練得到的，所述量化器中包括量化基準向量，所述反量化器用于將反量化操作的對象除以所述量化基準向量，以對反量化操作的對象進行反量化，所述采用目標客戶端對應的反量化器反量化目標客戶端對應的量化模型參數，得到還原模型參數的步驟包括：
3.如權利要求1所述的聯邦學習通信方法，其特征在于，所述聯邦學習通信方法還包括：
4.如權利要求3所述的聯邦學習通信方法，其特征在于，所述根據各個所述第一客戶端對應的所述減少量，從參與橫向聯邦學習的各個第二客戶端中選取出參與下一輪次聯邦聚合的各個客戶端的步驟包括：
5.如權利要求1所述的聯邦學習通信方法，其特征在于，目標客戶端發送的所述量化模型參數是由目標客戶端采用目標客戶端的量化器對目標客戶端的原始模型參數量化后，再進行編碼得到的，所述采用目標客戶端對應的反量化器反量化目標客戶端對應的量化模型參數，得到還原模型參數的步驟包括：
6.如權利要求5所述的聯邦學習通信方法，其特征在于，所述對目標客戶端對應的編碼后的量化模型參數進行解碼得到解碼結果的步驟包括:
7.一種聯邦學習通信方法，其特征在于，所述聯邦學習通信方法應用于參與橫向聯邦學習的各個第一客戶端中的任一目標客戶端，所述聯邦學習通信方法包括以下步驟：
8.如權利要求7所述的聯邦學習通信方法，其特征在于，所述將所述量化模型參數和所述反量化器發送給參與橫向聯邦學習的服務端的步驟包括：
9.一種聯邦學習通信系統，其特征在于，所述聯邦學習通信系統包括橫向聯邦學習的服務端和多個客戶端；
10.一種聯邦學習通信設備，其特征在于，所述聯邦學習通信設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的聯邦學習通信程序，所述聯邦學習通信程序被所述處理器執行時實現如權利要求1至8中任一項所述的聯邦學習通信方法的步驟。
...
【技術特征摘要】
1.一種聯邦學習通信方法，其特征在于，所述聯邦學習通信方法應用于參與橫向聯邦學習的服務端，所述聯邦學習通信方法包括以下步驟：
2.如權利要求1所述的聯邦學習通信方法，其特征在于，目標客戶端的量化器為采用lq-nets算法對目標客戶端的原始模型參數訓練得到的，所述量化器中包括量化基準向量，所述反量化器用于將反量化操作的對象除以所述量化基準向量，以對反量化操作的對象進行反量化，所述采用目標客戶端對應的反量化器反量化目標客戶端對應的量化模型參數，得到還原模型參數的步驟包括：
3.如權利要求1所述的聯邦學習通信方法，其特征在于，所述聯邦學習通信方法還包括：
4.如權利要求3所述的聯邦學習通信方法，其特征在于，所述根據各個所述第一客戶端對應的所述減少量，從參與橫向聯邦學習的各個第二客戶端中選取出參與下一輪次聯邦聚合的各個客戶端的步驟包括：
5.如權利要求1所述的聯邦學習通信方法，其特征在于，目標客戶端發送的所述量化模型參數是由目標客戶端采用目標客戶端的量化器對目標客戶端的原始模型參數...
【專利技術屬性】
技術研發人員：浦世亮，韓煒東，黃斌，姜偉浩，祝訓軍，張威，
申請(專利權)人：杭州海康威視數字技術股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。