【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及一種全異步去中心化的分層聯邦學習方法及系統。
技術介紹
1、隨著由數據驅動的人工智能(art?ificial?intelligence，ai)技術的發展，其衍生出的廣泛應用已進入圖像處理、智能推送等多種領域。人工智能技術的核心之一便是訓練模型所需的數據。而伴隨金融、醫療等領域對數據隱私的保護逐漸嚴格，對模型訓練所需大量數據的收集成為一大瓶頸。由此，為了在不暴露用戶原始數據的情況下進行數據分析和模型訓練，出現了聯邦學習。
2、由于近年來移動計算與物聯網(iot)等技術的發展與終端硬件性能的提升，許多新興應用場景的數據源逐漸從存儲于云數據中心或單個數據管理設施，向更加廣泛的終端設備(如個人手機、家用電器、傳感器等)移動。由于地理環境、應用場景、用戶使用習慣等各個方面的差異，這類邊緣節點產生的本地數據通常是非獨立同分布(non-iid)的，此種數據會導致模型訓練的精度下降。
3、傳統的聯邦學習多為同步式中央服務器架構。同步式訓練的過程中，由于節點硬件算力的異構性，訓練速度可能會由于等待某個慢速節點而被拖慢。同時中央服務器收集或匯總本地模型的架構，不僅可能在連接節點較多時更容易出現網絡擁塞的通信瓶頸，還容易發生單點故障導致訓練終止的問題。
4、因此，亟待提供一種全異步去中心化的聯邦學習方法，以在保護用戶隱私數據基礎上提高模型訓練精度，并避免網絡擁塞和單節點故障導致的訓練中止問題。
技術實現思路
1、本專利技術提供了一種全異
2、根據本專利技術的一方面，提供了一種全異步去中心化的分層聯邦學習方法，該方法包括：
3、各上層服務器初始化生成服務器模型，并將所述服務器模型下發至通信范圍內的各客戶端設備；
4、客戶端設備根據接收到的所述服務器模型進行全異步客戶端本地訓練，更新生成客戶端模型，并將所述客戶端模型上傳至篩選的目標上層服務器；
5、目標上層服務器根據所述客戶端模型進行全異步服務器本地模型聚合，更新生成服務器模型；
6、目標上層服務器在確定接收的客戶端模型數量滿足通信條件時，在篩選的目標鄰居服務器中拉取模型，全異步進行服務器模型聚合更新；
7、目標上層服務器將當前的所述服務器模型下發至對應的客戶端設備；
8、返回客戶端設備根據接收到的所述服務器模型進行全異步客戶端本地訓練，更新生成客戶端模型步驟，直至各上層服務器的服務器模型滿足收斂條件，得到全局模型。
9、根據本專利技術的另一方面，提供了一種全異步去中心化的分層聯邦學習系統，所述分層聯邦學習系統由多個上層服務器和多個下層的客戶端設備構成；其中：
10、上層服務器，用于初始化生成服務器模型，并將所述服務器模型下發至通信范圍內的各客戶端設備；
11、客戶端設備，用于根據接收到的所述服務器模型進行全異步客戶端本地訓練，更新生成客戶端模型，并將所述客戶端模型上傳至篩選的目標上層服務器；
12、目標上層服務器，用于根據所述客戶端模型進行全異步服務器本地模型聚合，更新生成服務器模型；在確定接收的客戶端模型數量滿足通信條件時，在篩選的目標鄰居服務器中拉取模型，全異步進行服務器模型聚合更新；將當前的所述服務器模型下發至對應的客戶端設備；
13、客戶端設備與目標上層服務器重復進行模型更新，直至各上層服務器的服務器模型滿足收斂條件，得到全局模型。
14、根據本專利技術的另一方面，提供了一種全異步去中心化的分層聯邦學習方法，所述方法應用于上層服務器，所述方法，包括：
15、初始化生成服務器模型，并將所述服務器模型下發至通信范圍內的各客戶端設備；
16、獲取客戶端設備的上傳請求，獲取客戶端模型，并根據所述客戶端模型進行全異步服務器本地模型聚合，更新生成服務器模型；
17、在確定接收的客戶端模型數量滿足通信條件時，在篩選的目標鄰居服務器中拉取模型，全異步進行服務器模型聚合更新；
18、將當前的所述服務器模型下發至對應的客戶端設備；并返回獲取客戶端設備的上傳請求，獲取客戶端模型步驟，直至各上層服務器的服務器模型滿足收斂條件，得到全局模型。
19、根據本專利技術的另一方面，提供了一種全異步去中心化的分層聯邦學習方法，所述方法應用于客戶端設備，所述方法，包括：
20、獲取上層服務器發送的服務器模型；
21、根據接收到的所述服務器模型進行全異步客戶端本地訓練，更新生成客戶端模型，并將所述客戶端模型上傳至篩選的目標上層服務器；
22、獲取目標上層服務器發送的服務器模型；并返回根據接收到的所述服務器模型進行全異步客戶端本地訓練，更新生成客戶端模型步驟，直至獲取到服務器模型為全局模型。
23、根據本專利技術的另一方面，提供了一種服務器，所述服務器包括：
24、至少一個處理器；以及
25、與所述至少一個處理器通信連接的存儲器；其中，
26、所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述計算機程序被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本專利技術任一實施例所述的全異步去中心化的分層聯邦學習方法。
27、根據本專利技術的另一方面，提供了一種客戶端設備，所述客戶端設備包括：
28、至少一個處理器；以及
29、與所述至少一個處理器通信連接的存儲器；其中，
30、所述存儲器存儲有可被所述至少一個處理器執行的計算機程序，所述計算機程序被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本專利技術任一實施例所述的全異步去中心化的分層聯邦學習方法。
31、根據本專利技術的另一方面，提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機指令，所述計算機指令用于使處理器執行時實現本專利技術任一實施例所述的全異步去中心化的分層聯邦學習方法。
32、根據本專利技術的另一方面，提供了一種計算機程序產品，包括計算機程序，所述計算機程序在被處理器執行時實現本專利技術任一實施例所述的全異步去中心化的分層聯邦學習方法。
33、本專利技術實施例的技術方案，通過各上層服務器初始化生成服務器模型，并將所述服務器模型下發至通信范圍內的各客戶端設備；客戶端設備根據接收到的所述服務器模型進行全異步客戶端本地訓練，更新生成客戶端模型，并將所述客戶端模型上傳至篩選的目標上層服務器；目標上層服務器根據所述客戶端模型進行全異步服務器本地模型聚合，更新生成服務器模型；目標上層服務器在確定接收的客戶端模型數量滿足通信條件時，在篩選的目標鄰居服務器中拉取模型，全異步進行服務器模型聚合更新；目標上層服務器將當前的所述服務器模型下發至對應的客戶端設備；返回客戶端設備根據接收到的所述服務器模型進行全異步客戶端本地訓練，更新生成客戶端模型步驟，直至各上層服務器的服務器模型滿足收斂條本文檔來自技高網...
【技術保護點】
1.一種全異步去中心化的分層聯邦學習方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，將所述客戶端模型上傳至篩選的目標上層服務器，包括：
3.根據權利要求2所述的方法，其特征在于，可連接的上層服務器根據客戶端設備的連接查詢，確定為客戶端設備分配的帶寬大小，包括：
4.根據權利要求3所述的方法，其特征在于，可連接的上層服務器在帶寬余量大于所述最小帶寬時，確定為客戶端設備分配的帶寬大小，包括：
5.根據權利要求2-4任一項所述的方法，其特征在于，客戶端設備全異步根據所述帶寬大小篩選目標上層服務器，包括：
6.根據權利要求1所述的方法，其特征在于，目標上層服務器根據所述客戶端模型進行全異步服務器本地模型聚合，更新生成服務器模型，包括：
7.根據權利要求1所述的方法，其特征在于，目標上層服務器在確定接收的客戶端模型數量滿足通信條件時，在篩選的目標鄰居服務器中拉取模型，全異步進行服務器模型聚合更新，包括：
8.根據權利要求7所述的方法，其特征在于，目標上層服務器根據所述數據量差值以及所述鏈
9.一種全異步去中心化的分層聯邦學習系統，其特征在于，所述分層聯邦學習系統由多個上層服務器和多個下層的客戶端設備構成；其中：
10.一種全異步去中心化的分層聯邦學習方法，其特征在于，所述方法應用于上層服務器，所述方法，包括：
11.一種全異步去中心化的分層聯邦學習方法，其特征在于，所述方法應用于客戶端設備，所述方法，包括：
...【技術特征摘要】
1.一種全異步去中心化的分層聯邦學習方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，將所述客戶端模型上傳至篩選的目標上層服務器，包括：
3.根據權利要求2所述的方法，其特征在于，可連接的上層服務器根據客戶端設備的連接查詢，確定為客戶端設備分配的帶寬大小，包括：
4.根據權利要求3所述的方法，其特征在于，可連接的上層服務器在帶寬余量大于所述最小帶寬時，確定為客戶端設備分配的帶寬大小，包括：
5.根據權利要求2-4任一項所述的方法，其特征在于，客戶端設備全異步根據所述帶寬大小篩選目標上層服務器，包括：
6.根據權利要求1所述的方法，其特征在于，目標上層服務器根據所述客戶端模型進行全異步服務器本地模型聚合，更新生成服務器模型，包括...
【專利技術屬性】
技術研發人員：楊海良，王仲琨，崔來中，
申請(專利權)人：人工智能與數字經濟廣東省實驗室深圳，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。