本發明專利技術公開了一種面向智能制造的聯邦學習客戶端選擇方法、系統及相關設備，本方案通過構造出客戶端之間數據關聯性大、差異性小的客戶端組合，使得訓練出的模型之間具有更好的相似性，從而使得訓練得到的聯邦學習聚合模型能夠有效減少受數據分布偏差的影響，繼而有效解決客戶端進行聯邦訓練因為制造業異構數據造成的本地模型之間的差異，導致聚合模型出現偏差的問題。
【技術實現步驟摘要】
本專利技術涉及數據處理技術，具體涉及可用于智能制造背景下的聯邦學習客戶端選擇技術。
技術介紹
1、隨著制造業在經濟影響中的占比越來越重，現代制造業正以前所未有的規模創造具有定制、適應和可靠等特性的新產品或服務。這些新產品或者服務已成為我們日常生活中不可或缺的部分。而產品或服務的功能性和擴展性使得制造系統變得越來越復雜，正推動制造業成為新一代的網絡物理系統，走向實現網絡支持的智能制造。工業基礎設施、智能制造技術以及跨行業資產和流程的大規模數字化，推動制造業走向新時代。智能制造系統的推動和建設需要將現代制造業數字化，通過數據驅動的分析工具來實現，如人工智能、機器學習、數字雙胞胎、云計算和大數據分析。這些快速發展的技術，加上制造數據的指數級增長，使渴求數據的人工智能和機器學習以前所未有的規模得以發展。
2、現代工業物聯網系統的分布式特性以及傳統的集中式機器學習技術對數據共享構成了直接的威脅。以智能制造中的目標識別分類任務為例，需要將不同相機收集到的原始數據上傳到集中式服務器(如云服務器)，這可能導致機密信息(如正在制造的產品或收集的個人信息)在傳輸過程中的潛在泄露。聯邦學習的概念最近被引入，以促進多個智能終端設備之間進行知識共享，同時通過避免在終端設備和中央服務器之間共享原始數據來保護數據隱私。在基于聯邦學習的智能制造系統中，多個攝像機可以收集產品圖像，并單獨訓練一個本地模型。通過不傳輸原始數據，只將本地模型參數加密上載到一個中央服務器，以形成一個全局模型。通過結合多個局部模型，全局模型有望提供更泛化和準確的預測。
3、與一般基于數據中心環境下的分布式協作建模場景不同，聯邦學習在如圖1所示的智能制造場景下通常面臨的是具有異質性的復雜計算環境，其異質性因素會對聯邦場景下的模型效果產生不良影響。已有針對數據異質性因素的處理方式往往存在許多的制約和局限，或缺少一定的通用性，面向復雜的智能制造場景無法兼顧計算開銷和精度保證等情況。如fedavg算法通過隨機選擇的策略來對客戶端進行篩選，以此減少計算開銷，但這種隨機選擇客戶端的方式會加劇數據異質性的不利影響。
技術實現思路
1、針對現有基于聯邦學習的智能制造系統中聯邦學習客戶端選擇方案所存在的問題，本專利技術的目的在于提供一種面向智能制造的聯邦學習客戶端選擇方案，本方案通過構造出客戶端之間數據關聯性大、差異性小的客戶端組合，并其訓練出具有更好的相似性的模型，以此使得得到的聯邦學習聚合模型能夠減少受數據分布偏差的影響。
2、為了達到上述目的，本專利技術提供了一種面向智能制造的聯邦學習客戶端選擇方法，包括：
3、(1)劃分異質性數據，將工業數據按照異質性需要，為客戶端劃分不同程度的異質性數據；
4、(2)客戶端本地預訓練，將各個客戶端基于接收到的初始模型參數并使用自身的數據分別訓練出自己的本地模型；
5、(3)收集客戶端模型參數變化信息，分別收集客戶端本地訓練首次與末次迭代訓練的模型參數差；
6、(4)構建圖結構計算客戶端模型相似性，將收集到的信息以客戶端為節點構建無向圖，對節點進行相似性計算，并據此篩選的客戶端組合；
7、(5)訓練并保存結果，對輸出的新客戶端組進行聯邦學習訓練，最后對聚合模型進行模型評估，保存評估結果。
8、在本專利技術的一些實施方式中，所述聯邦學習客戶端選擇方法通過dirichlet分布劃分異質性數據。
9、在本專利技術的一些實施方式中，所述聯邦學習客戶端選擇方法在構建無向圖時，以客戶端的總數量n作為無向圖的節點數，每個節點分別代表聯邦學習中的各個客戶端c＝{c1,c2,...,cn}，其構建出一個完全圖g，圖中不同節點之間都有邊對應。
10、在本專利技術的一些實施方式中，所述聯邦學習客戶端選擇方法基于各客戶端代表的節點值，利用多維余弦相似性來分別計算客戶端節點之間邊的權值，再基于權值來映射出兩節點之間的模型相似性。
11、為了達到上述目的，本專利技術還提供了一種面向智能制造的聯邦學習客戶端選擇系統，所述選擇系統包括劃分異質性數據模塊，客戶端本地預訓練模塊、模型參數變化信息收集模塊，客戶端篩選模塊以及客戶端聯邦學習訓練模塊，
12、所述劃分異質性數據模塊配置成將工業數據按照異質性需要，為客戶端劃分不同程度的異質性數據；
13、所述客戶端本地預訓練模塊配置成與所述劃分異質性數據模塊數據交互，并能夠將各個客戶端基于接收到的初始模型參數并使用自身的數據分別訓練出自己的本地模型；
14、所述模型參數變化信息收集模塊配置成與所述客戶端本地預訓練模塊數據交互，并收集客戶端本地訓練首次與末次迭代訓練的模型參數差；
15、所述客戶端篩選模塊配置成與所述模型參數變化信息收集模塊數據交互，并通過構建圖結構來計算客戶端模型相似性，由此據此篩選的客戶端組合；
16、所述客戶端聯邦學習訓練模塊置成與所述客戶端篩選模塊以及所述劃分異質性數據模塊數據交互，能夠對篩選出的客戶端組進行聯邦學習訓練，最后對聚合模型進行模型評估。
17、在本專利技術的一些實施方式中，所述劃分異質性數據模塊通過dirichlet分布劃分異質性數據。
18、在本專利技術的一些實施方式中，所述客戶端篩選模塊包括客戶端無向圖構建子模塊，客戶端模型相似性計算子模塊，客戶端選擇子模塊，
19、所述客戶端無向圖構建子模塊配置成以客戶端為節點構建無向圖；
20、所述客戶端模型相似性計算子模塊配置成與所述客戶端無向圖構建子模塊數據交互，并以構建的無向圖確定出各客戶端代表的節點值，據此利用多維余弦相似性來分別計算客戶端節點之間邊的權值，再基于權值來映射出兩節點之間的模型相似性；
21、所述客戶端選擇子模塊配置成與所述客戶端模型相似性計算子模塊數據交互，基于所述客戶端模型相似性計算子模塊所計算的模型相似性對原客戶端進行篩選，選擇出相似性更接近的客戶端集合。
22、為了達到上述目的，本專利技術還提供了一種處理器，所述處理器用于運行程序，其中，所述程序運行時執行上述面向智能制造的聯邦學習客戶端選擇方法的步驟。
23、為了達到上述目的，本專利技術還提供了一種終端設備，設備包括處理器、存儲器及存儲在存儲器上并可在處理器上運行的程序，所述程序代碼由所述處理器加載并執行以實現上述面向智能制造的聯邦學習客戶端選擇方法的步驟。
24、為了達到上述目的，本專利技術還提供了一種計算機程序產品，當在數據處理設備上執行時，適于執行上述面向智能制造的聯邦學習客戶端選擇方法的步驟。
25、本專利技術提供的面向智能制造的聯邦學習客戶端選擇方案，通過構造出客戶端之間數據關聯性大、差異性小的客戶端組合，使得訓練出的模型之間具有更好的相似性，從而使得訓練得到的聯邦學習聚合模型能夠有效減少受數據分布偏差的影響，繼而有效解決客戶端進行聯邦訓練因為制造業異構數據造成的本地模型之間的差異，導致聚合模型出現偏差的問題。...
【技術保護點】
1.面向智能制造的聯邦學習客戶端選擇方法，其特征在于，包括：
2.根據權利要求1所述的聯邦學習客戶端選擇方法，其特征在于，所述聯邦學習客戶端選擇方法通過Dirichlet分布劃分異質性數據。
3.根據權利要求1所述的聯邦學習客戶端選擇方法，其特征在于，所述聯邦學習客戶端選擇方法在構建無向圖時，以客戶端的總數量N作為無向圖的節點數，每個節點分別代表聯邦學習中的各個客戶端C＝{c1,c2,...,cn}，其構建出一個完全圖G，圖中不同節點之間都有邊對應。
4.根據權利要求1所述的聯邦學習客戶端選擇方法，其特征在于，所述聯邦學習客戶端選擇方法基于各客戶端代表的節點值，利用多維余弦相似性來分別計算客戶端節點之間邊的權值，再基于權值來映射出兩節點之間的模型相似性。
5.面向智能制造的聯邦學習客戶端選擇系統，其特征在于，所述選擇系統包括劃分異質性數據模塊，客戶端本地預訓練模塊、模型參數變化信息收集模塊，客戶端篩選模塊以及客戶端聯邦學習訓練模塊，
6.根據權利要求5所述的聯邦學習客戶端選擇系統，其特征在于，所述劃分異質性數據模塊通過Dirichlet分布劃分異質性數據。
7.根據權利要求5所述的聯邦學習客戶端選擇系統，其特征在于，所述客戶端篩選模塊包括客戶端無向圖構建子模塊，客戶端模型相似性計算子模塊，客戶端選擇子模塊，
8.一種處理器，所述處理器用于運行程序，其特征在于，所述程序運行時執行權利要求1-4中任一項所述的面向智能制造的聯邦學習客戶端選擇方法的步驟。
9.一種終端設備，設備包括處理器、存儲器及存儲在存儲器上并可在處理器上運行的程序，其特征在于，所述程序代碼由所述處理器加載并執行以實現權利要求1-4中任一項所述的面向智能制造的聯邦學習客戶端選擇方法的步驟。
10.一種計算機程序產品，其特征在于，當在數據處理設備上執行時，適于執行權利要求1-4中任一項所述的面向智能制造的聯邦學習客戶端選擇方法的步驟。
...
【技術特征摘要】
1.面向智能制造的聯邦學習客戶端選擇方法，其特征在于，包括：
2.根據權利要求1所述的聯邦學習客戶端選擇方法，其特征在于，所述聯邦學習客戶端選擇方法通過dirichlet分布劃分異質性數據。
3.根據權利要求1所述的聯邦學習客戶端選擇方法，其特征在于，所述聯邦學習客戶端選擇方法在構建無向圖時，以客戶端的總數量n作為無向圖的節點數，每個節點分別代表聯邦學習中的各個客戶端c＝{c1,c2,...,cn}，其構建出一個完全圖g，圖中不同節點之間都有邊對應。
4.根據權利要求1所述的聯邦學習客戶端選擇方法，其特征在于，所述聯邦學習客戶端選擇方法基于各客戶端代表的節點值，利用多維余弦相似性來分別計算客戶端節點之間邊的權值，再基于權值來映射出兩節點之間的模型相似性。
5.面向智能制造的聯邦學習客戶端選擇系統，其特征在于，所述選擇系統包括劃分異質性數據模塊，客戶端本地預訓練模塊、模型參數變化信息收集模塊，客戶端篩選模塊以...
【專利技術屬性】
技術研發人員：楊馳，賈徽徽，孟亞豪，
申請(專利權)人：公安部第三研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。