【技術實現步驟摘要】
本專利技術涉及聯邦學習，尤其涉及一種面向多工況的自組織多教師個性化聯邦學習方法。
技術介紹
1、聯邦學習是一種能夠確保數據隱私的分布式機器學習方法。近年來，通過使得分布在各個地區(qū)的參與方能夠在保證數據安全的前提下進行協作建模，聯邦學習在醫(yī)療、交通、金融領域都取得了顯著的成果。因此，聯邦學習成為解決工業(yè)企業(yè)中具有數據隱私考慮的分布式協同建模挑戰(zhàn)的可行解決方案。然而，傳統聯邦學習在工業(yè)環(huán)境中的應用面臨兩個挑戰(zhàn)。首先，由于真實工業(yè)場景中的氣候、需求和設備變化，分布在多個地點的企業(yè)流程數據在數據分布和有效性方面存在差異。該現象導致不同企業(yè)的過程數據呈現多工況，引發(fā)了分布式數據的非獨立同分布問題，使得傳統聯邦學習建立的全局模型效果受到損害。其次，生產環(huán)境的變化會導致數據的分布特征隨著時間的推移而變化。因此，工業(yè)應用場景中的模型在個性化配置和自主適應性方面都面臨著更高的要求。
2、相關技術中，增量構造隨機配置網絡通過數據特征的自適應分析，為解決同步優(yōu)化模型結構和參數配置的挑戰(zhàn)提供了一條有益的途徑。然而，數據分布的差異往往阻礙了聯邦增量協作建模的理想結果的實現。
技術實現思路
1、本專利技術旨在至少在一定程度上解決相關技術中的技術問題之一。為此，本專利技術的第一個目的在于提出一種面向多工況的自組織多教師個性化聯邦學習方法，建立基于數據分布差異的多教師模型指導私有模型的個性化，能夠提升多工況場景下私有模型的準確性，并可以令具有相似分布的企業(yè)協同建立教師模型，能夠降低分布差異對隨機配置網
2、為達到上述目的，本專利技術第一方面實施例提出了一種面向多工況的自組織多教師個性化聯邦學習方法，所述方法包括以下步驟：
3、s10：中央服務器獲取企業(yè)客戶端的節(jié)點信息，所述節(jié)點信息由生成模型根據本地過程數據構建；
4、s20：中央服務器基于多教師模型生成機制對企業(yè)客戶端的節(jié)點信息進行分析，自組織生成所述企業(yè)客戶端對應的教師協作關系，并為所述企業(yè)客戶端生成對應的教師模型；
5、s30：中央服務器對所述教師模型建立的結果進行評估，并根據評估結果對所述教師模型的教師協作關系進行優(yōu)化，并將優(yōu)化后的教師模型傳遞給對應的企業(yè)客戶端；
6、s40：所述企業(yè)客戶端基于本地數據，通過共識整合教師模型知識，建立私有模型，并通過所述私有模型獲取當前誤差，以及對所述當前誤差進行評估；
7、s50：在所述當前誤差小于預設誤差閾值的情況下，輸出所述私有模型。
8、根據本專利技術實施例的面向多工況的自組織多教師個性化聯邦學習方法，首先中央服務器獲取企業(yè)客戶端的節(jié)點信息，節(jié)點信息由生成模型根據本地過程數據構建；然后中央服務器基于多教師模型生成機制對企業(yè)客戶端的節(jié)點信息進行分析，自組織生成企業(yè)客戶端對應的教師協作關系，并為企業(yè)客戶端生成對應的教師模型；中央服務器對教師模型建立的結果進行評估，并根據評估結果對教師模型的教師協作關系進行優(yōu)化，并將優(yōu)化后的教師模型傳遞給對應的企業(yè)客戶端；企業(yè)客戶端基于本地數據，通過共識整合教師模型知識，建立私有模型，并通過私有模型獲取當前誤差，以及對當前誤差進行評估；并在當前誤差小于預設誤差閾值的情況下，輸出私有模型。由此，該方法建立基于數據分布差異的多教師模型指導私有模型的個性化，能夠提升多工況場景下私有模型的準確性，并可以令具有相似分布的企業(yè)協同建立教師模型，能夠降低分布差異對隨機配置網絡監(jiān)督條件難以滿足的影響，提升模型收斂速度。
9、另外，根據本專利技術上述實施例的面向多工況的自組織多教師個性化聯邦學習方法，還可以具有如下的附加技術特征：
10、根據本專利技術的一個實施例，所述步驟s10包括：所述企業(yè)客戶端基于本地過程數據的監(jiān)督，在預設范圍內隨機生成所述私有模型的節(jié)點的權值和偏置，并選擇所述企業(yè)客戶端的當前隱藏層參數的監(jiān)督值輸出值最大時對應的權值和偏置上傳至所述中央服務器。
11、根據本專利技術的一個實施例，根據以下公式確定當前隱藏層參數的監(jiān)督值輸出值：
12、
13、其中，為第k個企業(yè)客戶端新增第l個節(jié)點的監(jiān)督值輸出值，為企業(yè)客戶端本地數據xk經過節(jié)點l的隱藏層輸出值，ak為企業(yè)客戶端k的激活函數，el-1(xk)為私有模型fk在具有l(wèi)-1個節(jié)點時的預測誤差，通過計算私有模型fk對于本地數據xk的預測值fk(xk)與真實值tk的均方誤差獲取；r為監(jiān)督機制中使用的超參數，通過在0到1之間隨機選取正實數獲取；μl為非負的實數序列。
14、根據本專利技術的一個實施例，所述步驟s20包括：
15、s21：所述中央服務器使用學習自動機集合建立多教師模型，每個所述企業(yè)客戶端被配置一個學習自動機，所述中央服務器記錄每個所述學習自動機參與構建教師模型的概率；
16、s22：每個所述企業(yè)客戶端采用質量優(yōu)先策略生成對應教師模型的節(jié)點，并當節(jié)點滿足組內所有所述企業(yè)客戶端的約束時，將對應的節(jié)點作為最優(yōu)節(jié)點；
17、s23：每個所述企業(yè)客戶端采用全局更新的方式計算本地輸出權值，每個所述企業(yè)客戶端根據本地輸出權值對對應的教師模型進行組內的橫向加強聚合。
18、根據本專利技術的一個實施例，在所述步驟s23中，根據以下公式確定企業(yè)客戶端k的本地輸出權值βk：
19、
20、其中，tk為企業(yè)客戶端k樣本的實際標簽集；
21、每個教師模型的對應參與企業(yè)客戶端通過以下公式進行組內的橫向加強聚合：
22、
23、其中，nk是企業(yè)客戶端k的樣本總數，是參與構建教師模型gc的總樣本數，聚合的模型信息用于后續(xù)私有模型的優(yōu)化和下一輪教師模型構建關系的優(yōu)化。
24、根據本專利技術的一個實施例，所述步驟s30包括：
25、s31：所述中央服務器根據所述企業(yè)客戶端的輸出權值分析分布結果，建立基于余弦相似度輸出所述企業(yè)客戶端的信息相似度矩陣，并基于所述相似度矩陣判斷企業(yè)客戶端之間的可合作性矩陣；
26、s32：基于所述可合作性矩陣確定獎懲信號，并根據所述獎懲信號確定強化信號類型，以及更新合作關系概率分布；
27、s33：在當前學習自動機集合不存在懲罰記錄的時，將該時刻對應的教師模型返回給所述企業(yè)客戶端，以幫助所述企業(yè)客戶端建立對應的私有模型。
28、根據本專利技術的一個實施例，在所述步驟s31中，根據以下公式確定企業(yè)客戶端的輸出權值分析分布結果cvk：
29、
30、企業(yè)客戶端的信息相似度矩陣為：scon∈rm×m，其中，scon∈rm×m中的元素表示客戶端i和j余弦相似度；
31、企業(yè)客戶端之間的可合作性矩陣z由以下公式表示：
32、
33、其中，ts為相似閾值。
34、根據本專利技術的一個實施例，在所述步驟s32中，根據以下方式確定企業(yè)間當前教師模型建立結果的強化信號：
35、定義獎懲本文檔來自技高網...
【技術保護點】
1.一種面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，所述步驟S10包括：
3.根據權利要求2所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，根據以下公式確定當前隱藏層參數的監(jiān)督值輸出值：
4.根據權利要求1所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，所述步驟S20包括：
5.根據權利要求4所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，在所述步驟S23中，根據以下公式確定企業(yè)k的本地輸出權值βk：
6.根據權利要求4所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，所述步驟S30包括：
7.根據權利要求6所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，在所述步驟S31中，根據以下公式確定企業(yè)客戶端的輸出權值分析分布結果cvk：
8.根據權利要求6所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，在所述
9.根據權利要求1所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，所述步驟S40包括：
10.根據權利要求9所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，在所述步驟S41中，根據以下公式確定所述私有模型的學習目標：
11.根據權利要求10所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，在所述步驟S42中，根據以下公式求解輸出權值更新的目標函數：
...【技術特征摘要】
1.一種面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，所述步驟s10包括：
3.根據權利要求2所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，根據以下公式確定當前隱藏層參數的監(jiān)督值輸出值：
4.根據權利要求1所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，所述步驟s20包括：
5.根據權利要求4所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，在所述步驟s23中，根據以下公式確定企業(yè)k的本地輸出權值βk：
6.根據權利要求4所述的面向多工況的自組織多教師個性化聯邦學習方法，其特征在于，所述步驟s30包括：
7.根據...
【專利技術屬性】
技術研發(fā)人員：代偉，崔騰，張煥煜，建中華，李杰龍，
申請(專利權)人：中國礦業(yè)大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。