【技術實現步驟摘要】
本申請屬于數據模型訓練領域，具體涉及一種基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法、裝置、設備及存儲介質。
技術介紹
1、研究醫療健康數據的共享融合機制已成為當前研究的熱點。隨著人工智能和大數據技術的快速發展，聯邦學習（federated?learning,?fl）作為一種新興的分布式機器學習方法，逐漸受到關注。它允許各參與節點在不共享原始數據的情況下，共同訓練一個全局模型，極大地保護了數據隱私。
2、現有的去中心化聯邦學習方法主要通過共識算法動態選舉領袖節點進行模型訓練，而在一些方法中，也利用區塊鏈技術來維護訓練梯度，通過鏈上存儲歷史梯度序列實現全局一致性，從而保證數據的透明性和可溯源性。
3、然而，上述方法依賴于選舉出的領袖節點負責協調各參與節點的梯度聚合和模型更新，容易受到攻擊或惡意行為的影響，同時利用區塊鏈技術來維護訓練梯度的方法雖然確保了數據隱私和透明性，卻也帶來了存儲和網絡開銷的問題。
技術實現思路
1、本申請旨在提供一種基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法、裝置、設備及存儲介質，至少解決跨孤島聯邦學習模型訓練時，數據可靠度不足，以及存儲和網絡開銷大的問題。
2、第一方面，本申請實施例公開了一種基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，應用于跨孤島聯邦學習網絡中的本地服務器，所述本地服務器上加載有待訓練的本地數據模型，包括：
3、在所述本地數據模型的本地訓練輪次落后于跨孤島聯邦學習網絡的全局訓練輪
4、根據所述更新訓練梯度數據，向所述跨孤島聯邦學習網絡中的外地服務器發起更新申請，以使得接收到所述更新申請的外地服務器根據接收到的所述更新申請，對目標訓練梯度數據進行更新，并根據所述外地服務器反饋的更新結果，對所述本地訓練輪次進行更新；所述目標訓練梯度數據是存儲于每個所述外地服務器的訓練梯度數據中的，與所述本地服務器對應的訓練梯度數據；存儲于所述外地服務器中的訓練梯度數據與所述跨孤島聯邦學習網絡中的多個服務器一一對應；所述更新結果由所述外地服務器根據所述更新申請反饋；
5、響應于發送自多個外地服務器的更新申請，獲取發送自多個所述外地服務器對應的聚合申請，并在所述聚合申請達到預設數量的情況下，對所述全局訓練輪次，以及存儲于所述本地服務器的訓練梯度數據進行更新；更新的每個所述訓練梯度數據與發送每個所述更新申請的所述外地服務器一一對應。
6、第二方面，本申請實施例還公開了一種基于去中心化梯度聚合的跨孤島聯邦學習模型訓練裝置，應用于跨孤島聯邦學習網絡中的本地服務器，所述本地服務器上加載有待訓練的本地數據模型，包括：
7、過濾模塊，用于在所述本地數據模型的本地訓練輪次落后于跨孤島聯邦學習網絡的全局訓練輪次的情況下，對存儲于所述本地服務器中的多個訓練梯度數據進行過濾，以獲得對所述本地數據模型的多個誠實訓練梯度數據，并根據多個所述誠實訓練梯度數據，對所述本地數據模型的配置，對所述本地數據模型進行訓練，以獲得所述本地服務器的數據模型在所述本地訓練輪次下的更新訓練梯度數據；存儲于所述本地服務器的多個所述訓練梯度數據與所述跨孤島聯邦學習網絡中的多個服務器一一對應；
8、更新模塊，用于根據所述更新訓練梯度數據，向所述跨孤島聯邦學習網絡中的外地服務器發起更新申請，以使得接收到所述更新申請的外地服務器根據接收到的所述更新申請，對目標訓練梯度數據進行更新，并根據所述外地服務器反饋的更新結果，對所述本地訓練輪次進行更新；所述目標訓練梯度數據是存儲于每個所述外地服務器的訓練梯度數據中的，與所述本地服務器對應的訓練梯度數據；存儲于所述外地服務器中的訓練梯度數據與所述跨孤島聯邦學習網絡中的多個服務器一一對應；所述更新結果由所述外地服務器根據所述更新申請反饋；
9、聚合模塊，用于響應于發送自多個外地服務器的更新申請，獲取發送自多個所述外地服務器對應的聚合申請，并在所述聚合申請達到預設數量的情況下，對所述全局訓練輪次，以及存儲于所述本地服務器的訓練梯度數據進行更新；更新的每個所述訓練梯度數據與發送每個所述更新申請的所述外地服務器一一對應。
10、第三方面，本申請實施例還公開了一種電子設備，包括處理器和存儲器、所述存儲器存儲可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如第一方面所述的方法的步驟。
11、第四方面，本申請實施例還公開了一種可讀存儲介質，所述可讀存儲介質上存儲有程序或指令，所述程序或指令被處理器執行時實現如第一方面所述的方法的步驟。
12、綜上，在本申請實施例中，通過篩選獲得的誠實訓練梯度數據，確保了即使存在惡意節點，本地服務器的數據模型所使用的數據仍然是可信的，從而提高了模型訓練的數據可靠性；進而能夠根據過濾后的誠實訓練梯度數據，對本地數據模型進行配置及訓練，以獲得更新的本地訓練梯度數據，以保證每個節點在本地進行有效的模型訓練，避免了不可信梯度對模型的負面影響，進一步增強了模型的準確性和魯棒性；最終通過梯度數據的同步和更新，確保了整個網絡中梯度數據的一致性和同步性，避免了因數據不一致帶來的潛在模型誤差和安全隱患，并保證了所有節點在同一訓練輪次內同步進行，維護了系統的整體協調性和一致性，有效降低了因異步訓練帶來的模型收斂速度慢和準確性低的問題。由此，基于本申請實施例的方法，在消除中央服務器的同時，利用去中心化梯度聚合和自適應梯度過濾技術，提高了跨孤島聯邦學習模型訓練的安全性、數據可靠性以及訓練效率，解決了模型訓練過程中，數據可靠度不足，以及存儲和網絡開銷大的問題。
本文檔來自技高網...【技術保護點】
1.一種基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，應用于跨孤島聯邦學習網絡中的本地服務器，所述本地服務器上加載有待訓練的本地數據模型，包括：
2.如權利要求1所述的基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，所述對存儲于所述本地服務器中的多個訓練梯度數據進行過濾，以獲得對所述本地數據模型的多個誠實訓練梯度數據，并根據多個所述誠實訓練梯度數據，對所述本地數據模型的配置，對所述本地數據模型進行訓練，以獲得所述本地服務器的數據模型在所述本地訓練輪次下的更新訓練梯度數據，包括：
3.如權利要求2所述的基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，所述根據每兩個所述訓練梯度數據之間的歐氏距離，對存儲于所述本地服務器的多個訓練梯度數據進行過濾，以將過濾后剩余的所述訓練梯度數據選定為所述誠實訓練梯度數據，包括：
4.如權利要求2所述的基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，選出的多個所述誠實訓練梯度數據具有共同對應的參考訓練梯度數據，所述參考訓練梯度數據具有對應的參考梯度評價值，選出
5.如權利要求2所述的基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，所述將所述綜合訓練梯度數據，作為對所述本地數據模型的配置，對所述本地數據模型進行訓練，以獲得在所述本地訓練輪次下所述本地數據模型的更新訓練梯度數據，包括：
6.如權利要求1所述的基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，所述根據所述更新訓練梯度數據，向所述跨孤島聯邦學習網絡中的外地服務器發起更新申請，以使得接收到所述更新申請的外地服務器根據接收到的所述更新申請，對目標訓練梯度數據進行更新，并根據所述外地服務器反饋的更新結果，對所述本地訓練輪次進行更新，包括：
7.如權利要求1所述的基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，所述在所述聚合申請達到預設數量的情況下，對所述全局訓練輪次，以及存儲于所述本地服務器的訓練梯度數據進行更新，包括：
8.一種基于去中心化梯度聚合的跨孤島聯邦學習模型訓練裝置，其特征在于，應用于跨孤島聯邦學習網絡中的本地服務器，所述本地服務器上加載有待訓練的本地數據模型，包括：
9.一種電子設備，其特征在于，包括：處理器、用于存儲所述處理器可執行指令的存儲器；
10.一種計算機可讀存儲介質，其特征在于，當所述計算機可讀存儲介質中的指令由電子設備的處理器執行時，使得所述電子設備能夠執行如權利要求1至7中任一項所述的方法。
...【技術特征摘要】
1.一種基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，應用于跨孤島聯邦學習網絡中的本地服務器，所述本地服務器上加載有待訓練的本地數據模型，包括：
2.如權利要求1所述的基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，所述對存儲于所述本地服務器中的多個訓練梯度數據進行過濾，以獲得對所述本地數據模型的多個誠實訓練梯度數據，并根據多個所述誠實訓練梯度數據，對所述本地數據模型的配置，對所述本地數據模型進行訓練，以獲得所述本地服務器的數據模型在所述本地訓練輪次下的更新訓練梯度數據，包括：
3.如權利要求2所述的基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，所述根據每兩個所述訓練梯度數據之間的歐氏距離，對存儲于所述本地服務器的多個訓練梯度數據進行過濾，以將過濾后剩余的所述訓練梯度數據選定為所述誠實訓練梯度數據，包括：
4.如權利要求2所述的基于去中心化梯度聚合的跨孤島聯邦學習模型訓練方法，其特征在于，選出的多個所述誠實訓練梯度數據具有共同對應的參考訓練梯度數據，所述參考訓練梯度數據具有對應的參考梯度評價值，選出的多個所述誠實訓練梯度數據分別對應有各自的誠實梯度評價值，所述對選出的多個所述誠實訓練梯度數據進行平均化，以獲得在所述本地訓練輪次下對所述本地數據模型的綜合訓練梯度數據，包括：
5.如權利要求2所述的基于...
【專利技術屬性】
技術研發人員：姜海鷗，馬鄆，劉坤，馬新建，
申請(專利權)人：北京大數據先進技術研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。