【技術實現步驟摘要】
本申請涉及分布式神經網絡訓練的，尤其涉及一種分布式神經網絡的訓練方法及系統。
技術介紹
1、分布式神經網絡是指各部分分別部署在不同服務器的神經網絡，各部分神經網絡由不同用戶持有及使用。分布式神經網絡的訓練一般需要用戶上傳訓練數據，對神經網絡進行訓練，然而，用戶持有的訓練數據可能涉及到私有數據資產、用戶不希望透露給其他用戶，但若缺少所有用戶的共同訓練神經網絡的質量又會大大降低。
技術實現思路
1、本申請提供了一種分布式神經網絡的訓練方法及系統，其能夠在用戶原始訓練數據不泄露的前提下實現分布式神經網絡的分布式訓練。
2、第一方面，本申請提供了一種分布式神經網絡的訓練方法。所述方法應用于一個神經網絡的運營方和多個持有分布神經網絡的用戶方組成的系統，所述方法包括：作為用戶方，
3、利用私有的訓練數據訓練持有的分布神經網絡，得到梯度分量值；
4、將梯度分量值隨機拆分為約定的第一預設整數份；
5、將拆分后的梯度分量值分別代入約定的至少兩個預設函數，得到至少兩個代入函數值，所述預設函數均為第一預設整數元函數，所有預設函數之和的結果為第二預設常數倍的每一自變量之和，第二預設常數非零；
6、將所有函數值均發送至運營方，以使運營方根據所有用戶方的所有函數值之和除以約定的第二預設常數得到所有用戶方的梯度分量值之和，運營方基于梯度分量值之和訓練神經網絡及更新分布神經網絡。
7、第二方面，本申請提供了一種分布式神經網絡的訓練方法。所述方
8、接收所有用戶方發送的所有函數值，所述函數值由每一用戶方將自身利用私有的訓練數據訓練得到的梯度分量值隨機拆分為約定的第一預設整數份、并將拆分后的梯度分量值分別代入約定的至少兩個預設函數得到，所述預設函數均為第一預設整數元函數，所有預設函數之和的結果為第二預設常數倍的每一自變量之和，第二預設常數非零；
9、計算所有函數值之和除以約定的第二預設常數等于所有用戶方持有的梯度分量值之和，運營方基于梯度分量值之和訓練神經網絡及更新分布神經網絡。
10、第三方面，本申請提供了一種分布式神經網絡的訓練方法。所述方法應用于一個神經網絡的運營方和多個持有分布神經網絡的用戶方組成的系統，所述方法包括：
11、每一用戶方利用私有的訓練數據訓練持有的分布神經網絡，得到梯度分量值；
12、將梯度分量值隨機拆分為約定的第一預設整數份；
13、將拆分后的梯度分量值分別代入約定的至少兩個預設函數，得到至少兩個代入函數值，所述預設函數均為第一預設整數元函數，所有預設函數之和的結果為第二預設常數倍的每一自變量之和，第二預設常數非零；
14、用戶方將所有代入函數值發送至運營方，以使運營方計算所有函數值之和；
15、所述運營方計算所有函數值之和除以約定的第二預設常數等于所有用戶方持有的梯度分量值之和，運營方基于梯度分量值之和訓練神經網絡及更新分布神經網絡。
16、進一步地，所述預設函數有m個，第j個預設函數，式中，，為所述第二預設常數。
17、進一步地，所述預設函數有兩個，第一預設函數為，第二預設函數為，式中，p+1為第二預設常數。
18、進一步地，所述第一預設整數不小于5。
19、第四方面，本申請提供了一種分布式神經網絡的訓練系統。所述系統包括一個運營方和多個用戶方，所述運營方運營神經網絡，所述用戶方持有神經網絡的分布神經網絡，所述用戶方應用如以上第一方面所述的任意一種方法，和/或所述運營方應用如以上第二方面所述的任意一種方法，和/或所述系統應用如以上第三方面所述的任意一種方法。
20、通過采用上述技術方案，能夠實現分布式神經網絡的訓練計算，保障用戶方的私有訓練數據以及利用私有訓練數據訓練得到的原始梯度分量不被泄露。
21、應當理解，
技術實現思路
部分中所描述的內容并非旨在限定本申請的實施例的關鍵或重要特征，亦非用于限制本申請的范圍。本申請的其它特征將通過以下的描述變得容易理解。
【技術保護點】
1.一種分布式神經網絡的訓練方法，其特征在于，應用于一個神經網絡的運營方和多個持有分布神經網絡的用戶方組成的系統，所述方法包括：作為用戶方，
2.一種分布式神經網絡的訓練方法，其特征在于，應用于一個神經網絡的運營方和多個持有分布神經網絡的用戶方組成的系統，所述方法包括：作為運營方，
3.一種分布式神經網絡的訓練方法，其特征在于，應用于一個神經網絡的運營方和多個持有分布神經網絡的用戶方組成的系統，所述方法包括：
4.根據權利要求1-3中任意一項所述的分布式神經網絡的訓練方法，其特征在于，所述預設函數有m個，第j個預設函數，式中，，為所述第二預設常數。
5.根據權利要求1-3中任意一項所述的分布式神經網絡的訓練方法，其特征在于，所述預設函數有兩個，第一預設函數為，第二預設函數為，式中，p+1為第二預設常數。
6.根據權利要求1-3中任意一項所述的分布式神經網絡的訓練方法，其特征在于，所述第一預設整數不小于5。
7.一種分布式神經網絡的訓練系統，其特征在于，所述系統包括一個運營方和多個用戶方，所述運營方運營神經網絡
...【技術特征摘要】
1.一種分布式神經網絡的訓練方法，其特征在于，應用于一個神經網絡的運營方和多個持有分布神經網絡的用戶方組成的系統，所述方法包括：作為用戶方，
2.一種分布式神經網絡的訓練方法，其特征在于，應用于一個神經網絡的運營方和多個持有分布神經網絡的用戶方組成的系統，所述方法包括：作為運營方，
3.一種分布式神經網絡的訓練方法，其特征在于，應用于一個神經網絡的運營方和多個持有分布神經網絡的用戶方組成的系統，所述方法包括：
4.根據權利要求1-3中任意一項所述的分布式神經網絡的訓練方法，其特征在于，所述預設函數有m個，第j個預設函數，式中，，為所述第二預設常數。
5...
【專利技術屬性】
技術研發人員：廖方平，
申請(專利權)人：清圖數據科技南京有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。