分布式訓(xùn)練方法、裝置、終端設(shè)備及計(jì)算機(jī)可讀介質(zhì)制造方法及圖紙

本發(fā)明專利技術(shù)涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種分布式訓(xùn)練方法、裝置、終端設(shè)備及計(jì)算機(jī)可讀介質(zhì)。本發(fā)明專利技術(shù)對(duì)本地原始圖數(shù)據(jù)進(jìn)行加密，將加密后的圖數(shù)據(jù)發(fā)送至其他客戶端并獲取其他客戶端的加密圖數(shù)據(jù)，將本地加密圖數(shù)據(jù)與獲取的其他加密圖數(shù)據(jù)進(jìn)行隱私求交，得到目標(biāo)圖數(shù)據(jù)，根據(jù)目標(biāo)圖數(shù)據(jù)對(duì)本地模型進(jìn)行訓(xùn)練，將訓(xùn)練后的模型參數(shù)發(fā)送至中心服務(wù)端，以更新全局模型參數(shù)，將更新后的全局模型參數(shù)發(fā)送給每個(gè)本地客戶端，以更新本地模型，本發(fā)明專利技術(shù)通過(guò)隱私求交技術(shù)對(duì)本地客戶端圖數(shù)據(jù)進(jìn)行隱私加密，再與其他客戶端加密圖數(shù)據(jù)進(jìn)行交互，得到用于模型訓(xùn)練的數(shù)據(jù)，能夠保證數(shù)據(jù)交互過(guò)程中的安全性，同時(shí)提高分布式訓(xùn)練參數(shù)的準(zhǔn)確度。同時(shí)提高分布式訓(xùn)練參數(shù)的準(zhǔn)確度。同時(shí)提高分布式訓(xùn)練參數(shù)的準(zhǔn)確度。

【技術(shù)實(shí)現(xiàn)步驟摘要】
分布式訓(xùn)練方法、裝置、終端設(shè)備及計(jì)算機(jī)可讀介質(zhì)


[0001]本專利技術(shù)涉及人工智能
，特別涉及一種分布式訓(xùn)練方法、裝置、終端設(shè)備及計(jì)算機(jī)可讀介質(zhì)。

技術(shù)介紹

[0002]目前，在大數(shù)據(jù)的支撐下，采用人工智能進(jìn)行智能引導(dǎo)能夠較為準(zhǔn)確地為用戶提供推薦服務(wù)，推薦服務(wù)的準(zhǔn)確性依賴于模型訓(xùn)練的效果。基于人工智能的模型訓(xùn)練為了提高模型的訓(xùn)練效果，需要獲取大量的數(shù)據(jù)，而很多數(shù)據(jù)都是通過(guò)網(wǎng)絡(luò)獲取，針對(duì)分布式訓(xùn)練而言，每個(gè)客戶端均持有自己的數(shù)據(jù)，而在訓(xùn)練的過(guò)程中需要對(duì)其他客戶端的數(shù)據(jù)進(jìn)行采集，在數(shù)據(jù)交互的過(guò)程中存在隱私數(shù)據(jù)泄露的風(fēng)險(xiǎn)，如果不進(jìn)行交互，可能導(dǎo)致訓(xùn)練效果不佳，不利于后續(xù)的使用。因此，如何在分布式訓(xùn)練過(guò)程中，既能保證隱私數(shù)據(jù)不被泄露，又能保證訓(xùn)練的準(zhǔn)確度成為亟待解決的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

[0003]基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種分布式訓(xùn)練方法、裝置、終端設(shè)備及介質(zhì)，以解決現(xiàn)有技術(shù)中分布式訓(xùn)練過(guò)程中每個(gè)客戶端均持有自己的數(shù)據(jù)，模型訓(xùn)練的過(guò)程中需要對(duì)其他客戶端的數(shù)據(jù)進(jìn)行交互，在數(shù)據(jù)交互的過(guò)程中存在隱私數(shù)據(jù)泄露風(fēng)險(xiǎn)的問(wèn)題。
[0004]第一方面，本專利技術(shù)實(shí)施例提供一種分布式訓(xùn)練方法，所述方法應(yīng)用于分布式訓(xùn)練系統(tǒng)的本地客戶端，所述分布式訓(xùn)練系統(tǒng)包括N個(gè)本地客戶端和至少一個(gè)中心服務(wù)端，N為大于1的整數(shù)，所述方法包括：
[0005]獲取所有的本地原始圖數(shù)據(jù)，并對(duì)所述本地原始圖數(shù)據(jù)進(jìn)行差分隱私加密，得到每個(gè)本地原始圖數(shù)據(jù)對(duì)應(yīng)的第一加密圖數(shù)據(jù)；
[0006]將所有第一加密圖數(shù)據(jù)發(fā)送至其他客戶端，并采集所述其他客戶端發(fā)送的加密圖數(shù)據(jù)，得到每個(gè)其他客戶端對(duì)應(yīng)的第二加密圖數(shù)據(jù)，所述其他客戶端為所述分布式訓(xùn)練系統(tǒng)中除發(fā)送方以外的本地客戶端；
[0007]將所有第一加密圖數(shù)據(jù)與所有第二加密圖數(shù)據(jù)進(jìn)行隱私求交，確定共有圖數(shù)據(jù)，所述共有圖數(shù)據(jù)為與所有其他客戶端的第二加密圖數(shù)據(jù)均具有相同統(tǒng)計(jì)學(xué)特征的第一加密圖數(shù)據(jù)；
[0008]對(duì)所述共有圖數(shù)據(jù)進(jìn)行解析，確定對(duì)應(yīng)的原始圖數(shù)據(jù)為目標(biāo)圖數(shù)據(jù)；
[0009]根據(jù)所述目標(biāo)圖數(shù)據(jù)對(duì)本地模型進(jìn)行訓(xùn)練，得到本地訓(xùn)練參數(shù)，所述本地訓(xùn)練參數(shù)用于發(fā)送給所述中心服務(wù)端，以獲取所述中心服務(wù)端發(fā)送的全局訓(xùn)練參數(shù)更新所述本地模型。
[0010]第二方面，本專利技術(shù)實(shí)施例提供分布式訓(xùn)練裝置，所述裝置應(yīng)用于分布式訓(xùn)練系統(tǒng)的本地客戶端，所述分布式訓(xùn)練系統(tǒng)包括N個(gè)本地客戶端和至少一個(gè)中心服務(wù)端，N為大于1的整數(shù)，所述分布式訓(xùn)練裝置包括：
[0011]數(shù)據(jù)加密模塊，用于獲取所有的本地原始圖數(shù)據(jù)，并對(duì)所述本地原始圖數(shù)據(jù)進(jìn)行差分隱私加密，得到每個(gè)本地原始圖數(shù)據(jù)對(duì)應(yīng)的第一加密圖數(shù)據(jù)；
[0012]數(shù)據(jù)傳輸模塊，用于將所有第一加密圖數(shù)據(jù)發(fā)送至其他客戶端，并采集所述其他客戶端發(fā)送的加密圖數(shù)據(jù)，得到每個(gè)其他客戶端對(duì)應(yīng)的第二加密圖數(shù)據(jù)，所述其他客戶端為所述分布式訓(xùn)練系統(tǒng)中除發(fā)送方以外的本地客戶端；
[0013]隱私求交模塊，用于將所有第一加密圖數(shù)據(jù)與所有第二加密圖數(shù)據(jù)進(jìn)行隱私求交，確定共有圖數(shù)據(jù)，所述共有圖數(shù)據(jù)為與所有其他客戶端的第二加密圖數(shù)據(jù)均具有相同統(tǒng)計(jì)學(xué)特征的第一加密圖數(shù)據(jù)；
[0014]數(shù)據(jù)解析模塊，用于對(duì)所述共有圖數(shù)據(jù)進(jìn)行解析，確定對(duì)應(yīng)的原始圖數(shù)據(jù)為目標(biāo)圖數(shù)據(jù)；
[0015]模型訓(xùn)練模塊，用于根據(jù)所述目標(biāo)圖數(shù)據(jù)對(duì)本地模型進(jìn)行訓(xùn)練，得到本地訓(xùn)練參數(shù)，所述本地訓(xùn)練參數(shù)用于發(fā)送給所述中心服務(wù)端，以獲取所述中心服務(wù)端發(fā)送的全局訓(xùn)練參數(shù)更新所述本地模型。
[0016]第三方面，本專利技術(shù)實(shí)施例提供一種終端設(shè)備，所述終端設(shè)備包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面所述的分布式訓(xùn)練方法。
[0017]第四方面，本專利技術(shù)實(shí)施例提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的分布式訓(xùn)練方法。
[0018]本專利技術(shù)實(shí)施例與現(xiàn)有技術(shù)相比存在的有益效果是：本專利技術(shù)對(duì)本地原始圖數(shù)據(jù)進(jìn)行加密，將加密后的圖數(shù)據(jù)發(fā)送至其他客戶端并獲取其他客戶端的加密圖數(shù)據(jù)，將本地加密圖數(shù)據(jù)與獲取的其他加密圖數(shù)據(jù)進(jìn)行隱私求交，得到目標(biāo)圖數(shù)據(jù)，根據(jù)目標(biāo)圖數(shù)據(jù)對(duì)本地模型進(jìn)行訓(xùn)練，將訓(xùn)練后的模型參數(shù)發(fā)送至中心服務(wù)端，以更新全局模型參數(shù)，將更新后的全局模型參數(shù)發(fā)送給每個(gè)本地客戶端，以更新本地模型，本專利技術(shù)通過(guò)隱私求交技術(shù)對(duì)本地客戶端圖數(shù)據(jù)進(jìn)行隱私加密，再與其他客戶端加密圖數(shù)據(jù)進(jìn)行交互，得到用于模型訓(xùn)練的數(shù)據(jù)，能夠保證數(shù)據(jù)交互過(guò)程中的安全性，同時(shí)提高分布式訓(xùn)練參數(shù)的準(zhǔn)確度。
附圖說(shuō)明
[0019]為了更清楚地說(shuō)明本專利技術(shù)實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本專利技術(shù)的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0020]圖1是本專利技術(shù)實(shí)施例一提供的一種分布式訓(xùn)練方法的一應(yīng)用環(huán)境示意圖；
[0021]圖2是本專利技術(shù)實(shí)施例一提供的一種分布式訓(xùn)練方法的流程示意圖；
[0022]圖3是本專利技術(shù)實(shí)施例一提供的用戶對(duì)商品打分的圖數(shù)據(jù)示意圖；
[0023]圖4是本專利技術(shù)實(shí)施例二提供的一種分布式訓(xùn)練裝置的結(jié)構(gòu)示意圖；
[0024]圖5是本專利技術(shù)實(shí)施例三提供的一種終端設(shè)備的結(jié)構(gòu)示意圖。
具體實(shí)施方式
[0025]以下描述中，為了說(shuō)明而不是為了限定，提出了諸如特定系統(tǒng)結(jié)構(gòu)、技術(shù)之類的具體細(xì)節(jié)，以便透徹理解本專利技術(shù)實(shí)施例。然而，本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)清楚，在沒(méi)有這些具體細(xì)節(jié)的其他實(shí)施例中也可以實(shí)現(xiàn)本專利技術(shù)。在其他情況中，省略對(duì)眾所周知的系統(tǒng)、裝置、電路以及方法的詳細(xì)說(shuō)明，以免不必要的細(xì)節(jié)妨礙本專利技術(shù)的描述。
[0026]應(yīng)當(dāng)理解，當(dāng)在本專利技術(shù)說(shuō)明書和所附權(quán)利要求書中使用時(shí)，術(shù)語(yǔ)“包括”指示所描述特征、整體、步驟、操作、元素和/或組件的存在，但并不排除一個(gè)或多個(gè)其他特征、整體、步驟、操作、元素、組件和/或其集合的存在或添加。
[0027]還應(yīng)當(dāng)理解，在本專利技術(shù)說(shuō)明書和所附權(quán)利要求書中使用的術(shù)語(yǔ)“和/或”是指相關(guān)聯(lián)列出的項(xiàng)中的一個(gè)或多個(gè)的任何組合以及所有可能組合，并且包括這些組合。
[0028]如在本專利技術(shù)說(shuō)明書和所附權(quán)利要求書中所使用的那樣，術(shù)語(yǔ)“如果”可以依據(jù)上下文被解釋為“當(dāng)...時(shí)”或“一旦”或“響應(yīng)于確定”或“響應(yīng)于檢測(cè)到”。類似地，短語(yǔ)“如果確定”或“如果檢測(cè)到[所描述條件或事件]”可以依據(jù)上下文被解釋為意指“一旦確定”或“響應(yīng)于確定”或“一旦檢測(cè)到[所描述條件或事件]”或“響應(yīng)于檢測(cè)到[所描述條件或事件]”。
[0029]另外，在本專利技術(shù)說(shuō)明書和所附權(quán)利要求書的描述中，術(shù)語(yǔ)“第一”、“第二”、“第三”等僅用于區(qū)分描述，而不能理解為指示或暗示相對(duì)重要性。
[0030]在本專利技術(shù)說(shuō)明書中描述的參考“一個(gè)實(shí)施例”或“一些實(shí)施例”等意味著在本專利技術(shù)的一個(gè)或多個(gè)實(shí)施例中包本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種分布式訓(xùn)練方法，其特征在于，所述方法應(yīng)用于分布式訓(xùn)練系統(tǒng)的本地客戶端，所述分布式訓(xùn)練系統(tǒng)包括N個(gè)本地客戶端和至少一個(gè)中心服務(wù)端，N為大于1的整數(shù)，所述方法包括：獲取所有的本地原始圖數(shù)據(jù)，并對(duì)所述本地原始圖數(shù)據(jù)進(jìn)行差分隱私加密，得到每個(gè)本地原始圖數(shù)據(jù)對(duì)應(yīng)的第一加密圖數(shù)據(jù)；將所有第一加密圖數(shù)據(jù)發(fā)送至其他客戶端，并采集所述其他客戶端發(fā)送的加密圖數(shù)據(jù)，得到每個(gè)其他客戶端對(duì)應(yīng)的第二加密圖數(shù)據(jù)，所述其他客戶端為所述分布式訓(xùn)練系統(tǒng)中除發(fā)送方以外的本地客戶端；將所有第一加密圖數(shù)據(jù)與所有第二加密圖數(shù)據(jù)進(jìn)行隱私求交，確定共有圖數(shù)據(jù)，所述共有圖數(shù)據(jù)為與所有其他客戶端的第二加密圖數(shù)據(jù)均具有相同統(tǒng)計(jì)學(xué)特征的第一加密圖數(shù)據(jù)；對(duì)所述共有圖數(shù)據(jù)進(jìn)行解析，確定對(duì)應(yīng)的原始圖數(shù)據(jù)為目標(biāo)圖數(shù)據(jù)；根據(jù)所述目標(biāo)圖數(shù)據(jù)對(duì)本地模型進(jìn)行訓(xùn)練，得到本地訓(xùn)練參數(shù)，所述本地訓(xùn)練參數(shù)用于發(fā)送給所述中心服務(wù)端，以獲取所述中心服務(wù)端發(fā)送的全局訓(xùn)練參數(shù)更新所述本地模型。2.根據(jù)權(quán)利要求1所述的分布式訓(xùn)練方法，其特征在于，所述將所有第一加密圖數(shù)據(jù)與所有第二加密圖數(shù)據(jù)進(jìn)行隱私求交，確定共有圖數(shù)據(jù)包括：將所述第一加密圖數(shù)據(jù)與任一所述第二加密圖數(shù)據(jù)進(jìn)行隱私求交，得到第三加密圖數(shù)據(jù)，將第三加密圖數(shù)據(jù)再與剩余的任一第二加密圖數(shù)據(jù)進(jìn)行隱私求交，得到第四加密圖數(shù)據(jù)，直至與最后一個(gè)第二加密圖數(shù)據(jù)進(jìn)行隱私求交，得到所述共有圖數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的分布式訓(xùn)練方法，其特征在于，所述對(duì)所述共有圖數(shù)據(jù)進(jìn)行解析，確定對(duì)應(yīng)的原始圖數(shù)據(jù)為目標(biāo)圖數(shù)據(jù)包括：根據(jù)所述第一加密圖數(shù)據(jù)的統(tǒng)計(jì)學(xué)特征，推導(dǎo)出第一加密圖數(shù)據(jù)的映射關(guān)系，根據(jù)所述映射關(guān)系對(duì)所述共有圖數(shù)據(jù)進(jìn)行解析，得到目標(biāo)圖數(shù)據(jù)。4.根據(jù)權(quán)利要求1所述的分布式訓(xùn)練方法，其特征在于，所述對(duì)所述共有圖數(shù)據(jù)進(jìn)行解析，確定對(duì)應(yīng)的原始圖數(shù)據(jù)為目標(biāo)圖數(shù)據(jù)包括：根據(jù)所述差分隱私加密算法，解析得到所述差分隱私加密算法的加密秘鑰，根據(jù)所述加密秘鑰對(duì)所述共有圖數(shù)據(jù)進(jìn)行解析，得到目標(biāo)圖數(shù)據(jù)。5.根據(jù)權(quán)利要求1所述的分布式訓(xùn)練方法，其特征在于，所述確定對(duì)應(yīng)的本地原始圖數(shù)據(jù)為目標(biāo)圖數(shù)據(jù)之后，還包括：對(duì)所述目標(biāo)圖數(shù)據(jù)進(jìn)行擴(kuò)展，得到擴(kuò)展圖數(shù)據(jù)；所述根據(jù)所述目標(biāo)圖數(shù)據(jù)對(duì)本地模型進(jìn)行訓(xùn)練，得到本地訓(xùn)練參數(shù)包括...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王健宗，李澤遠(yuǎn)，邱燁卿，黃章成，
申請(qǐng)(專利權(quán))人：平安科技深圳有限公司，
類型：發(fā)明
國(guó)別省市：