用于隱私計(jì)算的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法及云計(jì)算網(wǎng)絡(luò)技術(shù)

本申請(qǐng)涉及一種用于隱私計(jì)算的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法及云計(jì)算網(wǎng)絡(luò)，可用于聯(lián)邦學(xué)習(xí)。方法包括：第一節(jié)點(diǎn)提供輸入數(shù)據(jù)用于與持有計(jì)算模型的第二節(jié)點(diǎn)協(xié)作；第一節(jié)點(diǎn)和第二節(jié)點(diǎn)分別生成第一隨機(jī)數(shù)序列和第二隨機(jī)數(shù)序列；第一節(jié)點(diǎn)利用第一隨機(jī)數(shù)序列以及第二節(jié)點(diǎn)利用第二隨機(jī)數(shù)序列和計(jì)算模型的模型參數(shù)從而協(xié)作生成與該輸入數(shù)據(jù)對(duì)應(yīng)的模型隨機(jī)數(shù)序列；第一節(jié)點(diǎn)利用第一隨機(jī)數(shù)序列加密該輸入數(shù)據(jù)并將該加密后輸入數(shù)據(jù)發(fā)送給第二節(jié)點(diǎn)；第二節(jié)點(diǎn)根據(jù)該加密后輸入數(shù)據(jù)、第二隨機(jī)數(shù)序列和計(jì)算模型的模型參數(shù)生成中間結(jié)果并將該中間結(jié)果發(fā)送給第一節(jié)點(diǎn)；第一節(jié)點(diǎn)根據(jù)該中間結(jié)果和模型隨機(jī)數(shù)序列生成所述推理任務(wù)的計(jì)算結(jié)果。如此改進(jìn)了計(jì)算效率和安全性。了計(jì)算效率和安全性。了計(jì)算效率和安全性。

【技術(shù)實(shí)現(xiàn)步驟摘要】
用于隱私計(jì)算的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法及云計(jì)算網(wǎng)絡(luò)


[0001]本申請(qǐng)涉及數(shù)據(jù)安全和隱私保護(hù)
，尤其涉及隱私計(jì)算和聯(lián)邦學(xué)習(xí)
，具體涉及一種用于隱私計(jì)算的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法及云計(jì)算網(wǎng)絡(luò)。

技術(shù)介紹

[0002]隱私計(jì)算指的是在保護(hù)隱私信息安全前提下進(jìn)行數(shù)據(jù)相關(guān)計(jì)算及分析和挖掘數(shù)據(jù)價(jià)值。其中，隱私信息安全的范圍一般包括各個(gè)參與方的私有數(shù)據(jù)、中間計(jì)算結(jié)果以及模型參數(shù)等，可以寬泛地理解為涵蓋了在處理各種信息時(shí)對(duì)其中涉及的隱私信息進(jìn)行各種操作從而在隱私信息的整個(gè)生命周期提供保護(hù)的計(jì)算理論和方法。當(dāng)涉及到兩個(gè)或者更多個(gè)參與方一起協(xié)同完成某項(xiàng)任務(wù)例如協(xié)作訓(xùn)練模型或者協(xié)作推理等，每個(gè)參與方都希望保護(hù)自己的私有數(shù)據(jù)和自身的模型參數(shù)等隱私信息。但是，這些隱私保護(hù)方面的需求難以在當(dāng)前云計(jì)算和云網(wǎng)絡(luò)得到廣泛應(yīng)用的環(huán)境下得到滿足，這是因?yàn)樵朴?jì)算和云網(wǎng)絡(luò)是通過由第三方供應(yīng)商來提供計(jì)算資源如通過服務(wù)的方式給多個(gè)租戶使用，這樣租戶就節(jié)省了硬件和基礎(chǔ)架構(gòu)方面的投入和維護(hù)成本。但是云計(jì)算和云網(wǎng)絡(luò)下存在隱私信息泄露的風(fēng)險(xiǎn)，例如采用公有云的云部署模式可能使得上傳到公有云服務(wù)器的私有數(shù)據(jù)被泄露到未授權(quán)方。除了云網(wǎng)絡(luò)以外，其他類型的網(wǎng)絡(luò)的計(jì)算機(jī)網(wǎng)絡(luò)節(jié)點(diǎn)之間的協(xié)作也面臨隱私信息泄露的風(fēng)險(xiǎn)，例如一個(gè)節(jié)點(diǎn)發(fā)送給另一個(gè)節(jié)點(diǎn)的私有數(shù)據(jù)可能被泄露到未授權(quán)方。
[0003]一種現(xiàn)有的隱私保護(hù)技術(shù)通過同態(tài)加密(Homomorphic Encryption，HE)技術(shù)來加強(qiáng)保護(hù)，但是會(huì)增加通信開銷并對(duì)算力和存儲(chǔ)空間提出挑戰(zhàn)，例如本來只占用1比特空間的明文數(shù)據(jù)經(jīng)過同態(tài)加密后變成占用1024比特空間的密文數(shù)據(jù)。另一些隱私保護(hù)技術(shù)要求提供計(jì)算資源或者云資源的一方為可信第三方或者具有可信執(zhí)行環(huán)境(Trust Execution Environment，TEE)，但是這一點(diǎn)很難在當(dāng)前的云計(jì)算環(huán)境特別是采用公有云的云部署模式中得到滿足。其他類型的網(wǎng)絡(luò)的計(jì)算節(jié)點(diǎn)之間的協(xié)作也有類似問題。另外，算法和模型需要頻繁的更新，而提供算法或模型服務(wù)的節(jié)點(diǎn)其自身的安全性和可靠性也是可能發(fā)生變化的，因此上述的隱私保護(hù)技術(shù)難以在計(jì)算效率和安全性各方面做到均衡。
[0004]為此，需要一種用于隱私計(jì)算的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法及云計(jì)算網(wǎng)絡(luò)，能夠克服上述各種不足。

技術(shù)實(shí)現(xiàn)思路

[0005]第一方面，本申請(qǐng)實(shí)施例提供了一種用于隱私計(jì)算的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法。所述方法應(yīng)用于包括第一節(jié)點(diǎn)和第二節(jié)點(diǎn)的網(wǎng)絡(luò)。所述方法包括：所述第一節(jié)點(diǎn)提供多個(gè)輸入數(shù)據(jù)用于與持有計(jì)算模型的所述第二節(jié)點(diǎn)協(xié)作完成推理任務(wù)，針對(duì)所述多個(gè)輸入數(shù)據(jù)的每一個(gè)輸入數(shù)據(jù)：所述第一節(jié)點(diǎn)和所述第二節(jié)點(diǎn)分別生成與該輸入數(shù)據(jù)對(duì)應(yīng)的第一隨機(jī)數(shù)序列和第二隨機(jī)數(shù)序列；所述第一節(jié)點(diǎn)利用所述第一隨機(jī)數(shù)序列以及所述第二節(jié)點(diǎn)利用所述第二隨機(jī)數(shù)序列和所述計(jì)算模型的模型參數(shù)從而協(xié)作生成與該輸入數(shù)據(jù)對(duì)應(yīng)的模型隨機(jī)數(shù)序列；所述第一節(jié)點(diǎn)利用所述第一隨機(jī)數(shù)序列加密該輸入數(shù)據(jù)得到加密后輸入數(shù)據(jù)并將該
加密后輸入數(shù)據(jù)發(fā)送給所述第二節(jié)點(diǎn)；所述第二節(jié)點(diǎn)根據(jù)該加密后輸入數(shù)據(jù)、所述第二隨機(jī)數(shù)序列和所述計(jì)算模型的模型參數(shù)生成中間結(jié)果并將該中間結(jié)果發(fā)送給所述第一節(jié)點(diǎn)；和所述第一節(jié)點(diǎn)根據(jù)該中間結(jié)果和所述模型隨機(jī)數(shù)序列生成與該輸入數(shù)據(jù)對(duì)應(yīng)的所述推理任務(wù)的計(jì)算結(jié)果。
[0006]第一方面所描述的技術(shù)方案，因?yàn)閷?shí)現(xiàn)了第一節(jié)點(diǎn)和第二節(jié)點(diǎn)之間的雙向的數(shù)據(jù)安全隱私保護(hù)所以不需要第二節(jié)點(diǎn)也就是提供計(jì)算服務(wù)的一方為可信第三方或者具有TEE的要求，而且也保護(hù)了第二節(jié)點(diǎn)的模型參數(shù)等的數(shù)據(jù)隱私，并且具有較好的計(jì)算效率和較低的計(jì)算復(fù)雜度，從而可以充分利用既有的各種云資源和網(wǎng)絡(luò)資源例如公有云等，有利于在云計(jì)算和云網(wǎng)絡(luò)以及其它網(wǎng)絡(luò)上隱私計(jì)算的產(chǎn)品及服務(wù)。
[0007]根據(jù)第一方面的技術(shù)方案的一種可能的實(shí)現(xiàn)方式，本申請(qǐng)實(shí)施例還提供了，所述第一隨機(jī)數(shù)序列是r，所述第二隨機(jī)數(shù)序列是s，所述計(jì)算模型的模型參數(shù)包括線性成分W和偏置成分b，與該輸入數(shù)據(jù)對(duì)應(yīng)的模型隨機(jī)數(shù)序列是W
·
r+b
?
s。該輸入數(shù)據(jù)是x，該加密后輸入數(shù)據(jù)是x
?
r。該中間結(jié)果是W
·
(x
?
r)+s。與該輸入數(shù)據(jù)對(duì)應(yīng)的所述推理任務(wù)的計(jì)算結(jié)果是W
·
x+b。
[0008]根據(jù)第一方面的技術(shù)方案的一種可能的實(shí)現(xiàn)方式，本申請(qǐng)實(shí)施例還提供了，所述計(jì)算模型是神經(jīng)網(wǎng)絡(luò)模型，所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的線性成分W是所述神經(jīng)網(wǎng)絡(luò)模型的線性層的線性成分，所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的偏置成分b是所述神經(jīng)網(wǎng)絡(luò)模型的線性層的偏置成分。所述線性層包括卷積層和/或全連接層，或者，所述線性層指示了包括卷積運(yùn)算和/或全連接運(yùn)算的線性轉(zhuǎn)換。
[0009]根據(jù)第一方面的技術(shù)方案的一種可能的實(shí)現(xiàn)方式，本申請(qǐng)實(shí)施例還提供了，所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練是基于至少一個(gè)第三節(jié)點(diǎn)所提供的加密后訓(xùn)練數(shù)據(jù)，所述至少一個(gè)第三節(jié)點(diǎn)不同于所述第二節(jié)點(diǎn)，所述至少一個(gè)第三節(jié)點(diǎn)與所述第二節(jié)點(diǎn)在所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程中的數(shù)據(jù)交互是基于對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)按照復(fù)合安全協(xié)議進(jìn)行加密處理，其中，對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)按照該復(fù)合安全協(xié)議進(jìn)行加密處理包括對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的線性成分W按照差分隱私DP安全協(xié)議進(jìn)行加密處理以及對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的偏置成分b按照同態(tài)加密HE安全協(xié)議進(jìn)行加密處理。
[0010]根據(jù)第一方面的技術(shù)方案的一種可能的實(shí)現(xiàn)方式，本申請(qǐng)實(shí)施例還提供了，所述神經(jīng)網(wǎng)絡(luò)模型的更新是基于至少一個(gè)第三節(jié)點(diǎn)所提供的加密后更新數(shù)據(jù)，所述至少一個(gè)第三節(jié)點(diǎn)不同于所述第二節(jié)點(diǎn)，所述至少一個(gè)第三節(jié)點(diǎn)與所述第二節(jié)點(diǎn)在所述神經(jīng)網(wǎng)絡(luò)模型的更新過程中的數(shù)據(jù)交互是基于對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)按照復(fù)合安全協(xié)議進(jìn)行加密處理，其中，對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)按照該復(fù)合安全協(xié)議進(jìn)行加密處理包括對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的線性成分W按照DP安全協(xié)議進(jìn)行加密處理以及對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的偏置成分b按照HE安全協(xié)議進(jìn)行加密處理。
[0011]根據(jù)第一方面的技術(shù)方案的一種可能的實(shí)現(xiàn)方式，本申請(qǐng)實(shí)施例還提供了，所述至少一個(gè)第三節(jié)點(diǎn)與所述第一節(jié)點(diǎn)不屬于同一平臺(tái)、不屬于同一系統(tǒng)、不在同一地理位置或者不屬于同一網(wǎng)絡(luò)。
[0012]根據(jù)第一方面的技術(shù)方案的一種可能的實(shí)現(xiàn)方式，本申請(qǐng)實(shí)施例還提供了，包括所述第一節(jié)點(diǎn)和所述第二節(jié)點(diǎn)的該網(wǎng)絡(luò)是云網(wǎng)絡(luò)，所述第一節(jié)點(diǎn)和所述第二節(jié)點(diǎn)均是該云網(wǎng)絡(luò)的網(wǎng)絡(luò)節(jié)點(diǎn)，所述第二節(jié)點(diǎn)包括云服務(wù)器或者提供云計(jì)算服務(wù)或者提供云資源的接
入。
[0013]根據(jù)第一方面的技術(shù)方案的一種可能的實(shí)現(xiàn)方式，本申請(qǐng)實(shí)施例還提供了，所述神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用場(chǎng)景包括以下至少之一：智能交通、醫(yī)療健康、圖像處理、自然語言處理和隱私計(jì)算，所述推理任務(wù)用于完成所述神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用場(chǎng)景下的一個(gè)或者多個(gè)任務(wù)。
[0014]根據(jù)第一方面的技術(shù)方案的一種可能的實(shí)現(xiàn)方式，本申請(qǐng)實(shí)施例還提供了，所述第一隨機(jī)數(shù)序列和/或第二隨機(jī)數(shù)序列是通過對(duì)零明文進(jìn)行至少一次加密得到的至少一個(gè)零本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種用于隱私計(jì)算的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，所述方法應(yīng)用于包括第一節(jié)點(diǎn)和第二節(jié)點(diǎn)的網(wǎng)絡(luò)，所述方法包括：所述第一節(jié)點(diǎn)提供多個(gè)輸入數(shù)據(jù)用于與持有計(jì)算模型的所述第二節(jié)點(diǎn)協(xié)作完成推理任務(wù)，針對(duì)所述多個(gè)輸入數(shù)據(jù)的每一個(gè)輸入數(shù)據(jù)：所述第一節(jié)點(diǎn)和所述第二節(jié)點(diǎn)分別生成與該輸入數(shù)據(jù)對(duì)應(yīng)的第一隨機(jī)數(shù)序列和第二隨機(jī)數(shù)序列；所述第一節(jié)點(diǎn)利用所述第一隨機(jī)數(shù)序列以及所述第二節(jié)點(diǎn)利用所述第二隨機(jī)數(shù)序列和所述計(jì)算模型的模型參數(shù)從而協(xié)作生成與該輸入數(shù)據(jù)對(duì)應(yīng)的模型隨機(jī)數(shù)序列；所述第一節(jié)點(diǎn)利用所述第一隨機(jī)數(shù)序列加密該輸入數(shù)據(jù)得到加密后輸入數(shù)據(jù)并將該加密后輸入數(shù)據(jù)發(fā)送給所述第二節(jié)點(diǎn)；所述第二節(jié)點(diǎn)根據(jù)該加密后輸入數(shù)據(jù)、所述第二隨機(jī)數(shù)序列和所述計(jì)算模型的模型參數(shù)生成中間結(jié)果并將該中間結(jié)果發(fā)送給所述第一節(jié)點(diǎn)；和所述第一節(jié)點(diǎn)根據(jù)該中間結(jié)果和所述模型隨機(jī)數(shù)序列生成與該輸入數(shù)據(jù)對(duì)應(yīng)的所述推理任務(wù)的計(jì)算結(jié)果。2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，所述第一隨機(jī)數(shù)序列是r，所述第二隨機(jī)數(shù)序列是s，所述計(jì)算模型的模型參數(shù)包括線性成分W和偏置成分b，與該輸入數(shù)據(jù)對(duì)應(yīng)的模型隨機(jī)數(shù)序列是W
·
r+b
?
s。3.根據(jù)權(quán)利要求2所述的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，該輸入數(shù)據(jù)是x，該加密后輸入數(shù)據(jù)是x
?
r。4.根據(jù)權(quán)利要求3所述的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，該中間結(jié)果是W
·
(x
?
r)+s。5.根據(jù)權(quán)利要求4所述的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，與該輸入數(shù)據(jù)對(duì)應(yīng)的所述推理任務(wù)的計(jì)算結(jié)果是W
·
x+b。6.根據(jù)權(quán)利要求5所述的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，所述計(jì)算模型是神經(jīng)網(wǎng)絡(luò)模型，所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的線性成分W是所述神經(jīng)網(wǎng)絡(luò)模型的線性層的線性成分，所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的偏置成分b是所述神經(jīng)網(wǎng)絡(luò)模型的線性層的偏置成分。7.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，所述線性層包括卷積層和/或全連接層，或者，所述線性層指示了包括卷積運(yùn)算和/或全連接運(yùn)算的線性轉(zhuǎn)換。8.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練是基于至少一個(gè)第三節(jié)點(diǎn)所提供的加密后訓(xùn)練數(shù)據(jù)，所述至少一個(gè)第三節(jié)點(diǎn)不同于所述第二節(jié)點(diǎn)，所述至少一個(gè)第三節(jié)點(diǎn)與所述第二節(jié)點(diǎn)在所述神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程中的數(shù)據(jù)交互是基于對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)按照復(fù)合安全協(xié)議進(jìn)行加密處理，其中，對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)按照該復(fù)合安全協(xié)議進(jìn)行加密處理包括對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的線性成分W按照差分隱私DP安全協(xié)議進(jìn)行加密處理以及對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的偏置成分b按照同態(tài)加密HE安全協(xié)議進(jìn)行加密處理。9.根據(jù)權(quán)利要求6所述的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，所述神經(jīng)網(wǎng)絡(luò)模型的更新是基于至少一個(gè)第三節(jié)點(diǎn)所提供的加密后更新數(shù)據(jù)，所述至少一個(gè)第三節(jié)點(diǎn)不同于所述第二節(jié)點(diǎn)，所述至少一個(gè)第三節(jié)點(diǎn)與所述第二節(jié)點(diǎn)在所述神經(jīng)網(wǎng)絡(luò)模型的更新過程中的數(shù)據(jù)交互是基于對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)按照復(fù)合安全協(xié)議進(jìn)行加密處理，其中，對(duì)所述
神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)按照該復(fù)合安全協(xié)議進(jìn)行加密處理包括對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的線性成分W按照DP安全協(xié)議進(jìn)行加密處理以及對(duì)所述神經(jīng)網(wǎng)絡(luò)模型的模型參數(shù)的偏置成分b按照HE安全協(xié)議進(jìn)行加密處理。10.根據(jù)權(quán)利要求8所述的網(wǎng)絡(luò)節(jié)點(diǎn)協(xié)作方法，其特征在于，所述至少一個(gè)第三節(jié)點(diǎn)與所述第一節(jié)點(diǎn)不屬于同一平臺(tái)、不屬于同一系統(tǒng)、不在同一地理位置或者不...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李晉杰，
申請(qǐng)(專利權(quán))人：深圳致星科技有限公司，
類型：發(fā)明
國別省市：