【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及數(shù)據(jù)安全，具體為一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法。
技術(shù)介紹
1、為了應(yīng)對(duì)來(lái)自大規(guī)模分布式計(jì)算設(shè)備(如手機(jī)、無(wú)人機(jī)和車(chē)輛)激增的大數(shù)據(jù)，分布式機(jī)器學(xué)習(xí)已經(jīng)變得越來(lái)越重要和不可或缺。最著名的是由谷歌提出的聯(lián)邦學(xué)習(xí)。在聯(lián)邦學(xué)習(xí)中，多個(gè)客戶端與一個(gè)中央?yún)?shù)服務(wù)器協(xié)同訓(xùn)練人工智能模型。此外，客戶端將不再直接共享和發(fā)布原始原始數(shù)據(jù)，同時(shí)進(jìn)行本地訓(xùn)練和交換人工智能模型，這帶來(lái)了對(duì)數(shù)據(jù)竊聽(tīng)攻擊的隱私保護(hù)優(yōu)勢(shì)。然而，惡意對(duì)手仍然可以從披露人工智能模型中推斷和提取隱私敏感信息，即成員推理攻擊和模型反演攻擊。因此，當(dāng)對(duì)手獲得模型參數(shù)的完整信息時(shí)，迫切需要研究有原則的隱私保護(hù)聯(lián)邦學(xué)習(xí)技術(shù)。而差分隱私是一種很有前途的提供標(biāo)準(zhǔn)化隱私保證的方法，它已被用于在機(jī)器學(xué)習(xí)中防止數(shù)據(jù)隱私泄漏。因此，基于差分隱私的聯(lián)邦學(xué)習(xí)已經(jīng)出現(xiàn)來(lái)解決聯(lián)邦學(xué)習(xí)中的客戶端級(jí)隱私問(wèn)題。然而，現(xiàn)有的基于差分隱私的聯(lián)邦學(xué)習(xí)框架通常隱含地假設(shè)客戶端在個(gè)性化系統(tǒng)中具有統(tǒng)一的隱私態(tài)度，這在整個(gè)人口中是不現(xiàn)實(shí)的。在一個(gè)大規(guī)模的分布式環(huán)境中，客戶端有不同的隱私態(tài)度和期望是合理的。如今，異構(gòu)隱私態(tài)度被許多應(yīng)用程序承認(rèn)。例如，客戶端可以為他們?cè)谏缃痪W(wǎng)絡(luò)(如facebook和twitter)上的個(gè)人資料設(shè)置個(gè)人定制的隱私設(shè)置。一方面，客戶端傾向于對(duì)個(gè)性化的應(yīng)用程序和服務(wù)進(jìn)行細(xì)粒度的隱私保護(hù)。另一方面，如果在所有機(jī)(即使是那些不關(guān)心隱私的客戶端)上強(qiáng)制執(zhí)行相同的隱私級(jí)別，那么它可能會(huì)導(dǎo)致學(xué)習(xí)效用的不必要的退化(例如，模型的準(zhǔn)確性)。
2、因此，設(shè)計(jì)一種具有異構(gòu)隱私保護(hù)的新型
3、以及中國(guó)專(zhuān)利公開(kāi)了一種面向異構(gòu)數(shù)據(jù)的本地差分隱私聯(lián)邦學(xué)習(xí)訓(xùn)練方法及系統(tǒng)，cn115935411a，包括如下步驟：接收服務(wù)器分發(fā)的初始模型及其初始化參數(shù)，對(duì)模型進(jìn)行訓(xùn)練，得到局部模型；將局部模型歸一化層的中間參數(shù)保存至本地；對(duì)局部模型的非歸一化層中間參數(shù)進(jìn)行梯度加密處理，并上傳至服務(wù)器，便于服務(wù)器進(jìn)行梯度聚合處理，進(jìn)而更新全局模型。
4、但是現(xiàn)有技術(shù)中心，包括上述專(zhuān)利，在實(shí)現(xiàn)基于差分隱私的聯(lián)邦學(xué)習(xí)框架上依然存在客戶端數(shù)據(jù)非獨(dú)立同分布的問(wèn)題，由于聯(lián)邦學(xué)習(xí)系統(tǒng)數(shù)據(jù)非獨(dú)立同分布，導(dǎo)致隱私異構(gòu)問(wèn)題，繼而導(dǎo)致模型精度較低，在進(jìn)行聯(lián)邦學(xué)習(xí)的過(guò)程中均沒(méi)有考慮到客戶端之間的關(guān)聯(lián)程度，由于不同客戶端可能存在一定的相關(guān)性，因此亟需一種在客戶端隱私異構(gòu)環(huán)境下的基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，捕獲聯(lián)邦學(xué)習(xí)中不同客戶端的隱私期望，來(lái)提高全局模型的測(cè)試精度。
技術(shù)實(shí)現(xiàn)思路
1、(一)解決的技術(shù)問(wèn)題
2、針對(duì)現(xiàn)有技術(shù)的不足，本專(zhuān)利技術(shù)提供了一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，解決現(xiàn)有技術(shù)中存在的客戶端數(shù)據(jù)非獨(dú)立同分布的問(wèn)題，由于聯(lián)邦學(xué)習(xí)系統(tǒng)數(shù)據(jù)非獨(dú)立同分布，導(dǎo)致隱私異構(gòu)問(wèn)題，繼而導(dǎo)致模型精度較低的問(wèn)題。
3、(二)技術(shù)方案
4、為實(shí)現(xiàn)以上目的，本專(zhuān)利技術(shù)通過(guò)以下技術(shù)方案予以實(shí)現(xiàn)，本專(zhuān)利技術(shù)提供了一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，該方法包括：
5、初始化模型下發(fā)，中央服務(wù)器初始化全局模型參數(shù)并下發(fā)給所有客戶端；
6、本地模型訓(xùn)練，各個(gè)客戶端根據(jù)自身?yè)碛械谋镜財(cái)?shù)據(jù)依據(jù)全局模型參數(shù)進(jìn)行訓(xùn)練；
7、訓(xùn)練后模型的聚合更新，將經(jīng)本地訓(xùn)練后的模型參數(shù)上傳到中央服務(wù)器進(jìn)行聚合更新；
8、客戶端分組和全局聚合，中央服務(wù)器接收客戶端發(fā)送的模型參數(shù)后對(duì)客戶端進(jìn)行數(shù)據(jù)相似度判斷，對(duì)客戶端進(jìn)行劃分和動(dòng)態(tài)分組，將關(guān)聯(lián)程度高的客戶端劃分至同一子集中，添加噪聲后在同一組內(nèi)實(shí)施相同級(jí)別的差分隱私技術(shù)，在不同組間實(shí)施不同級(jí)別的差分隱私技術(shù)；
9、更新后的模型下發(fā)，中央服務(wù)器對(duì)所有組進(jìn)行加權(quán)融合，獲取新一輪全局模型，并下發(fā)給所有客戶端，直至客戶端更新次數(shù)達(dá)到更新次數(shù)閾值。
10、本專(zhuān)利技術(shù)進(jìn)一步地設(shè)置為：所述客戶端分組和全局聚合步驟中：
11、中央服務(wù)器接收客戶端發(fā)送的模型參數(shù)，并根據(jù)jensen-shannon?divergence?js散度對(duì)客戶端進(jìn)行數(shù)據(jù)相似度判斷，結(jié)合客戶端之間的相關(guān)程度對(duì)客戶端做更細(xì)致的劃分，根據(jù)散度值選取閾值對(duì)客戶端進(jìn)行動(dòng)態(tài)分組；
12、本專(zhuān)利技術(shù)進(jìn)一步地設(shè)置為：所述客戶端分組和全局聚合步驟中：
13、關(guān)聯(lián)程度高的客戶端劃分至同一子集中，向不同客戶端組分別添加噪聲；
14、在同一組內(nèi)實(shí)施相同級(jí)別的差分隱私技術(shù)，在不同組間實(shí)施不同級(jí)別的差分隱私技術(shù)；
15、本專(zhuān)利技術(shù)進(jìn)一步地設(shè)置為：所述更新后的模型下發(fā)步驟中：
16、中央服務(wù)器對(duì)所有組進(jìn)行加權(quán)融合，得到新一輪的全局模型，并下發(fā)給所有客戶端，直至客戶端更新次數(shù)達(dá)到更新次數(shù)閾值；
17、中央服務(wù)器重復(fù)執(zhí)行接收所有客戶端更新上傳的模型參數(shù)，對(duì)所有客戶端基于js散度進(jìn)行分組聚合得到新的全局模型；
18、然后所有客戶端反饋新一輪的全局模型，直至聯(lián)邦學(xué)習(xí)系統(tǒng)中所有客戶端內(nèi)全局模型收斂或者達(dá)到設(shè)定的全局模型精度；
19、本專(zhuān)利技術(shù)進(jìn)一步地設(shè)置為：所述初始化模型下發(fā)步驟中全局模型參數(shù)由中央服務(wù)器初始化并下發(fā)至所有客戶端；
20、所述本地模型訓(xùn)練步驟中客戶端接收全局模型參數(shù)，并根據(jù)自身?yè)碛械谋镜財(cái)?shù)據(jù)進(jìn)行訓(xùn)練；
21、所述訓(xùn)練后模型的聚合更新步驟中客戶端發(fā)送其經(jīng)本地訓(xùn)練后更新的全局模型參數(shù)至中央服務(wù)器；
22、所述更新后的模型下發(fā)步驟中客戶端重復(fù)執(zhí)行根據(jù)中央服務(wù)器下發(fā)的全局模型參數(shù)進(jìn)行本地訓(xùn)練，并將訓(xùn)練后更新的模型參數(shù)再上傳至中央服務(wù)器，直至聯(lián)邦學(xué)習(xí)系統(tǒng)中所有客戶端內(nèi)全局模型收斂或者達(dá)到設(shè)定的全局模型精度；
23、本專(zhuān)利技術(shù)進(jìn)一步地設(shè)置為：所述初始化模型下發(fā)步驟中：
24、現(xiàn)有n個(gè)客戶端，每個(gè)客戶端都具有其對(duì)應(yīng)的數(shù)據(jù)集di；所述n個(gè)客戶端共同訓(xùn)練一個(gè)聯(lián)邦全局模型，并且不同的客戶端之間的數(shù)據(jù)集是非獨(dú)立同分布的；即，對(duì)于任意的i≠j，存在關(guān)系di≠dj；
25、n個(gè)客戶端組成的集合c被分成子集，其中包含的客戶端根據(jù)其數(shù)據(jù)相似度進(jìn)行分組，用c1，c2，...，cl表示。用ni＝|ci|表示子集ci中的客戶端數(shù)量；
26、所述本地模型訓(xùn)練步驟中：
27、在第t輪訓(xùn)練期間，客戶端在全局模型訓(xùn)練期間不需要額外的步驟；
28、客戶端使本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，該方法包括：
2.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，所述客戶端分組和全局聚合步驟中：
3.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，所述客戶端分組和全局聚合步驟中：
4.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，所述更新后的模型下發(fā)步驟中：
5.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于：
6.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，所述初始化模型下發(fā)步驟中：
7.根據(jù)權(quán)利要求6所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，所述客戶端分組和全局聚合步驟中：
8.一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)系統(tǒng)，其特征在于，該系統(tǒng)包括：
9.一種終端設(shè)備，其特征在于，該設(shè)備包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的聯(lián)邦學(xué)習(xí)系統(tǒng)的控制程序，所述聯(lián)邦
10.一種存儲(chǔ)介質(zhì)，其特征在于，該介質(zhì)應(yīng)用于計(jì)算機(jī)，所述存儲(chǔ)介質(zhì)上存儲(chǔ)有聯(lián)邦學(xué)習(xí)系統(tǒng)的控制程序，所述聯(lián)邦學(xué)習(xí)系統(tǒng)的控制程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任一項(xiàng)所述的基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法。
...【技術(shù)特征摘要】
1.一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，該方法包括：
2.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，所述客戶端分組和全局聚合步驟中：
3.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，所述客戶端分組和全局聚合步驟中：
4.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，所述更新后的模型下發(fā)步驟中：
5.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于：
6.根據(jù)權(quán)利要求1所述的一種基于客戶端分組的聯(lián)邦學(xué)習(xí)隱私保護(hù)方法，其特征在于，所述初始化模型下發(fā)步驟中：
7...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：蔣明娜，吳宣夠，衛(wèi)琳娜，鄧東上，
申請(qǐng)(專(zhuān)利權(quán))人：安徽工業(yè)大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。