【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)庫，特別涉及一種基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法及系統(tǒng)、設(shè)備。
技術(shù)介紹
1、相比傳統(tǒng)的集中式深度學習，由于聯(lián)邦學習中數(shù)據(jù)分布往往是異構(gòu)且不均的，樣本往往更加高維。數(shù)據(jù)庫的多模態(tài)數(shù)據(jù)一般包括文本、音頻、圖片、視頻等多模態(tài)數(shù)據(jù)，而且再利用差分隱私技術(shù)后，優(yōu)化模型結(jié)構(gòu)更加復雜。基于差分隱私的聯(lián)邦學習方法在提供隱私保護的同時保持模型的可用性往往更加具有挑戰(zhàn)性，一方面利用中心化差分隱私技術(shù)擾動模型參數(shù)能夠提供用戶級的隱私保證，抵抗成員推理攻擊，但是并不能抵抗模型重構(gòu)攻擊。另一方面，采用更加嚴格的本地化差分隱私技術(shù)能夠提供記錄級的隱私保證，但是高維樣本或者高維參數(shù)拆分隱私預算，導致每一維度分配的隱私預算過低，噪聲添加大，會嚴重地影響聯(lián)邦學習的模型收斂速度和模型精度。
技術(shù)實現(xiàn)思路
1、為了解決現(xiàn)有存在的技術(shù)問題，本專利技術(shù)實施例提供一種基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法及終端設(shè)備，能實現(xiàn)本地化的數(shù)據(jù)隱私保護，也可以聯(lián)邦學習的模型收斂速度和模型精度。
2、第一方面，提供一種基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，包括：獲取應(yīng)用于數(shù)據(jù)庫的原始多模態(tài)數(shù)據(jù)及標簽數(shù)據(jù)，所述原始多模態(tài)數(shù)據(jù)包括多個類別的數(shù)據(jù)集，每種類別對應(yīng)一數(shù)據(jù)集；從每個數(shù)據(jù)集中提取每個數(shù)據(jù)集的多個主要特征的數(shù)據(jù)；對每個數(shù)據(jù)集的多個主要特征的數(shù)據(jù)執(zhí)行第一變換處理，得到每個數(shù)據(jù)集對應(yīng)的頻域數(shù)據(jù)；對每個數(shù)據(jù)集對應(yīng)的頻域數(shù)據(jù)執(zhí)行隨機擾動及第二變換處理，得到每個數(shù)據(jù)集對應(yīng)的擾動樣本，并將每個數(shù)據(jù)集對應(yīng)的擾
3、第二方面，提供一種基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習系統(tǒng)，包括多個終端設(shè)備及與所述多個終端設(shè)備通信的中央服務(wù)器，終端設(shè)備執(zhí)行本申請實施例所提供的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法的步驟，每個終端設(shè)備將各自對應(yīng)的模型參數(shù)發(fā)送給所述中央服務(wù)器，所述中央服務(wù)器獲取多個終端設(shè)備對應(yīng)的模型參數(shù)，并對多個終端設(shè)備對應(yīng)的模型參數(shù)進行聚合，得到聚合后的模型參數(shù)，將聚合后的模型參數(shù)發(fā)送給多個終端設(shè)備。
4、可選的，每個終端設(shè)備與中央服務(wù)器通過加密通信方式進行通信，每個終端設(shè)備接收到聚合后的模型參數(shù)后，將存儲的模型參數(shù)更新為聚合后的模型參數(shù)。
5、第三方面，提供一種終端設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時，使得所述處理器執(zhí)行本申請實施例所提供的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法的步驟。
6、本申請實施例通過獲取數(shù)據(jù)庫中的多模態(tài)數(shù)據(jù)及標簽數(shù)據(jù)，對多模態(tài)數(shù)據(jù)中各個類別的數(shù)據(jù)集進行特征提取，得到表示各個數(shù)據(jù)集的主要特征數(shù)據(jù)，從而可以降低數(shù)據(jù)維度及便于提高后續(xù)模型訓練的收斂速度；通過對各個數(shù)據(jù)集的多個主要特征的數(shù)據(jù)執(zhí)行第一變化處理，可以得到各個數(shù)據(jù)集的頻域數(shù)據(jù)，便于捕獲數(shù)據(jù)集中多個特征間的周期性及重復性信息，進而提高壓縮有效性；通過對各個數(shù)據(jù)集的頻域數(shù)據(jù)執(zhí)行隨機擾動，可以實現(xiàn)本地化的差分隱私保護，從而提高數(shù)據(jù)庫的安全性，再對各個數(shù)據(jù)集對應(yīng)的擾動后的頻域數(shù)據(jù)執(zhí)行第二變換處理，從而可以得到各個數(shù)據(jù)集對應(yīng)的輕量級擾動樣本，基于各個數(shù)據(jù)集對應(yīng)的輕量級擾動樣本形成訓練樣本后，可以提高聯(lián)邦學習的模型收斂速度和模型精度；因此本申請可以實現(xiàn)本地化的數(shù)據(jù)隱私保護，也可以聯(lián)邦學習的模型收斂速度和模型精度。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，應(yīng)用于終端設(shè)備，其特征在于，包括：
2.如權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，所述從每個數(shù)據(jù)集中提取每個數(shù)據(jù)集對應(yīng)的多個主要特征的數(shù)據(jù)包括：
3.如權(quán)利要求2所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，所述計算每個數(shù)據(jù)集中每個特征對應(yīng)的權(quán)重包括：
4.如權(quán)利要求3所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，每個數(shù)據(jù)集中每個特征對應(yīng)的平均信息增益計算如下：
5.如權(quán)利要求4所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，每個特征被選擇的概率的計算如下：用表示被選擇的概率，的計算公式如下：
6.如權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，所述對每個數(shù)據(jù)集的多個主要特征的數(shù)據(jù)執(zhí)行第一變換處理，得到每個數(shù)據(jù)集對應(yīng)的頻域數(shù)據(jù)包括：
7.如權(quán)利要求6所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，所述對每個數(shù)據(jù)集對應(yīng)的頻域數(shù)據(jù)執(zhí)行隨機擾動及第二變換處理，得到每個數(shù)據(jù)集對
8.如權(quán)利要求7所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其中所述隨機擾動公式為：
9.一種基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習系統(tǒng)，其特征在于，包括：多個終端設(shè)備及與所述多個終端設(shè)備通信的中央服務(wù)器，其中將如權(quán)利要求1至8任一項所述方法的步驟應(yīng)用于終端設(shè)備中，每個終端設(shè)備將各自對應(yīng)的模型參數(shù)發(fā)送給所述中央服務(wù)器，所述中央服務(wù)器獲取多個終端設(shè)備對應(yīng)的模型參數(shù)，并對多個終端設(shè)備對應(yīng)的模型參數(shù)進行聚合，得到聚合后的模型參數(shù)，將聚合后的模型參數(shù)發(fā)送給多個終端設(shè)備。
10.如權(quán)利要求9所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習系統(tǒng)，其特征在于，每個終端設(shè)備與中央服務(wù)器通過加密通信方式進行通信，每個終端設(shè)備接收到聚合后的模型參數(shù)后，將存儲的模型參數(shù)更新為聚合后的模型參數(shù)。
...【技術(shù)特征摘要】
1.一種基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，應(yīng)用于終端設(shè)備，其特征在于，包括：
2.如權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，所述從每個數(shù)據(jù)集中提取每個數(shù)據(jù)集對應(yīng)的多個主要特征的數(shù)據(jù)包括：
3.如權(quán)利要求2所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，所述計算每個數(shù)據(jù)集中每個特征對應(yīng)的權(quán)重包括：
4.如權(quán)利要求3所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，每個數(shù)據(jù)集中每個特征對應(yīng)的平均信息增益計算如下：
5.如權(quán)利要求4所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，每個特征被選擇的概率的計算如下：用表示被選擇的概率，的計算公式如下：
6.如權(quán)利要求1所述的基于多模態(tài)數(shù)據(jù)的差分隱私化聯(lián)邦學習方法，其特征在于，所述對每個數(shù)據(jù)集的多個主要特征的數(shù)據(jù)執(zhí)行第一變換處理，得到每個數(shù)據(jù)集對應(yīng)的頻域數(shù)據(jù)包括：
7.如權(quán)利要求6所述的基于多模態(tài)數(shù)據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曾焱，
申請(專利權(quán))人：深圳九有數(shù)據(jù)庫有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。