【技術實現步驟摘要】
本專利技術涉及深度學習，尤其涉及一種針對深度學習模型的機器遺忘方法及裝置。
技術介紹
1、機器學習模型已成為各行業不可或缺的工具，組織和用戶廣泛利用其強大功能。然而，這種廣泛應用也引發了用戶隱私的重大擔憂。一些相關法規要求了在使用用戶數據之前，必須獲得用戶的明確同意，并且用戶有權隨時撤回這一同意。因此，迫切需要能夠從模型中刪除指定數據的算法，這要求撤回之前用于訓練模型的數據。
2、然而，由于機器學習模型的黑箱特性以及數據與模型參數之間關系的復雜性，撤回已經被模型學習的數據具有相當大的挑戰性。為此，機器遺忘技術（machineunlearning，mu）逐漸成為研究熱點，其目標是在確保保留數據準確性的同時，刪除特定的遺忘數據。
3、一種直觀的機器遺忘方法是從訓練集中刪除遺忘數據并從頭開始重新訓練模型，這種模型通常被稱為“重新訓練模型”或“黃金模型”。然而，隨著機器學習技術的發展以及模型規模和數據量的指數級增長，這種方法帶來了巨大的計算成本，在實際應用中難以實現。
4、目前，機器遺忘的研究主要分為精確遺忘和近似遺忘兩大類。精確遺忘主要致力于提高從頭再訓練的效率，而近似遺忘則通過影響函數和知識轉移等技術實現更高效的近似遺忘。盡管已取得顯著進展，機器遺忘在靈活性和有效性方面仍然面臨挑戰，特別是在支持不同的數據訪問場景和數據粒度層次的同時，如何保持最佳的遺忘性能仍需進一步研究。
技術實現思路
1、本專利技術提供一種針對深度學習模型的機器遺忘方法及裝置，用以
2、本專利技術提供一種針對深度學習模型的機器遺忘方法，包括：
3、獲取表征被請求刪除數據的第一類數據和表征額外引入數據的第二類數據；
4、在所述第二類數據在待遺忘模型中的表現與所述第一類數據在目標模型中的表現之間的表現差異迭代至小于預設閾值的情況下，根據當前目標模型確定遺忘后的模型，其中，迭代前的所述目標模型由所述待遺忘模型初始化得到。
5、根據本專利技術提供的一種針對深度學習模型的機器遺忘方法，所述獲取表征被請求刪除數據的第一類數據和表征額外引入數據的第二類數據的步驟，具體包括：
6、在所述被請求刪除數據可訪問的情況下，將所述被請求刪除數據確定為所述第一類數據；否則，隨機生成與所述被請求刪除數據標簽類別相同的一組數據作為所述第一類數據；
7、在額外引入數據可訪問的情況下，將所述額外引入數據確定為所述第二類數據；否則，隨機生成與所述額外引入數據標簽類別相同的一組數據作為所述第二類數據；
8、其中，所述額外引入數據與所述被請求刪除數據的標簽類別不同。
9、根據本專利技術提供的一種針對深度學習模型的機器遺忘方法，所述在所述第二類數據在待遺忘模型中的表現差異與所述第一類數據在目標模型中的表現差異迭代至小于預設閾值的情況下，根據當前目標模型確定遺忘后的模型的步驟之前，還包括：
10、確定所述第一類數據在所述目標模型和使用所述第一類數據訓練得到的遺忘數據模型上的第一分布差異；
11、確定所述第二類數據在所述待遺忘模型和使用所述第二類數據訓練得到的額外數據模型上的第二分布差異；
12、根據所述第一分布差異和所述第二分布差異確定所述表現差異。
13、根據本專利技術提供的一種針對深度學習模型的機器遺忘方法，所述在所述第二類數據在待遺忘模型中的表現差異與所述第一類數據在目標模型中的表現差異迭代至小于預設閾值的情況下，根據當前目標模型確定遺忘后的模型的步驟之前，還包括：
14、確定所述第二類數據中的訓練集在所述目標模型和使用所述第二類數據訓練得到的額外數據模型上的第三分布差異；
15、確定所述第二類數據中的測試集在所述目標模型和使用所述第二類數據訓練得到的額外數據模型上的第四分布差異；
16、根據所述第三分布差異與所述第四分布差異之間差值的絕對值確定所述預設閾值。
17、根據本專利技術提供的一種針對深度學習模型的機器遺忘方法，所述第一分布差異和所述第二分布差異根據kl散度確定。
18、根據本專利技術提供的一種針對深度學習模型的機器遺忘方法，所述根據當前目標模型確定遺忘后的模型的步驟，具體包括：
19、使用部分未被請求刪除的數據對所述當前目標模型進行訓練，將訓練完成的模型作為所述遺忘后的模型。
20、本專利技術還提供一種針對深度學習模型的機器遺忘裝置，包括：
21、獲取模塊，用于獲取表征被請求刪除數據的第一類數據和表征額外引入數據的第二類數據；
22、遺忘模塊，用于在所述第二類數據在待遺忘模型中的表現與所述第一類數據在目標模型中的表現之間的表現差異迭代至小于預設閾值的情況下，根據當前目標模型確定遺忘后的模型，其中，迭代前的所述目標模型由所述待遺忘模型初始化得到。
23、本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種所述針對深度學習模型的機器遺忘方法。
24、本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述任一種所述針對深度學習模型的機器遺忘方法。
25、本專利技術還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述任一種所述針對深度學習模型的機器遺忘方法。
26、本專利技術提供的針對深度學習模型的機器遺忘方法及裝置，通過判斷被請求刪除數據和額外引入數據的可訪問性，獲取用于表征被請求刪除數據的第一類數據和表征額外引入數據的第二類數據，基于模型對齊的準則實現機器遺忘，提高了機器遺忘任務的靈活性、實用性和適應性，能夠適用于不同的機器遺忘場景。
本文檔來自技高網...【技術保護點】
1.一種針對深度學習模型的機器遺忘方法，其特征在于，包括：
2.根據權利要求1所述的針對深度學習模型的機器遺忘方法，其特征在于，所述獲取表征被請求刪除數據的第一類數據和表征額外引入數據的第二類數據的步驟，具體包括：
3.根據權利要求1或2所述的針對深度學習模型的機器遺忘方法，其特征在于，所述在所述第二類數據在待遺忘模型中的表現差異與所述第一類數據在目標模型中的表現差異迭代至小于預設閾值的情況下，根據當前目標模型確定遺忘后的模型的步驟之前，還包括：
4.根據權利要求1或2所述的針對深度學習模型的機器遺忘方法，其特征在于，所述在所述第二類數據在待遺忘模型中的表現差異與所述第一類數據在目標模型中的表現差異迭代至小于預設閾值的情況下，根據當前目標模型確定遺忘后的模型的步驟之前，還包括：
5.根據權利要求3所述的針對深度學習模型的機器遺忘方法，其特征在于，所述第一分布差異和所述第二分布差異根據KL散度確定。
6.根據權利要求1或2所述的針對深度學習模型的機器遺忘方法，其特征在于，所述根據當前目標模型確定遺忘后的模型的步驟，具體包括
7.一種針對深度學習模型的機器遺忘裝置，其特征在于，包括：
8.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至6任一項所述針對深度學習模型的機器遺忘方法。
9.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述針對深度學習模型的機器遺忘方法。
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述針對深度學習模型的機器遺忘方法。
...【技術特征摘要】
1.一種針對深度學習模型的機器遺忘方法，其特征在于，包括：
2.根據權利要求1所述的針對深度學習模型的機器遺忘方法，其特征在于，所述獲取表征被請求刪除數據的第一類數據和表征額外引入數據的第二類數據的步驟，具體包括：
3.根據權利要求1或2所述的針對深度學習模型的機器遺忘方法，其特征在于，所述在所述第二類數據在待遺忘模型中的表現差異與所述第一類數據在目標模型中的表現差異迭代至小于預設閾值的情況下，根據當前目標模型確定遺忘后的模型的步驟之前，還包括：
4.根據權利要求1或2所述的針對深度學習模型的機器遺忘方法，其特征在于，所述在所述第二類數據在待遺忘模型中的表現差異與所述第一類數據在目標模型中的表現差異迭代至小于預設閾值的情況下，根據當前目標模型確定遺忘后的模型的步驟之前，還包括：
5.根據權利要求3所述的針對深度學習模型的機器遺忘方法，其特征在于...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。