【技術實現步驟摘要】
本專利技術涉及圖像處理，尤其涉及一種基于逆向的文生圖擴散模型記憶問題的度量方法和設備。
技術介紹
1、擴散模型在圖像、視頻及三維模型生成等領域顯示出卓越的能力，衍生出大量的aigc(artificial?intelligence?generated?content，人工智能生成內容)商業系統和圖像生成工具，例如stable?diffusion、midjourney、dalle和imagen等圖像生成工具吸引了成百上千萬的用戶。擴散模型是一種數據生成理論和方法，結合深度學習技術，可用于對真實數據進行擬合，能夠實現圖像、視頻、音樂等各種數據類型的生成。擴散模型生成還可以引入條件，實現條件化的生成，比如文本生成圖像，即以一段文本為條件，生成符合文本描述的圖像。與其他圖像合成技術相比，擴散模型訓練穩定，擴展性強，生成內容的質量更高。
2、然而擴散模型一定條件下會頻繁生成某些圖像，形象地稱之為圖像生成模型記住了這些圖像，這也被稱為圖像生成模型的記憶問題。記憶問題違背了對圖像生成模型的預期，技術開發人員不希望模型刻板地記憶某些數據，期望其能夠生成多樣化的數據。另外，如果記憶問題發生在涉及版權、隱私等問題的數據上，將帶來潛在的安全風險。因此，有必要針對記憶問題對擴散模型進行審計，以全面準確地分析其記憶風險。比如，公開號為cn117633899?a的專利技術申請中公開了一種基于掩碼的人臉圖像生成模型隱私保護方法、系統及裝置，通過人臉圖像生成模型獲得人臉特征的關注程度，基于人臉特征的關注程度訓練深度偽造人臉生成模型，用于保護人臉數據集
3、文本生成圖像擴散模型也會存在訓練數據記憶的風險，具體表現為，當輸入某段提示文本時，模型可能會生成與某張訓練圖像非常相似的圖像。比如，參考文獻1(carlinin，hayes?j，nasr?m，et?al，extracting?training?data?from?diffusion?models，32ndusenix?security?symposium(usenix?security23)，2023，5253-5270.)基于文本生圖擴散模型提取訓練數據，輸入提示文本用于檢測數據記憶問題，減少圖像生成過程中隱私泄露，具體為從文生圖擴散模型訓練集中搜集大量的圖像描述文本，接著將每一段描述文本輸入到擴散模型中，采用不同的隨機噪聲進行生成，得到大量的生成圖像。對于每一段描述文本生成的若干張圖像(500張)進行檢測，判斷這些生成圖像是否相同，如果相同的圖像超過10張，則認為這一段描述文本會引發記憶風險，最后判斷這些相同的圖像是否是描述文本在訓練集中對應的圖像；參考文獻2(somepalli?g，singlav，goldblum?m，et?a1，diffusionart?or?digital?forgery？investigating?data?replication?in?diffusion?models，proceedings?of?the?ieee/cvf?conference?on?computer?vision?and?patternrecognition，2023，6048-6058.)提出的技術與參考文獻1類似，區別在于參考文獻1利用了一個預訓練的圖像檢索模型sscd來檢測生成的圖像中是否存在與訓練圖像非常相似的圖像。
4、這些工作能夠在一定程度上解決圖像生成模型的記憶風險，減少圖像生成過程中隱私泄露。但是它們都是基于提示文本的分析技術，通過隨機生成圖像，繼而檢測是否存在與訓練圖像相似的內容，會受生成過程中的隨機性影響；另外現有技術都不能用于連續準確地量化任意一張圖像的記憶風險，因此對擴散模型記憶風險進行全面、準確地審計，是保護圖像生成數據安全亟待解決的問題。
技術實現思路
1、本專利技術目的是提供一種基于文生圖擴散模型記憶問題的度量方法和設備，基于提示文本分布和噪聲分布開發的記憶問題的度量方法和設備，用于對任意一張圖像進行分析，判斷圖像生成的記憶問題；并提供記憶問題的度量指標，用于準確量化圖像生成的記憶風險，實現對擴散模型記憶風險全面和準確地審計，減弱圖像生成過程中的隨機性影響。
2、為實現上述專利技術目的，實施例提供的一種基于逆向的文生圖擴散模型的記憶問題的度量方法和設備，包括基于逆向的文生圖擴散模型的記憶問題的度量方法和基于記憶問題的度量設備。
3、在一個實施例中，所述的基于逆向的文生圖擴散模型記憶問題的度量方法，包括以下步驟：
4、基于待評估圖像在文生圖擴散模型的加噪過程構建噪聲分布，同時基于文生圖擴散模型的文本編碼器構建提示文本分布；
5、定義噪聲分布的敏感度為來自于噪聲分布的隨機噪聲并聯合從提示文本分布中采樣的提示文本生成待評估圖像的概率，基于敏感度構建記憶問題度量指標函數；
6、通過基于提示文本分布及噪聲分布構建的去噪誤差和基于噪聲分布構建的正態性正則構建加權的目標函數；
7、通過適應性優化算法對加權的目標函數進行優化獲得最優提示文本分布和噪聲分布，基于最優噪聲分布對記憶問題度量指標函數進行計算，獲得記憶問題度量指標。
8、在一個實施例中，所述的基于文生圖擴散模型的文本編碼器構建提示文本分布，包括：
9、(1)文本編碼器中的分詞器將字符串格式的文本編碼為長度為l的提示文本w，所述提示文本w通過詞元序列w＝[w1，w2，...，wl]表示；
10、(2)基于每個詞元的類別分布，獲得每個詞元的類別分布概率[πi,1，πi，2，...，πi，v]，∑j＝1πi，j＝1，j∈[0，v]，πi，j表示第i個詞元的第j個類別概率，v表示類別種類，并將類別概率參數化為logπi，j＝φi，j，φi，j表示第i個詞元的第，個類別提示文本分布參數；
11、(3)對每個詞元的類別分布概率進行平滑采樣，并基于平滑樣本和類別嵌入向量來構建平滑后詞元的詞向量將所有詞向量組成的詞向量序列輸入到編碼網絡，獲得文本特征c＝f(e(w))，以文本特征中的提示文本w和待評估圖像x0構建參數為φ的提示文本分布qφ(w|x0)。
12、在一個實施例中，所述的對每個詞元的類別分布進行平滑采樣，并基于平滑樣本和類別嵌入向量來構建平滑后詞元的詞向量包括：
13、使用gumbel-softmax重參數化方式對類別分布進行平滑采樣：
14、
15、其中，gi，j和gi，k隨機采樣自gumbel(0，1)分布，各個gi，j互相獨立，πi，k表示第i個詞元的第k個類別概率，τ為常數，稱為溫度因子；v表示類別種類，表示來自于類別分布πi的一個平滑樣本，表示第i個樣本對應的第j個類別權重。
16、基于平滑樣本和類別嵌入向量e(j)來構建平滑后詞元的詞向量
17、
18、在一個實施例中，所述的基于敏感度構建記憶問題度量指標函數為：
19、
20、其中，表示噪聲分布本文檔來自技高網...
【技術保護點】
1.一種基于逆向的文生圖擴散模型記憶問題的度量方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的記憶問題的度量方法，其特征在于，所述的基于文生圖擴散模型的文本編碼器構建提示文本分布，包括：
3.根據權利要求2所述的記憶問題的度量方法，其特征在于，所述的對每個詞元的類別分布進行平滑采樣，并基于平滑樣本和類別嵌入向量來構建平滑后詞元的詞向量包括：
4.根據權利要求1所述的記憶問題的度量方法，其特征在于，所述的基于敏感度構建記憶問題度量指標函數為：
5.根據權利要求4所述的記憶問題的度量方法，其特征在于，所述的正態性正則，通過采用KL散度度量的噪聲分布和標準正態分布間的距離DKL表示，當噪聲分布擬合為均值為μ、方差為σ2正態分布N(μ，σ2)時，正態性正則的計算方式為：
6.根據權利要求1所述的記憶問題的度量方法，其特征在于，所述的通過基于提示文本分布及噪聲分布構建的去噪誤差，表示為lde：
7.根據權利要求1所述的記憶問題的度量方法，其特征在于，所述的加權的目標函數表示為：
8.根據權利要求1
9.根據權利要求8所述的記憶問題的度量方法，其特征在于，所述的獲得最優提示文本分布和噪聲分布實現加權的目標函數最小化，表示為：
10.一種基于逆向的文生圖擴散模型的記憶問題的度量設備，包括存儲器和處理器，所述存儲器用于存儲計算機程序，其特征在于，所述處理器用于當執行所述計算機程序時，實現權利要求1～9任一項所述的基于逆向的文生圖擴散模型的記憶問題的度量方法。
...【技術特征摘要】
1.一種基于逆向的文生圖擴散模型記憶問題的度量方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的記憶問題的度量方法，其特征在于，所述的基于文生圖擴散模型的文本編碼器構建提示文本分布，包括：
3.根據權利要求2所述的記憶問題的度量方法，其特征在于，所述的對每個詞元的類別分布進行平滑采樣，并基于平滑樣本和類別嵌入向量來構建平滑后詞元的詞向量包括：
4.根據權利要求1所述的記憶問題的度量方法，其特征在于，所述的基于敏感度構建記憶問題度量指標函數為：
5.根據權利要求4所述的記憶問題的度量方法，其特征在于，所述的正態性正則，通過采用kl散度度量的噪聲分布和標準正態分布間的距離dkl表示，當噪聲分布擬合為均值為μ、方差為σ2正態分布n(μ，σ2)時，正態性正則的計算方式為：
6.根據權...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。