【技術實現步驟摘要】
本專利技術屬于圖像特征編碼領域，特別是涉及一種用于邊云協同推理的隱私保護圖像特征壓縮方法及系統。
技術介紹
1、隨著深度神經網絡容量的不斷擴大，先進模型在計算和存儲能力有限的設備上進行圖像機器視覺分析的難度顯著增加。傳統的深度學習模型通常需要大量的計算資源，這使得在移動設備或邊緣設備上有效部署這些模型面臨重大挑戰。為了解決這一問題，基于移動云部署的協同智能（ci）系統逐漸成為一種重要的解決方案。在ci系統中，神經模型被分為前端和后端子模型，以實現任務的分布式處理。前端設備負責數據采集和初步處理，而后端服務器則執行更復雜的計算。這種架構可以減少整體應用延遲，提升系統性能。然而，前端提取的中間特征必須傳輸到后端，這一過程往往成為瓶頸，顯著影響推理的準確性和系統的處理時間。
2、為了解決中間特征的傳輸問題，研究者們提出了多種特征壓縮方法，但這些方法普遍面臨效率、可遷移性和安全性三大挑戰。深度學習模型在分析時通常忽視壓縮性能，導致提取特征中存在大量冗余信息，從而增加了傳輸時間并降低了整體框架的效率。因此，探索有效的特征壓縮方法變得至關重要。在設計特征壓縮方法時，確保模塊的通用性和可移植性是基本要求。一些研究引入了基于學習的特征壓縮方法，利用端到端優化對原始深度神經網絡的模型參數進行微調，并共同訓練壓縮模塊。盡管這些方法的壓縮性能表現良好，但在實際應用中，修改預訓練深度神經網絡（dnn）模型的參數面臨挑戰，需要所有移動設備的參與并依賴大量的訓練樣本。此外，將壓縮模塊與修改后的dnn模型相結合也會引入可移植性限制。在隱私保護方面
技術實現思路
1、本專利技術提供了一種用于邊云協同推理的隱私保護圖像特征壓縮方法及系統，旨在優化邊云協同推理中的特征壓縮和隱私保護性能。該方法的核心目標是通過構建一個特征壓縮框架，實現中間特征的高效傳輸，同時有效去除隱私敏感信息，以滿足協同智能系統的安全需求。
2、本專利技術采用如下技術方案來實現的：
3、一種用于邊云協同推理的隱私保護圖像特征壓縮方法，包括以下步驟：
4、1）將已完成預訓練的深度學習網絡模型從中間劃分并凍結網絡參數，分別部署在邊緣端作為前端特征提取網絡和云端作為后端特征分析網絡；
5、2）基于所述的前端特征提取網絡和后端特征分析網絡，采用非局部特征域集中模塊并提供注意力機制，利用卷積層進行特征融合，使用全連接層進行壓縮，實現編碼器網絡結構；基于非局部特征域集中模塊和卷積操作重建特征，實現解碼器網絡結構；
6、3）基于所述的編碼器網絡和解碼器網絡，將前端特征提取網絡提取到的特征輸入編碼器中進行壓縮，壓縮后的特征經解碼器解碼后輸入到后端特征分析網絡中進行分析，得到圖像分析結果；
7、4）基于所述的前端特征提取網絡和編碼器網絡結構，構建反演攻擊網絡從瓶頸特征中重建輸入圖像；
8、5）基于圖像分析結果計算分析任務損失，基于編碼器網絡的輸出計算壓縮碼率損失以及基于反演攻擊網絡計算重建圖像損失，并根據損失函數進行方向梯度傳播，優化網絡參數，得到不同傳輸碼率壓縮模型；
9、6）在云邊協同推理下用不同傳輸碼率壓縮模型實現不同的圖像數據集和深度學習網絡下的隱私保護圖像特征壓縮。
10、本專利技術進一步的改進在于，步驟1）中，將已完成預訓練的深度學習網絡模型從中間劃分并凍結網絡參數，分別部署在邊緣端作為前端特征提取網絡和云端作為后端特征分析網絡，包括：
11、在基于云邊協同系統的圖像分析任務中，神經網絡模型被分為兩個子模型，并分布在前端設備和后端服務器之間；在邊緣云協同推理系統中，dnn被分為兩個部分，表示為；在此結構中，部署在邊緣設備上，負責從環境中收集輸入圖像x?并生成中間值，該值隨后傳輸至云端服務器；而則在云服務器上執行，接收中間特征并計算最終輸出；然而，在移動云部署的云邊協同智能系統中，深度網絡提取的中間特征從前端傳輸到后端。
12、本專利技術進一步的改進在于，步驟2）中，基于所述的前端特征提取網絡和后端特征分析網絡，采用非局部特征域集中模塊并提供注意力機制，利用卷積層進行特征融合，使用全連接層進行壓縮，實現編碼器網絡結構；基于非局部特征域集中模塊和卷積操作重建特征，實現解碼器網絡結構，包括：
13、為了去除中間特征中的隱私敏感信息并提升壓縮效率，首先從信息論的角度分析中間特征可壓縮以及其隱私易泄露的原因；在深度學習模型中，中間特征t的熵?h(t)表示為：
14、
15、其中表示特征的概率分布；通過優化特征的編碼方式，能夠降低熵值，進而提高壓縮效率；根據信息論，隱私保護的目標是最小化壓縮數據與原始輸入之間的互信息，通過設計特征壓縮策略，降低，同時保留與分析任務相關的信息；互信息的計算表示為：
16、
17、其中，為輸入數據的熵，為在給定瓶頸特征條件下輸入數據的不確定性。
18、本專利技術進一步的改進在于，步驟3）中，基于所述的編碼器網絡和解碼器網絡，將前端特征提取網絡提取到的特征輸入編碼器中進行壓縮，壓縮后的特征經解碼器解碼后輸入到后端特征分析網絡中進行分析，得到圖像分析結果，包括：
19、set-net框架的包括一個編碼器和一個解碼器；在編碼器的實現中，設計一個特征域集中模塊，該模塊將非局部注意機制與殘差網絡相結合；該模塊生成一個隱含的重要性掩碼，以引導潛在特征的自適應壓縮；為進一步減少通信開銷，采用熵編碼技術消除壓縮數據中的統計冗余；壓縮后的數據通過無線方式傳輸并上傳至云服務器；接收數據后，dnn模型進行解壓，后續處理步驟生成最終分析結果。
20、本專利技術進一步的改進在于，步驟4）中，基于所述的前端特征提取網絡和編碼器網絡結構，構建反演攻擊網絡從瓶頸特征中重建輸入圖像，包括：
21、構建一個輔助dnn模型稱為重建網絡recnet，其目標是從瓶頸特征重建輸入圖像；recnet是前端網絡和編碼器的鏡像網絡；以對抗的方式訓練編碼器和recnet，recnet試圖從潛在特征中恢復輸入圖像，而編碼器同時試圖通過操縱生成的潛在特征來破壞recnet的性能；同時，編碼器和解碼器都試圖保持機器視覺分析精度。
22、本專利技術進一步的改進在于，步驟5）中，基于圖像分析結果計算分析任務損失，基于編碼器網絡的輸出計算壓縮碼率損失以及基于反演攻擊網絡計算重建圖像損失，并根據損失函數進行方向梯度傳播，優化網絡參數，得到不同傳輸碼率壓縮模型，包括：
23、結合機器分析任務的目標是最大化中間特征與真實標簽之間的互信息，隱私保護的基本優化目標是將特征空間集中在分析任務上，同時盡量抑制與輸入數據無關的冗余信息，建立損失本文檔來自技高網...
【技術保護點】
1.一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟1）中，將已完成預訓練的深度學習網絡模型從中間劃分并凍結網絡參數，分別部署在邊緣端作為前端特征提取網絡和云端作為后端特征分析網絡，包括：
3.根據權利要求2所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟2）中，基于所述的前端特征提取網絡和后端特征分析網絡，采用非局部特征域集中模塊并提供注意力機制，利用卷積層進行特征融合，使用全連接層進行壓縮，實現編碼器網絡結構；基于非局部特征域集中模塊和卷積操作重建特征，實現解碼器網絡結構，包括：
4.根據權利要求3所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟3）中，基于所述的編碼器網絡和解碼器網絡，將前端特征提取網絡提取到的特征輸入編碼器中進行壓縮，壓縮后的特征經解碼器解碼后輸入到后端特征分析網絡中進行分析，得到圖像分析結果，包括：
5.根據權利要求4所述的一種用于邊云協同推理的隱私
6.根據權利要求5所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟5）中，基于圖像分析結果計算分析任務損失，基于編碼器網絡的輸出計算壓縮碼率損失以及基于反演攻擊網絡計算重建圖像損失，并根據損失函數進行方向梯度傳播，優化網絡參數，得到不同傳輸碼率壓縮模型，包括：
7.根據權利要求6所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟5）中，在云邊協同推理下用不同傳輸碼率壓縮模型實現不同的圖像數據集和深度學習網絡下的隱私保護圖像特征壓縮，包括：
8.根據權利要求7所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，還包括：用不同的圖像數據集和深度學習網絡對用于云邊協同推理的高效隱私保護圖像特征壓縮算法進行性能分析與驗證；通過系統評估提出的方法在多個圖像分析任務中的表現，包括在CIFAR-10上使用ResNet34進行圖像分類、在ImageNet上使用ResNet50進行分類以及在CelebA上使用ResNet34進行多標簽分類；在性能分析過程中，針對不同的DNN模型，在SET-NET中的通道維度c和訓練期間的RecNet網絡結構進行調整；通過使用Privacy-Preserving?Characteristics評估分析準確性與重構圖像質量之間的權衡。
9.一種用于邊云協同推理的隱私保護圖像特征壓縮系統，其特征在于，包括：
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序當被處理器執行時實現權利要求1-8中任一項所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法的步驟。
...【技術特征摘要】
1.一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟1）中，將已完成預訓練的深度學習網絡模型從中間劃分并凍結網絡參數，分別部署在邊緣端作為前端特征提取網絡和云端作為后端特征分析網絡，包括：
3.根據權利要求2所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟2）中，基于所述的前端特征提取網絡和后端特征分析網絡，采用非局部特征域集中模塊并提供注意力機制，利用卷積層進行特征融合，使用全連接層進行壓縮，實現編碼器網絡結構；基于非局部特征域集中模塊和卷積操作重建特征，實現解碼器網絡結構，包括：
4.根據權利要求3所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟3）中，基于所述的編碼器網絡和解碼器網絡，將前端特征提取網絡提取到的特征輸入編碼器中進行壓縮，壓縮后的特征經解碼器解碼后輸入到后端特征分析網絡中進行分析，得到圖像分析結果，包括：
5.根據權利要求4所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟4）中，基于所述的前端特征提取網絡和編碼器網絡結構，構建反演攻擊網絡從瓶頸特征中重建輸入圖像，包括：
6.根據權利要求5所述的一種用于邊云協同推理的隱私保護圖像特征壓縮方法，其特征在于，步驟5）中，基于圖像分析結果計算分析任務損失，基于編碼器網絡的...
【專利技術屬性】
技術研發人員：歐陽媛，李凡，汪烈軍，陶曉明，
申請(專利權)人：西安交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。