【技術實現步驟摘要】
本專利技術涉及人工智能信息安全，是一種面向隱私保護的深度神經網絡推理方法，尤其涉及一種基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法及裝置。
技術介紹
1、以自動駕駛、智能問答、內容生成等技術為代表的新一代人工智能技術正在引領第三次信息技術革命，新興技術與智能醫療、金融預測、風險評估等應用緊密結合，數據來源更廣泛、格式更多樣、內容更豐富，快速推動領域變革和跨越式發展。據統計，全球產生的數據量將從2018年的33zb增長到2025年的175zb，大規模數據成為深度技術發展的主要驅動力。新一代高性能神經網絡模型的高效訓練和精確推理高度依賴于海量的高質量數據和強大的計算資源，而這兩者主要集中在大型科技公司(國外如google、meta、microsoft等，國內如阿里、騰訊、百度等)。因此，深度學習模型通常被視作具有知識產權的數字資產，科技公司希望從中獲得利潤。另一方面，普通用戶則傾向于將其所持有的數據外包給服務提供商進行繁重的模型推理計算，以解決本地計算資源受限等難題，并利用高性能深度學習模型挖掘潛在的數據價值。用戶與服務提供商之間的交互數據往往包含敏感信息，在數據隱私和數據價值取舍之間，如何實現高效且安全的數據共享與協同計算成為了亟待解決的難題。深度神經網絡隱私推理作為一種能夠在數據加密或受保護狀態下執行推理計算的技術，為這一難題提供了可行的解決方案。
2、深度神經網絡隱私推理方法主要依賴于同態加密(homomorphic?encryption,he)和安全多方計算(secure?multi-p
3、相較于基于隱私協議的優化方法，基于模型架構的優化方法可以更好地利用神經網絡模型的參數和架構冗余性，在保證高精度隱私推理的前提下，大幅降低計算時延并提升通信效率，并且可以結合前者發揮出更好的優化效果。針對同態加密和安全多方計算無法進行高效非線性計算的難題，現有的基于模型架構的方法主要針對神經網絡的非線性激活函數進行優化，并認為在線上推理階段卷積層中的乘法運算效率和明文計算一樣高效而無需優化。然而，隨著不經意傳輸(oblivious?transfer,ot)和秘密共享(secret?sharing,ss)等隱私計算技術的不斷發展，計算relu(rectified?linear?units)非線性函數的效率大幅提升，在并行式隱私推理的場景下，卷積乘法運算所帶來的通信代價在整個隱私推理過程中的占比逐漸增加。現有的優化方法的計算和通信效率不高。
技術實現思路
1、本專利技術針對現有技術的不足，提供一種基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法。
2、本專利技術采用的技術方案如下：
3、第一方面提供了一種基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，應用于深度神經網絡隱私推理系統，包括一個服務端和一個客戶端，其中，服務端持有一個訓練數據集，用于基于數據集訓練生成一個預訓練模型；客戶端持有若干個隱私推理服務請求數據，客戶端用于將請求數據發送給服務端進行隱私推理，所述隱私推理方法包括：
4、s1：將預訓練的深度學習模型進行參數變換和稀疏化處理，得到線性卷積層稀疏化之后的神經網絡預測模型；
5、s2：將s1輸出的模型進行重訓練，其中，在每個訓練迭代輪次對線性卷積層稀疏化之后的神經網絡預測模型的準確率進行評估，若模型精度損失小于預設閾值，則完成線性卷積層稀疏化，得到重訓練完成的winograd稀疏化深度學習模型；
6、s3：對s2輸出的模型進行激活函數近似和替換處理，得到非線性激活函數近似之后的神經網絡預測模型；
7、s4：對s3輸出的模型進行重訓練，其中，在每個訓練迭代輪次結束后測試模型精度，若模型精度損失在可接受范圍內，則完成非線性激活函數近似化，得到最終優化模型；
8、s5：基于s4輸出的模型進行隱私推理。
9、在一種實施方式中，s1包括：
10、s1.1：預訓練的深度學習模型輸入至卷積層稀疏化模塊，通過winograd算法變換進行卷積核重要性評估，根據重要性評估情況將冗余的卷積核從模型中移除；
11、s1.2：進行權重轉置，以向量為單位移除冗余的權重，得到線性卷積層稀疏化之后的神經網絡預測模型。
12、在一種實施方式中，s1.1包括：
13、s1.1.1：將輸入的預訓練的深度學習模型的卷積核與winograd卷積算法的稀疏變換張量進行相乘，通過下面公式進行計算得到winograd卷積參數：
14、u＝σr·f
15、其中，f為預訓練的深度學習模型的卷積核，r為winograd卷積算法的稀疏變換張量，u為winograd卷積參數；
16、s1.1.2：根據預訓練的深度學習模型的卷積核和winograd卷積算法的稀疏變換張量，計算卷積核重要性評估分數：
17、i＝∑||r·f||1
18、其中，i為卷積核重要性評估分數；
19、s1.1.3：對計算得到的卷積核重要性評估分數進行降序排序，將重要性評估分數最小的p％個卷積核作為冗余卷積核，進行刪除，p為0～100之間的數值。
20、在一種實施方式中，s1.2包括：
21、s1.2.1：針對一個輸入通道數為co，輸入通道數為ci，卷積核大小為n×n的第l層卷積層將winograd卷積參數u進行轉置變換，其中k,c,ξ是權重索引下標，1≤k≤co，1≤c≤ci，1≤ξ≤n2：
22、
23、s1.2.2：根據轉置后winograd卷積參數ut的位置關系，將winograd卷積參數u進行分組打包，具體為：對每一個輸出通道中(i,j)位置上橫跨所有輸入通道的權重作為一個向量進行打包，得到權重向量集合其中k為輸出通道索引且1≤k≤co，i,j是每個二維卷積核的權重索引下標，且1≤i,j≤n；
24、s1.2.3：將得到的權重向量集合g中的每個權重向量輸入到下面公式計算權重向量重要性評估分數：
25、h＝||uk,:,i,j||2
26、其中，h為權重向量重要性評估分數；
27、s1.2.4：對計算得到的權重向量重要性評估分數進行降序排序，將重要性評估分數最小本文檔來自技高網...
【技術保護點】
1.一種基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，應用于深度神經網絡隱私推理系統，包括一個服務端和一個客戶端，其中，服務端持有一個訓練數據集，用于基于數據集訓練生成一個預訓練模型；客戶端持有若干個隱私推理服務請求數據，客戶端用于將請求數據發送給服務端進行隱私推理，所述隱私推理方法包括：
2.如權利要求1所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，S1包括：
3.如權利要求2所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，S1.1包括：
4.如權利要求3所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，S1.2包括：
5.如權利要求1所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，S3包括：
6.如權利要求5所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，S3包括：
...【技術特征摘要】
1.一種基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，應用于深度神經網絡隱私推理系統，包括一個服務端和一個客戶端，其中，服務端持有一個訓練數據集，用于基于數據集訓練生成一個預訓練模型；客戶端持有若干個隱私推理服務請求數據，客戶端用于將請求數據發送給服務端進行隱私推理，所述隱私推理方法包括：
2.如權利要求1所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，s1包括：
3.如權利要求2所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，s1.1包括：
4.如權利要求3所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，s1.2包括：
5.如權利要求1所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方法，其特征在于，s3包括：
6.如權利要求5所述的基于winograd稀疏卷積和可微分激活函數近似的神經網絡隱私推理方...
【專利技術屬性】
技術研發人員：王麗娜，龐智，余方超，趙凱，曾博，徐樹旺，
申請(專利權)人：武漢大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。