【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)關(guān)于深度神經(jīng)網(wǎng)絡(luò)以及同態(tài)加密，特別是一種加密深度神經(jīng)網(wǎng)絡(luò)模型的推論及轉(zhuǎn)換方法。
技術(shù)介紹
1、隨著人工智能和深度學(xué)習(xí)(deep?learning，dl)的最新進(jìn)展，深度神經(jīng)網(wǎng)絡(luò)(deepneural?network，dnn)模型因?yàn)樵跈C(jī)器人技術(shù)、自然語言處理、醫(yī)療保健和計(jì)算機(jī)視覺等多個(gè)領(lǐng)域取得顯著成功而受到廣泛關(guān)注。另一方面，機(jī)器學(xué)習(xí)即服務(wù)(machine?learning?asa?service，mlaas)提供一個(gè)基于云端的平臺(tái)整合和部署dnn模型，然而，采用mlaas帶來數(shù)據(jù)安全和隱私的顧慮。數(shù)據(jù)所有者擔(dān)心他們在mlaas平臺(tái)上的數(shù)據(jù)安全和隱私，而模型所有者擔(dān)心他們的dl模型泄露或遭遇對抗性攻擊。事實(shí)上，一些公司已禁止將商業(yè)數(shù)據(jù)放到公共mlaas平臺(tái)以防止?jié)撛诘臄?shù)據(jù)泄露。在mlaas中找到實(shí)用和安全性的平衡是一個(gè)迫切需要解決的研究課題。
2、全同態(tài)加密(fully?homomorphic?encryption，fhe)是一個(gè)開創(chuàng)性的概念，允許在加密數(shù)據(jù)上直接進(jìn)行計(jì)算。將fhe與mlaas整合在一起產(chǎn)生的加密mlaas可以推動(dòng)人工智能的發(fā)展。在加密mlaas過程中，用戶將私有數(shù)據(jù)進(jìn)行加密后傳送到云服務(wù)器，云服務(wù)器對加密數(shù)據(jù)進(jìn)行ml模型推論的同態(tài)計(jì)算，然后將加密結(jié)果回傳給使用者，使用者隨后可以解密結(jié)果并獲取mlaas的結(jié)果。這種使用fhe的方法可以保證語意安全，有效防止云服務(wù)器獲取用戶輸入的任何信息。
3、整合fhe與dnn模型的主要瓶頸在于加密計(jì)算的高成本。具體而言，無法通過多項(xiàng)式計(jì)算進(jìn)行替
4、盡管基于fhe的dnn加密計(jì)算具有重要的潛力，但目前的方法距離實(shí)際應(yīng)用還有很大的差距。如何有效地利用fhe方案實(shí)現(xiàn)低計(jì)算成本和高準(zhǔn)確性的dnn仍然是一個(gè)尚未解決的挑戰(zhàn)。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本專利技術(shù)提出一種加密深度神經(jīng)網(wǎng)絡(luò)的推論及轉(zhuǎn)換方法。
2、依據(jù)本專利技術(shù)一實(shí)施例的一種加密深度神經(jīng)網(wǎng)絡(luò)的推論方法，包括以運(yùn)算裝置執(zhí)行，依據(jù)量化參數(shù)編碼訊息以產(chǎn)生明文，依據(jù)私鑰加密明文以產(chǎn)生密文，發(fā)送密文至深度神經(jīng)網(wǎng)絡(luò)模型以產(chǎn)生密文結(jié)果，依據(jù)私鑰解密密文結(jié)果以產(chǎn)生一明文結(jié)果，以及依據(jù)量化參數(shù)解碼明文結(jié)果以產(chǎn)生推論結(jié)果。
3、依據(jù)本專利技術(shù)一實(shí)施例的一種加密深度神經(jīng)網(wǎng)絡(luò)模型的轉(zhuǎn)換方法，包括：輸入訓(xùn)練數(shù)據(jù)集至整數(shù)模型以擷取多個(gè)層的多個(gè)中間運(yùn)算結(jié)果，在所述多個(gè)層的多個(gè)輸出，各自依據(jù)所述多個(gè)中間運(yùn)算結(jié)果的數(shù)值范圍加入多個(gè)噪聲；以訓(xùn)練數(shù)據(jù)集重新訓(xùn)練加入所述多個(gè)噪聲后的整數(shù)模型以產(chǎn)生浮點(diǎn)數(shù)微調(diào)模型；依據(jù)浮點(diǎn)數(shù)微調(diào)模型進(jìn)行模型量化以產(chǎn)生整數(shù)微調(diào)模型；以及輸入訓(xùn)練數(shù)據(jù)集至整數(shù)微調(diào)模型以擷取多個(gè)量化參數(shù)，所述多個(gè)量化參數(shù)用于控制整數(shù)微調(diào)模型的多個(gè)激勵(lì)函數(shù)的輸出值。
4、以上關(guān)于本
技術(shù)實(shí)現(xiàn)思路
的說明及以下的實(shí)施方式的說明用以示范與解釋本專利技術(shù)的精神與原理，并且提供本專利技術(shù)的專利申請范圍更進(jìn)一步的解釋。
【技術(shù)保護(hù)點(diǎn)】
1.一種加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，包括以一運(yùn)算裝置執(zhí)行：
2.根據(jù)權(quán)利要求1所述加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，在依據(jù)所述量化參數(shù)編碼所述訊息以產(chǎn)生所述明文之前，所述方法還包括：
3.根據(jù)權(quán)利要求1所述加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，發(fā)送所述密文至所述深度神經(jīng)網(wǎng)絡(luò)模型以產(chǎn)生所述密文結(jié)果包括：
4.根據(jù)權(quán)利要求3所述加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，計(jì)算所述密文及所述模型權(quán)重的所述加密內(nèi)積結(jié)果包括：
5.根據(jù)權(quán)利要求3所述加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，輸入所述模數(shù)轉(zhuǎn)換結(jié)果至所述激勵(lì)函數(shù)以產(chǎn)生所述密文結(jié)果包括：
6.根據(jù)權(quán)利要求5所述加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，所述查找表用于實(shí)現(xiàn)線性整流單元，所述第二比例用于設(shè)定所述線性整流單元的斜率。
7.一種加密深度神經(jīng)網(wǎng)絡(luò)模型的轉(zhuǎn)換方法，其特征在于，包括：
8.根據(jù)權(quán)利要求6所述加密深度神經(jīng)網(wǎng)絡(luò)模型的轉(zhuǎn)換方法，其特征在于，還包括：
【技術(shù)特征摘要】
1.一種加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，包括以一運(yùn)算裝置執(zhí)行：
2.根據(jù)權(quán)利要求1所述加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，在依據(jù)所述量化參數(shù)編碼所述訊息以產(chǎn)生所述明文之前，所述方法還包括：
3.根據(jù)權(quán)利要求1所述加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，發(fā)送所述密文至所述深度神經(jīng)網(wǎng)絡(luò)模型以產(chǎn)生所述密文結(jié)果包括：
4.根據(jù)權(quán)利要求3所述加密深度神經(jīng)網(wǎng)絡(luò)模型的推論方法，其特征在于，計(jì)算所述密文及所述模型權(quán)重的所述加...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：顧昱得，許之凡，陳維超，劉峰豪，張明清，洪士灝，
申請(專利權(quán))人：英業(yè)達(dá)科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。