【技術實現步驟摘要】
本專利技術涉及數據處理，尤其涉及一種面向大數據的隱私求交方法、裝置、設備及存儲介質。
技術介紹
1、醫療數據包含了醫療機構患者數據、電子病歷、影像學數據、實驗室報告等。隨著信息化的高速發展，現今的醫療數據已經逐漸具備大數據的特征，由于醫療數據包含了個人的敏感信息，出于法規和法律的約束，因此不允許醫療數據隨意的流通。隱私求交協議可以在不泄露參與的數據集的情況下，得到所有集合的交集，例如，在聯合建模之前，參與方可以利用某個特征進行求交，進而使用相交的數據進行建模。近年來隱私求交協議得到了蓬勃的發展，現階段已經存在許多實用、性能優異的隱私求交協議，例如ecdh-psi、kkrt-psi和vole-psi等，然而，現有的隱私求交方案并沒有充分考慮大數據的場景，無法在較小的內存空間中執行大數據量之間的隱私求交任務，例如，終端機器只有64gb的內存，卻要執行百億級別的隱私求交任務，從而使隱私求交任務無法實現；在聯合建模場景下，往往會對交集的數據大小有要求，若交集過小，會導致模型效果變差，甚至無法建模，但是現有的隱私求交方案無法提前預估交集大小，而是需要完整執行協議才能知曉交集大小，從而可能會浪費算力資源和內存資源。
技術實現思路
1、本專利技術的目的在于提供一種面向大數據的隱私求交方法、裝置、設備及存儲介質，以解決現有技術中無法在較小的內存空間中執行大數據量之間的隱私求交任務以及無法提前預估交集大小的技術問題。
2、本專利技術的技術方案如下，提供了一種面向大數據的隱私求交方法，包括
3、獲取發送方的第一數據集合及接收方的第二數據集合，使所述發送方與所述接收方進行密鑰協商，得到第一密鑰，根據所述第一密鑰獲取第一分桶哈希函數；
4、對于所述第一數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第三數據集合，對于所述第二數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第四數據集合，根據所述第三數據集合和所述第四集合獲取交集預估大?。?/p>
5、若所述交集預估大小不大于接收方期望交集大小的下限，則使所述接收方和所述發送方退出協議；
6、若所述交集預估大小大于接收方期望交集大小的下限，使所述發送方與所述接收方重新進行密鑰協商，得到第二密鑰，根據第二密鑰獲取第二分桶哈希函數；
7、對于所述第一數據集合中的每個元素，分別調用所述第二分桶哈希函數，以形成第五數據集合，使所述發送方使用所述第五數據集合調用隱私求交協議中發送方所執行的協議，對于所述第二數據集合中的每個元素，分別調用所述第二分桶哈希函數，以形成第六數據集合，使所述接收方使用所述第六數據集合調用隱私求交協議中接收方所執行的協議，以得到交集結果。
8、進一步地，根據所述第一密鑰獲取第一分桶哈希函數，包括：
9、根據所述第一數據集合的大小、所述第二數據集合的大小以及分桶數計算公式獲取第一分桶數，根據所述第一分桶數以及所述第一密鑰獲取所述第一分桶哈希函數，所述分桶數計算公式包括
10、
11、其中，b為第一分桶數，為所述第二數據集合的大小，為所述第一數據集合的大小，w為發送方單次能運行隱私求交協議的集合大小的下限值，則表示向上取整。
12、進一步地，對于所述第一數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第三數據集合，對于所述第二數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第四數據集合，包括：
13、對于所述第一數據集合中的每個元素，分別調用所述第一分桶哈希函數，以所述第一數據集合中所有滿足使所述第一分桶哈希函數的計算結果為0的元素，形成第三數據集合，對于所述第二數據集合中的每個元素，分別調用所述第一分桶哈希函數，以所述第二數據集合中所有滿足使所述第一分桶哈希函數的計算結果為0的元素，形成第四數據集合。
14、進一步地，根據所述第三數據集合和所述第四集合獲取交集預估大小，包括：
15、對于所述第三數據集合中的每個元素，分別調用映射哈希函數，以形成第七數據集合，對于所述第四數據集合中的每個元素，分別調用所述映射哈希函數，以形成第八數據集合，根據所述第七數據集合和所述第八數據集合的交集，獲取交集預估大小。
16、進一步地，對于所述第三數據集合中的每個元素，分別調用映射哈希函數，以形成第七數據集合，對于所述第四數據集合中的每個元素，分別調用所述映射哈希函數，以形成第八數據集合，包括：
17、對于所述第三數據集合中的每個元素，分別調用映射哈希函數，得到映射哈希函數的計算結果，獲取每個所述映射哈希函數的計算結果的第一隨機數次方，以所有所述映射哈希函數的計算結果的第一隨機數次方形成第九數據集合，對于所述第九數據集合的每個元素計算第二隨機數次方，以形成第七數據集合；
18、對于述第四數據集合中的每個元素，分別調用所述映射哈希函數，得到映射哈希函數的計算結果，獲取每個所述映射哈希函數的計算結果的第三隨機數次方，以所有所述映射哈希函數的計算結果的第三隨機數次方添加形成第十數據集合，對于所述第十數據集合的每個元素計算第四隨機數次方，以形成第八數據集合。
19、進一步地，根據所述第七數據集合和所述第八數據集合的交集，獲取交集預估大小，包括：
20、根據所述第七數據集合和所述第八數據集合的交集，以及交集預估公式，獲取交集預估大小，所述交集預估公式包括其中，m為交集預估大小，為所述第二數據集合的大小，為第十數據集合的大小，m'為所述第七數據集合和所述第八數據集合的交集的大小。
21、進一步地，對于所述第一數據集合中的每個元素，分別調用所述第二分桶哈希函數，以形成第五數據集合，包括，對于所述第一數據集合中的每個元素，分別調用所述第二分桶哈希函數，以所述第一數據集合中所有滿足使所述第二分桶哈希函數的計算結果為i的元素，以形成第五數據集合，其中，i∈{0,...,b'-1}，b'為所述第二分桶哈希函數的分桶數；
22、對于所述第二數據集合中的每個元素，分別調用所述第二分桶哈希函數，以形成第六數據集合，包括，對于所述第二數據集合中的每個元素，分別調用所述第二分桶哈希函數，以所述第二數據集合中所有滿足使所述第二分桶哈希函數的計算結果為i的元素，以形成第六數據集合。
23、本專利技術的另一技術方案如下，提供了一種面向大數據的隱私求交裝置，包括第一分桶哈希函數獲取模塊、交集大小預估模塊、協議退出模塊、第二分桶哈希函數獲取模塊以及交集結果獲取模塊；
24、所述第一分桶哈希函數獲取模塊，用于獲取發送方的第一數據集合及接收方的第二數據集合，使所述發送方與所述接收方進行密鑰協商，得到第一密鑰，根據所述第一密鑰獲取第一分桶哈希函數；
25、所述交集大小預估模塊，用于對于所述第一數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第三數據集合，對于所述第二數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第四數據本文檔來自技高網...
【技術保護點】
1.一種面向大數據的隱私求交方法，其特征在于，包括：
2.根據權利要求1所述的面向大數據的隱私求交方法，其特征在于，根據所述第一密鑰獲取第一分桶哈希函數，包括：
3.根據權利要求1所述的面向大數據的隱私求交方法，其特征在于，對于所述第一數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第三數據集合，對于所述第二數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第四數據集合，包括：
4.根據權利要求1所述的面向大數據的隱私求交方法，其特征在于，根據所述第三數據集合和所述第四集合獲取交集預估大小，包括：
5.根據權利要求4所述的面向大數據的隱私求交方法，其特征在于，對于所述第三數據集合中的每個元素，分別調用映射哈希函數，以形成第七數據集合，對于所述第四數據集合中的每個元素，分別調用所述映射哈希函數，以形成第八數據集合，包括：
6.根據權利要求4所述的面向大數據的隱私求交方法，其特征在于，根據所述第七數據集合和所述第八數據集合的交集，獲取交集預估大小，包括：
7.根據權利要求1所述的面向大數據的隱私
8.一種面向大數據的隱私求交裝置，其特征在于，包括第一分桶哈希函數獲取模塊、交集大小預估模塊、協議退出模塊、第二分桶哈希函數獲取模塊以及交集結果獲取模塊；
9.一種電子設備，包括存儲器、處理器，所述存儲器存儲有可被所述處理器執行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至7任一項所述的面向大數據的隱私求交方法。
10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述的面向大數據的隱私求交方法。
...【技術特征摘要】
1.一種面向大數據的隱私求交方法，其特征在于，包括：
2.根據權利要求1所述的面向大數據的隱私求交方法，其特征在于，根據所述第一密鑰獲取第一分桶哈希函數，包括：
3.根據權利要求1所述的面向大數據的隱私求交方法，其特征在于，對于所述第一數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第三數據集合，對于所述第二數據集合中的每個元素，分別調用所述第一分桶哈希函數，以形成第四數據集合，包括：
4.根據權利要求1所述的面向大數據的隱私求交方法，其特征在于，根據所述第三數據集合和所述第四集合獲取交集預估大小，包括：
5.根據權利要求4所述的面向大數據的隱私求交方法，其特征在于，對于所述第三數據集合中的每個元素，分別調用映射哈希函數，以形成第七數據集合，對于所述第四數據集合中的每個元素，分別調用所述映射哈希函數，以形成第八數據集合，包括：
6.根據權利要求4所述的面向大數據的隱私求交方法，其特征在于，根據所述第七數據集合和所述第八數據集合的交集，獲取交集預估大小，包括：<...
【專利技術屬性】
技術研發人員：梁曉健，王健宗，黃章成，
申請(專利權)人：平安科技深圳有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。