【技術實現步驟摘要】
本說明書的多個實施例涉及信息，具體涉及一種大數據并行脫敏方法及系統。
技術介紹
1、在信息化和數字化快速發展的時代，信息技術已經滲透到社會生活的各個角落。企業和組織在日常運營中積累了海量的數據，其中不乏涉及個人隱私、商業秘密等敏感信息。隨著數據泄露事件的頻發，保護這些敏感數據的重要性愈發凸顯。因此，數據脫敏作為確保數據安全的重要手段之一，成為了不可或缺的一部分。數據脫敏是指對原始數據進行處理，使其失去與特定個體或實體之間的直接關聯性，從而保護敏感信息不被識別或泄露的過程。通過去除或改變敏感字段中的關鍵信息，使得即便數據被非法獲取，攻擊者也無法輕易還原出真實的身份或其他重要信息。經過脫敏處理后的數據可以在一定程度上實現匿名化，既保證了數據的安全性，又不妨礙其用于統計分析、研究開發等活動，提高了數據資源的價值。隨著相關政策的出臺，對于個人信息保護的立法日益完善，對數據處理者提出了更高的要求。在這種背景下，無論是為了遵守法律規范還是出于自身風險管理的需要，數據所有者都必須重視并實施有效的數據脫敏措施。但目前的應用于大數據文件的脫敏技術存在效率低的問題。
技術實現思路
1、本說明書多個實施例描述了一種大數據并行脫敏方法及系統。
2、第一方面，本說明書實施例提供了一種大數據并行脫敏方法，包括步驟：
3、讀取大數據文件，調用分片服務按照初始分片大小從所述大數據切取若干個數據單元，賦予編號并納入待脫敏列表；
4、并行調用若干個脫敏服務從所述待脫敏列表讀取數據單
5、當脫敏完成后，調用所述脫敏服務將運行數據反饋給所述分片服務，所述運行數據包括所述編號、脫敏字段表及脫敏用時；
6、調用所述分片服務根據全部運行數據動態調整分片大小生成后續數據單元；
7、全部數據單元脫敏完成后，調用合并服務根據所述編號，將全部數據單元組合獲得脫敏后的大數據。
8、第二方面，本說明書實施例提供了一種大數據并行脫敏系統，包括：
9、讀取模塊，讀取大數據文件，調用分片服務按照初始分片大小從所述大數據切取若干個數據單元，賦予編號并納入待脫敏列表；
10、脫敏模塊，并行調用若干個脫敏服務從所述待脫敏列表讀取數據單元并進行脫敏；
11、反饋模塊，當脫敏完成后，調用所述脫敏服務將運行數據反饋給所述分片服務，所述運行數據包括所述編號、脫敏字段表及脫敏用時；
12、調整模塊，調用所述分片服務根據全部運行數據動態調整分片大小生成后續數據單元；
13、合并模塊，全部數據單元脫敏完成后，調用合并服務根據所述編號，將全部數據單元組合獲得脫敏后的大數據。
14、第三方面，本說明書實施例提供了電子設備，包括處理器以及存儲器；
15、所述處理器與所述存儲器相連；
16、所述存儲器，用于存儲可執行程序代碼；
17、所述處理器通過讀取所述存儲器中存儲的可執行程序代碼來運行與所述可執行程序代碼對應的程序，以用于執行上述任一方面所述的方法。
18、第四方面，本說明書實施例提供了計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現上述任一方面所述的方法。
19、第五方面，本說明書實施例提供了計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現上述任一方面所述的方法。
20、本說明書一些實施例提供的技術方案帶來的有益效果至少包括：
21、在本說明書多個實施例中，提供的大數據并行脫敏方法及系統，能夠在并行實現大數據文件的脫敏時，采用動態的數據單元大小劃分，根據脫敏的情況劃分數據單元的大小，將脫敏內容以較高的效率反映到脫敏過程的控制中，通過對脫敏內容的反映能夠提高脫敏的效率。在切取數據單元過程中，即同時進行脫敏的操作，不必等到全部數據單元切取完成，同時還能夠借助已經脫敏的數據單元的脫敏運行情況，調整后續數據單元的切取，使數據單元盡可能包括更多的重復脫敏內容，提高脫敏的效率。
22、本說明書多個實施例的其他特點和優點將會在下面的具體實施方式、附圖中進一步揭示。
本文檔來自技高網...【技術保護點】
1.一種大數據并行脫敏方法，其特征在于，包括步驟：
2.根據權利要求1所述的一種大數據并行脫敏方法，其特征在于，
3.根據權利要求1所述的一種大數據并行脫敏方法，其特征在于，
4.根據權利要求1至3任一項所述的一種大數據并行脫敏方法，其特征在于，
5.根據權利要求1至3任一項所述的一種大數據并行脫敏方法，其特征在于，
6.根據權利要求1至3任一項所述的一種大數據并行脫敏方法，其特征在于，
7.一種大數據并行脫敏系統，其特征在于，包括：
8.一種電子設備，其特征在于，包括處理器以及存儲器；
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-6任一項所述的方法。
10.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1-6任一項所述的方法。
【技術特征摘要】
1.一種大數據并行脫敏方法，其特征在于，包括步驟：
2.根據權利要求1所述的一種大數據并行脫敏方法，其特征在于，
3.根據權利要求1所述的一種大數據并行脫敏方法，其特征在于，
4.根據權利要求1至3任一項所述的一種大數據并行脫敏方法，其特征在于，
5.根據權利要求1至3任一項所述的一種大數據并行脫敏方法，其特征在于，
6.根據權利要求1至3任一項所述的一種大數據并...
【專利技術屬性】
技術研發人員：鐘子軒，林章峰，王少宇，趙晨濤，楊雨桔，
申請(專利權)人：杭州安泉數智科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。