【技術實現步驟摘要】
本專利技術涉及數據傳輸，具體地說是基于數據壓縮標識符的數據交換系統及方法。
技術介紹
1、隨著大數據應用的普及，數據交換的需求日益增長，但傳統數據交換方式往往導致大量冗余傳輸，影響效率。盡管市場上已存在數據去重和壓縮技術，但數據去重和壓縮技術存在問題，或是復雜度高、計算成本大，或是無法適應快速變化的數據環境。
2、數據交換過程中如何有效識別重復數據、靈活應對數據更新并易于實現數據交換，是需要解決的技術問題。
技術實現思路
1、本專利技術的技術任務是針對以上不足，提供基于數據壓縮標識符的數據交換系統及方法，來解決數據交換過程中如何有效識別重復數據、靈活應對數據更新并易于實現數據交換的技術問題。
2、第一方面，本專利技術一種基于數據壓縮標識符的數據交換系統，用于實現源端和目標端的數據交換，包括插件化的數據指紋生成模塊、數據交換控制模塊以及增量更新模塊；
3、所述數據交換控制模塊用于對源端的數據進行分析，篩選出增量數據和更新的本地數據，將增量數據和更新的本地數據作為變化數據；
4、所述數據指紋生成模塊用于支持用戶配置多種哈希算法以及多種特征向量提取算法，用于基于哈希算法對變化數據進行多層哈希計算，得到加密變化數據，對于各種數據結構的全量數據，通過匹配的特征向量提取算法對每種數據結構全量數據進行特征向量提取，將加密變化數據和各種數據結構全量數據對應的特征向量作為數據指紋、構建數據指紋集；
5、所述數據交換控制模塊用于對數據指紋集中
6、對于目標端接收的加密后數據指紋集，所述增量更新模塊用于對加密后數據指紋集進行解密和驗證，得到包括變化數據和各種數據結構對應特征向量的解密結果，并基于解密結果對目標端本地數據進行更新，如果更新成功，則通過數據交換控制模塊向源端發送接收成功的響應，如果更新失敗，則通過數據交換控制模塊向源端發送接收失敗的響應。
7、作為優選，所述數據交換控制模塊用于通過rsync或類似的差分算法篩選出增量數據和更新的本地數據。
8、作為優選，對于結構化或者半結構化的全量數據，所述數據指紋生成模塊用于識別數據的關鍵字段或數據模式作為特征向量，對于非結構化數據，所述數據指紋生成模塊用于通過局部敏感哈希計算數據的近似特征作為特征向量。
9、作為優選，對于源端的每種全量數據，所述數據指紋生成模塊用于為每種全量數據設置優先級；
10、所述數據交換控制模塊中配置有自適應傳輸模式，用于基于自適應傳輸模式檢測源端和目標端之間當前網絡傳輸情況，如果當前網絡傳輸情況低于閾值，所述數據交換控制模塊用于優先傳輸高優先級全量數據對應的加密特征向量或者傳輸加密變化數據，其中，網絡傳輸情況包括當前網絡帶寬和延遲性。
11、作為優選，所述數據交換控制模塊用于通過布隆過濾器對數據指紋集中的數據指紋進行數據篩查。
12、作為優選，所述數據交換控制模塊中配置有日志記錄與審計機制，基于日志記錄與審計基于，所述數據交換控制模塊用于對源端的全量數據和變化數據進行關鍵數據篩選、將篩選出的關鍵數據作為數據摘要，并用于對數據指紋生成模塊、數據交換控制模塊以及增量更新模塊中的操作進行操作日志記錄、形成數據操作信息，基于數據摘要和數據操作信息構建日志記錄信息，其中，數據操作信息包括時間戳以及操作結果，操作結果包括接收端接收成功和接收端接收失敗兩種類型。
13、作為優選，數據交換控制模塊中配置有etl工具，etl工具用于對數據指紋集中的數據指紋進行數據篩查、并通過tls/ssl加密方法對篩選后的數據指紋集進行加密，將加密后數據指紋集發送至目標端，并對加密后數據指紋集進行存儲。
14、作為優選，所述數據交換系統還包括兼容接口，所述兼容接口用于與第三方開發的組件進行兼容，所述第三方開發的組件包括實現數據壓縮的組件、實現傳輸優化的組件以及實現安全增強的組件。
15、作為優選，所述數據交換系統還包括動態伸縮管理模塊，所述動態伸縮管理模塊用于支持用戶調整源端和目標端所在計算節點的資源分配，包括增加計算節點、擴展每個計算節點的存儲空間以及對源端和目標端之間的網絡帶寬進行分配優化。
16、第二方面，本專利技術一種基于數據壓縮標識符的數據交換方法，用于通過如第一方面任一項所述的一種基于數據壓縮標識符的數據交換系統實現源端和目標端的數據交換，包括如下步驟：
17、通過數據交換控制模塊對源端的數據進行分析，篩選出增量數據和更新的本地數據，將增量數據和更新的本地數據作為變化數據；
18、用戶在數據指紋生成模塊中配置多種哈希算法以及多種特征向量提取算法，基于哈希算法對變化數據進行多層哈希計算，得到加密變化數據，對于各種數據結構的全量數據，通過匹配的特征向量提取算法對每種數據結構全量數據進行特征向量提取，將加密變化數據和各種數據結構全量數據對應的特征向量作為數據指紋、構建數據指紋集；
19、通過數據交換控制模塊對數據指紋集中的數據指紋進行數據篩查，通過數據篩查去除重復的數據指紋，并對篩選后的數據指紋集進行加密和數字簽名，將加密后數據指紋集發送至目標端；
20、對于目標端接收的加密后數據指紋集，通過增量更新模塊對加密后數據指紋集進行解密和驗證，得到包括變化數據和各種數據結構對應特征向量的解密結果，并基于解密結果對目標端本地數據進行更新，如果更新成功，則通過數據交換控制模塊向源端發送接收成功的響應，如果更新失敗，則通過數據交換控制模塊向源端發送接收失敗的響應。
21、本專利技術的基于數據壓縮標識符的數據交換系統及方法具有以下優點：
22、1、篩選增量數據和更新的本地數據作為變化數據，并提取各種數據結構全量數據對應的特征向量，對變化數據和特征向量進行哈希計算作為數據指紋，將數據指紋發送至目標端，相對于傳統的數據發送，減少了冗余數據傳輸，加快了數據交換速度，降低了網絡帶寬壓力，并減少了存儲和計算資源的消耗；
23、2、篩選增量數據和更新的本地數據、傳輸變化數據的方式，保證了數據的實時性和準確性；
24、3、該系統通過兼容接口可與第三方開發的組件進行兼容對接，增強了系統的靈活性和適用范圍；
25、4、該系統通過動態伸縮管理模塊能夠自動或手動調整資源分配，確保了持續的高性能表現；
26、5、允許輕松添加的用戶配置哈希算法以及特征向量提取算法，可適應不斷變化的需求和技術進步。
本文檔來自技高網...【技術保護點】
1.一種基于數據壓縮標識符的數據交換系統，其特征在于，用于實現源端和目標端的數據交換，包括插件化的數據指紋生成模塊、數據交換控制模塊以及增量更新模塊；
2.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，所述數據交換控制模塊用于通過Rsync或類似的差分算法篩選出增量數據和更新的本地數據。
3.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，對于結構化或者半結構化的全量數據，所述數據指紋生成模塊用于識別數據的關鍵字段或數據模式作為特征向量，對于非結構化數據，所述數據指紋生成模塊用于通過局部敏感哈希計算數據的近似特征作為特征向量。
4.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，對于源端的每種全量數據，所述數據指紋生成模塊用于為每種全量數據設置優先級；
5.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，所述數據交換控制模塊用于通過布隆過濾器對數據指紋集中的數據指紋進行數據篩查。
6.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于
7.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，數據交換控制模塊中配置有ETL工具，ETL工具用于對數據指紋集中的數據指紋進行數據篩查、并通過TLS/SSL加密方法對篩選后的數據指紋集進行加密，將加密后數據指紋集發送至目標端，并對加密后數據指紋集進行存儲。
8.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，所述數據交換系統還包括兼容接口，所述兼容接口用于與第三方開發的組件進行兼容，所述第三方開發的組件包括實現數據壓縮的組件、實現傳輸優化的組件以及實現安全增強的組件。
9.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，所述數據交換系統還包括動態伸縮管理模塊，所述動態伸縮管理模塊用于支持用戶調整源端和目標端所在計算節點的資源分配，包括增加計算節點、擴展每個計算節點的存儲空間以及對源端和目標端之間的網絡帶寬進行分配優化。
10.一種基于數據壓縮標識符的數據交換方法，其特征在于，用于通過如權利要求1-9任一項所述的一種基于數據壓縮標識符的數據交換系統實現源端和目標端的數據交換，包括如下步驟：
...【技術特征摘要】
1.一種基于數據壓縮標識符的數據交換系統，其特征在于，用于實現源端和目標端的數據交換，包括插件化的數據指紋生成模塊、數據交換控制模塊以及增量更新模塊；
2.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，所述數據交換控制模塊用于通過rsync或類似的差分算法篩選出增量數據和更新的本地數據。
3.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，對于結構化或者半結構化的全量數據，所述數據指紋生成模塊用于識別數據的關鍵字段或數據模式作為特征向量，對于非結構化數據，所述數據指紋生成模塊用于通過局部敏感哈希計算數據的近似特征作為特征向量。
4.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，對于源端的每種全量數據，所述數據指紋生成模塊用于為每種全量數據設置優先級；
5.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，所述數據交換控制模塊用于通過布隆過濾器對數據指紋集中的數據指紋進行數據篩查。
6.根據權利要求1所述的基于數據壓縮標識符的數據交換系統，其特征在于，所述數據交換控制模塊中配置有日志記錄與審計機制，基于日志記錄與審計機制，所述數據交換控制模塊用于對源端的全量數據和變化數據進行關鍵數據篩選、將篩選出的關鍵數據作為數據摘要，并用于對數據指紋生成模塊、數據交換控制模...
【專利技術屬性】
技術研發人員：李志譜，周慶勇，王振峰，禚先林，
申請(專利權)人：浪潮云信息技術股份公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。