【技術實現步驟摘要】
本專利技術涉及數據補償，特別涉及一種基于數據質量評估的數據補償方法、裝置及介質。
技術介紹
1、在分布式系統中，不同的系統之間需要通過數據交換來保持業務的一致性和協調性。然而，由于網絡延遲、故障、異常等原因，不同系統之間的數據可能會出現不一致或者不完整的情況，導致業務邏輯出錯或者用戶體驗下降。為了解決這個問題，通常需要對不同系統之間的數據進行補償，即通過比對兩個系統之間的數據差異，將缺失或者錯誤的數據從一個系統復制到另一個系統。
2、傳統的數據補償方法通常是基于時間戳或者版本號來判斷兩個系統之間的數據是否一致，然后根據預先定義的規則來執行補償操作。這種方法存在以下幾個缺點：1、需要在兩個系統之間維護額外的元數據，如時間戳或者版本號，增加了存儲和傳輸的開銷。2、需要人工定義補償規則，如何選擇補償方向、何時觸發補償、如何處理沖突等，增加了復雜度和不確定性。3、不能動態地根據數據本身的質量來進行補償，如數據的完整性、準確性、時效性等，可能會導致補償結果不符合用戶或者業務的期望。
技術實現思路
1、本專利技術要解決的技術問題，在于提供一種基于數據質量評估的數據補償方法、裝置及介質，通過對數據進行抽樣并進行數據質量得分評估，不需要在兩個系統之間維護額外的元數據，降低了存儲和傳輸的開銷；不需要人工定義補償規則，簡化了復雜度和不確定性。
2、第一方面，本專利技術提供了一種基于數據質量評估的數據補償方法，應用于兩個分布式系統之間的數據補償，包括如下步驟：
3、步
4、步驟20、分別評估每個數據項在兩個系統中的數據質量得分，所述數據質量得分至少反應數據的完整性、準確性以及時效性；
5、步驟30、根據每個數據項在兩個系統中的數據質量得分情況，確定該數據項是否需要進行補償，以及補償的方向和方式，然后執行對應的補償操作，將需要補償的數據項從一個系統復制到另一個系統。
6、進一步地，所述步驟20具體包括：
7、評估完整性得分：完整性得分反映一個數據項在一個系統中是否存在以及是否包含所有必要的屬性；
8、評估準確性得分：準確性得于反映一個數據項在一個系統中的值是否正確或者合理；
9、評估時效性得分：時效性得分反映一個數據項在一個系統中的更新時間是否及時；
10、數據質量得分通過計算完整性得分、準確性得分、時效性得分的加權平均值得到，各項得分的權重可調節。
11、進一步地，所述步驟30具體包括：
12、如果一個數據項在兩個系統中都存在，并且都能計算得分，則比較兩個系統中的數據質量得分；如果兩個系統中的數據質量得分差值小于設定值，則不執行補償；如果兩個系統中的數據質量得分差值大于等于設定值，則將該數據項從數據質量得分高的系統復制到數據質量得分低的系統；
13、如果一個數據項在一個系統中存在，并且能計算得分，而在另一個系統中不存在或者無法計算得分，則將該數據項從存在且能計算得分的系統復制到另一個系統；
14、如果一個數據項在兩個系統中均無法計算得分，則忽略該數據項。
15、進一步地，所述步驟10中，時間周期和抽樣的比例根據系統數據一致性需求進行設置。
16、第二方面，本專利技術提供了一種基于數據質量評估的數據補償裝置，應用于兩個分布式系統之間的數據補償，包括：
17、數據抽樣模塊，用于對兩個系統之間指定時間周期內的數據進行抽樣，得到多個數據項；
18、數據質量評估模塊，用于分別評估每個數據項在兩個系統中的數據質量得分，所述數據質量得分至少反應數據的完整性、準確性以及時效性；
19、數據補償決策模塊，用于根據每個數據項在兩個系統中的數據質量得分情況，確定該數據項是否需要進行補償，以及補償的方向和方式，然后執行對應的補償操作，將需要補償的數據項從一個系統復制到另一個系統。
20、進一步地，所述數據質量評估模塊中具體用于：
21、評估完整性得分：完整性得分反映一個數據項在一個系統中是否存在以及是否包含所有必要的屬性；
22、評估準確性得分：準確性得于反映一個數據項在一個系統中的值是否正確或者合理；
23、評估時效性得分：時效性得分反映一個數據項在一個系統中的更新時間是否及時；
24、數據質量得分通過計算完整性得分、準確性得分、時效性得分的加權平均值得到，各項得分的權重可調節。
25、進一步地，所述數據補償決策模塊具體用于：
26、如果一個數據項在兩個系統中都存在，并且都能計算得分，則比較兩個系統中的數據質量得分；如果兩個系統中的數據質量得分差值小于設定值，則不執行補償；如果兩個系統中的數據質量得分差值大于等于設定值，則將該數據項從數據質量得分高的系統復制到數據質量得分低的系統；
27、如果一個數據項在一個系統中存在，并且能計算得分，而在另一個系統中不存在或者無法計算得分，則將該數據項從存在且能計算得分的系統復制到另一個系統；
28、如果一個數據項在兩個系統中均無法計算得分，則忽略該數據項。
29、進一步地，所述數據抽樣模塊中，時間周期和抽樣的比例根據系統數據一致性需求進行設置。
30、第三方面，本專利技術提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現第一方面所述的方法。
31、第四方面，本專利技術提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現第一方面所述的方法。
32、本專利技術實施例中提供的一個或多個技術方案，至少具有如下技術效果：
33、1、不需要在兩個系統之間維護額外的元數據，降低了存儲和傳輸的開銷；
34、2、不需要人工定義補償規則，簡化了復雜度和不確定性；
35、3、能夠動態地根據數據本身的質量來進行補償，提高了補償結果符合用戶或者業務期望的概率。
36、上述說明僅是本專利技術技術方案的概述，為了能夠更清楚了解本專利技術的技術手段，而可依照說明書的內容予以實施，并且為了讓本專利技術的上述和其它目的、特征和優點能夠更明顯易懂，以下特舉本專利技術的具體實施方式。
本文檔來自技高網...【技術保護點】
1.一種基于數據質量評估的數據補償方法，其特征在于，應用于兩個分布式系統之間的數據補償，包括如下步驟：
2.根據權利要求1所述的方法，其特征在于：所述步驟20具體包括：
3.根據權利要求1所述的方法，其特征在于：所述步驟30具體包括：
4.根據權利要求1所述的方法，其特征在于：所述步驟10中，時間周期和抽樣的比例根據系統數據一致性需求進行設置。
5.一種基于數據質量評估的數據補償裝置，其特征在于，應用于兩個分布式系統之間的數據補償，包括：
6.根據權利要求5所述的裝置，其特征在于：所述數據質量評估模塊中具體用于：
7.根據權利要求5所述的裝置，其特征在于：所述數據補償決策模塊具體用于：
8.根據權利要求5所述的裝置，其特征在于：所述數據抽樣模塊中，時間周期和抽樣的比例根據系統數據一致性需求進行設置。
9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至4任一項所述的方法。
10.一種計算機
...【技術特征摘要】
1.一種基于數據質量評估的數據補償方法，其特征在于，應用于兩個分布式系統之間的數據補償，包括如下步驟：
2.根據權利要求1所述的方法，其特征在于：所述步驟20具體包括：
3.根據權利要求1所述的方法，其特征在于：所述步驟30具體包括：
4.根據權利要求1所述的方法，其特征在于：所述步驟10中，時間周期和抽樣的比例根據系統數據一致性需求進行設置。
5.一種基于數據質量評估的數據補償裝置，其特征在于，應用于兩個分布式系統之間的數據補償，包括：
6.根據權利要求5所述的裝置，其特征在于：所述...
【專利技術屬性】
技術研發人員：林欣郁，陳斌，劉星宇，陳燊，王浩，梁勝，
申請(專利權)人：福建省電子政務建設運營有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。