【技術實現步驟摘要】
本申請涉及人工智能及大數據，尤其涉及一種數據一致性的校驗方法及裝置。
技術介紹
1、隨著業務的快速發展，數據庫廣泛應用，傳統的集中式數據庫面臨著單機性能壓力，相關技術中，對新增的數據庫節點進行業務數據重分布，通常需要大量的停機時間、額外的系統硬件資源及大量人工操作，在數據遷移過程中遷移數據容易出現錯誤，導致遷移數據的一致性較低。
技術實現思路
1、本申請實施例的目的是提供一種數據一致性的校驗方法及裝置，用以解決遷移數據的一致性較低的問題。
2、為解決上述技術問題，本申請實施例是這樣實現的：
3、第一方面，本申請實施例提供一種數據一致性的校驗方法，包括從源端數據庫中獲取遷移數據，通過數據移動作業，將所述遷移數據遷移至目標端數據庫，所述數據移動作業包括所述遷移數據中的存量數據和增量數據；分別從源端數據流和目標端數據流中批量獲取對應的所述存量數據和/或所述增量數據并進行校驗，得到第一校驗結果，根據所述第一校驗結果確定差異表，所述差異表用于記錄所述第一校驗結果中關于所述源端數據流和所述目標端數據流對應的所述存量數據和/或所述增量數據的差異數據；基于所述差異表中的所述差異數據，獲取所述源端數據流中的所述差異數據對應的增量數據，查詢并校驗所述源端數據庫和所述目標端數據庫中所述差異數據對應的增量數據，得到第二校驗結果，根據所述第二校驗結果更新所述差異表；根據所述差異表，對所述源端數據庫和所述目標端數據庫的遷移數據進行一致性校驗。
4、第二方面，本申請實施例提供
5、第三方面，本申請實施例提供一種電子設備，包括處理器和與所述處理器電連接的存儲器，所述存儲器存儲有計算機程序，所述處理器用于從所述存儲器調用并執行所述計算機程序以實現上述一種數據一致性的校驗方法。
6、第四方面，本申請實施例提供一種計算機可讀存儲介質，用于存儲計算機程序，所述計算機程序能夠被處理器執行以實現上述一種數據一致性的校驗方法。
7、第五方面，本申請實施例提供了一種芯片，所述芯片包括處理器和通信接口，所述通信接口和所述處理器耦合，所述處理器用于運行程序或指令，實現上述一種數據一致性的校驗方法。
8、采用本申請實施例的技術方案，從源端數據庫中獲取遷移數據，通過數據移動作業，將遷移數據遷移至目標端數據庫，數據移動作業包括遷移數據中的存量數據和增量數據；分別從源端數據流和目標端數據流中批量獲取對應的存量數據和/或增量數據并進行校驗，得到第一校驗結果，不需要額外存儲數據，能夠一邊讀取一邊比對數據；根據第一校驗結果確定差異表，差異表用于記錄第一校驗結果中關于源端數據流和目標端數據流對應的存量數據和/或增量數據的差異數據；基于差異表中的差異數據，獲取源端數據流中的差異數據對應的增量數據，查詢并校驗源端數據庫和目標端數據庫中差異數據對應的增量數據，得到第二校驗結果，根據第二校驗結果更新差異表；根據差異表，對源端數據庫和目標端數據庫的遷移數據進行一致性校驗。可見，通過第一校驗結果確定差異表中的差異數據，基于差異數據對源端數據庫和目標端數據庫中的差異數據對應的增量數據進行校驗，在無需停機處理數據，也不用占據硬件資源的情況下，提升源端數據庫和目標端數據庫中遷移數據的完整性，以解決遷移數據的一致性較低的問題。
本文檔來自技高網...【技術保護點】
1.一種數據一致性的校驗方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述通過數據移動作業，將所述遷移數據遷移至目標端數據庫，包括：
3.根據權利要求2所述的方法，其特征在于，所述將每個所述作業任務項遷移至目標端數據庫，包括：
4.根據權利要求1所述的方法，其特征在于，所述分別從源端數據流和目標端數據流中批量獲取對應的存量數據和/或增量數據并進行校驗，得到第一校驗結果，根據所述第一校驗結果確定差異表，包括：
5.根據權利要求1所述的方法，其特征在于，所述查詢并校驗所述源端數據庫和所述目標端數據庫中所述差異數據對應的增量數據，得到第二校驗結果，根據所述第二校驗結果更新所述差異表，包括：
6.根據權利要求4所述的方法，其特征在于，所述批量獲取所述源端數據流中的第一存量數據和所述目標端數據流中的第二存量數據，和/或批量獲取所述源端數據流中的第一增量數據和所述目標端數據流中的第二增量數據，包括：
7.根據權利要求1所述的方法，其特征在于，所述根據所述差異表，對所述源端數據庫和所述目標端數
8.一種數據一致性的校驗裝置，其特征在于，所述裝置包括：
9.一種電子設備，其特征在于，包括處理器和與所述處理器電連接的存儲器，所述存儲器存儲有計算機程序，所述處理器用于從所述存儲器調用并執行所述計算機程序以實現如權利要求1-7任一項所述的一種數據一致性的校驗方法。
10.一種計算機可讀存儲介質，其特征在于，所述存儲介質用于存儲計算機程序，所述計算機程序能夠被處理器執行以實現如權利要求1-7任一項所述的一種數據一致性的校驗方法。
...【技術特征摘要】
1.一種數據一致性的校驗方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述通過數據移動作業，將所述遷移數據遷移至目標端數據庫，包括：
3.根據權利要求2所述的方法，其特征在于，所述將每個所述作業任務項遷移至目標端數據庫，包括：
4.根據權利要求1所述的方法，其特征在于，所述分別從源端數據流和目標端數據流中批量獲取對應的存量數據和/或增量數據并進行校驗，得到第一校驗結果，根據所述第一校驗結果確定差異表，包括：
5.根據權利要求1所述的方法，其特征在于，所述查詢并校驗所述源端數據庫和所述目標端數據庫中所述差異數據對應的增量數據，得到第二校驗結果，根據所述第二校驗結果更新所述差異表，包括：
6.根據權利要求4所述的方法，其特征在于，所述批量獲取所述源端數據流中的...
【專利技術屬性】
技術研發人員：張子浪，趙佳侖，董冰，楊行波，王夢媛，
申請(專利權)人：中國鐵塔股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。