System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及數據處理領域及金融科技領域,應用于開發和維護自研數據庫時進行數據對比的場景中,尤其涉及一種數據對比方法、裝置、設備及存儲介質。
技術介紹
1、隨著計算機技術的發展,金融科技在金融方面得到了越來越多的應用,對于金融相關行業而言,數據庫作為信息系統的核心組件,在數據安全和隱私保護方面,其重要性不言而喻。
2、在日常開發和維護自研數據庫的過程中,一般會涉及到產品升級前后的數據驗證、備份恢復時的數據驗證、數據遷移時的數據驗證以及開發測試環境數據同步后的數據驗證,在這些工作場景中,為了確保數據的一致性,避免出現數據丟失或不一致的情況,數據對比是一項重要且不可避免的任務。
3、目前,相關的運維人員可以通過手動操作或利用工具逐行比對兩個表的數據,以完成數據對比的任務。然而,這種方式費時費力,并且無法保證結果的準確性。在需要對比的數據規模較大的情況下,面臨著嚴重的性能瓶頸,導致數據對比的效率大大降低。
技術實現思路
1、本申請實施例的目的在于提出一種數據對比方法、裝置、設備及存儲介質,以解決開發和維護自研數據庫時的數據對比效率較低的技術問題。
2、為了解決上述技術問題,本申請實施例提供一種數據對比方法,采用了如下所述的技術方案:
3、一種數據對比方法,包括下述步驟:
4、接收攜帶有命令行參數組合的數據對比指令;
5、根據所述命令行參數組合,確定目標對象集合;
6、根據所述目標對象集合,確定待對比的目標數據
7、根據所述目標數據表執行預設的數據對比流程,得到差異信息;
8、根據所述差異信息,生成所述數據對比指令對應的數據對比結果。
9、進一步的,所述差異信息包括結構差異信息和數據差異信息,所述根據所述目標數據表執行預設的數據對比流程,得到差異信息的步驟,具體包括:
10、連接所述目標數據表對應的數據庫實例;
11、獲取所述數據庫實例對應的表結構信息,根據所述表結構信息進行數據對比,得到所述結構差異信息;
12、從所述數據庫實例中獲取所述目標數據表對應的數據,根據所述數據進行數據對比,得到所述數據差異信息。
13、進一步的,所述獲取所述數據庫實例對應的表結構信息,根據所述表結構信息進行數據對比,得到所述結構差異信息的步驟,具體包括:
14、查詢所述數據庫實例中的系統表,得到所述數據庫實例中表的定義信息;
15、根據所述定義信息,生成對應的ddl語句,作為所述表結構信息;
16、將所述ddl語句進行對比,得到所述結構差異信息。
17、進一步的,所述目標數據表對應的數據包括各個預設大小的數據集,所述從所述數據庫實例中獲取所述目標數據表對應的數據,根據所述數據進行數據對比,得到所述數據差異信息的步驟,具體包括:
18、采用分批量的方式,依次從所述數據庫實例中讀取各個所述數據集,并在內存中進行對比,得到各個所述數據集對應的對比結果;
19、根據所述對比結果,生成所述數據差異信息。
20、進一步的,在所述根據所述目標對象集合,確定待對比的目標數據表的步驟之后,還包括:
21、執行所述數據對比流程時,實時記錄流程狀態信息;
22、在監控到所述數據對比流程發生中斷并重連時,根據中斷時的流程狀態信息,確定未完成對比的余下數據;
23、根據所述余下數據,完成所述數據對比流程。
24、進一步的,所述根據所述差異信息,生成所述數據對比指令對應的數據對比結果的步驟,具體包括:
25、將所述差異信息填充至預設的數據對比圖表模板,得到填充完成的數據對比圖表;
26、對所述數據對比圖表進行數據增強,得到所述數據對比結果。
27、進一步的,所述目標對象集合包括數據庫對象,或,數據庫對象和模式對象,或,數據庫對象、模式對象和數據表對象,所述根據所述目標對象集合,確定待對比的目標數據表的步驟,具體包括:
28、若所述目標對象集合包括數據庫對象,則根據所述數據庫對象確定目標數據庫,并將所述目標數據庫中的所有數據表作為所述目標數據表;
29、若所述目標對象集合包括數據庫對象和模式對象,則根據所述數據庫對象確定目標數據庫,根據所述模式對象在所述目標數據庫中確定目標模式,并將所述目標模式下的所有數據表作為所述目標數據表;
30、若所述目標對象集合包括數據庫對象、模式對象和數據表對象,則根據所述數據庫對象確定目標數據庫,根據所述模式對象在所述目標數據庫中確定目標模式,并根據所述數據表對象在所述目標模式下確定所述目標數據表。
31、為了解決上述技術問題,本申請實施例還提供一種數據對比裝置,采用了如下所述的技術方案:
32、一種數據對比裝置,包括:
33、接收模塊,用于接收攜帶有命令行參數組合的數據對比指令;
34、第一確定模塊,用于根據所述命令行參數組合,確定目標對象集合;
35、第二確定模塊,用于根據所述目標對象集合,確定待對比的目標數據表;
36、執行模塊,用于根據所述目標數據表執行預設的數據對比流程,得到差異信息;
37、生成模塊,用于根據所述差異信息,生成所述數據對比指令對應的數據對比結果。
38、為了解決上述技術問題,本申請實施例還提供一種計算機設備,采用了如下所述的技術方案:
39、一種計算機設備,包括存儲器和處理器,所述存儲器中存儲有計算機可讀指令,所述處理器執行所述計算機可讀指令時實現如上所述的數據對比方法的步驟。
40、為了解決上述技術問題,本申請實施例還提供一種計算機可讀存儲介質,采用了如下所述的技術方案:
41、一種計算機可讀存儲介質,所述計算機可讀存儲介質上存儲有計算機可讀指令,所述計算機可讀指令被處理器執行時實現如上所述的數據對比方法的步驟。
42、與現有技術相比,本申請實施例主要有以下有益效果:
43、本申請公開的數據對比方法,通過接收攜帶有命令行參數組合的數據對比指令;并根據所述命令行參數組合,確定目標對象集合;再根據所述目標對象集合,確定待對比的目標數據表;而后根據所述目標數據表執行預設的數據對比流程,得到差異信息;從而根據所述差異信息,生成所述數據對比指令對應的數據對比結果。本申請通過接收到的參數,即可自動化地選擇需要進行數據對比的目標對象并執行相應的數據對比流程,在開發和維護自研數據庫時,無需再由人工進行手動操作或利用工具來完成數據對比的任務,從而保障了數據對比的準確性,提高了數據對比的效率。
本文檔來自技高網...【技術保護點】
1.一種數據對比方法,其特征在于,包括下述步驟:
2.根據權利要求1所述的數據對比方法,其特征在于,所述差異信息包括結構差異信息和數據差異信息,所述根據所述目標數據表執行預設的數據對比流程,得到差異信息的步驟,具體包括:
3.根據權利要求2所述的數據對比方法,其特征在于,所述獲取所述數據庫實例對應的表結構信息,根據所述表結構信息進行數據對比,得到所述結構差異信息的步驟,具體包括:
4.根據權利要求2所述的數據對比方法,其特征在于,所述目標數據表對應的數據包括各個預設大小的數據集,所述從所述數據庫實例中獲取所述目標數據表對應的數據,根據所述數據進行數據對比,得到所述數據差異信息的步驟,具體包括:
5.根據權利要求1所述的數據對比方法,其特征在于,在所述根據所述目標對象集合,確定待對比的目標數據表的步驟之后,還包括:
6.根據權利要求1所述的數據對比方法,其特征在于,所述根據所述差異信息,生成所述數據對比指令對應的數據對比結果的步驟,具體包括:
7.根據權利要求1至6任一項所述的數據對比方法,其特征在于,所述目標
8.一種數據對比裝置,其特征在于,包括:
9.一種計算機設備,其特征在于,包括存儲器和處理器,所述存儲器中存儲有計算機可讀指令,所述處理器執行所述計算機可讀指令時實現如權利要求1至7中任一項所述的數據對比方法的步驟。
10.一種計算機可讀存儲介質,其特征在于,所述計算機可讀存儲介質上存儲有計算機可讀指令,所述計算機可讀指令被處理器執行時實現如權利要求1至7中任一項所述的數據對比方法的步驟。
...【技術特征摘要】
1.一種數據對比方法,其特征在于,包括下述步驟:
2.根據權利要求1所述的數據對比方法,其特征在于,所述差異信息包括結構差異信息和數據差異信息,所述根據所述目標數據表執行預設的數據對比流程,得到差異信息的步驟,具體包括:
3.根據權利要求2所述的數據對比方法,其特征在于,所述獲取所述數據庫實例對應的表結構信息,根據所述表結構信息進行數據對比,得到所述結構差異信息的步驟,具體包括:
4.根據權利要求2所述的數據對比方法,其特征在于,所述目標數據表對應的數據包括各個預設大小的數據集,所述從所述數據庫實例中獲取所述目標數據表對應的數據,根據所述數據進行數據對比,得到所述數據差異信息的步驟,具體包括:
5.根據權利要求1所述的數據對比方法,其特征在于,在所述根據所述目標對象集合,確定待對比的目標數據表的步驟之后,還包括:
6.根...
【專利技術屬性】
技術研發人員:楊永林,
申請(專利權)人:平安科技深圳有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。