System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本說明書涉及計算機,尤其涉及一種數據血緣確定方法、裝置、存儲介質及電子設備。
技術介紹
1、數據血緣是指數據在其生命周期內變化的完整流程,包括數據的起源、傳輸、存儲、加工和使用等生命周期的各個環節,是數據從最開始產生到最終去向之間的多個環節的數據處理操作之間的數據鏈路。
2、通常,當某個環節的數據處理操作得到的結果數據出現異常時,需要通過數據鏈路,追溯該出現異常的數據的上游數據,排查異常原因。目前排查的方式主要是查看該環節數據處理操作的操作代碼,但是由于用于業務數據處理的程序代碼的代碼量一般非常龐大,難以在用于業務數據處理的程序代碼中定位該環節數據處理操作的操作代碼,異常處理效率低。
3、因此,本說明書提供一種數據血緣確定方法。
技術實現思路
1、本說明書提供一種數據血緣確定方法、裝置、存儲介質及電子設備,以至少部分地解決現有技術存在的上述問題。
2、本說明書采用下述技術方案:
3、本說明書提供了一種數據血緣確定方法,包括:
4、確定目標業務,在所述目標業務的每個數據處理環節中,記錄該數據處理環節的數據處理操作的操作代碼對應的程序文件,以及記錄所述操作代碼在所述程序文件中的位置;
5、根據記錄的所述操作代碼對應的程序文件和所述操作代碼在所述程序文件中的位置,確定該數據處理環節的程序索引;
6、確定所述目標業務的原始數據,以及確定各數據處理環節得到的結果數據,根據所述各數據處理環節的數據處理操作的操作
7、確定所述原始數據對應的節點和各結果數據分別對應的節點,作為表節點,根據所述原始數據和所述各結果數據之間的數據流轉方向,確定各表節點之間的邊,分別根據所述各數據處理環節的程序索引,確定所述各數據處理環節的結果數據對應的表節點的索引信息;
8、根據所述各表節點、所述各表節點之間的邊和所述各表節點的索引信息,確定血緣鏈路圖。
9、可選地,所述操作代碼中包含用于信息上報的程序語句;
10、根據所述各數據處理環節的數據處理操作的操作代碼,確定所述原始數據和各結果數據之間的數據流轉方向,具體包括:
11、針對每個數據處理環節,根據該數據處理環節的數據處理操作的操作代碼,獲取該數據處理環節的數據處理操作中用到的原始數據和各結果數據,作為該數據處理環節的來源數據;
12、分別確定從各來源數據到該數據處理環節得到的結果數據的數據流轉方向。
13、可選地,根據所述各數據處理環節的數據處理操作的操作代碼,確定所述原始數據和各結果數據之間的數據流轉方向,具體包括:
14、針對每個數據處理環節,確定該數據處理環節的數據處理操作的操作代碼對應的語法樹;
15、對所述語法樹的各節點進行遍歷,根據所述語法樹中表示查詢字段的節點和表示修改字段的節點,確定該數據處理環節對應的數據流轉方向。
16、可選地,根據所述語法樹中表示查詢字段的節點和表示修改字段的節點,確定該數據處理環節對應的數據流轉方向,具體包括:
17、在所述語法樹的各節點中,根據表示查詢字段的節點的子節點,確定該數據處理環節的各來源數據,根據表示修改字段的節點的子節點,確定該數據處理環節得到的結果數據;
18、分別確定從所述各來源數據到該數據處理環節得到的結果數據的數據流轉方向。
19、可選地,分別根據所述各數據處理環節的程序索引,確定所述各數據處理環節的結果數據對應的表節點連接的索引信息,具體包括:
20、針對每個數據處理環節,根據確定的所述原始數據和所述各結果數據之間的數據流轉方向,確定位于該數據處理環節的結果數據上游的原始數據和各結果數據,作為該數據處理環節的結果數據的上游數據;
21、根據所述原始數據和所述各結果數據之間的數據流轉方向中,該數據處理環節的結果數據和各上游數據之間的數據流轉方向,對該數據處理環節的結果數據和所述各上游數據的程序索引進行排序,確定索引鏈;
22、根據所述索引鏈,確定該數據處理環節的結果數據對應的表節點連接的索引信息。
23、可選地,所述方法還包括:
24、將所述索引鏈中,該數據處理環節的程序索引作為主要信息;
25、將所述索引鏈,作為所述主要信息的折疊信息;
26、響應于用戶對該數據處理環節的結果數據的異常查詢命令,確定該數據處理環節的結果數據對應的表節點,展示所述主要信息;
27、響應于所述用戶對所述主要信息的展開命令,展示所述主要信息的折疊信息。
28、可選地,所述血緣鏈路圖中還包含列節點;
29、所述方法還包括:
30、針對所述血緣鏈路圖中的每個表節點,根據該表節點對應的原始數據或結果數據中包含的各數據列,確定該表節點連接的各列節點;
31、針對該表節點對應的原始數據或結果數據中包含的每個數據列,在該表節點對應的數據處理操作的操作代碼中,確定該數據列對應的程序語句;
32、根據該數據列對應的程序語句,確定該數據列對應的數據處理規則,以及確定所述數據處理規則所用到的數據列,作為來源列;
33、確定從所述來源列到該數據列之間的邊。
34、本說明書提供了一種數據血緣確定裝置,所述裝置包括:
35、記錄模塊,確定目標業務,在所述目標業務的每個數據處理環節中,記錄該數據處理環節的數據處理操作的操作代碼對應的程序文件,以及記錄所述操作代碼在所述程序文件中的位置;
36、程序索引確定模塊,根據記錄的所述操作代碼對應的程序文件和所述操作代碼在所述程序文件中的位置,確定該數據處理環節的程序索引;
37、數據流轉方向確定模塊,確定所述目標業務的原始數據,以及確定各數據處理環節得到的結果數據,根據所述各數據處理環節的數據處理操作的操作代碼,確定所述原始數據和各結果數據之間的數據流轉方向;
38、構建模塊,確定所述原始數據對應的節點和各結果數據分別對應的節點,作為表節點,根據所述原始數據和所述各結果數據之間的數據流轉方向,確定各表節點之間的邊,分別根據所述各數據處理環節的程序索引,確定所述各數據處理環節的結果數據對應的表節點的索引信息;
39、數據血緣確定模塊,根據所述各表節點、所述各表節點之間的邊和所述各表節點的索引信息,確定血緣鏈路圖。
40、本說明書提供了一種計算機可讀存儲介質,所述存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現上述數據血緣確定方法。
41、本說明書提供了一種電子設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執行所述程序時實現上述數據血緣確定方法。
42、本說明書采用的上述至少一個技術方案能夠達到以下有益效果:
43、在本說本文檔來自技高網...
【技術保護點】
1.一種數據血緣確定方法,其特征在于,包括:
2.如權利要求1所述的方法,其特征在于,所述操作代碼中包含用于信息上報的程序語句;
3.如權利要求1所述的方法,其特征在于,根據所述各數據處理環節的數據處理操作的操作代碼,確定所述原始數據和各結果數據之間的數據流轉方向,具體包括:
4.如權利要求3所述的方法,其特征在于,根據所述語法樹中表示查詢字段的節點和表示修改字段的節點,確定該數據處理環節對應的數據流轉方向,具體包括:
5.如權利要求1所述的方法,其特征在于,分別根據所述各數據處理環節的程序索引,確定所述各數據處理環節的結果數據對應的表節點連接的索引信息,具體包括:
6.如權利要求5所述的方法,其特征在于,所述方法還包括:
7.如權利要求1所述的方法,其特征在于,所述血緣鏈路圖中還包含列節點;
8.一種數據血緣確定裝置,其特征在于,包括:
9.一種計算機可讀存儲介質,其特征在于,所述存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現上述權利要求1~7任一項所述的方法。
< ...【技術特征摘要】
1.一種數據血緣確定方法,其特征在于,包括:
2.如權利要求1所述的方法,其特征在于,所述操作代碼中包含用于信息上報的程序語句;
3.如權利要求1所述的方法,其特征在于,根據所述各數據處理環節的數據處理操作的操作代碼,確定所述原始數據和各結果數據之間的數據流轉方向,具體包括:
4.如權利要求3所述的方法,其特征在于,根據所述語法樹中表示查詢字段的節點和表示修改字段的節點,確定該數據處理環節對應的數據流轉方向,具體包括:
5.如權利要求1所述的方法,其特征在于,分別根據所述各數據處理環節的程序索引,確定所述各數據處理環節的結果數...
【專利技術屬性】
技術研發人員:李灝穎,
申請(專利權)人:廣州三七極夢網絡技術有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。