System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本申請涉及大數據,特別是涉及一種字段血緣數據處理方法、裝置、計算機設備、存儲介質和計算機程序產品。
技術介紹
1、數據血緣用于追蹤表的來源、去向,即用于追蹤從表的產生、轉換、過濾,到與其他表進行融合,再到最終提供表給應用端來提供表查詢服務的整個鏈路。通過數據血緣可以分析出表的生產節點信息,以及該表異常影響的下游節點,直觀的看出表的來源和去向。對于復雜的sql通過數據血緣可以更好輔助開發人員進行sql的理解。
2、目前,在相關技術中,大部分針對數據血緣的處理方法只滿足表血緣的基本功能,而字段血緣相較于表血緣的處理復雜度和難度較高,因此大部分相關技術中對字段血緣只能基于靜態分析,而無法提高對字段血緣分析的準確度。
技術實現思路
1、基于此,有必要針對上述技術問題,提供一種能夠提高對字段血緣分析的準確度的字段血緣數據處理方法、裝置、計算機設備、計算機可讀存儲介質和計算機程序產品。
2、第一方面,本申請提供了一種字段血緣數據處理方法,包括:
3、獲取數據表信息和待解析指令語句;
4、根據所述待解析指令語句確定目標字段,并將所述目標字段對應的數據表信息作為目標解析信息;
5、根據所述目標解析信息解析所述目標字段的數據血緣信息;
6、在所述數據血緣信息完整的情況下,將所述數據血緣信息作為目標血緣信息;在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,
7、在其中一個實施例中,在所述根據所述待解析指令語句確定目標字段之前,還包括:
8、根據所述數據表信息生成語法樹,并監聽所述語法樹上的各個節點,得到監聽數據信息;
9、根據所述目標字段和所述監聽數據信息,確定所述目標字段對應的數據表信息。
10、在其中一個實施例中,所述目標解析信息包括源表解析信息、目標表解析信息和所述源表解析信息和所述目標表解析信息之間的數據映射關系;所述根據所述目標解析信息解析所述目標字段的數據血緣信息,包括:
11、根據所述源表解析信息確定所述目標字段的源表血緣信息;
12、根據所述目標表解析信息確定所述目標字段的目標表血緣信息;
13、根據所述數據映射關系,組合所述源表血緣信息和所述目標表血緣信息,得到所述目標字段的數據血緣信息。
14、在其中一個實施例中,所述在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,得到目標血緣信息,包括:
15、在所述源表血緣信息不完整的情況下,在所述數據表信息中查詢源表中所述目標字段的元數據信息;
16、根據所述元數據信息補充所述源表血緣信息;
17、根據所述數據映射關系,組合補充后的所述源表血緣信息和所述目標表血緣信息,得到目標血緣信息。
18、在其中一個實施例中,所述在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,得到目標血緣信息,包括:
19、在所述目標表血緣信息不完整的情況下,在所述數據表信息中查詢目標表中所述目標字段的元數據信息;
20、根據所述元數據信息補充所述目標表血緣信息;
21、根據所述數據映射關系,組合補充后的所述目標表血緣信息和所述源表血緣信息,得到目標血緣信息。
22、在其中一個實施例中,所述根據所述數據表信息確定所述目標字段的元數據信息,包括:
23、在所述數據表信息中包括建表語句的情況下,根據所述建表語句確定所述目標字段的元數據信息;
24、在所述數據表信息中不包括建表語句的情況下,識別與所述目標字段相關聯的數據表,得到表結構信息,并根據所述表結構信息確定所述目標字段的元數據信息。
25、第二方面,本申請還提供了一種字段血緣數據處理裝置,包括:
26、信息獲取模塊,用于獲取數據表信息和待解析指令語句;
27、字段解析模塊,用于根據所述待解析指令語句確定目標字段,并將所述目標字段對應的數據表信息作為目標解析信息;
28、數據解析模塊,用于根據所述目標解析信息解析所述目標字段的數據血緣信息;
29、數據處理模塊,用于在所述數據血緣信息完整的情況下,將所述數據血緣信息作為目標血緣信息;在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,得到目標血緣信息。
30、第三方面,本申請還提供了一種計算機設備,包括存儲器和處理器,所述存儲器存儲有計算機程序,所述處理器執行所述計算機程序時實現以下步驟:
31、獲取數據表信息和待解析指令語句;
32、根據所述待解析指令語句確定目標字段,并將所述目標字段對應的數據表信息作為目標解析信息;
33、根據所述目標解析信息解析所述目標字段的數據血緣信息;
34、在所述數據血緣信息完整的情況下,將所述數據血緣信息作為目標血緣信息;在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,得到目標血緣信息。
35、第四方面,本申請還提供了一種計算機可讀存儲介質,其上存儲有計算機程序,所述計算機程序被處理器執行時實現以下步驟:
36、獲取數據表信息和待解析指令語句;
37、根據所述待解析指令語句確定目標字段,并將所述目標字段對應的數據表信息作為目標解析信息;
38、根據所述目標解析信息解析所述目標字段的數據血緣信息;
39、在所述數據血緣信息完整的情況下,將所述數據血緣信息作為目標血緣信息;在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,得到目標血緣信息。
40、第五方面,本申請還提供了一種計算機程序產品,包括計算機程序,該計算機程序被處理器執行時實現以下步驟:
41、獲取數據表信息和待解析指令語句;
42、根據所述待解析指令語句確定目標字段,并將所述目標字段對應的數據表信息作為目標解析信息;
43、根據所述目標解析信息解析所述目標字段的數據血緣信息;
44、在所述數據血緣信息完整的情況下,將所述數據血緣信息作為目標血緣信息;在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,得到目標血緣信息。
45、上述字段血緣數據處理方法、裝置、計算機設備、存儲介質和計算機程序產品,通過獲取數據表信息和待解析指令語句,再根據待解析指令語句確本文檔來自技高網...
【技術保護點】
1.一種字段血緣數據處理方法,其特征在于,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,在所述根據所述待解析指令語句確定目標字段之前,還包括:
3.根據權利要求1所述的方法,其特征在于,所述目標解析信息包括源表解析信息、目標表解析信息和所述源表解析信息和所述目標表解析信息之間的數據映射關系;所述根據所述目標解析信息解析所述目標字段的數據血緣信息,包括:
4.根據權利要求3所述的方法,其特征在于,所述在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,得到目標血緣信息,包括:
5.根據權利要求3所述的方法,其特征在于,所述在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,得到目標血緣信息,包括:
6.根據權利要求1-5中任意一項所述的方法,其特征在于,所述根據所述數據表信息確定所述目標字段的元數據信息,包括:
7.一種字段血緣數據處理裝置,其特征在于,所述
8.一種計算機設備,包括存儲器和處理器,所述存儲器存儲有計算機程序,其特征在于,所述處理器執行所述計算機程序時實現權利要求1至6中任一項所述的方法的步驟。
9.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執行時實現權利要求1至6中任一項所述的方法的步驟。
10.一種計算機程序產品,包括計算機程序,其特征在于,該計算機程序被處理器執行時實現權利要求1至6中任一項所述的方法的步驟。
...【技術特征摘要】
1.一種字段血緣數據處理方法,其特征在于,所述方法包括:
2.根據權利要求1所述的方法,其特征在于,在所述根據所述待解析指令語句確定目標字段之前,還包括:
3.根據權利要求1所述的方法,其特征在于,所述目標解析信息包括源表解析信息、目標表解析信息和所述源表解析信息和所述目標表解析信息之間的數據映射關系;所述根據所述目標解析信息解析所述目標字段的數據血緣信息,包括:
4.根據權利要求3所述的方法,其特征在于,所述在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元數據信息,并根據所述元數據信息補充所述數據血緣信息,得到目標血緣信息,包括:
5.根據權利要求3所述的方法,其特征在于,所述在所述數據血緣信息不完整的情況下,根據所述數據表信息確定所述目標字段的元...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。