本申請(qǐng)涉及一種數(shù)據(jù)血緣分析方法、裝置、計(jì)算機(jī)設(shè)備和可讀存儲(chǔ)介質(zhì)。所述方法包括：執(zhí)行SQL查詢，獲取存儲(chǔ)過(guò)程數(shù)據(jù)，將存儲(chǔ)過(guò)程數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)化的執(zhí)行計(jì)劃，從執(zhí)行計(jì)劃中提取出掃描算子的表名和插入算子的表名，基于掃描算子的表名構(gòu)建表數(shù)據(jù)讀取文件，基于插入算子的表名構(gòu)建表數(shù)據(jù)寫(xiě)入文件，表數(shù)據(jù)讀取文件包括執(zhí)行計(jì)劃名稱，記錄有執(zhí)行計(jì)劃所需的數(shù)據(jù)表，表數(shù)據(jù)寫(xiě)入文件包括執(zhí)行計(jì)劃名稱，記錄有執(zhí)行計(jì)劃寫(xiě)入數(shù)據(jù)的數(shù)據(jù)表，基于執(zhí)行計(jì)劃名稱，對(duì)表數(shù)據(jù)讀取文件和表數(shù)據(jù)寫(xiě)入文件進(jìn)行關(guān)聯(lián)操作，得到存儲(chǔ)過(guò)程的數(shù)據(jù)血緣關(guān)系。采用本方法能夠有效提高數(shù)據(jù)分析效率。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及數(shù)據(jù)分析，特別是涉及一種數(shù)據(jù)血緣分析方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。
技術(shù)介紹
1、在商務(wù)智能具體實(shí)踐中，常常需要根據(jù)業(yè)務(wù)邏輯，對(duì)實(shí)際業(yè)務(wù)產(chǎn)生的數(shù)據(jù)進(jìn)行整合、匯總，計(jì)算各類指標(biāo)，以支持業(yè)務(wù)部門(mén)對(duì)于數(shù)據(jù)分析的需求。
2、然而，數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)表之間復(fù)雜的血緣關(guān)系增加了數(shù)據(jù)分析的難度，例如a表加b表生成c表，c表加d表加e表生成f表，在查找數(shù)據(jù)異常問(wèn)題時(shí)容易造成不便，例如當(dāng)f表數(shù)據(jù)出現(xiàn)異常時(shí)，問(wèn)題可能出在a表，但是在實(shí)際查找過(guò)程中可能需要先查看f表的生成sql（structured?query?language，結(jié)構(gòu)化查詢語(yǔ)言）邏輯代碼，再查看c表的生成sql邏輯代碼才能定位問(wèn)題。如此，大大影響了數(shù)據(jù)分析的效率。
技術(shù)實(shí)現(xiàn)思路
1、基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種高效的數(shù)據(jù)血緣分析方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品。
2、第一方面，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)血緣分析方法，包括：
3、執(zhí)行sql查詢，獲取存儲(chǔ)過(guò)程數(shù)據(jù)；
4、將所述存儲(chǔ)過(guò)程數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)化的執(zhí)行計(jì)劃；
5、從所述執(zhí)行計(jì)劃中提取出掃描算子的表名和插入算子的表名；
6、基于所述掃描算子的表名構(gòu)建表數(shù)據(jù)讀取文件，基于所述插入算子的表名構(gòu)建表數(shù)據(jù)寫(xiě)入文件，所述表數(shù)據(jù)讀取文件包括執(zhí)行計(jì)劃名稱，記錄有執(zhí)行計(jì)劃所需的數(shù)據(jù)表，所述表數(shù)據(jù)寫(xiě)入文件包括執(zhí)行計(jì)劃名稱，記錄有執(zhí)行計(jì)劃寫(xiě)入數(shù)據(jù)的數(shù)據(jù)表；
<
p>7、基于所述執(zhí)行計(jì)劃名稱，對(duì)所述表數(shù)據(jù)讀取文件和所述表數(shù)據(jù)寫(xiě)入文件進(jìn)行關(guān)聯(lián)操作，得到所述存儲(chǔ)過(guò)程的數(shù)據(jù)血緣關(guān)系。8、在其中一個(gè)實(shí)施例中，所述將所述存儲(chǔ)過(guò)程數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)化的執(zhí)行計(jì)劃，包括：
9、將所述存儲(chǔ)過(guò)程數(shù)據(jù)從字符串轉(zhuǎn)換為第一格式化結(jié)構(gòu)數(shù)據(jù)；
10、對(duì)所述第一格式化結(jié)構(gòu)數(shù)據(jù)進(jìn)行查詢重寫(xiě)，得到優(yōu)化后的第二格式化結(jié)構(gòu)數(shù)據(jù)；
11、根據(jù)所述第二格式化結(jié)構(gòu)數(shù)據(jù)和預(yù)設(shè)的數(shù)據(jù)庫(kù)統(tǒng)計(jì)信息，確定所述存儲(chǔ)過(guò)程的執(zhí)行計(jì)劃。
12、在其中一個(gè)實(shí)施例中，所述將所述存儲(chǔ)過(guò)程數(shù)據(jù)從字符串轉(zhuǎn)換為第一格式化結(jié)構(gòu)數(shù)據(jù)，包括：
13、對(duì)所述存儲(chǔ)過(guò)程數(shù)據(jù)進(jìn)行詞法分析，將所述存儲(chǔ)過(guò)程分解為多個(gè)標(biāo)記；
14、根據(jù)預(yù)設(shè)的sql語(yǔ)法規(guī)則，將所述多個(gè)標(biāo)記組合為第一格式化結(jié)構(gòu)數(shù)據(jù)。
15、在其中一個(gè)實(shí)施例中，所述對(duì)所述第一格式化結(jié)構(gòu)數(shù)據(jù)進(jìn)行查詢重寫(xiě)之前，所述方法包括：
16、對(duì)所述第一格式化結(jié)構(gòu)數(shù)據(jù)進(jìn)行語(yǔ)義解析，驗(yàn)證所述第一格式化結(jié)構(gòu)數(shù)據(jù)的邏輯正確性和可行性；
17、所述對(duì)所述第一格式化結(jié)構(gòu)數(shù)據(jù)進(jìn)行查詢重寫(xiě)，包括：
18、在所述第一格式化結(jié)構(gòu)數(shù)據(jù)通過(guò)邏輯正確性和可行性的驗(yàn)證的情況下，對(duì)所述第一格式化結(jié)構(gòu)數(shù)據(jù)進(jìn)行查詢重寫(xiě)。
19、在其中一個(gè)實(shí)施例中，所述根據(jù)所述第二格式化結(jié)構(gòu)數(shù)據(jù)和預(yù)設(shè)的數(shù)據(jù)庫(kù)統(tǒng)計(jì)信息，確定所述存儲(chǔ)過(guò)程的執(zhí)行計(jì)劃，包括：
20、基于預(yù)設(shè)的數(shù)據(jù)庫(kù)統(tǒng)計(jì)信息，評(píng)估基于所述第二格式化結(jié)構(gòu)數(shù)據(jù)構(gòu)建的不同版本的執(zhí)行計(jì)劃，得到執(zhí)行計(jì)劃評(píng)估結(jié)果；
21、從不同版本的執(zhí)行計(jì)劃中篩選出執(zhí)行計(jì)劃評(píng)估結(jié)果最優(yōu)的目標(biāo)執(zhí)行計(jì)劃；
22、將所述目標(biāo)執(zhí)行計(jì)劃確定為所述存儲(chǔ)過(guò)程的執(zhí)行計(jì)劃。
23、在其中一個(gè)實(shí)施例中，所述得到所述存儲(chǔ)過(guò)程的數(shù)據(jù)血緣關(guān)系之后，所述方法還包括：
24、對(duì)所述數(shù)據(jù)血緣關(guān)系進(jìn)行多次聯(lián)接，得到多層數(shù)據(jù)血緣關(guān)系。
25、在其中一個(gè)實(shí)施例中，從所述執(zhí)行計(jì)劃中提取出掃描算子的表名和插入算子的表名，包括：
26、通過(guò)正則表達(dá)式，從所述執(zhí)行計(jì)劃中提取出掃描算子的表名和插入算子的表名。
27、第二方面，本申請(qǐng)還提供了一種數(shù)據(jù)血緣分析裝置。所述裝置包括：
28、數(shù)據(jù)獲取模塊，用于執(zhí)行sql查詢，獲取存儲(chǔ)過(guò)程數(shù)據(jù)；
29、數(shù)據(jù)轉(zhuǎn)換模塊，用于獲取存儲(chǔ)過(guò)程數(shù)據(jù)，將所述存儲(chǔ)過(guò)程數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)化的執(zhí)行計(jì)劃；
30、數(shù)據(jù)提取模塊，用于從所述執(zhí)行計(jì)劃中提取出掃描算子的表名和插入算子的表名；
31、數(shù)據(jù)構(gòu)建模塊，用于基于所述掃描算子的表名構(gòu)建表數(shù)據(jù)讀取文件，基于所述插入算子的表名構(gòu)建表數(shù)據(jù)寫(xiě)入文件，所述表數(shù)據(jù)讀取文件包括執(zhí)行計(jì)劃名稱，記錄有執(zhí)行計(jì)劃所需的數(shù)據(jù)表，所述表數(shù)據(jù)寫(xiě)入文件包括執(zhí)行計(jì)劃名稱，記錄有執(zhí)行計(jì)劃寫(xiě)入數(shù)據(jù)的數(shù)據(jù)表；
32、數(shù)據(jù)分析模塊，用于基于所述執(zhí)行計(jì)劃名稱，對(duì)所述表數(shù)據(jù)讀取文件和所述表數(shù)據(jù)寫(xiě)入文件進(jìn)行關(guān)聯(lián)操作，得到所述存儲(chǔ)過(guò)程的數(shù)據(jù)血緣關(guān)系。
33、第三方面，本申請(qǐng)還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述任意一項(xiàng)數(shù)據(jù)血緣分析方法實(shí)施例中的步驟。
34、第四方面，本申請(qǐng)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任意一項(xiàng)數(shù)據(jù)血緣分析方法實(shí)施例中的步驟。
35、第五方面，本申請(qǐng)還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述任意一項(xiàng)數(shù)據(jù)血緣分析方法實(shí)施例中的步驟。
36、上述數(shù)據(jù)血緣分析方法、裝置、計(jì)算機(jī)設(shè)備、計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)和計(jì)算機(jī)程序產(chǎn)品，通過(guò)將存儲(chǔ)過(guò)程數(shù)據(jù)轉(zhuǎn)換為統(tǒng)一且標(biāo)準(zhǔn)化的執(zhí)行計(jì)劃，能夠提高數(shù)據(jù)解析過(guò)程的一致性和準(zhǔn)確性，降低了因開(kāi)發(fā)者代碼編寫(xiě)習(xí)慣不同帶來(lái)的數(shù)據(jù)解析的難度，有利于提高數(shù)據(jù)分析效率，通過(guò)從執(zhí)行計(jì)劃中精確提取掃描算子和插入算子的表名，構(gòu)建表數(shù)據(jù)讀取文件和表數(shù)據(jù)寫(xiě)入文件，每個(gè)文件都包含執(zhí)行計(jì)劃名稱和相關(guān)表名，清晰記錄數(shù)據(jù)的來(lái)源和去向，提供了完整的數(shù)據(jù)血緣信息，方便追溯數(shù)據(jù)的流動(dòng)路徑，最后，通過(guò)對(duì)表數(shù)據(jù)讀取文件和表數(shù)據(jù)寫(xiě)入文件進(jìn)行關(guān)聯(lián)操作，能夠得到存儲(chǔ)過(guò)程數(shù)據(jù)的數(shù)據(jù)血緣關(guān)系，全面展示數(shù)據(jù)在系統(tǒng)中的流動(dòng)情況，有效提高了數(shù)據(jù)分析效率。進(jìn)一步地，通過(guò)分析數(shù)據(jù)血緣關(guān)系，能夠發(fā)現(xiàn)潛在的性能瓶頸，優(yōu)化存儲(chǔ)過(guò)程和數(shù)據(jù)庫(kù)設(shè)計(jì)，在系統(tǒng)出現(xiàn)問(wèn)題時(shí)能夠基于數(shù)據(jù)血緣關(guān)系，快速定位數(shù)據(jù)的來(lái)源和去向，加快故障排查和修復(fù)速度。
本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)血緣分析方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述存儲(chǔ)過(guò)程數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)化的執(zhí)行計(jì)劃，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述存儲(chǔ)過(guò)程數(shù)據(jù)從字符串轉(zhuǎn)換為第一格式化結(jié)構(gòu)數(shù)據(jù)，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述第一格式化結(jié)構(gòu)數(shù)據(jù)進(jìn)行查詢重寫(xiě)之前，所述方法包括：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第二格式化結(jié)構(gòu)數(shù)據(jù)和預(yù)設(shè)的數(shù)據(jù)庫(kù)統(tǒng)計(jì)信息，確定所述存儲(chǔ)過(guò)程的執(zhí)行計(jì)劃，包括：
6.根據(jù)權(quán)利要求1至5任意一項(xiàng)所述的方法，其特征在于，所述得到所述存儲(chǔ)過(guò)程的數(shù)據(jù)血緣關(guān)系之后，所述方法還包括：
7.根據(jù)權(quán)利要求1至5任意一項(xiàng)所述的方法，其特征在于，從所述執(zhí)行計(jì)劃中提取出掃描算子的表名和插入算子的表名，包括：
8.一種數(shù)據(jù)血緣分析裝置，其特征在于，所述裝置包括：
9.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述的方法的步驟。
...
【技術(shù)特征摘要】
1.一種數(shù)據(jù)血緣分析方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述存儲(chǔ)過(guò)程數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)化的執(zhí)行計(jì)劃，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述存儲(chǔ)過(guò)程數(shù)據(jù)從字符串轉(zhuǎn)換為第一格式化結(jié)構(gòu)數(shù)據(jù)，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述第一格式化結(jié)構(gòu)數(shù)據(jù)進(jìn)行查詢重寫(xiě)之前，所述方法包括：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述第二格式化結(jié)構(gòu)數(shù)據(jù)和預(yù)設(shè)的數(shù)據(jù)庫(kù)統(tǒng)計(jì)信息，確定所述存儲(chǔ)過(guò)程的執(zhí)行計(jì)劃，包括：
6.根據(jù)權(quán)利要求1至5任意一項(xiàng)所述的...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉鵬，陳辰，白龍，胡帥，陸智卿，
申請(qǐng)(專利權(quán))人：中國(guó)人壽保險(xiǎn)股份有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。