【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及大數(shù)據(jù)，具體涉及一種數(shù)據(jù)血緣關(guān)系的分析方法、大數(shù)據(jù)平臺(tái)、設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、數(shù)據(jù)的血緣關(guān)系指的是數(shù)據(jù)元素之間的關(guān)聯(lián)或聯(lián)系，顯示了數(shù)據(jù)之間的源頭、傳遞路徑和依賴關(guān)系。這種關(guān)系描述了數(shù)據(jù)如何從一個(gè)數(shù)據(jù)元素到另一個(gè)數(shù)據(jù)元素，跟蹤數(shù)據(jù)的來(lái)源和流向，以及不同數(shù)據(jù)之間的影響與連接。
2、在數(shù)據(jù)計(jì)算平臺(tái)中，對(duì)數(shù)據(jù)的血緣關(guān)系通常通過(guò)靜態(tài)代碼分析或動(dòng)態(tài)監(jiān)聽(tīng)來(lái)實(shí)現(xiàn)。然而，由于數(shù)據(jù)編程語(yǔ)言種類(lèi)繁多，使用靜態(tài)代碼分析解析數(shù)據(jù)的血緣關(guān)系需要為每種語(yǔ)言開(kāi)發(fā)專門(mén)的解析程序，增加了開(kāi)發(fā)和維護(hù)成本。此外，數(shù)據(jù)編程語(yǔ)言的復(fù)雜性和代碼結(jié)構(gòu)的多樣性也使得靜態(tài)代碼分析的結(jié)果可能存在誤差，降低了分析的準(zhǔn)確性和可靠性。
3、對(duì)于動(dòng)態(tài)監(jiān)聽(tīng)方法，首先其嵌入到數(shù)據(jù)計(jì)算平臺(tái)中會(huì)影響平臺(tái)運(yùn)行的穩(wěn)定性，因?yàn)樾枰~外的資源和時(shí)間來(lái)執(zhí)行監(jiān)聽(tīng)操作，可能導(dǎo)致系統(tǒng)負(fù)載增加，進(jìn)而影響平臺(tái)和作業(yè)的穩(wěn)定性。其次，動(dòng)態(tài)監(jiān)聽(tīng)消耗大量計(jì)算資源，因?yàn)樾枰獙?shí)時(shí)監(jiān)控應(yīng)用程序執(zhí)行過(guò)程，這可能導(dǎo)致系統(tǒng)性能下降、響應(yīng)時(shí)間延長(zhǎng)，尤其在大規(guī)模作業(yè)或高負(fù)荷情況下，對(duì)計(jì)算資源需求更為顯著，對(duì)數(shù)據(jù)計(jì)算平臺(tái)帶來(lái)壓力。
4、因此，如何提供一種低成本且準(zhǔn)確可靠的數(shù)據(jù)血緣關(guān)系的分析方法，同時(shí)不影響數(shù)據(jù)計(jì)算平臺(tái)的穩(wěn)定運(yùn)行，是本領(lǐng)域技術(shù)人員急需解決的技術(shù)問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、基于上述問(wèn)題，本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)血緣關(guān)系的分析方法、大數(shù)據(jù)平臺(tái)、設(shè)備及存儲(chǔ)介質(zhì)，可以提供一種低成本且準(zhǔn)確可靠的數(shù)據(jù)血緣關(guān)系的分析方法，同時(shí)不影響數(shù)據(jù)計(jì)算平臺(tái)的
2、本申請(qǐng)實(shí)施例公開(kāi)了如下技術(shù)方案：
3、一種數(shù)據(jù)血緣關(guān)系的分析方法，應(yīng)用于大數(shù)據(jù)平臺(tái)，所述方法包括：
4、提取目標(biāo)日志的所有事件，基于各個(gè)事件的會(huì)話標(biāo)識(shí)符將具有相同所述會(huì)話標(biāo)識(shí)符的事件劃分至同一會(huì)話分組；會(huì)話分組內(nèi)的所述各個(gè)事件是按照事件執(zhí)行時(shí)間的先后順序排序的；
5、將事件類(lèi)型為數(shù)據(jù)訪問(wèn)事件的事件確定為第一目標(biāo)事件，并為所述第一目標(biāo)事件構(gòu)建寫(xiě)入集合和讀取集合；所述事件類(lèi)型包括所述數(shù)據(jù)訪問(wèn)事件和指定數(shù)據(jù)庫(kù)事件；事件的所述事件類(lèi)型是根據(jù)事件的邏輯執(zhí)行計(jì)劃確定的；所述數(shù)據(jù)訪問(wèn)事件包括讀取步驟和/或?qū)懭氩襟E；所述指定數(shù)據(jù)庫(kù)事件包括指定數(shù)據(jù)庫(kù)步驟；所述寫(xiě)入集合包括多個(gè)寫(xiě)入數(shù)據(jù)對(duì)；所述寫(xiě)入數(shù)據(jù)對(duì)包括寫(xiě)入命令名稱和該寫(xiě)入命令名稱對(duì)應(yīng)的寫(xiě)入命令數(shù)據(jù)庫(kù)名稱；所述讀取集合多個(gè)讀取數(shù)據(jù)對(duì)；所述讀取數(shù)據(jù)對(duì)包括讀取命令名稱和該讀取命令名稱對(duì)應(yīng)的讀取命令數(shù)據(jù)庫(kù)名稱；
6、將存在所述寫(xiě)入命令數(shù)據(jù)庫(kù)名稱為空和/或所述讀取命令數(shù)據(jù)庫(kù)名稱為空的所述第一目標(biāo)事件確定為待補(bǔ)全事件，將不存在所述寫(xiě)入命令數(shù)據(jù)庫(kù)名稱為空和/或所述讀取命令數(shù)據(jù)庫(kù)名稱為空的所述第一目標(biāo)事件確定為完整事件；
7、基于與所述待補(bǔ)全事件對(duì)應(yīng)的指定數(shù)據(jù)庫(kù)事件對(duì)所述待補(bǔ)全事件進(jìn)行數(shù)據(jù)庫(kù)名稱補(bǔ)全得到補(bǔ)全事件，并將所述補(bǔ)全事件確定為所述完整事件；與所述待補(bǔ)全事件對(duì)應(yīng)的指定數(shù)據(jù)庫(kù)事件與所述待補(bǔ)全事件在同一會(huì)話分組中；
8、分別將各個(gè)所述完整事件的所述寫(xiě)入集合與所述讀取集合做笛卡爾積，得到所述目標(biāo)日志的數(shù)據(jù)血緣關(guān)系。
9、其中，在構(gòu)建所述寫(xiě)入集合過(guò)程中，若所述寫(xiě)入命令名稱不存在對(duì)應(yīng)的寫(xiě)入命令數(shù)據(jù)庫(kù)名稱，則將所述寫(xiě)入命令名稱對(duì)應(yīng)的寫(xiě)入命令數(shù)據(jù)庫(kù)名稱設(shè)置為空；在構(gòu)建所述讀取集合過(guò)程中，若所述讀取命令名稱不存在對(duì)應(yīng)的讀取命令數(shù)據(jù)庫(kù)名稱，則將所述讀取命令名稱對(duì)應(yīng)的讀取命令數(shù)據(jù)庫(kù)名稱設(shè)置為空。
10、在一種可能的實(shí)現(xiàn)方式中，所述為所述第一目標(biāo)事件構(gòu)建寫(xiě)入集合和讀取集合，包括：
11、確定所述第一目標(biāo)事件包括的步驟；
12、若所述第一目標(biāo)事件包括所述寫(xiě)入步驟，則獲取所述寫(xiě)入步驟對(duì)應(yīng)的多個(gè)寫(xiě)入命令；獲取各個(gè)寫(xiě)入命令的寫(xiě)入命令名稱和該寫(xiě)入命令名稱對(duì)應(yīng)的寫(xiě)入命令數(shù)據(jù)庫(kù)名稱；基于各個(gè)寫(xiě)入命令名稱和該寫(xiě)入命令名稱對(duì)應(yīng)的寫(xiě)入命令數(shù)據(jù)庫(kù)名稱構(gòu)建所述寫(xiě)入集合；
13、若所述第一目標(biāo)事件包括所述讀取步驟，則獲取所述讀取步驟對(duì)應(yīng)的多個(gè)讀取命令；獲取各個(gè)讀取命令的讀取命令名稱和該讀取命令名稱對(duì)應(yīng)的讀取命令數(shù)據(jù)庫(kù)名稱；基于各個(gè)讀取命令名稱和該讀取命令名稱對(duì)應(yīng)的讀取命令數(shù)據(jù)庫(kù)名稱構(gòu)建所述讀取集合。
14、在一種可能的實(shí)現(xiàn)方式中，所述方法還包括：
15、若所述第一目標(biāo)事件不包括所述寫(xiě)入步驟，則將寫(xiě)入命令的寫(xiě)入命令名稱和該寫(xiě)入命令名稱對(duì)應(yīng)的寫(xiě)入命令數(shù)據(jù)庫(kù)名稱均設(shè)置為空，并基于各個(gè)寫(xiě)入命令名稱和該寫(xiě)入命令名稱對(duì)應(yīng)的寫(xiě)入命令數(shù)據(jù)庫(kù)名稱構(gòu)建所述寫(xiě)入集合；
16、若所述第一目標(biāo)事件不包括所述讀取步驟，則將讀取命令的讀取命令名稱和該讀取命令名稱對(duì)應(yīng)的讀取命令數(shù)據(jù)庫(kù)名稱均設(shè)置為空，并基于各個(gè)讀取命令名稱和該讀取命令名稱對(duì)應(yīng)的讀取命令數(shù)據(jù)庫(kù)名稱構(gòu)建所述讀取集合。
17、在一種可能的實(shí)現(xiàn)方式中，所述基于與所述待補(bǔ)全事件對(duì)應(yīng)的指定數(shù)據(jù)庫(kù)事件對(duì)所述待補(bǔ)全事件進(jìn)行數(shù)據(jù)庫(kù)名稱補(bǔ)全得到補(bǔ)全事件，包括：
18、從所述待補(bǔ)全事件所在的會(huì)話分組中，確定所述事件執(zhí)行時(shí)間早于所述待補(bǔ)全事件的所述指定數(shù)據(jù)庫(kù)事件作為第二目標(biāo)事件；
19、從多個(gè)所述第二目標(biāo)事件中選取距離所述待補(bǔ)全事件時(shí)間最近的所述第二目標(biāo)事件作為第三目標(biāo)事件；
20、利用所述第三目標(biāo)事件的指定數(shù)據(jù)庫(kù)名稱對(duì)所述待補(bǔ)全事件進(jìn)行數(shù)據(jù)庫(kù)名稱補(bǔ)全得到所述補(bǔ)全事件。
21、在一種可能的實(shí)現(xiàn)方式中，所述待補(bǔ)全事件的所述寫(xiě)入命令名稱和所述讀取命令名稱均有具體的字符，不為空。
22、一種大數(shù)據(jù)平臺(tái)，所述大數(shù)據(jù)平臺(tái)包括：
23、事件提取單元，用于提取目標(biāo)日志的所有事件；
24、劃分單元，用于基于各個(gè)事件的會(huì)話標(biāo)識(shí)符將具有相同所述會(huì)話標(biāo)識(shí)符的事件劃分至同一會(huì)話分組；會(huì)話分組內(nèi)的所述各個(gè)事件是按照事件執(zhí)行時(shí)間的先后順序排序的；
25、第一確定單元，用于將事件類(lèi)型為數(shù)據(jù)訪問(wèn)事件的事件確定為第一目標(biāo)事件；
26、構(gòu)建單元，用于為所述第一目標(biāo)事件構(gòu)建寫(xiě)入集合和讀取集合；所述事件類(lèi)型包括所述數(shù)據(jù)訪問(wèn)事件和指定數(shù)據(jù)庫(kù)事件；事件的所述事件類(lèi)型是根據(jù)事件的邏輯執(zhí)行計(jì)劃確定的；所述數(shù)據(jù)訪問(wèn)事件包括讀取步驟和/或?qū)懭氩襟E；所述指定數(shù)據(jù)庫(kù)事件包括指定數(shù)據(jù)庫(kù)步驟；所述寫(xiě)入集合包括多個(gè)寫(xiě)入數(shù)據(jù)對(duì)；所述寫(xiě)入數(shù)據(jù)對(duì)包括寫(xiě)入命令名稱和該寫(xiě)入命令名稱對(duì)應(yīng)的寫(xiě)入命令數(shù)據(jù)庫(kù)名稱；所述讀取集合多個(gè)讀取數(shù)據(jù)對(duì)；所述讀取數(shù)據(jù)對(duì)包括讀取命令名稱和該讀取命令名稱對(duì)應(yīng)的讀取命令數(shù)據(jù)庫(kù)名稱；
27、第二確定單元，用于將存在所述寫(xiě)入命令數(shù)據(jù)庫(kù)名稱為空和/或所述讀取命令數(shù)據(jù)庫(kù)名稱為空的所述第一目標(biāo)事件確定為待補(bǔ)全事件，將不存在所述寫(xiě)入命令數(shù)據(jù)庫(kù)名稱為空和/或所述讀取命令數(shù)據(jù)庫(kù)名稱為空的所述第一目標(biāo)事件確定為完整事件；
28、第一補(bǔ)全單元，用于基于與所述待補(bǔ)全事件對(duì)應(yīng)的指定數(shù)據(jù)庫(kù)事件對(duì)所述待補(bǔ)全事件進(jìn)行數(shù)據(jù)庫(kù)名稱補(bǔ)全得到補(bǔ)全事件；與所述待補(bǔ)全事件對(duì)應(yīng)的指定數(shù)據(jù)庫(kù)事件與所述待本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)血緣關(guān)系的分析方法，其特征在于，應(yīng)用于大數(shù)據(jù)平臺(tái)，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述為所述第一目標(biāo)事件構(gòu)建寫(xiě)入集合和讀取集合，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于與所述待補(bǔ)全事件對(duì)應(yīng)的指定數(shù)據(jù)庫(kù)事件對(duì)所述待補(bǔ)全事件進(jìn)行數(shù)據(jù)庫(kù)名稱補(bǔ)全得到補(bǔ)全事件，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待補(bǔ)全事件的所述寫(xiě)入命令名稱和所述讀取命令名稱均有具體的字符，不為空。
6.一種大數(shù)據(jù)平臺(tái)，其特征在于，所述大數(shù)據(jù)平臺(tái)包括：
7.根據(jù)權(quán)利要求6所述的大數(shù)據(jù)平臺(tái)，其特征在于，所述構(gòu)建單元具體包括：
8.根據(jù)權(quán)利要求7所述的大數(shù)據(jù)平臺(tái)，其特征在于，所述大數(shù)據(jù)平臺(tái)還包括：
9.一種數(shù)據(jù)血緣關(guān)系的分析設(shè)備，其特征在于，包括：存儲(chǔ)器，處理器，及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的數(shù)據(jù)血緣關(guān)系的分析方
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)所述指令在終端設(shè)備上運(yùn)行時(shí)，使得所述終端設(shè)備執(zhí)行如權(quán)利要求1-5任一項(xiàng)所述的數(shù)據(jù)血緣關(guān)系的分析方法。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)血緣關(guān)系的分析方法，其特征在于，應(yīng)用于大數(shù)據(jù)平臺(tái)，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述為所述第一目標(biāo)事件構(gòu)建寫(xiě)入集合和讀取集合，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于與所述待補(bǔ)全事件對(duì)應(yīng)的指定數(shù)據(jù)庫(kù)事件對(duì)所述待補(bǔ)全事件進(jìn)行數(shù)據(jù)庫(kù)名稱補(bǔ)全得到補(bǔ)全事件，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待補(bǔ)全事件的所述寫(xiě)入命令名稱和所述讀取命令名稱均有具體的字符，不為空。
6.一種大數(shù)據(jù)平臺(tái)，其特征在于，所述大數(shù)據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：馮亮，陳志遠(yuǎn)，孫谷飛，王磊，
申請(qǐng)(專利權(quán))人：太保科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。