數(shù)據(jù)獲取的方法、裝置、電子設(shè)備和計算機可讀介質(zhì)制造方法及圖紙

本申請實施例提供了一種數(shù)據(jù)獲取的方法、裝置、電子設(shè)備和計算機可讀介質(zhì)，涉及大數(shù)據(jù)技術(shù)領(lǐng)域。所述方法包括：確定用于表示數(shù)據(jù)倉庫中數(shù)據(jù)流轉(zhuǎn)情況的圖譜結(jié)構(gòu)，所述圖譜結(jié)構(gòu)包括用于表示數(shù)據(jù)從源數(shù)據(jù)庫接入到所述數(shù)據(jù)倉庫的數(shù)據(jù)接入節(jié)點；根據(jù)所述圖譜結(jié)構(gòu)，確定目標(biāo)數(shù)據(jù)的所述數(shù)據(jù)接入節(jié)點；獲取與所述數(shù)據(jù)接入節(jié)點對應(yīng)的數(shù)據(jù)源信息。入節(jié)點對應(yīng)的數(shù)據(jù)源信息。入節(jié)點對應(yīng)的數(shù)據(jù)源信息。

【技術(shù)實現(xiàn)步驟摘要】
數(shù)據(jù)獲取的方法、裝置、電子設(shè)備和計算機可讀介質(zhì)


[0001]本申請涉及大數(shù)據(jù)
，尤其涉及一種數(shù)據(jù)獲取的方法、裝置、電子設(shè)備和計算機可讀介質(zhì)。

技術(shù)介紹

[0002]數(shù)據(jù)生命周期管理用于管理信息系統(tǒng)中的數(shù)據(jù)在整個生命周期內(nèi)的流動。
[0003]相關(guān)技術(shù)進(jìn)行數(shù)據(jù)生命周期管理時，通常針對數(shù)據(jù)處理階段的數(shù)據(jù)，忽視了數(shù)據(jù)來源、數(shù)據(jù)應(yīng)用等維度的信息；在數(shù)據(jù)管理過程中，對上下游數(shù)據(jù)進(jìn)行加密、授權(quán)，或者刪除不經(jīng)常訪問的數(shù)據(jù)，使得用戶難以對數(shù)據(jù)進(jìn)行追蹤。

技術(shù)實現(xiàn)思路

[0004]本申請實施例的目的是提供一種數(shù)據(jù)獲取的方法、裝置、電子設(shè)備和計算機可讀介質(zhì)，能夠在數(shù)據(jù)生命周期管理中，獲取數(shù)據(jù)的來源信息等信息，實現(xiàn)數(shù)據(jù)追蹤。
[0005]為解決上述技術(shù)問題，本申請實施例是通過以下各方面實現(xiàn)的。
[0006]第一方面，本申請實施例提供了一種數(shù)據(jù)獲取的方法，包括：確定用于表示數(shù)據(jù)倉庫中數(shù)據(jù)流轉(zhuǎn)情況的圖譜結(jié)構(gòu)，所述圖譜結(jié)構(gòu)包括用于表示數(shù)據(jù)從源數(shù)據(jù)庫接入到所述數(shù)據(jù)倉庫的數(shù)據(jù)接入節(jié)點；根據(jù)所述圖譜結(jié)構(gòu)，確定目標(biāo)數(shù)據(jù)的所述數(shù)據(jù)接入節(jié)點；獲取與所述數(shù)據(jù)接入節(jié)點對應(yīng)的數(shù)據(jù)源信息。
[0007]第二方面，本申請實施例提供了一種數(shù)據(jù)獲取的裝置，包括：第一確定模塊，用于確定用于表示數(shù)據(jù)倉庫中數(shù)據(jù)流轉(zhuǎn)情況的圖譜結(jié)構(gòu)，所述圖譜結(jié)構(gòu)包括用于表示數(shù)據(jù)從源數(shù)據(jù)庫接入到所述數(shù)據(jù)倉庫的數(shù)據(jù)接入節(jié)點；第二確定模塊，用于根據(jù)所述圖譜結(jié)構(gòu)，確定目標(biāo)數(shù)據(jù)的所述數(shù)據(jù)接入節(jié)點；獲取模塊，用于獲取與所述數(shù)據(jù)接入節(jié)點對應(yīng)的數(shù)據(jù)源信息。<br/>[0008]第三方面，本申請實施例提供了一種電子設(shè)備，包括：存儲器、處理器和存儲在所述存儲器上并可在所述處理器上運行的計算機可執(zhí)行指令，所述計算機可執(zhí)行指令被所述處理器執(zhí)行時實現(xiàn)上述第一方面所述的數(shù)據(jù)獲取的方法。
[0009]第四方面，本申請實施例提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)用于存儲計算機可執(zhí)行指令，所述計算機可執(zhí)行指令被處理器執(zhí)行時實現(xiàn)上述第一方面所述的數(shù)據(jù)獲取的方法。
[0010]在本申請實施例中，通過確定用于表示數(shù)據(jù)倉庫中數(shù)據(jù)流轉(zhuǎn)情況的圖譜結(jié)構(gòu)，所述圖譜結(jié)構(gòu)包括用于表示數(shù)據(jù)從源數(shù)據(jù)庫接入到所述數(shù)據(jù)倉庫的數(shù)據(jù)接入節(jié)點；根據(jù)所述圖譜結(jié)構(gòu)，確定目標(biāo)數(shù)據(jù)的所述數(shù)據(jù)接入節(jié)點；獲取與所述數(shù)據(jù)接入節(jié)點對應(yīng)的數(shù)據(jù)源信息，能夠在數(shù)據(jù)生命周期管理中，獲取數(shù)據(jù)的來源等信息，實現(xiàn)數(shù)據(jù)追蹤。
附圖說明
[0011]為了更清楚地說明本申請實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)
有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請中記載的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0012]圖1示出本申請實施例提供的一種數(shù)據(jù)獲取的方法的一種流程示意圖；
[0013]圖2示出本申請實施例提供的一種數(shù)據(jù)獲取的方法的另一種流程示意圖；
[0014]圖3示出本申請實施例提供的一種數(shù)據(jù)獲取的方法的另一種流程示意圖；
[0015]圖4示出本申請實施例提供的一種數(shù)據(jù)獲取的裝置的結(jié)構(gòu)示意圖；
[0016]圖5為執(zhí)行本申請實施例提供的一種數(shù)據(jù)獲取的方法的電子設(shè)備的硬件結(jié)構(gòu)示意圖。
具體實施方式
[0017]為了使本
的人員更好地理解本申請中的技術(shù)方案，下面將結(jié)合本申請實施例中的附圖，對本申請實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例?；诒旧暾堉械膶嵤├?，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都應(yīng)當(dāng)屬于本申請保護(hù)的范圍。
[0018]圖1示出本申請實施例提供的數(shù)據(jù)獲取的方法的一種流程示意圖，該方法可以由電子設(shè)備執(zhí)行，例如終端設(shè)備或服務(wù)端設(shè)備。換言之，所述方法可以由安裝在終端設(shè)備或服務(wù)端設(shè)備的軟件或硬件來執(zhí)行。所述服務(wù)端包括但不限于：單臺服務(wù)器、服務(wù)器集群、云端服務(wù)器或云端服務(wù)器集群等。如圖所示，該方法可以包括以下步驟。
[0019]步驟S110：確定用于表示數(shù)據(jù)倉庫中數(shù)據(jù)流轉(zhuǎn)情況的圖譜結(jié)構(gòu)。
[0020]所述圖譜結(jié)構(gòu)包括用于表示數(shù)據(jù)從源數(shù)據(jù)庫接入到所述數(shù)據(jù)倉庫的數(shù)據(jù)接入節(jié)點。
[0021]數(shù)據(jù)倉庫用于以不同層級的數(shù)據(jù)結(jié)構(gòu)存儲來自不同源數(shù)據(jù)庫的數(shù)據(jù)，不同層級的數(shù)據(jù)結(jié)構(gòu)例如為數(shù)據(jù)庫、數(shù)據(jù)表。數(shù)據(jù)倉庫的結(jié)構(gòu)可以包括標(biāo)識、數(shù)據(jù)庫名、數(shù)據(jù)表名、層級名稱。數(shù)據(jù)倉庫屬于數(shù)據(jù)融合治理的一個方向，包括管理數(shù)據(jù)不同層級的數(shù)據(jù)組織，從不同數(shù)據(jù)源進(jìn)行接入的接入任務(wù)，接入后對數(shù)據(jù)進(jìn)行治理的質(zhì)量稽核，以及支持編寫不同類型腳本進(jìn)行腳本開發(fā)，其具有將數(shù)據(jù)接入、數(shù)據(jù)治理、數(shù)據(jù)處理串聯(lián)起來支持自動化執(zhí)行的工作流?？蛇x的，數(shù)據(jù)融合治理還包括數(shù)據(jù)湖治理和數(shù)據(jù)權(quán)限治理。
[0022]源數(shù)據(jù)庫為數(shù)據(jù)倉庫以外的數(shù)據(jù)庫，用于存儲和提供數(shù)據(jù)倉庫的源數(shù)據(jù)；源數(shù)據(jù)庫可以包括一個數(shù)據(jù)庫，或者多個相同或不同的數(shù)據(jù)庫，例如Oracle數(shù)據(jù)庫、MySQL數(shù)據(jù)庫、達(dá)夢DM數(shù)據(jù)庫。利用圖譜結(jié)構(gòu)，可以例如以工作流表示數(shù)據(jù)在數(shù)據(jù)倉庫中的接入、處理、導(dǎo)出情況。源數(shù)據(jù)庫或其他數(shù)據(jù)庫的結(jié)構(gòu)可以包括數(shù)據(jù)庫所在的互聯(lián)網(wǎng)協(xié)議(Internet Protocol，IP)地址、數(shù)據(jù)庫端口號、數(shù)據(jù)庫用戶名、數(shù)據(jù)庫密碼、數(shù)據(jù)庫名和數(shù)據(jù)表名。
[0023]數(shù)據(jù)接入節(jié)點用于表示數(shù)據(jù)倉庫從源數(shù)據(jù)庫獲取源數(shù)據(jù)的數(shù)據(jù)接入事件。所述數(shù)據(jù)接入事件的結(jié)構(gòu)，即數(shù)據(jù)接入節(jié)點的結(jié)構(gòu)，可以包括事件的唯一標(biāo)識，事件的名稱，事件的類型，事件的開始時間，事件的結(jié)束時間，事件所包含的數(shù)據(jù)庫名以及事件所包含的數(shù)據(jù)表名。在數(shù)據(jù)接入事件中，可以通過不同類型的腳本將各種格式的數(shù)據(jù)接入到數(shù)據(jù)倉庫中。例如如MySQL、Oracle、Sql Server等結(jié)構(gòu)化的數(shù)據(jù)通過開源工具任務(wù)Sqoop進(jìn)行接入，
Kafka、MongoDB、ES等半結(jié)構(gòu)化的數(shù)據(jù)通過數(shù)據(jù)庫管理工具WaterDrop任務(wù)進(jìn)行接入。針對不同的數(shù)據(jù)格式提供不同的數(shù)據(jù)接入方式，
[0024]通過確定圖譜結(jié)構(gòu)，使數(shù)據(jù)倉庫中數(shù)據(jù)流轉(zhuǎn)的各個環(huán)節(jié)或流程可視化。
[0025]步驟S120:根據(jù)所述圖譜結(jié)構(gòu)，確定目標(biāo)數(shù)據(jù)的所述數(shù)據(jù)接入節(jié)點。
[0026]目標(biāo)數(shù)據(jù)為存儲于所述數(shù)據(jù)倉庫的任意數(shù)據(jù)。例如，目標(biāo)數(shù)據(jù)為存儲于數(shù)據(jù)倉庫的目標(biāo)數(shù)據(jù)庫的目標(biāo)數(shù)據(jù)表中的數(shù)據(jù)。由于圖譜結(jié)構(gòu)記錄了各數(shù)據(jù)在數(shù)據(jù)倉庫的流轉(zhuǎn)情況，基于圖譜結(jié)構(gòu)，可以確定出目標(biāo)數(shù)據(jù)對應(yīng)的數(shù)據(jù)接入節(jié)點。
[0027]步驟S130:獲取與所述數(shù)據(jù)接入節(jié)點對應(yīng)的數(shù)據(jù)源信息。
[0028]數(shù)據(jù)源信息用于表示該數(shù)據(jù)接入節(jié)點所接入數(shù)據(jù)的來源，包括與源數(shù)據(jù)庫相關(guān)的信息，例如接入數(shù)據(jù)對應(yīng)的源數(shù)據(jù)庫的標(biāo)識以及接入數(shù)據(jù)位于源數(shù)據(jù)庫的存儲位置等。確定的數(shù)據(jù)接入節(jié)點與目標(biāo)數(shù)據(jù)對應(yīng)，獲取的數(shù)據(jù)源信息與數(shù)據(jù)接入節(jié)點對應(yīng)，也就是說，數(shù)據(jù)源信息為目標(biāo)數(shù)據(jù)對應(yīng)的數(shù)據(jù)來源信息，可以準(zhǔn)確指示目標(biāo)數(shù)據(jù)的數(shù)據(jù)來源。
[00本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】

【技術(shù)特征摘要】
1.一種數(shù)據(jù)獲取的方法，其特征在于，包括：確定用于表示數(shù)據(jù)倉庫中數(shù)據(jù)流轉(zhuǎn)情況的圖譜結(jié)構(gòu)，所述圖譜結(jié)構(gòu)包括用于表示數(shù)據(jù)從源數(shù)據(jù)庫接入到所述數(shù)據(jù)倉庫的數(shù)據(jù)接入節(jié)點；根據(jù)所述圖譜結(jié)構(gòu)，確定目標(biāo)數(shù)據(jù)的所述數(shù)據(jù)接入節(jié)點；獲取與所述數(shù)據(jù)接入節(jié)點對應(yīng)的數(shù)據(jù)源信息。2.根據(jù)權(quán)利要求1所述的方法，其中，所述圖譜結(jié)構(gòu)還包括用于表示所述數(shù)據(jù)倉庫中數(shù)據(jù)處理的數(shù)據(jù)處理節(jié)點和用于表示數(shù)據(jù)從所述數(shù)據(jù)倉庫導(dǎo)出的數(shù)據(jù)導(dǎo)出節(jié)點；在所述確定用于表示數(shù)據(jù)倉庫中數(shù)據(jù)流動的圖譜結(jié)構(gòu)之后，還包括：根據(jù)所述圖譜結(jié)構(gòu)，確定所述目標(biāo)數(shù)據(jù)當(dāng)前所處的目標(biāo)節(jié)點，所述目標(biāo)節(jié)點為所述數(shù)據(jù)接入節(jié)點，數(shù)據(jù)處理節(jié)點和數(shù)據(jù)導(dǎo)出節(jié)點中的一個。3.根據(jù)權(quán)利要求2所述的方法，其中，所述數(shù)據(jù)接入節(jié)點用于表示數(shù)據(jù)從所述源數(shù)據(jù)庫接入所述數(shù)據(jù)倉庫的第一數(shù)據(jù)表；所述數(shù)據(jù)處理節(jié)點用于表示處理存儲在所述第一數(shù)據(jù)表的數(shù)據(jù)，將處理得到的數(shù)據(jù)存儲至所述數(shù)據(jù)倉庫的第二數(shù)據(jù)表；所述數(shù)據(jù)導(dǎo)出節(jié)點用于表示從第三數(shù)據(jù)表導(dǎo)出所述數(shù)據(jù)倉庫的數(shù)據(jù)。4.根據(jù)權(quán)利要求3所述的方法，其中所述確定目標(biāo)數(shù)據(jù)的目標(biāo)節(jié)點包括：確定包含所述目標(biāo)數(shù)據(jù)的目標(biāo)數(shù)據(jù)表，所述目標(biāo)數(shù)據(jù)表為所述第一數(shù)據(jù)表，所述第二數(shù)據(jù)表和所述第三數(shù)據(jù)表中的一個；根據(jù)所述目標(biāo)數(shù)據(jù)表，確定所述目標(biāo)節(jié)點。5.根據(jù)權(quán)利要求2所述的方法，其中，所述數(shù)據(jù)處理節(jié)點包括編寫子節(jié)點和執(zhí)行子節(jié)點；所述編寫子節(jié)點用于指示根據(jù)業(yè)務(wù)需求，選擇數(shù)據(jù)清洗函數(shù)，編寫數(shù)據(jù)清洗腳本；所述執(zhí)行子節(jié)點用于指示執(zhí)行所述數(shù)據(jù)清洗腳本，對接入所述數(shù)據(jù)倉庫的數(shù)據(jù)進(jìn)行清洗。...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：常明，趙群，姜楠，劉譯璟，
申請(專利權(quán))人：北京百分點科技集團股份有限公司，
類型：發(fā)明
國別省市：