數(shù)據(jù)庫數(shù)據(jù)的分析方法、設(shè)備、系統(tǒng)及存儲介質(zhì)技術(shù)方案

本申請實施例提供一種數(shù)據(jù)庫數(shù)據(jù)的分析方法、設(shè)備、系統(tǒng)及存儲介質(zhì)。在本申請實施例中，將數(shù)據(jù)庫數(shù)據(jù)與數(shù)據(jù)庫增量日志相結(jié)合，可根據(jù)數(shù)據(jù)分析需求對數(shù)據(jù)庫數(shù)據(jù)與數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析，通過數(shù)據(jù)庫增量日志可在一定程度上彌補(bǔ)單純依賴數(shù)據(jù)庫數(shù)據(jù)做數(shù)據(jù)分析時存在的各種不足，有利于提高數(shù)據(jù)庫數(shù)據(jù)分析的靈活性，滿足多樣化的數(shù)據(jù)分析需求。

【技術(shù)實現(xiàn)步驟摘要】
數(shù)據(jù)庫數(shù)據(jù)的分析方法、設(shè)備、系統(tǒng)及存儲介質(zhì)
本申請涉及數(shù)據(jù)庫
，尤其涉及一種數(shù)據(jù)庫數(shù)據(jù)的分析方法、設(shè)備、系統(tǒng)及存儲介質(zhì)。
技術(shù)介紹
隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，數(shù)據(jù)庫的應(yīng)用越來越廣泛。在實際應(yīng)用中，數(shù)據(jù)庫經(jīng)常面臨各種數(shù)據(jù)分析需求。為了減輕數(shù)據(jù)庫的負(fù)擔(dān)，一般是按照一定的備份策略將數(shù)據(jù)庫中的數(shù)據(jù)全量備份至數(shù)據(jù)倉庫中，然后在數(shù)據(jù)倉庫中利用備份的全量數(shù)據(jù)進(jìn)行分析。這種利用數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)分析方式可降低數(shù)據(jù)庫的負(fù)擔(dān)，但是在面對不斷多樣化的數(shù)據(jù)分析需求時仍有一定不足，有待提供一種新的數(shù)據(jù)分析方法。
技術(shù)實現(xiàn)思路
本申請的多個方面提供一種數(shù)據(jù)庫數(shù)據(jù)的分析方法、設(shè)備、系統(tǒng)及存儲介質(zhì)，用以提高數(shù)據(jù)庫數(shù)據(jù)分析的靈活性，滿足多樣化的數(shù)據(jù)分析需求。本申請實施例提供一種數(shù)據(jù)庫數(shù)據(jù)的分析方法，包括：根據(jù)數(shù)據(jù)分析需求，獲取第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和第二時段內(nèi)的數(shù)據(jù)庫增量日志；對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和所述第二時段內(nèi)的數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析。本申請實施例還提供一種數(shù)據(jù)分析設(shè)備，包括：存儲器和處理器；所述存儲器，用于存儲計算機(jī)程序；所述處理器，與所述存儲器耦合，用于執(zhí)行所述計算機(jī)程序，以用于：根據(jù)數(shù)據(jù)分析需求，獲取第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和第二時段內(nèi)的數(shù)據(jù)庫增量日志，并對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和所述第二時段內(nèi)的數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析。本申請實施例還提供一種數(shù)據(jù)分析系統(tǒng)，包括：數(shù)據(jù)分析設(shè)備和數(shù)據(jù)庫；所述數(shù)據(jù)庫，用于產(chǎn)生數(shù)據(jù)庫數(shù)據(jù)和數(shù)據(jù)庫增量日志；所述數(shù)據(jù)分析設(shè)備，用于根據(jù)數(shù)據(jù)分析需求，獲取第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和第二時段內(nèi)的數(shù)據(jù)庫增量日志，并對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和所述第二時段內(nèi)的數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析。本申請實施例還提供一種分布式的數(shù)據(jù)分析系統(tǒng)，包括：多臺物理設(shè)備，所述多臺物理設(shè)備上分布部署有若干個前端節(jié)點和若干個計算節(jié)點；所述若干個前端節(jié)點，用于獲取數(shù)據(jù)分析需求，并根據(jù)所述數(shù)據(jù)分析需求指示所述若干個計算節(jié)點進(jìn)行聯(lián)合分析；所述若干個計算節(jié)點，用于根據(jù)所述若干個前端節(jié)點的指示，獲取第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和第二時段內(nèi)的數(shù)據(jù)庫增量日志，并對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和所述第二時段內(nèi)的數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析。本申請實施例還提供一種存儲有計算機(jī)程序的計算機(jī)可讀存儲介質(zhì)，當(dāng)所述計算機(jī)程序被處理器執(zhí)行時，致使所述處理器能夠?qū)崿F(xiàn)上述方法實施例中的步驟。本申請實施例還提供一種數(shù)據(jù)湖系統(tǒng)，包括：云端存儲系統(tǒng)以及云端分析引擎；所述云端存儲系統(tǒng)，用于存儲數(shù)據(jù)源在不同時刻產(chǎn)生的全量數(shù)據(jù)以及在不同時刻之后產(chǎn)生的增量日志；所述云端分析引擎，用于根據(jù)數(shù)據(jù)分析需求，從所述云端存儲系統(tǒng)中讀取所述數(shù)據(jù)源在第一時刻產(chǎn)生的全量數(shù)據(jù)和在所述第一時刻之后產(chǎn)生的增量日志；對所述數(shù)據(jù)源在第一時刻產(chǎn)生的全量數(shù)據(jù)和在所述第一時刻之后產(chǎn)生的增量日志進(jìn)行聯(lián)合分析。在本申請實施例中，將數(shù)據(jù)庫數(shù)據(jù)與數(shù)據(jù)庫增量日志相結(jié)合，可根據(jù)數(shù)據(jù)分析需求對數(shù)據(jù)庫數(shù)據(jù)與數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析，通過數(shù)據(jù)庫增量日志可在一定程度上彌補(bǔ)單純依賴數(shù)據(jù)庫數(shù)據(jù)做數(shù)據(jù)分析時存在的各種不足，有利于提高數(shù)據(jù)庫數(shù)據(jù)分析的靈活性，滿足多樣化的數(shù)據(jù)分析需求。附圖說明此處所說明的附圖用來提供對本申請的進(jìn)一步理解，構(gòu)成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構(gòu)成對本申請的不當(dāng)限定。在附圖中：圖1a為本申請示例性實施例提供的一種數(shù)據(jù)分析系統(tǒng)的結(jié)構(gòu)示意圖；圖1b為本申請示例性實施例提供的另一種數(shù)據(jù)分析系統(tǒng)的結(jié)構(gòu)示意圖；圖1c為基于圖1b所示系統(tǒng)進(jìn)行數(shù)據(jù)庫數(shù)據(jù)備份及聯(lián)合分析的原理示意圖；圖1d為本申請示例性實施例對數(shù)據(jù)庫增量日志進(jìn)行拆分的狀態(tài)示意圖；圖2a為本申請示例性實施例提供的又一種數(shù)據(jù)分析系統(tǒng)的結(jié)構(gòu)示意圖；圖2b為圖2a所示數(shù)據(jù)分析系統(tǒng)的結(jié)構(gòu)及工作原理示意圖；圖3a為本申請示例性實施例提供的一種數(shù)據(jù)庫數(shù)據(jù)分析方法的流程示意圖；圖3b為本申請示例性實施例提供的另一種數(shù)據(jù)庫數(shù)據(jù)分析方法的流程示意圖；圖3c為本申請示例性實施例提供的一種數(shù)據(jù)湖系統(tǒng)的結(jié)構(gòu)示意圖；圖4為本申請示例性實施例提供的一種數(shù)據(jù)分析設(shè)備的結(jié)構(gòu)示意圖。具體實施方式為使本申請的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合本申請具體實施例及相應(yīng)的附圖對本申請技術(shù)方案進(jìn)行清楚、完整地描述。顯然，所描述的實施例僅是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其他實施例，都屬于本申請保護(hù)的范圍。針對現(xiàn)有基于數(shù)據(jù)庫的數(shù)據(jù)分析方案存在的不足，在本申請一些實施例中，將數(shù)據(jù)庫數(shù)據(jù)與數(shù)據(jù)庫增量日志相結(jié)合，可根據(jù)數(shù)據(jù)分析需求對數(shù)據(jù)庫數(shù)據(jù)與數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析，通過數(shù)據(jù)庫增量日志可在一定程度上彌補(bǔ)單純依賴數(shù)據(jù)庫數(shù)據(jù)做數(shù)據(jù)分析時存在的各種不足，有利于提高數(shù)據(jù)庫數(shù)據(jù)分析的靈活性，滿足多樣化的數(shù)據(jù)分析需求。以下結(jié)合附圖，詳細(xì)說明本申請各實施例提供的技術(shù)方案。圖1a為本申請示例性實施例提供的一種數(shù)據(jù)分析系統(tǒng)的結(jié)構(gòu)示意圖。如圖1a所示，該系統(tǒng)100包括：數(shù)據(jù)分析設(shè)備101和數(shù)據(jù)庫102。本實施例的數(shù)據(jù)庫102泛指任何可以存儲數(shù)據(jù)的存儲系統(tǒng)。例如，數(shù)據(jù)庫102可以是各種類型的數(shù)據(jù)庫，也可以是數(shù)據(jù)倉庫，還可以是數(shù)據(jù)湖(DataLake)等。其中，數(shù)據(jù)湖是一種可為用戶提供無服務(wù)器(Serverless)化的云上交互式查詢分析服務(wù)的系統(tǒng)，該數(shù)據(jù)湖包括或集成有用于存儲數(shù)據(jù)的對象存儲系統(tǒng)(OSS)、支持不同數(shù)據(jù)庫語言的數(shù)據(jù)庫(例如，PostgreSQL、MySQL等)、非關(guān)系型(NoSQL)分布式存儲系統(tǒng)(例如表格存儲(TableStore)等)。本實施例的數(shù)據(jù)分析系統(tǒng)可針對數(shù)據(jù)湖包括或集成的OSS、PostgreSQL數(shù)據(jù)庫、MySQL數(shù)據(jù)庫或TableStore等中的數(shù)據(jù)進(jìn)行聯(lián)合分析。例如，本實施例的數(shù)據(jù)庫102可以是聯(lián)機(jī)事務(wù)處理(On-LineTransactionProcessing，OLTP)型數(shù)據(jù)庫，也可以是聯(lián)機(jī)分析處理(On-LineAnalyticalProcessing，OLAP)型數(shù)據(jù)庫。OLTP型數(shù)據(jù)庫是傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，其主要負(fù)責(zé)基本的、日常的事務(wù)處理，例如銀行交易。OLAP型數(shù)據(jù)庫是數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果。在本實施例中，數(shù)據(jù)庫102一方面可為使用方提供數(shù)據(jù)存儲功能，另一方面還可以為使用方提供查詢(QUERY)、插入(INSERT)、刪除(DELETE)、更新(UPDATE)等各種服務(wù)。數(shù)據(jù)庫102的使用方可以是個人、企業(yè)、某種服務(wù)、應(yīng)用系統(tǒng)或業(yè)務(wù)系統(tǒng)等，并不做限定。其中，使用方可以利用數(shù)據(jù)庫102提供的查詢、插入、刪除、更新等服務(wù)對數(shù)據(jù)庫102中的數(shù)據(jù)進(jìn)行的各種操作，使用方對數(shù)據(jù)庫102的各種操作會被記錄到數(shù)據(jù)庫日志中。為了與數(shù)據(jù)庫日志進(jìn)行區(qū)分，將數(shù)據(jù)庫102中存儲的來自使用方的數(shù)據(jù)稱為數(shù)據(jù)庫數(shù)據(jù)。...

【技術(shù)保護(hù)點】
1.一種數(shù)據(jù)庫數(shù)據(jù)的分析方法，其特征在于，包括：/n根據(jù)數(shù)據(jù)分析需求，獲取第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和第二時段內(nèi)的數(shù)據(jù)庫增量日志；/n對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和所述第二時段內(nèi)的數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析。/n

【技術(shù)特征摘要】
1.一種數(shù)據(jù)庫數(shù)據(jù)的分析方法，其特征在于，包括：
根據(jù)數(shù)據(jù)分析需求，獲取第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和第二時段內(nèi)的數(shù)據(jù)庫增量日志；
對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和所述第二時段內(nèi)的數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析。


2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)數(shù)據(jù)分析需求，獲取第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和第二時段內(nèi)的數(shù)據(jù)庫增量日志，包括：
根據(jù)數(shù)據(jù)分析需求，從數(shù)據(jù)庫之外的存儲系統(tǒng)中獲取所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和所述第二時段內(nèi)的數(shù)據(jù)庫增量日志；
其中，所述第一時段內(nèi)的數(shù)據(jù)庫全量數(shù)據(jù)和第二時段內(nèi)的數(shù)據(jù)庫增量日志產(chǎn)生于所述數(shù)據(jù)庫。


3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)數(shù)據(jù)分析需求，從數(shù)據(jù)庫之外的存儲系統(tǒng)中獲取所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和第二時段內(nèi)的數(shù)據(jù)庫增量日志，包括：
根據(jù)包含所述數(shù)據(jù)分析需求中的數(shù)據(jù)標(biāo)識參數(shù)的建表語句，創(chuàng)建分析表，所述分析表中包含第一時間參數(shù)、第一存儲位置參數(shù)、第二時間參數(shù)和第二存儲位置參數(shù)；
根據(jù)所述第一時間參數(shù)和所述第一存儲位置參數(shù)，從所述數(shù)據(jù)庫之外的第一存儲系統(tǒng)中獲取所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)；
根據(jù)所述第二時間參數(shù)和所述第二存儲位置參數(shù)，從所述數(shù)據(jù)庫之外的第二存儲系統(tǒng)中獲取所述第二時段內(nèi)的數(shù)據(jù)庫增量日志。


4.根據(jù)權(quán)利要求3所述的方法，其特征在于，在從所述數(shù)據(jù)庫之外的第一存儲系統(tǒng)中獲取所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)之前，還包括：
在所述第一時間參數(shù)指示的第一時間點，將所述數(shù)據(jù)庫中的全量數(shù)據(jù)，按照所述第一存儲系統(tǒng)支持的存儲格式備份至所述第一存儲系統(tǒng)中；
其中，所述第一時段是所述第一時間點之前的時段。


5.根據(jù)權(quán)利要求4所述的方法，其特征在于，在從所述數(shù)據(jù)庫之外的第二存儲系統(tǒng)中獲取所述第二時段內(nèi)的數(shù)據(jù)庫增量日志之前，還包括：
在第三時間點，將所述數(shù)據(jù)庫在所述第二時間參數(shù)指示的第二時間點之后產(chǎn)生的增量日志拷貝到所述第二存儲系統(tǒng)中；所述第二時段是從所述第二時間點到所述第三時間點的時段。


6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述第一時間點與所述第二時間點為同一時間點。


7.根據(jù)權(quán)利要求1-6任一項所述的方法，其特征在于，對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)和所述第二時段內(nèi)的數(shù)據(jù)庫增量日志進(jìn)行聯(lián)合分析，包括：
將所述第二時段內(nèi)的數(shù)據(jù)庫增量日志拆分為由插入操作形成的新增數(shù)據(jù)集和由刪除操作形成的刪除數(shù)據(jù)集；
將所述刪除數(shù)據(jù)集與所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行聯(lián)合分析，得到中間分析結(jié)果；
將所述新增數(shù)據(jù)集與所述中間分析結(jié)果進(jìn)行聯(lián)合分析，得到最終分析結(jié)果。


8.根據(jù)權(quán)利要求7所述的方法，其特征在于，將所述刪除數(shù)據(jù)集與所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行聯(lián)合分析，得到中間分析結(jié)果，包括：
利用所述刪除數(shù)據(jù)集和所述數(shù)據(jù)分析需求中的過濾操作，對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行過濾，得到中間分析結(jié)果。


9.根據(jù)權(quán)利要求8所述的方法，其特征在于，利用所述刪除數(shù)據(jù)集和所述數(shù)據(jù)分析需求中的過濾操作，對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行過濾，得到中間分析結(jié)果，包括：
利用所述刪除數(shù)據(jù)集對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行初始過濾，并利用所述過濾操作中的過濾條件對初始過濾后的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行二次過濾，得到中間分析結(jié)果；
或者
利用所述過濾操作中的過濾條件對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行初始過濾，并利用所述刪除數(shù)據(jù)集對初始過濾后的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行二次過濾，得到中間分析結(jié)果。


10.根據(jù)權(quán)利要求8所述的方法，其特征在于，將所述新增數(shù)據(jù)集與所述中間分析結(jié)果進(jìn)行聯(lián)合分析，得到最終分析結(jié)果，包括：
將所述新增數(shù)據(jù)集與所述中間分析結(jié)果進(jìn)行合并，得到合并后的數(shù)據(jù)庫數(shù)據(jù)；
根據(jù)數(shù)據(jù)分析需求中的其它數(shù)據(jù)操作，繼續(xù)對所述合并后的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行分析處理，得到最終分析結(jié)果。


11.根據(jù)權(quán)利要求10所述的方法，其特征在于，利用所述刪除數(shù)據(jù)集和所述數(shù)據(jù)分析需求中的過濾操作，對所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行過濾，得到中間分析結(jié)果，包括：
將所述第一時段內(nèi)的數(shù)據(jù)庫數(shù)據(jù)進(jìn)行分片得到多個數(shù)據(jù)分片，并將所述多個數(shù)據(jù)分片分配到多個過濾節(jié)點；
將所述刪除數(shù)據(jù)集廣播給所述多個過濾節(jié)點，由所述多個過濾節(jié)點利用所述刪除數(shù)據(jù)集和數(shù)據(jù)分析需求中的過濾操作對各自負(fù)責(zé)的數(shù)據(jù)分片進(jìn)行過濾，并將過濾后的數(shù)據(jù)庫數(shù)據(jù)作為所述中間分析結(jié)果送入下游的合并節(jié)點。


12.根據(jù)權(quán)利要求11所述的方法，其特征在于，將所述新增數(shù)據(jù)集與所述中間分析結(jié)果進(jìn)行合并，得到合并后的數(shù)據(jù)庫數(shù)據(jù)，包括：
由所述合并節(jié)點將所述新增數(shù)據(jù)集與所述中間分析結(jié)果進(jìn)行合并，并將合并后的數(shù)據(jù)庫數(shù)據(jù)送入后續(xù)其它節(jié)點；所述后續(xù)其它節(jié)點與數(shù)據(jù)分析需求中的其它數(shù)據(jù)操作對應(yīng)。


13.根據(jù)權(quán)利要求7所述的方法，其特征在于，在將所述第二時段內(nèi)的數(shù)據(jù)庫增量日志拆分為由插入操作形成的新增數(shù)據(jù)集和由刪除操作形成的刪除數(shù)據(jù)集之前，還包括：
根據(jù)所述數(shù)據(jù)分析需求中的數(shù)據(jù)操作，生成用于聯(lián)合分析的數(shù)據(jù)庫語句；
結(jié)合新增的負(fù)責(zé)處理數(shù)據(jù)庫增量日志的多個算子，對所述數(shù)據(jù)庫語句進(jìn)行優(yōu)化處理，以得到執(zhí)行計劃；
運(yùn)行所述執(zhí)行計劃，以實現(xiàn)將所述第二時段內(nèi)的數(shù)據(jù)庫增量日志拆分為由插入操作形成的新增數(shù)據(jù)集和由刪除操作形成的刪除數(shù)據(jù)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：周祥，王燁，徐明明，趙永春，
申請(專利權(quán))人：阿里巴巴集團(tuán)控股有限公司，
類型：發(fā)明
國別省市：開曼群島;KY