【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及數(shù)據(jù)庫(kù)，尤其涉及一種數(shù)據(jù)處理方法、系統(tǒng)及計(jì)算設(shè)備集群。
技術(shù)介紹
1、數(shù)據(jù)庫(kù)使用過程中通常需要對(duì)數(shù)據(jù)備份，以便當(dāng)發(fā)生數(shù)據(jù)損毀、數(shù)據(jù)丟失、用戶誤操作造成數(shù)據(jù)刪除等一系列異常場(chǎng)景時(shí)進(jìn)行數(shù)據(jù)恢復(fù)。目前進(jìn)行數(shù)據(jù)備份時(shí)，通常會(huì)在幾個(gè)連續(xù)且保持一定時(shí)間間隔的備份時(shí)間點(diǎn)，將增量數(shù)據(jù)復(fù)制并存儲(chǔ)至備份空間，然而進(jìn)行數(shù)據(jù)恢復(fù)時(shí)，用戶只能選擇某一個(gè)備份時(shí)間點(diǎn)來(lái)進(jìn)行數(shù)據(jù)恢復(fù)，無(wú)法將數(shù)據(jù)恢復(fù)至兩個(gè)備份時(shí)間點(diǎn)之間的任一時(shí)刻。因此，如何將數(shù)據(jù)庫(kù)恢復(fù)到任意時(shí)間點(diǎn)是一個(gè)亟需解決的重要技術(shù)問題。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┝艘环N數(shù)據(jù)處理方法、系統(tǒng)及計(jì)算設(shè)備集群，通過在預(yù)設(shè)日志wal文件的寫記錄中引入時(shí)間屬性，進(jìn)而在數(shù)據(jù)恢復(fù)時(shí)可以根據(jù)每個(gè)寫記錄中的時(shí)間屬性為依據(jù)，使數(shù)據(jù)可以恢復(fù)到任意時(shí)間點(diǎn)。
2、為達(dá)到上述目的，本申請(qǐng)實(shí)施例提供如下技術(shù)方案：
3、第一方面，提供了一種數(shù)據(jù)處理方法，可以應(yīng)用于數(shù)據(jù)庫(kù)系統(tǒng)，數(shù)據(jù)庫(kù)系統(tǒng)采用預(yù)寫日志wal記錄對(duì)數(shù)據(jù)庫(kù)的操作，該方法包括：將數(shù)據(jù)庫(kù)的數(shù)據(jù)全量備份至備份空間；在全量備份之后，增量備份wal文件至備份空間，其中，wal文件用于存儲(chǔ)寫記錄，寫記錄包括數(shù)據(jù)和數(shù)據(jù)的時(shí)間戳；當(dāng)需要將數(shù)據(jù)庫(kù)的數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)時(shí)，從備份空間獲取全量備份的數(shù)據(jù)和增量備份的目標(biāo)wal文件，目標(biāo)wal文件包括目標(biāo)增量備份的wal文件和目標(biāo)增量備份之前增量備份的wal文件，目標(biāo)增量備份是目標(biāo)時(shí)間點(diǎn)之后最近的一次增量備份；在恢復(fù)全量備份的數(shù)據(jù)的基礎(chǔ)上，通過比對(duì)目標(biāo)時(shí)間點(diǎn)和目標(biāo)wal文
4、由上可知，本申請(qǐng)實(shí)施例在wal文件的寫記錄中引入了時(shí)間屬性，即每條寫記錄都對(duì)應(yīng)有各自的時(shí)間戳。在進(jìn)行數(shù)據(jù)庫(kù)日志文件備份時(shí)，數(shù)據(jù)庫(kù)系統(tǒng)先進(jìn)行一次全量備份，之后增量備份帶有時(shí)間屬性的wal文件。這樣一來(lái)，數(shù)據(jù)庫(kù)系統(tǒng)向備份空間發(fā)送的wal文件中各寫記錄均帶有時(shí)間戳，當(dāng)需要將數(shù)據(jù)庫(kù)的數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)時(shí)，數(shù)據(jù)庫(kù)系統(tǒng)可以先按照備份時(shí)間粗略地從備份空間中獲取全量備份的數(shù)據(jù)和增量備份的目標(biāo)wal文件。其中，目標(biāo)wal文件包括目標(biāo)增量備份的wal文件和目標(biāo)增量備份之前增量備份的wal文件，目標(biāo)增量備份是目標(biāo)時(shí)間點(diǎn)之后最近的一次增量備份。進(jìn)一步的，在恢復(fù)全量備份的數(shù)據(jù)的基礎(chǔ)上，通過比對(duì)目標(biāo)時(shí)間點(diǎn)和目標(biāo)wal文件的寫記錄中數(shù)據(jù)的時(shí)間戳，回放目標(biāo)wal文件中數(shù)據(jù)的時(shí)間戳位于目標(biāo)時(shí)間點(diǎn)之前的寫記錄，以將數(shù)據(jù)庫(kù)的數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)，提升了數(shù)據(jù)恢復(fù)的時(shí)間精度。
5、一種可能的實(shí)現(xiàn)方式中，該方法還包括：接收客戶端的寫請(qǐng)求；響應(yīng)于寫請(qǐng)求，將寫請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)和寫請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)的時(shí)間戳寫入wal文件，以得到寫請(qǐng)求對(duì)應(yīng)的寫記錄。
6、由上可知，在收到寫請(qǐng)求后，數(shù)據(jù)庫(kù)系統(tǒng)不僅將寫請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)寫入wal文件，還會(huì)將寫請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)的時(shí)間戳寫入wal文件，使得wal文件中存儲(chǔ)的寫請(qǐng)求對(duì)應(yīng)的寫記錄具有時(shí)間屬性。
7、一種可能的實(shí)現(xiàn)方式中，該方法還包括：將寫滿的wal文件存儲(chǔ)到待備份目錄；增量備份wal文件至備份空間，包括：增量備份待備份目錄中的wal文件至備份空間。
8、由上可知，將寫滿的wal文件存儲(chǔ)到待備份目錄后，備份以待備份目錄中的wal文件，以保障新產(chǎn)生的wal文件可以及時(shí)備份，為數(shù)據(jù)恢復(fù)提供了有力支持。
9、一種可能的實(shí)現(xiàn)方式中，該方法還包括：刪除已經(jīng)增量備份到備份空間的wal文件。
10、由上可知，及時(shí)刪除備份過的wal文件，可以減小大量wal文件對(duì)數(shù)據(jù)庫(kù)的空間占用情況。
11、第二方面，提供了一種數(shù)據(jù)處理方法，可以應(yīng)用于數(shù)據(jù)庫(kù)系統(tǒng)，數(shù)據(jù)庫(kù)系統(tǒng)采用預(yù)寫日志wal記錄對(duì)數(shù)據(jù)庫(kù)的操作，該方法包括：將數(shù)據(jù)庫(kù)的數(shù)據(jù)全量備份至備份空間；在全量備份之后，增量備份wal文件至備份空間，其中，wal文件用于存儲(chǔ)寫記錄，寫記錄包括數(shù)據(jù)和數(shù)據(jù)的時(shí)間戳；在全量備份之后，增量備份數(shù)據(jù)庫(kù)的數(shù)據(jù)至備份空間，其中，每?jī)纱螖?shù)據(jù)的增量備份之間進(jìn)行了至少一次wal文件的增量備份；當(dāng)需要將數(shù)據(jù)庫(kù)的數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)時(shí)，從備份空間獲取全量備份的數(shù)據(jù)、增量備份的目標(biāo)數(shù)據(jù)、以及增量備份的目標(biāo)wal文件；其中，目標(biāo)數(shù)據(jù)包括第一增量備份的數(shù)據(jù)和第一增量備份之前增量備份的數(shù)據(jù)，第一增量備份是目標(biāo)時(shí)間點(diǎn)之前最近的一次數(shù)據(jù)的增量備份，目標(biāo)wal文件包括第二增量備份的wal文件、在第二增量備份之前且在第一增量備份之后的wal文件，第二增量備份是目標(biāo)時(shí)間點(diǎn)之后最近的一次wal文件的增量備份；在恢復(fù)全量備份的數(shù)據(jù)和增量備份的目標(biāo)數(shù)據(jù)的基礎(chǔ)上，通過比對(duì)目標(biāo)時(shí)間點(diǎn)和目標(biāo)wal文件的寫記錄中數(shù)據(jù)的時(shí)間戳，回放目標(biāo)wal文件中數(shù)據(jù)的時(shí)間戳位于目標(biāo)時(shí)間點(diǎn)之前的寫記錄，以將數(shù)據(jù)庫(kù)的數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)。
12、由上可知，由于數(shù)據(jù)庫(kù)系統(tǒng)在增量備份wal文件期間，采用了穿插增量備份數(shù)據(jù)庫(kù)數(shù)據(jù)的方式，數(shù)據(jù)庫(kù)系統(tǒng)需要從備份空間中獲取的目標(biāo)wal文件的數(shù)量明顯減少，進(jìn)而使得回放速度提升，有利于數(shù)據(jù)恢復(fù)。
13、第三方面，提供了一種數(shù)據(jù)處理方法，可以應(yīng)用于數(shù)據(jù)庫(kù)系統(tǒng)，數(shù)據(jù)庫(kù)系統(tǒng)采用預(yù)寫日志wal記錄對(duì)數(shù)據(jù)庫(kù)的操作，該方法包括：將數(shù)據(jù)庫(kù)的數(shù)據(jù)全量備份至備份空間；在全量備份之后，增量備份wal文件和元數(shù)據(jù)信息至備份空間，其中，wal文件用于存儲(chǔ)寫記錄，寫記錄包括數(shù)據(jù)和數(shù)據(jù)的時(shí)間戳，元數(shù)據(jù)信息包括元數(shù)據(jù)和元數(shù)據(jù)的時(shí)間戳；當(dāng)需要將數(shù)據(jù)庫(kù)的數(shù)據(jù)和元數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)時(shí)，從備份空間獲取全量備份的數(shù)據(jù)、增量備份的目標(biāo)wal文件和增量備份的目標(biāo)元數(shù)據(jù)信息，其中，目標(biāo)wal文件包括目標(biāo)增量備份的wal文件和目標(biāo)增量備份之前增量備份的wal文件，目標(biāo)增量備份是目標(biāo)時(shí)間點(diǎn)之后最近的一次wal文件的增量備份，目標(biāo)元數(shù)據(jù)信息包括目標(biāo)增量備份的元數(shù)據(jù)信息和目標(biāo)增量備份之前增量備份的元數(shù)據(jù)信息；在恢復(fù)全量備份的數(shù)據(jù)的基礎(chǔ)上，通過比對(duì)目標(biāo)時(shí)間點(diǎn)和目標(biāo)wal文件的寫記錄中數(shù)據(jù)的時(shí)間戳，回放目標(biāo)wal文件中數(shù)據(jù)的時(shí)間戳位于目標(biāo)時(shí)間點(diǎn)之前的寫記錄，以將數(shù)據(jù)庫(kù)的數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)；通過比對(duì)目標(biāo)時(shí)間點(diǎn)和目標(biāo)元數(shù)據(jù)信息中元數(shù)據(jù)的時(shí)間戳，恢復(fù)目標(biāo)元數(shù)據(jù)信息中時(shí)間戳位于目標(biāo)時(shí)間點(diǎn)之前的元數(shù)據(jù)，以將數(shù)據(jù)庫(kù)的元數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)。
14、由上可知，數(shù)據(jù)庫(kù)系統(tǒng)由于在進(jìn)行數(shù)據(jù)備份時(shí)，將上述元數(shù)據(jù)信息添加了時(shí)間戳，備份了帶有時(shí)間戳的元數(shù)據(jù)信息。當(dāng)需要將數(shù)據(jù)庫(kù)的數(shù)據(jù)和元數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)時(shí)，就可以恢復(fù)到目標(biāo)時(shí)間點(diǎn)之前的元數(shù)據(jù)，這些元數(shù)據(jù)可以讓恢復(fù)出的數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)庫(kù)中原始的數(shù)據(jù)結(jié)構(gòu)保持一致。
15、第四方面，提供了一種數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)包括：備份裝置，備份裝置用于：將數(shù)據(jù)庫(kù)的數(shù)據(jù)全量備份至備份空間；在全量備份之后，增量備份wal文件至備份空間，其中，wal文件用于存儲(chǔ)寫記錄，寫記錄包括數(shù)據(jù)和數(shù)據(jù)的時(shí)間戳；恢復(fù)裝置，恢復(fù)裝置用于：當(dāng)需要將數(shù)據(jù)庫(kù)的數(shù)據(jù)恢復(fù)至目標(biāo)時(shí)間點(diǎn)時(shí)，從備份空間獲取全量備份的數(shù)據(jù)和增量備份的目標(biāo)wal文件，目本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)庫(kù)系統(tǒng)，所述數(shù)據(jù)庫(kù)系統(tǒng)采用預(yù)寫日志W(wǎng)AL記錄對(duì)數(shù)據(jù)庫(kù)的操作，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：
5.一種數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)庫(kù)系統(tǒng)，所述數(shù)據(jù)庫(kù)系統(tǒng)采用預(yù)寫日志W(wǎng)AL記錄對(duì)數(shù)據(jù)庫(kù)的操作，所述方法包括：
6.一種數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)庫(kù)系統(tǒng)，所述數(shù)據(jù)庫(kù)系統(tǒng)采用預(yù)寫日志W(wǎng)AL記錄對(duì)數(shù)據(jù)庫(kù)的操作，所述方法包括：
7.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：
9.根據(jù)權(quán)利要求7或8所述的系統(tǒng)，其特征在于，
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其特征在于，所述備份裝置還用于：刪除已經(jīng)增量備份到所述存儲(chǔ)空間的WAL文件。
11.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，所
12.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：
13.一種計(jì)算設(shè)備集群，其特征在于，包括至少一個(gè)計(jì)算設(shè)備，每個(gè)計(jì)算設(shè)備包括處理器和存儲(chǔ)器；
14.一種包含指令的計(jì)算機(jī)程序產(chǎn)品，其特征在于，當(dāng)所述指令被計(jì)算設(shè)備集群運(yùn)行時(shí)，使得所述計(jì)算設(shè)備集群執(zhí)行如權(quán)利要求1至6中任一項(xiàng)所述的數(shù)據(jù)處理方法。
15.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，包括計(jì)算機(jī)程序指令，當(dāng)所述計(jì)算機(jī)程序指令由計(jì)算設(shè)備集群執(zhí)行時(shí)，所述計(jì)算設(shè)備集群執(zhí)行如權(quán)利要求1至6中任一項(xiàng)所述的數(shù)據(jù)處理方法。
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)庫(kù)系統(tǒng)，所述數(shù)據(jù)庫(kù)系統(tǒng)采用預(yù)寫日志wal記錄對(duì)數(shù)據(jù)庫(kù)的操作，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：
5.一種數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)庫(kù)系統(tǒng)，所述數(shù)據(jù)庫(kù)系統(tǒng)采用預(yù)寫日志wal記錄對(duì)數(shù)據(jù)庫(kù)的操作，所述方法包括：
6.一種數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)庫(kù)系統(tǒng)，所述數(shù)據(jù)庫(kù)系統(tǒng)采用預(yù)寫日志wal記錄對(duì)數(shù)據(jù)庫(kù)的操作，所述方法包括：
7.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：周航，王儒意，馬明迪，趙娟，余汶龍，
申請(qǐng)(專利權(quán))人：華為云計(jì)算技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。