【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開(kāi)涉及數(shù)據(jù)處理領(lǐng)域，尤其涉及數(shù)據(jù)同步方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、隨著分布式數(shù)據(jù)庫(kù)系統(tǒng)的廣泛應(yīng)用，數(shù)據(jù)庫(kù)集群間表數(shù)據(jù)文件的同步問(wèn)題變得日益重要，不同集群環(huán)境之間存在著表數(shù)據(jù)同步的需求，如數(shù)據(jù)庫(kù)主集群和備份集群、正式上線環(huán)境和測(cè)試開(kāi)發(fā)環(huán)境之間的數(shù)據(jù)同步遷移等。
2、相關(guān)技術(shù)中，不同集群之間數(shù)據(jù)同步，通常通過(guò)集群的表或數(shù)據(jù)庫(kù)目錄進(jìn)行同步，同步粒度粗，應(yīng)用不靈活，且同步效率低，易出現(xiàn)的網(wǎng)絡(luò)帶寬超限、資源等問(wèn)題。因此，開(kāi)發(fā)一種高性能分布式同步方法成為亟待解決的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、為克服相關(guān)技術(shù)中存在的問(wèn)題，本公開(kāi)提供一種數(shù)據(jù)同步方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。
2、根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種數(shù)據(jù)同步方法，包括獲取待同步數(shù)據(jù)，所述待同步數(shù)據(jù)對(duì)應(yīng)多個(gè)分區(qū)；基于所述待同步數(shù)據(jù)以及任務(wù)模型，得到同步任務(wù)，所述任務(wù)模型中記錄有多個(gè)預(yù)設(shè)參數(shù)項(xiàng)，并用于基于所述待同步數(shù)據(jù)對(duì)所述預(yù)設(shè)參數(shù)項(xiàng)進(jìn)行參數(shù)值映射以生成與所述待同步數(shù)據(jù)對(duì)應(yīng)的同步任務(wù)，其中，所述預(yù)設(shè)參數(shù)項(xiàng)中至少包括有分區(qū)類型參數(shù)項(xiàng)，所述分區(qū)類型參數(shù)項(xiàng)用于記錄待同步數(shù)據(jù)進(jìn)行數(shù)據(jù)同步的方式為指定分區(qū)同步或整體數(shù)據(jù)同步；在所述同步任務(wù)中確定當(dāng)前執(zhí)行的同步任務(wù)，并針對(duì)所述當(dāng)前執(zhí)行的同步任務(wù)基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)，以將所述待同步分區(qū)中的數(shù)據(jù)同步至目標(biāo)集群。
3、一種實(shí)施方式中，所述基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)
4、一種實(shí)施方式中，所述基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)，包括：響應(yīng)于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式為整體數(shù)據(jù)同步，在所述多個(gè)分區(qū)中確定時(shí)間分區(qū)；若所述多個(gè)分區(qū)中存在時(shí)間分區(qū)，將所述時(shí)間分區(qū)中起始時(shí)間分區(qū)、結(jié)束時(shí)間分區(qū)以及起始時(shí)間分區(qū)和結(jié)束時(shí)間分區(qū)之間的分區(qū)，確定為待同步分區(qū)。
5、一種實(shí)施方式中，所述將所述待同步分區(qū)中的數(shù)據(jù)同步至目標(biāo)集群，包括：獲取批次分區(qū)數(shù)，所述批次分區(qū)數(shù)用于表征單次同步的最大分區(qū)數(shù)量；
6、響應(yīng)于所述待同步分區(qū)的數(shù)量大于所述批次分區(qū)數(shù)，將所述待同步分區(qū)按照所述批次分區(qū)數(shù)劃分為多個(gè)批次，其中，所述多個(gè)批次中各批次中的分區(qū)數(shù)量小于或等于所述最大分區(qū)數(shù)量；并行執(zhí)行所述多個(gè)批次，將所述待同步數(shù)據(jù)同步至目標(biāo)集群。
7、一種實(shí)施方式中，所述在所述同步任務(wù)中確定當(dāng)前執(zhí)行的同步任務(wù)，包括：基于以下至少一項(xiàng)，在所述同步任務(wù)中確定當(dāng)前執(zhí)行的同步任務(wù)：目標(biāo)集群支持的最大并發(fā)數(shù)量和當(dāng)前運(yùn)行任務(wù)數(shù)量；同步任務(wù)的任務(wù)優(yōu)先級(jí)；同步任務(wù)的源集群標(biāo)簽，所述源集群標(biāo)簽用于匹配對(duì)應(yīng)的目標(biāo)集群；目標(biāo)集群中執(zhí)行節(jié)點(diǎn)的當(dāng)前運(yùn)行任務(wù)數(shù)量和負(fù)載情況。
8、根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種數(shù)據(jù)同步裝置，包括獲取單元，用于獲取待同步數(shù)據(jù)，所述待同步數(shù)據(jù)對(duì)應(yīng)多個(gè)分區(qū)；處理單元，用于基于所述待同步數(shù)據(jù)以及任務(wù)模型，得到同步任務(wù)，所述任務(wù)模型中記錄有多個(gè)預(yù)設(shè)參數(shù)項(xiàng)，并用于基于所述待同步數(shù)據(jù)對(duì)所述預(yù)設(shè)參數(shù)項(xiàng)進(jìn)行參數(shù)值映射以生成與所述待同步數(shù)據(jù)對(duì)應(yīng)的同步任務(wù)，其中，所述預(yù)設(shè)參數(shù)項(xiàng)中至少包括有分區(qū)類型參數(shù)項(xiàng)，所述分區(qū)類型參數(shù)項(xiàng)用于記錄待同步數(shù)據(jù)進(jìn)行數(shù)據(jù)同步的方式為指定分區(qū)同步或整體數(shù)據(jù)同步；同步單元，用于在所述同步任務(wù)中確定當(dāng)前執(zhí)行的同步任務(wù)，并針對(duì)所述當(dāng)前執(zhí)行的同步任務(wù)基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)，以將所述待同步分區(qū)中的數(shù)據(jù)同步至目標(biāo)集群。
9、一種實(shí)施方式中，所述同步單元采用如下方式基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)：響應(yīng)于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式為指定分區(qū)同步，基于所述任務(wù)模型中記錄的起始分區(qū)參數(shù)項(xiàng)以及結(jié)束分區(qū)參數(shù)項(xiàng)，確定起始分區(qū)和結(jié)束分區(qū)，并將所述起始分區(qū)、所述結(jié)束分區(qū)，以及所述起始分區(qū)和所述結(jié)束分區(qū)之間的分區(qū)，確定為待同步分區(qū)。
10、一種實(shí)施方式中，所述同步單元采用如下方式基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)：響應(yīng)于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式為整體數(shù)據(jù)同步，在所述多個(gè)分區(qū)中確定時(shí)間分區(qū)；若所述多個(gè)分區(qū)中存在時(shí)間分區(qū)，將所述時(shí)間分區(qū)中起始時(shí)間分區(qū)、結(jié)束時(shí)間分區(qū)以及起始時(shí)間分區(qū)和結(jié)束時(shí)間分區(qū)之間的分區(qū)，確定為待同步分區(qū)。
11、一種實(shí)施方式中，所述同步單元采用如下方式將所述待同步分區(qū)中的數(shù)據(jù)同步至目標(biāo)集群：獲取批次分區(qū)數(shù)，所述批次分區(qū)數(shù)用于表征單次同步的最大分區(qū)數(shù)量；響應(yīng)于所述待同步分區(qū)的數(shù)量大于所述批次分區(qū)數(shù)，將所述待同步分區(qū)按照所述批次分區(qū)數(shù)劃分為多個(gè)批次，其中，所述多個(gè)批次中各批次中的分區(qū)數(shù)量小于或等于所述最大分區(qū)數(shù)量；并行執(zhí)行所述多個(gè)批次，將所述待同步數(shù)據(jù)同步至目標(biāo)集群。
12、一種實(shí)施方式中，所述同步單元采用如下方式在所述同步任務(wù)中確定當(dāng)前執(zhí)行的同步任務(wù)：基于以下至少一項(xiàng)，在所述同步任務(wù)中確定當(dāng)前執(zhí)行的同步任務(wù)：目標(biāo)集群支持的最大并發(fā)數(shù)量和當(dāng)前運(yùn)行任務(wù)數(shù)量；同步任務(wù)的任務(wù)優(yōu)先級(jí)；同步任務(wù)的源集群標(biāo)簽，所述源集群標(biāo)簽用于匹配對(duì)應(yīng)的目標(biāo)集群；目標(biāo)集群中執(zhí)行節(jié)點(diǎn)的當(dāng)前運(yùn)行任務(wù)數(shù)量和負(fù)載情況。
13、根據(jù)本公開(kāi)實(shí)施例的第三方面，提供一種電子設(shè)備，包括：處理器：用于存儲(chǔ)處理器可執(zhí)行指令的存儲(chǔ)器；其中，所述處理器被配置為：執(zhí)行第一方面或者第一方面任意一種實(shí)施方式中所述的數(shù)據(jù)同步方法。
14、根據(jù)本公開(kāi)實(shí)施例的第四方面，提供一種存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有指令，當(dāng)所述存儲(chǔ)介質(zhì)中的指令由處理器執(zhí)行時(shí)，使得處理器能夠執(zhí)行第一方面或者第一方面任意一種實(shí)施方式中所述的數(shù)據(jù)同步方法。
15、本公開(kāi)的實(shí)施例提供的技術(shù)方案可以包括以下有益效果：獲取待同步數(shù)據(jù)，基于待同步數(shù)據(jù)以及任務(wù)模型，得到同步任務(wù)。其中，待同步鼩對(duì)應(yīng)多個(gè)分區(qū)，任務(wù)模型中包括有預(yù)設(shè)參數(shù)項(xiàng)，預(yù)設(shè)參數(shù)項(xiàng)中包括用于記錄待同步數(shù)據(jù)進(jìn)行數(shù)據(jù)同步方式的指定分區(qū)同步或整體數(shù)據(jù)同步的分區(qū)類型參數(shù)項(xiàng)?；谥付ǚ謪^(qū)同步或整體數(shù)據(jù)同步，在多個(gè)分區(qū)中確定待同步分區(qū)，以將待同步分區(qū)中的數(shù)據(jù)同步至目標(biāo)集群，實(shí)現(xiàn)了以分區(qū)粒度進(jìn)行數(shù)據(jù)同步，從而提高了數(shù)據(jù)同步的效率。
16、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本公開(kāi)。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)同步方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)，包括：
4.根據(jù)權(quán)利要求1至3中任意一項(xiàng)所述的方法，其特征在于，所述將所述待同步分區(qū)中的數(shù)據(jù)同步至目標(biāo)集群，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述同步任務(wù)中確定當(dāng)前執(zhí)行的同步任務(wù)，包括：
6.一種數(shù)據(jù)同步裝置，其特征在于，包括：
7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述同步單元采用如下方式基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)：
8.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述同步單元采用如下方式基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)：
9.一種電子設(shè)備，其特征在于，包括：
10.一種存儲(chǔ)
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)同步方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述分區(qū)類型參數(shù)項(xiàng)所記錄的數(shù)據(jù)同步方式，在所述多個(gè)分區(qū)中確定待同步分區(qū)，包括：
4.根據(jù)權(quán)利要求1至3中任意一項(xiàng)所述的方法，其特征在于，所述將所述待同步分區(qū)中的數(shù)據(jù)同步至目標(biāo)集群，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述同步任務(wù)中確定當(dāng)前執(zhí)行的同步任務(wù)，包括：
6....
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：畢博，
申請(qǐng)(專利權(quán))人：北京螞蜂窩網(wǎng)絡(luò)科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。