【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)處理，特別涉及一種分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法、裝置、設(shè)備及介質(zhì)。
技術(shù)介紹
1、受業(yè)務(wù)需求、系統(tǒng)架構(gòu)變化或者技術(shù)更新等因素的影響，數(shù)據(jù)需要從一個分布式數(shù)據(jù)庫遷移到另一個分布式數(shù)據(jù)庫。
2、面對不同分布式數(shù)據(jù)庫集群間的數(shù)據(jù)遷移問題，能否快速地將存儲的數(shù)據(jù)從一個分布式數(shù)據(jù)庫傳輸?shù)搅硪粋€分布式數(shù)據(jù)庫對依賴數(shù)據(jù)的業(yè)務(wù)運行起著決定性作用。尋找一種高效的分布式數(shù)據(jù)庫間數(shù)據(jù)傳輸?shù)姆椒ㄊ墙鉀Q數(shù)據(jù)遷移問題的核心。
3、分布式數(shù)據(jù)庫系統(tǒng)通常在邏輯上是一個統(tǒng)一的整體；物理上由不同的物理節(jié)點組成；數(shù)據(jù)以多個數(shù)據(jù)分片的形式分別保存在這些物理節(jié)點上。同時，一般會有一個數(shù)據(jù)分片用于保存數(shù)據(jù)分片的元信息（數(shù)據(jù)分片的方式和策略等內(nèi)容），通常保存這個數(shù)據(jù)分片的物理節(jié)點還負(fù)責(zé)調(diào)度、協(xié)調(diào)和控制其他節(jié)點的數(shù)據(jù)操作，稱為協(xié)調(diào)者；而其余物理節(jié)點則負(fù)責(zé)獨立存儲數(shù)據(jù)并處理來自協(xié)調(diào)者的任務(wù)，稱為參與者。
4、顯而易見，在數(shù)據(jù)傳輸這種海量數(shù)據(jù)處理的場景下，協(xié)調(diào)者很容易成為單點性能瓶頸，限制數(shù)據(jù)傳輸?shù)乃俣?。目前的分布式集群間數(shù)據(jù)傳輸方法，或是采用文件遷移方式，或是引入其他中間存儲介質(zhì)，這些方法不僅無法克服協(xié)調(diào)者的單點性能瓶頸問題，還可能引入額外的存儲成本或者增加系統(tǒng)復(fù)雜度。
技術(shù)實現(xiàn)思路
1、有鑒于此，本專利技術(shù)實施例提供了一種分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，以解決現(xiàn)有技術(shù)中存在的協(xié)調(diào)者成為單點性能瓶頸影響數(shù)據(jù)傳輸速度的技術(shù)問題。該方法包括：
2、針對每個待傳輸數(shù)據(jù)表，建
3、在所述目標(biāo)分布式數(shù)據(jù)庫的協(xié)調(diào)者接收到插入數(shù)據(jù)任務(wù)時，將所述插入數(shù)據(jù)任務(wù)分解為多個插入數(shù)據(jù)子任務(wù)，將多個所述插入數(shù)據(jù)子任務(wù)分別發(fā)送給各個參與者，其中，所述目標(biāo)分布式數(shù)據(jù)庫的分布式節(jié)點中一個分布式節(jié)點為協(xié)調(diào)者，其他分布式節(jié)點為參與者；
4、在每個所述參與者中，響應(yīng)于所述插入數(shù)據(jù)子任務(wù)，激活各自的傳輸工具，針對每個所述參與者中的每個所述第二數(shù)據(jù)分片，通過所述傳輸工具基于所述映射關(guān)系確定該第二數(shù)據(jù)分片映射對應(yīng)的所述第一數(shù)據(jù)分片，并從映射對應(yīng)的所述第一數(shù)據(jù)分片讀取所述待傳輸數(shù)據(jù)表的數(shù)據(jù)存儲在該第二數(shù)據(jù)分片上，其中，所述傳輸工具存儲在所述目標(biāo)分布式數(shù)據(jù)庫的每個分布式節(jié)點上，所述映射關(guān)系存儲在所述目標(biāo)分布式數(shù)據(jù)庫的每個分布式節(jié)點上。
5、本專利技術(shù)實施例還提供了一種分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸裝置，以解決現(xiàn)有技術(shù)中存在的協(xié)調(diào)者成為單點性能瓶頸影響數(shù)據(jù)傳輸速度的技術(shù)問題。該裝置包括：
6、映射模塊，用于針對每個待傳輸數(shù)據(jù)表，建立源分布式數(shù)據(jù)庫的第一數(shù)據(jù)分片與目標(biāo)分布式數(shù)據(jù)庫的第二數(shù)據(jù)分片的映射關(guān)系；
7、任務(wù)分發(fā)模塊，用于在所述目標(biāo)分布式數(shù)據(jù)庫的協(xié)調(diào)者接收到插入數(shù)據(jù)任務(wù)時，將所述插入數(shù)據(jù)任務(wù)分解為多個插入數(shù)據(jù)子任務(wù)，將多個所述插入數(shù)據(jù)子任務(wù)分別發(fā)送給各個參與者，其中，所述目標(biāo)分布式數(shù)據(jù)庫的分布式節(jié)點中一個分布式節(jié)點為協(xié)調(diào)者，其他分布式節(jié)點為參與者；
8、數(shù)據(jù)傳輸模塊，用于在每個所述參與者中，響應(yīng)于所述插入數(shù)據(jù)子任務(wù)，激活各自的傳輸工具，針對每個所述參與者中的每個所述第二數(shù)據(jù)分片，通過所述傳輸工具基于所述映射關(guān)系確定該第二數(shù)據(jù)分片映射對應(yīng)的所述第一數(shù)據(jù)分片，并從映射對應(yīng)的所述第一數(shù)據(jù)分片讀取所述待傳輸數(shù)據(jù)表的數(shù)據(jù)存儲在該第二數(shù)據(jù)分片上，其中，所述傳輸工具存儲在所述目標(biāo)分布式數(shù)據(jù)庫的每個分布式節(jié)點上，所述映射關(guān)系存儲在所述目標(biāo)分布式數(shù)據(jù)庫的每個分布式節(jié)點上。
9、本專利技術(shù)實施例還提供了一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)上述任意的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，以解決現(xiàn)有技術(shù)中存在的協(xié)調(diào)者成為單點性能瓶頸影響數(shù)據(jù)傳輸速度的技術(shù)問題。
10、本專利技術(shù)實施例還提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有執(zhí)行上述任意的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法的計算機(jī)程序，以解決現(xiàn)有技術(shù)中存在的協(xié)調(diào)者成為單點性能瓶頸影響數(shù)據(jù)傳輸速度的技術(shù)問題。
11、與現(xiàn)有技術(shù)相比，本說明書實施例采用的上述至少一個技術(shù)方案能夠達(dá)到的有益效果至少包括：提出了針對每個待傳輸數(shù)據(jù)表，確定源分布式數(shù)據(jù)庫的第一數(shù)據(jù)分片與目標(biāo)分布式數(shù)據(jù)庫的第二數(shù)據(jù)分片的映射關(guān)系，并在目標(biāo)分布式數(shù)據(jù)庫的每個分布式節(jié)點上存儲所述傳輸工具和映射關(guān)系，這樣在目標(biāo)分布式數(shù)據(jù)庫的協(xié)調(diào)者接收到插入數(shù)據(jù)任務(wù)時，將所述插入數(shù)據(jù)任務(wù)分解為多個插入數(shù)據(jù)子任務(wù)，將多個所述插入數(shù)據(jù)子任務(wù)分別發(fā)送給各個參與者，在每個所述參與者中，響應(yīng)于所述插入數(shù)據(jù)子任務(wù)，激活各自的傳輸工具，針對每個所述參與者中的每個所述第二數(shù)據(jù)分片，通過所述傳輸工具基于所述映射關(guān)系確定該第二數(shù)據(jù)分片映射對應(yīng)的所述第一數(shù)據(jù)分片，并從映射對應(yīng)的所述第一數(shù)據(jù)分片讀取所述待傳輸數(shù)據(jù)表的數(shù)據(jù)存儲在該第二數(shù)據(jù)分片上，實現(xiàn)了每個參與者接收到插入數(shù)據(jù)子任務(wù)后，基于各自的傳輸工具通過映射關(guān)系建立對應(yīng)的第二數(shù)據(jù)分片與所述第一數(shù)據(jù)分片之間的連接并讀取該第一數(shù)據(jù)分片存儲的表數(shù)據(jù)存儲在第二數(shù)據(jù)分片上，使得各個參與者的第二數(shù)據(jù)分片從第一數(shù)據(jù)分片讀取數(shù)據(jù)的過程不依賴于協(xié)調(diào)者，有利于避免協(xié)調(diào)者出現(xiàn)單點性能瓶頸的問題，進(jìn)而有利于充分利用包括cpu、內(nèi)存以及網(wǎng)絡(luò)帶寬在內(nèi)的物理資源，提升傳輸速度，實現(xiàn)高效數(shù)據(jù)傳輸；同時，上述分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法是基于每個待傳輸數(shù)據(jù)表進(jìn)行的，即配合并發(fā)管理多張數(shù)據(jù)表同時進(jìn)行數(shù)據(jù)傳輸，進(jìn)一步充分利用分布式結(jié)構(gòu)優(yōu)勢，實現(xiàn)高效數(shù)據(jù)傳輸。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.一種分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，包括：
2.如權(quán)利要求1所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，確定源分布式數(shù)據(jù)庫的第一數(shù)據(jù)分片與目標(biāo)分布式數(shù)據(jù)庫的第二數(shù)據(jù)分片的映射關(guān)系，包括：
3.如權(quán)利要求1或2所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，根據(jù)所述源分布式數(shù)據(jù)庫和所述目標(biāo)分布式數(shù)據(jù)庫之間分布式節(jié)點的數(shù)量、數(shù)據(jù)分片的總量以及各分布式節(jié)點上數(shù)據(jù)分片的數(shù)量的不同情況，確定所述源分布式數(shù)據(jù)庫的第一數(shù)據(jù)分片與所述目標(biāo)分布式數(shù)據(jù)庫的第二數(shù)據(jù)分片的映射關(guān)系，包括：
4.如權(quán)利要求1或2所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，根據(jù)所述源分布式數(shù)據(jù)庫和所述目標(biāo)分布式數(shù)據(jù)庫之間分布式節(jié)點的數(shù)量、數(shù)據(jù)分片的總量以及各分布式節(jié)點上數(shù)據(jù)分片的數(shù)量的不同情況，確定所述源分布式數(shù)據(jù)庫的第一數(shù)據(jù)分片與所述目標(biāo)分布式數(shù)據(jù)庫的第二數(shù)據(jù)分片的映射關(guān)系，包括：
5.如權(quán)利要求1或2所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，根據(jù)所述源分布式數(shù)據(jù)庫和所述目標(biāo)分布式數(shù)據(jù)庫之間分布式節(jié)點的數(shù)量、數(shù)據(jù)分片的總量以及各分布式節(jié)點上數(shù)據(jù)分
6.如權(quán)利要求5所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，按照所述第三排序和所述第四排序輪流將所述第一數(shù)據(jù)分片和所述第二數(shù)據(jù)分片建立映射關(guān)系，包括：
7.如權(quán)利要求5所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，按照所述第三排序和所述第四排序輪流將所述第一數(shù)據(jù)分片和所述第二數(shù)據(jù)分片建立映射關(guān)系，包括：
8.一種分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸裝置，其特征在于，包括：
9.一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實現(xiàn)權(quán)利要求1至7中任一項所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法。
10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)存儲有執(zhí)行權(quán)利要求1至7中任一項所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法的計算機(jī)程序。
...【技術(shù)特征摘要】
1.一種分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，包括：
2.如權(quán)利要求1所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，確定源分布式數(shù)據(jù)庫的第一數(shù)據(jù)分片與目標(biāo)分布式數(shù)據(jù)庫的第二數(shù)據(jù)分片的映射關(guān)系，包括：
3.如權(quán)利要求1或2所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，根據(jù)所述源分布式數(shù)據(jù)庫和所述目標(biāo)分布式數(shù)據(jù)庫之間分布式節(jié)點的數(shù)量、數(shù)據(jù)分片的總量以及各分布式節(jié)點上數(shù)據(jù)分片的數(shù)量的不同情況，確定所述源分布式數(shù)據(jù)庫的第一數(shù)據(jù)分片與所述目標(biāo)分布式數(shù)據(jù)庫的第二數(shù)據(jù)分片的映射關(guān)系，包括：
4.如權(quán)利要求1或2所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，根據(jù)所述源分布式數(shù)據(jù)庫和所述目標(biāo)分布式數(shù)據(jù)庫之間分布式節(jié)點的數(shù)量、數(shù)據(jù)分片的總量以及各分布式節(jié)點上數(shù)據(jù)分片的數(shù)量的不同情況，確定所述源分布式數(shù)據(jù)庫的第一數(shù)據(jù)分片與所述目標(biāo)分布式數(shù)據(jù)庫的第二數(shù)據(jù)分片的映射關(guān)系，包括：
5.如權(quán)利要求1或2所述的分布式數(shù)據(jù)庫間的數(shù)據(jù)傳輸方法，其特征在于，根據(jù)所述源分布式數(shù)據(jù)庫和所述目標(biāo)分布式數(shù)據(jù)庫之...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：宋佳飛，王昊，楊飛，楊旭東，王志強(qiáng)，
申請(專利權(quán))人：北京四維縱橫數(shù)據(jù)技術(shù)有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。