【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及計(jì)算機(jī)，具體地涉及一種數(shù)據(jù)分片處理方法、裝置、設(shè)備、介質(zhì)。
技術(shù)介紹
1、隨著科技的進(jìn)步，各個(gè)領(lǐng)域的數(shù)據(jù)量都在爆發(fā)式增長(zhǎng)，單個(gè)節(jié)點(diǎn)已無(wú)法滿足大量數(shù)據(jù)的存儲(chǔ)需求，因此分布式數(shù)據(jù)庫(kù)營(yíng)運(yùn)而生，其為處理和存儲(chǔ)海量數(shù)據(jù)提供了有效的解決方案。
2、在相關(guān)技術(shù)中，數(shù)據(jù)通常被指定存儲(chǔ)在分布式數(shù)據(jù)庫(kù)的不同節(jié)點(diǎn)上以提高整體性能，但一般在建表時(shí)指定數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，導(dǎo)致用戶在大批量建表時(shí)需要根據(jù)配置和節(jié)點(diǎn)剩余空間來(lái)逐一確定表的分布節(jié)點(diǎn)，操作較為繁瑣且容易出錯(cuò)。
技術(shù)實(shí)現(xiàn)思路
1、鑒于上述問(wèn)題，本專利技術(shù)提供了數(shù)據(jù)分片處理方法、裝置、設(shè)備、介質(zhì)。
2、根據(jù)本專利技術(shù)的第一個(gè)方面，提供了一種數(shù)據(jù)分片處理方法，包括：響應(yīng)于接收到的新增數(shù)據(jù)請(qǐng)求，獲取上述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息和待新增數(shù)據(jù)；基于上述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息，確定目標(biāo)數(shù)據(jù)表，其中，目標(biāo)數(shù)據(jù)表存儲(chǔ)于數(shù)據(jù)庫(kù)集群的目標(biāo)節(jié)點(diǎn)組中，目標(biāo)節(jié)點(diǎn)組包括數(shù)據(jù)庫(kù)集群中至少一個(gè)用戶預(yù)先指定的數(shù)據(jù)庫(kù)節(jié)點(diǎn)；將上述待新增數(shù)據(jù)存儲(chǔ)至上述目標(biāo)數(shù)據(jù)表中。
3、根據(jù)本專利技術(shù)的實(shí)施例，上述響應(yīng)于接收到的新增數(shù)據(jù)請(qǐng)求，獲取上述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息和待新增數(shù)據(jù)之前，上述方法還包括：響應(yīng)于接收到新增數(shù)據(jù)表請(qǐng)求，獲取上述新增數(shù)據(jù)表請(qǐng)求中的待處理表的待處理表信息、用于標(biāo)識(shí)上述待處理表對(duì)應(yīng)數(shù)據(jù)庫(kù)的庫(kù)標(biāo)識(shí)信息；在確定上述節(jié)點(diǎn)標(biāo)識(shí)信息與上述用戶預(yù)先指定的目標(biāo)節(jié)點(diǎn)組的信息相匹配的情況下，將上述待處理表存儲(chǔ)至上述目標(biāo)節(jié)點(diǎn)組中；在確定上述節(jié)點(diǎn)標(biāo)識(shí)信
4、根據(jù)本專利技術(shù)的實(shí)施例，上述目標(biāo)節(jié)點(diǎn)組是通過(guò)如下方式確定的：響應(yīng)于接收到用戶的數(shù)據(jù)庫(kù)新增請(qǐng)求，向上述用戶發(fā)送不同類型的多個(gè)數(shù)據(jù)庫(kù)集群，上述多個(gè)數(shù)據(jù)庫(kù)集群存儲(chǔ)于不同節(jié)點(diǎn)組上；響應(yīng)于接收到用戶的表征目標(biāo)數(shù)據(jù)庫(kù)集群的集群標(biāo)識(shí)，向上述用戶發(fā)送與上述目標(biāo)數(shù)據(jù)庫(kù)集群相匹配的數(shù)據(jù)庫(kù)節(jié)點(diǎn)組；以及響應(yīng)于接收到用戶的表征目標(biāo)節(jié)點(diǎn)組的節(jié)點(diǎn)組標(biāo)識(shí)，確定上述目標(biāo)節(jié)點(diǎn)組。
5、根據(jù)本專利技術(shù)的實(shí)施例，上述方法還包括：響應(yīng)于接收到第一查詢數(shù)據(jù)請(qǐng)求，獲取上述第一查詢數(shù)據(jù)請(qǐng)求中的第一表標(biāo)識(shí)信息和第一待查詢數(shù)據(jù)標(biāo)識(shí)；基于上述第一表標(biāo)識(shí)信息，從上述數(shù)據(jù)庫(kù)集群的上述目標(biāo)節(jié)點(diǎn)組中確定目標(biāo)數(shù)據(jù)表；基于上述第一待查詢數(shù)據(jù)標(biāo)識(shí)從上述目標(biāo)數(shù)據(jù)表中查詢得到第一目標(biāo)查詢數(shù)據(jù)。
6、根據(jù)本專利技術(shù)的實(shí)施例，上述數(shù)據(jù)庫(kù)集群的目標(biāo)節(jié)點(diǎn)組包括至少一個(gè)數(shù)據(jù)庫(kù)管理節(jié)點(diǎn)，上述基于上述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息，從數(shù)據(jù)庫(kù)集群的目標(biāo)節(jié)點(diǎn)組中確定目標(biāo)數(shù)據(jù)表包括：獲取表標(biāo)識(shí)與目標(biāo)節(jié)點(diǎn)組的映射關(guān)系，其中，上述表標(biāo)識(shí)與目標(biāo)節(jié)點(diǎn)組的映射關(guān)系存儲(chǔ)于上述數(shù)據(jù)庫(kù)管理節(jié)點(diǎn)的緩存中；基于上述表標(biāo)識(shí)與目標(biāo)節(jié)點(diǎn)組的映射關(guān)系和上述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息，從上述數(shù)據(jù)庫(kù)集群的上述目標(biāo)節(jié)點(diǎn)組中確定上述目標(biāo)數(shù)據(jù)表。
7、根據(jù)本專利技術(shù)的實(shí)施例，上述數(shù)據(jù)庫(kù)管理節(jié)點(diǎn)的緩存還存儲(chǔ)有目標(biāo)節(jié)點(diǎn)組的哈希映射值組，上述哈希映射值組包括與每個(gè)上述數(shù)據(jù)庫(kù)節(jié)點(diǎn)相對(duì)應(yīng)的哈希值范圍；上述將上述待新增數(shù)據(jù)存儲(chǔ)至上述目標(biāo)數(shù)據(jù)表中包括：利用哈希算法，基于上述待新增數(shù)據(jù)得到待新增數(shù)據(jù)的哈希值；基于上述目標(biāo)節(jié)點(diǎn)組的哈希映射值和上述待新增數(shù)據(jù)的哈希值確定目標(biāo)存儲(chǔ)節(jié)點(diǎn)，其中，上述目標(biāo)存儲(chǔ)節(jié)點(diǎn)包括上述目標(biāo)節(jié)點(diǎn)組中的至少一個(gè)上述數(shù)據(jù)庫(kù)節(jié)點(diǎn)；將上述待新增數(shù)據(jù)存儲(chǔ)至上述目標(biāo)存儲(chǔ)節(jié)點(diǎn)中。
8、根據(jù)本專利技術(shù)的實(shí)施例，上述方法還包括：響應(yīng)于接收到的第二查詢數(shù)據(jù)請(qǐng)求，獲取上述第二查詢數(shù)據(jù)請(qǐng)求中的第二表標(biāo)識(shí)信息、第二待查詢數(shù)據(jù)標(biāo)識(shí)和上述緩存中的表標(biāo)識(shí)與目標(biāo)節(jié)點(diǎn)組的映射關(guān)系；基于上述第二表標(biāo)識(shí)信息和上述表標(biāo)識(shí)與目標(biāo)節(jié)點(diǎn)組的映射關(guān)系確定子目標(biāo)節(jié)點(diǎn)組；對(duì)于上述子目標(biāo)節(jié)點(diǎn)組中的每個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)，基于上述第二待查詢數(shù)據(jù)標(biāo)識(shí)從上述數(shù)據(jù)庫(kù)節(jié)點(diǎn)中確定子目標(biāo)數(shù)據(jù)表，得到子目標(biāo)數(shù)據(jù)表組；從上述子目標(biāo)數(shù)據(jù)表組中確定與上述第二待查詢數(shù)據(jù)標(biāo)識(shí)相匹配的候選查詢數(shù)據(jù)組；基于上述候選查詢數(shù)據(jù)組，得到第二目標(biāo)查詢數(shù)據(jù)。
9、本專利技術(shù)的第二方面提供了一種數(shù)據(jù)分片處理裝置，包括：獲取模塊，用于響應(yīng)于接收到的新增數(shù)據(jù)請(qǐng)求，獲取上述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息和待新增數(shù)據(jù)；確定模塊，用于基于上述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息，從數(shù)據(jù)庫(kù)集群的目標(biāo)節(jié)點(diǎn)組中確定目標(biāo)數(shù)據(jù)表，其中，上述目標(biāo)節(jié)點(diǎn)組包括上述數(shù)據(jù)庫(kù)集群中的至少一個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)，上述至少一個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)是用戶預(yù)先指定的；存儲(chǔ)模塊，用于將上述待新增數(shù)據(jù)存儲(chǔ)至上述目標(biāo)數(shù)據(jù)表中。
10、根據(jù)本專利技術(shù)的實(shí)施例，上述裝置還包括：新增請(qǐng)求獲取模塊，用于響應(yīng)于接收到新增數(shù)據(jù)表請(qǐng)求，獲取上述新增數(shù)據(jù)表請(qǐng)求中的待處理表的待處理表信息、用于標(biāo)識(shí)上述待處理表對(duì)應(yīng)數(shù)據(jù)庫(kù)的庫(kù)標(biāo)識(shí)信息；新增數(shù)據(jù)表存儲(chǔ)模塊，用于在確定上述節(jié)點(diǎn)標(biāo)識(shí)信息與上述用戶預(yù)先指定的目標(biāo)節(jié)點(diǎn)組的信息相匹配的情況下，將上述待處理表存儲(chǔ)至上述目標(biāo)節(jié)點(diǎn)組中；表節(jié)點(diǎn)組確定模塊，用于在確定上述節(jié)點(diǎn)標(biāo)識(shí)信息與上述用戶預(yù)先指定的目標(biāo)節(jié)點(diǎn)組的信息不匹配的情況下，基于上述節(jié)點(diǎn)標(biāo)識(shí)信息，從上述數(shù)據(jù)庫(kù)集群中確定與上述待處理表相匹配的表節(jié)點(diǎn)組；表存儲(chǔ)模塊，用于將上述待處理表存儲(chǔ)至上述表節(jié)點(diǎn)組中。
11、根據(jù)本專利技術(shù)的實(shí)施例，上述目標(biāo)節(jié)點(diǎn)組是通過(guò)如下子模塊確定的：集群發(fā)送子模塊，用于響應(yīng)于接收到用戶的數(shù)據(jù)庫(kù)新增請(qǐng)求，向上述用戶發(fā)送不同類型的多個(gè)數(shù)據(jù)庫(kù)集群，上述多個(gè)數(shù)據(jù)庫(kù)集群存儲(chǔ)于不同節(jié)點(diǎn)組上；節(jié)點(diǎn)發(fā)送子模塊，用于響應(yīng)于接收到用戶的表征目標(biāo)數(shù)據(jù)庫(kù)集群的集群標(biāo)識(shí)，向上述用戶發(fā)送與上述目標(biāo)數(shù)據(jù)庫(kù)集群相匹配的多個(gè)數(shù)據(jù)庫(kù)節(jié)點(diǎn)；以及節(jié)點(diǎn)組確定子模塊，用于響應(yīng)于接收到用戶的表征目標(biāo)節(jié)點(diǎn)組的節(jié)點(diǎn)組標(biāo)識(shí)，確定上述目標(biāo)節(jié)點(diǎn)組。
12、根據(jù)本專利技術(shù)的實(shí)施例，上述裝置還包括：第一查詢模塊，用于響應(yīng)于接收到第一查詢數(shù)據(jù)請(qǐng)求，獲取上述第一查詢數(shù)據(jù)請(qǐng)求中的第一表標(biāo)識(shí)信息和第一待查詢數(shù)據(jù)標(biāo)識(shí)；第一數(shù)據(jù)表確定模塊，用于基于上述第一表標(biāo)識(shí)信息，從上述數(shù)據(jù)庫(kù)集群的上述目標(biāo)節(jié)點(diǎn)組中確定目標(biāo)數(shù)據(jù)表；第一查詢模塊，用于基于上述第一待查詢數(shù)據(jù)標(biāo)識(shí)從上述目標(biāo)數(shù)據(jù)表中查詢得到第一目標(biāo)查詢數(shù)據(jù)。
13、根據(jù)本專利技術(shù)的實(shí)施例，上述數(shù)據(jù)庫(kù)集群的目標(biāo)節(jié)點(diǎn)組包括至少一個(gè)數(shù)據(jù)庫(kù)管理節(jié)點(diǎn)，上述確定模塊包括：映射關(guān)系獲取子模塊，用于獲取表標(biāo)識(shí)與目標(biāo)節(jié)點(diǎn)組的映射關(guān)系，其中，上述表標(biāo)識(shí)與目標(biāo)節(jié)點(diǎn)組的映射關(guān)系存儲(chǔ)于上述數(shù)據(jù)庫(kù)管理節(jié)點(diǎn)的緩存中；數(shù)據(jù)表確定子模塊，用于基于上述表標(biāo)識(shí)與目標(biāo)節(jié)點(diǎn)組的映射關(guān)系和上述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息，從上述數(shù)據(jù)庫(kù)集群的上述目標(biāo)節(jié)點(diǎn)組中確定上述目標(biāo)數(shù)據(jù)表。
14、根據(jù)本專利技術(shù)的實(shí)施例，上述數(shù)據(jù)庫(kù)管理節(jié)點(diǎn)的緩存還存儲(chǔ)有目標(biāo)節(jié)點(diǎn)組的哈希映射值組，上述哈希映射值組包括與每個(gè)上述數(shù)據(jù)庫(kù)節(jié)點(diǎn)相對(duì)應(yīng)的哈希值范圍；上述存儲(chǔ)模塊包括：哈希值計(jì)算子模塊，用于利用哈希算法，基于上述待新增數(shù)據(jù)得到待新增數(shù)據(jù)的哈希值；目標(biāo)存儲(chǔ)節(jié)點(diǎn)確定子模塊，用于基于上述目標(biāo)節(jié)點(diǎn)組的哈希映射值和上述待新本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種數(shù)據(jù)分片處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述響應(yīng)于接收到的新增數(shù)據(jù)請(qǐng)求，獲取所述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息和新增數(shù)據(jù)之前，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)節(jié)點(diǎn)組是通過(guò)如下方式確定的：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)庫(kù)集群的目標(biāo)節(jié)點(diǎn)組包括至少一個(gè)數(shù)據(jù)庫(kù)管理節(jié)點(diǎn)，所述基于所述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息，從數(shù)據(jù)庫(kù)集群的目標(biāo)節(jié)點(diǎn)組中確定目標(biāo)數(shù)據(jù)表包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述數(shù)據(jù)庫(kù)管理節(jié)點(diǎn)的緩存還存儲(chǔ)有目標(biāo)節(jié)點(diǎn)組的哈希映射值組，所述哈希映射值組包括與每個(gè)所述數(shù)據(jù)庫(kù)節(jié)點(diǎn)相對(duì)應(yīng)的映射范圍；
7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：
8.一種數(shù)據(jù)分片處理裝置，其特征在于，所述裝置包括：
9.一種電子設(shè)備，包括：
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序或指令，其特征在
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)分片處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述響應(yīng)于接收到的新增數(shù)據(jù)請(qǐng)求，獲取所述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息和新增數(shù)據(jù)之前，所述方法還包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)節(jié)點(diǎn)組是通過(guò)如下方式確定的：
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)庫(kù)集群的目標(biāo)節(jié)點(diǎn)組包括至少一個(gè)數(shù)據(jù)庫(kù)管理節(jié)點(diǎn)，所述基于所述新增數(shù)據(jù)請(qǐng)求中的表標(biāo)識(shí)信息，從數(shù)據(jù)庫(kù)集群的目標(biāo)節(jié)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉金瑜，
申請(qǐng)(專利權(quán))人：蘇州吉唄思數(shù)據(jù)技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。