【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及分布式存儲(chǔ)領(lǐng)域，特別是涉及一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法、設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、分布式存儲(chǔ)是一種數(shù)據(jù)存儲(chǔ)技術(shù)，它將數(shù)據(jù)分散存儲(chǔ)在多個(gè)物理位置，這些位置可以是同一臺(tái)服務(wù)器上的多個(gè)硬盤(pán)，也可以是分布在不同地理位置的多臺(tái)服務(wù)器。分布式存儲(chǔ)有著可擴(kuò)展性、容錯(cuò)性、高可用性等優(yōu)勢(shì)，在互聯(lián)網(wǎng)服務(wù)、大數(shù)據(jù)分析、云計(jì)算平臺(tái)等場(chǎng)景被大量使用。
2、分布式存儲(chǔ)系統(tǒng)包含大量存儲(chǔ)節(jié)點(diǎn)，存儲(chǔ)節(jié)點(diǎn)是構(gòu)成整個(gè)分布式存儲(chǔ)系統(tǒng)的各個(gè)獨(dú)立的計(jì)算單元，它們共同工作以提供大規(guī)模、高可用性和高性能的數(shù)據(jù)存儲(chǔ)服務(wù)。現(xiàn)有的分布式存儲(chǔ)系統(tǒng)中，存儲(chǔ)節(jié)點(diǎn)通常包括多個(gè)數(shù)據(jù)分片，每一數(shù)據(jù)分片包括多個(gè)區(qū)間分片，待存儲(chǔ)的數(shù)據(jù)在進(jìn)行存儲(chǔ)時(shí)需按照規(guī)則進(jìn)行編碼，并得到多個(gè)數(shù)據(jù)塊，然后將多個(gè)數(shù)據(jù)塊發(fā)送至不同的存儲(chǔ)節(jié)點(diǎn)，由存儲(chǔ)節(jié)點(diǎn)將收到的數(shù)據(jù)塊存儲(chǔ)至本地的數(shù)據(jù)分片中的區(qū)間分片中。
3、為了方便管理數(shù)據(jù)分片中的區(qū)間分片，相關(guān)技術(shù)通過(guò)元數(shù)據(jù)管理的方式為每一區(qū)間分片配置相應(yīng)的版本號(hào)，當(dāng)區(qū)間分片中的數(shù)據(jù)改變時(shí)，需更新該區(qū)間分片的版本號(hào)。但是由于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)量較大，難以保持?jǐn)?shù)據(jù)在多個(gè)副本之間的一致性，當(dāng)存儲(chǔ)節(jié)點(diǎn)出現(xiàn)故障或數(shù)據(jù)更新沖突時(shí)，版本號(hào)也難以及時(shí)更新或錯(cuò)誤更新，元數(shù)據(jù)管理也容易出現(xiàn)錯(cuò)誤管理。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本專利技術(shù)的目的在于提供一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法、設(shè)備及存儲(chǔ)介質(zhì)，解決了現(xiàn)有技術(shù)中區(qū)間分片的版本號(hào)也難以及時(shí)更新或錯(cuò)誤更新導(dǎo)致元數(shù)據(jù)管理出現(xiàn)錯(cuò)誤的問(wèn)題。
2、第一
3、獲取各個(gè)區(qū)間分片的版本號(hào)以及所述區(qū)間分片內(nèi)已存儲(chǔ)數(shù)據(jù)塊的編碼號(hào)，建立所述已存儲(chǔ)數(shù)據(jù)塊的編碼號(hào)與所述區(qū)間分片的版本號(hào)的映射關(guān)系；并根據(jù)所述已存儲(chǔ)數(shù)據(jù)塊的編碼號(hào)與所述區(qū)間分片的版本號(hào)的映射關(guān)系生成數(shù)據(jù)管理表；
4、確定待更新區(qū)間分片的版本號(hào)，并建立所述待更新區(qū)間分片與目標(biāo)數(shù)據(jù)塊之間的映射關(guān)系；
5、當(dāng)所述目標(biāo)數(shù)據(jù)塊存儲(chǔ)于所述待更新區(qū)間分片時(shí)，根據(jù)所述目標(biāo)數(shù)據(jù)塊的編碼號(hào)和所述待更新區(qū)間分片的版本號(hào)的映射關(guān)系更新所述數(shù)據(jù)管理表。
6、優(yōu)選地，在所述獲取各個(gè)區(qū)間分片的版本號(hào)之前，還包括：
7、判斷每一所述區(qū)間分片內(nèi)是否存儲(chǔ)有數(shù)據(jù)塊；若是，則將所述區(qū)間分片標(biāo)記為第一區(qū)間分片；若否，則將所述區(qū)間分片標(biāo)記為第二區(qū)間分片；
8、將所述第一區(qū)間分片的存儲(chǔ)地址發(fā)送至元數(shù)據(jù)節(jié)點(diǎn)，并通過(guò)所述元數(shù)據(jù)節(jié)點(diǎn)為所述第一區(qū)間分片配置相應(yīng)的版本號(hào)。
9、優(yōu)選地，在判斷所述存儲(chǔ)節(jié)點(diǎn)的每一所述區(qū)間分片內(nèi)是否存儲(chǔ)有數(shù)據(jù)塊之后，還包括：
10、當(dāng)所述第二區(qū)間分片內(nèi)存儲(chǔ)有數(shù)據(jù)塊時(shí)，將所述第二區(qū)間分片標(biāo)記為第一區(qū)間分片。
11、優(yōu)選地，所述待更新區(qū)間分片包括新建區(qū)間分片和待升級(jí)區(qū)間分片，所述新建區(qū)間分片未配置版本號(hào)，所述待升級(jí)區(qū)間分片配置有版本號(hào)；所述確定待更新區(qū)間分片的版本號(hào)，并建立所述待更新區(qū)間分片與目標(biāo)數(shù)據(jù)塊之間的映射關(guān)系，具體包括：
12、當(dāng)所述待更新區(qū)間分片為新建區(qū)間分片時(shí)，選擇所述已存儲(chǔ)數(shù)據(jù)塊作為所述目標(biāo)數(shù)據(jù)塊，并建立所述待更新區(qū)間分片與目標(biāo)數(shù)據(jù)塊之間的映射關(guān)系；和/或
13、當(dāng)所述待更新區(qū)間分片為待升級(jí)區(qū)間分片時(shí)，選擇所述已存儲(chǔ)數(shù)據(jù)塊和/或待存儲(chǔ)數(shù)據(jù)塊作為所述目標(biāo)數(shù)據(jù)塊，并建立所述待更新區(qū)間分片與目標(biāo)數(shù)據(jù)塊之間的映射關(guān)系；所述待存儲(chǔ)數(shù)據(jù)塊為未寫(xiě)入任一所述區(qū)間分片的數(shù)據(jù)塊。
14、優(yōu)選地，當(dāng)所述待更新區(qū)間分片為新建區(qū)間分片時(shí)，選擇所述已存儲(chǔ)數(shù)據(jù)塊作為所述目標(biāo)數(shù)據(jù)塊，具體包括：
15、當(dāng)所述待更新區(qū)間分片為新建區(qū)間分片時(shí)，查詢未關(guān)聯(lián)任一區(qū)間分片的所述已存儲(chǔ)數(shù)據(jù)塊作為所述目標(biāo)數(shù)據(jù)塊。
16、優(yōu)選地，所述當(dāng)所述待更新區(qū)間分片為待升級(jí)區(qū)間分片時(shí)，選擇所述已存儲(chǔ)數(shù)據(jù)塊和/或待存儲(chǔ)數(shù)據(jù)塊作為所述目標(biāo)數(shù)據(jù)塊，具體包括：
17、當(dāng)所述待更新區(qū)間分片為待升級(jí)區(qū)間分片時(shí)，選擇被指定的所述已存儲(chǔ)數(shù)據(jù)塊作為所述目標(biāo)數(shù)據(jù)塊；和/或
18、當(dāng)所述待更新區(qū)間分片為待升級(jí)區(qū)間分片時(shí)，選擇最先接收的所述待存儲(chǔ)數(shù)據(jù)塊作為所述目標(biāo)數(shù)據(jù)塊。
19、優(yōu)選地，在建立所述待更新區(qū)間分片與目標(biāo)數(shù)據(jù)塊之間的映射關(guān)系之后，還包括：
20、將與所述目標(biāo)數(shù)據(jù)塊于同一時(shí)間寫(xiě)入于所述存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)塊記錄為待關(guān)聯(lián)數(shù)據(jù)塊，并建立所述待更新區(qū)間分片的版本號(hào)與所述待關(guān)聯(lián)數(shù)據(jù)塊的編碼號(hào)的映射關(guān)系；
21、根據(jù)所述待更新區(qū)間分片的版本號(hào)與所述待關(guān)聯(lián)數(shù)據(jù)塊的編碼號(hào)的映射關(guān)系更新所述數(shù)據(jù)管理表。
22、第二方面，本實(shí)施例提供了一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，用于分布式存儲(chǔ)系統(tǒng)的元數(shù)據(jù)節(jié)點(diǎn)，所述分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)設(shè)有多個(gè)用于存儲(chǔ)數(shù)據(jù)塊的區(qū)間分片，每一所述區(qū)間分片通過(guò)所述元數(shù)據(jù)節(jié)點(diǎn)配置有相應(yīng)的版本號(hào)，每一所述數(shù)據(jù)塊設(shè)有相應(yīng)的編碼號(hào)，所述方法包括：
23、為存儲(chǔ)節(jié)點(diǎn)的各個(gè)區(qū)間分片配置相應(yīng)的版本號(hào)，并將每個(gè)所述區(qū)間分片版本號(hào)發(fā)送至所述存儲(chǔ)節(jié)點(diǎn)；
24、通過(guò)所述存儲(chǔ)節(jié)點(diǎn)建立的已存儲(chǔ)數(shù)據(jù)塊的編碼號(hào)與所述區(qū)間分片的版本號(hào)的映射關(guān)系生成數(shù)據(jù)管理表；
25、配置待更新區(qū)間分片的版本號(hào)并發(fā)送至所述存儲(chǔ)節(jié)點(diǎn)；
26、當(dāng)目標(biāo)數(shù)據(jù)塊存儲(chǔ)于所述待更新區(qū)間分片時(shí)，根據(jù)所述目標(biāo)數(shù)據(jù)塊的編碼號(hào)和所述待更新區(qū)間分片的版本號(hào)的映射關(guān)系更新所述數(shù)據(jù)管理表。
27、第三方面，本實(shí)施例提供了一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理設(shè)備，包括：處理器和存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于由所述處理器加載并執(zhí)行如第一方面或第二方面中任意一項(xiàng)所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法。
28、第四方面，本實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有指令，所述指令用于由處理器加載并執(zhí)行如第一方面或第二方面中任意一項(xiàng)所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法。
29、在本申請(qǐng)實(shí)施例的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法、設(shè)備及存儲(chǔ)介質(zhì)中，可通過(guò)數(shù)據(jù)管理表查詢每一區(qū)間分片在不同版本號(hào)時(shí)的數(shù)據(jù)存儲(chǔ)詳情，在分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)量較大，導(dǎo)致存儲(chǔ)節(jié)點(diǎn)出現(xiàn)故障或數(shù)據(jù)更新沖突時(shí)，可在數(shù)據(jù)管理表中追溯至正確數(shù)據(jù)的存儲(chǔ)記錄，并更正區(qū)間分片的版本號(hào)，提高了分布式存儲(chǔ)系統(tǒng)的棒魯性。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)，所述存儲(chǔ)節(jié)點(diǎn)設(shè)有多個(gè)用于存儲(chǔ)數(shù)據(jù)塊的區(qū)間分片，每一所述區(qū)間分片通過(guò)元數(shù)據(jù)節(jié)點(diǎn)配置有相應(yīng)的版本號(hào)，每一所述數(shù)據(jù)塊設(shè)有相應(yīng)的編碼號(hào)，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，在所述獲取各個(gè)區(qū)間分片的版本號(hào)之前，還包括：
3.根據(jù)權(quán)利要求2所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，在判斷所述存儲(chǔ)節(jié)點(diǎn)的每一所述區(qū)間分片內(nèi)是否存儲(chǔ)有數(shù)據(jù)塊之后，還包括：
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，所述待更新區(qū)間分片包括新建區(qū)間分片和待升級(jí)區(qū)間分片，所述新建區(qū)間分片未配置版本號(hào)，所述待升級(jí)區(qū)間分片配置有版本號(hào)；所述確定待更新區(qū)間分片的版本號(hào)，并建立所述待更新區(qū)間分片與目標(biāo)數(shù)據(jù)塊之間的映射關(guān)系，具體包括：
5.根據(jù)權(quán)利要求4所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，當(dāng)所述待更新區(qū)間分片為新建區(qū)間分片時(shí)，選擇所述已存儲(chǔ)數(shù)據(jù)塊作為所述目標(biāo)數(shù)據(jù)塊，具體包括：
6.根據(jù)權(quán)利要求4
7.根據(jù)權(quán)利要求4所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，在建立所述待更新區(qū)間分片與目標(biāo)數(shù)據(jù)塊之間的映射關(guān)系之后，還包括：
8.一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，用于分布式存儲(chǔ)系統(tǒng)的元數(shù)據(jù)節(jié)點(diǎn)，所述分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)設(shè)有多個(gè)用于存儲(chǔ)數(shù)據(jù)塊的區(qū)間分片，每一所述區(qū)間分片通過(guò)所述元數(shù)據(jù)節(jié)點(diǎn)配置有相應(yīng)的版本號(hào)，每一所述數(shù)據(jù)塊設(shè)有相應(yīng)的編碼號(hào)，其特征在于，所述方法包括：
9.一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理設(shè)備，包括：處理器和存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于由所述處理器加載并執(zhí)行如權(quán)利要求1-7中任意一項(xiàng)或權(quán)利要求8所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有指令，所述指令用于由處理器加載并執(zhí)行如權(quán)利要求1-7中任意一項(xiàng)或權(quán)利要求8所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法。
...【技術(shù)特征摘要】
1.一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，用于分布式存儲(chǔ)系統(tǒng)的存儲(chǔ)節(jié)點(diǎn)，所述存儲(chǔ)節(jié)點(diǎn)設(shè)有多個(gè)用于存儲(chǔ)數(shù)據(jù)塊的區(qū)間分片，每一所述區(qū)間分片通過(guò)元數(shù)據(jù)節(jié)點(diǎn)配置有相應(yīng)的版本號(hào)，每一所述數(shù)據(jù)塊設(shè)有相應(yīng)的編碼號(hào)，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，在所述獲取各個(gè)區(qū)間分片的版本號(hào)之前，還包括：
3.根據(jù)權(quán)利要求2所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，在判斷所述存儲(chǔ)節(jié)點(diǎn)的每一所述區(qū)間分片內(nèi)是否存儲(chǔ)有數(shù)據(jù)塊之后，還包括：
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，所述待更新區(qū)間分片包括新建區(qū)間分片和待升級(jí)區(qū)間分片，所述新建區(qū)間分片未配置版本號(hào)，所述待升級(jí)區(qū)間分片配置有版本號(hào)；所述確定待更新區(qū)間分片的版本號(hào)，并建立所述待更新區(qū)間分片與目標(biāo)數(shù)據(jù)塊之間的映射關(guān)系，具體包括：
5.根據(jù)權(quán)利要求4所述的分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，當(dāng)所述待更新區(qū)間分片為新建區(qū)間分片時(shí)，選擇所述已存儲(chǔ)數(shù)據(jù)塊作為所述目標(biāo)數(shù)據(jù)塊，具體包括：
6.根據(jù)權(quán)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：呂遠(yuǎn)，
申請(qǐng)(專利權(quán))人：北京愛(ài)賓果科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。