【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)據(jù)處理領(lǐng)域，具體地，涉及一種動(dòng)態(tài)負(fù)載均衡方法及系統(tǒng)及裝置及介質(zhì)。
技術(shù)介紹
1、隨著信息技術(shù)的發(fā)展，越來越多的數(shù)據(jù)被存放在網(wǎng)絡(luò)之上，數(shù)據(jù)的爆炸增長(zhǎng)已不可避免。所以怎樣去高效且穩(wěn)定的將數(shù)據(jù)存放在節(jié)點(diǎn)之上是現(xiàn)在國(guó)內(nèi)外的研究熱點(diǎn)。同時(shí)隨著存儲(chǔ)設(shè)備以及網(wǎng)絡(luò)的更新迭代，存儲(chǔ)系統(tǒng)也由傳統(tǒng)的集中式存儲(chǔ)向分布式存儲(chǔ)進(jìn)行了更新。分布式存儲(chǔ)系統(tǒng)擁有相較于傳統(tǒng)集中存儲(chǔ)先天的優(yōu)異性能，還可以很便捷的實(shí)現(xiàn)節(jié)點(diǎn)的擴(kuò)展。但由便捷的擴(kuò)展性導(dǎo)致存儲(chǔ)介質(zhì)的多樣化引起存儲(chǔ)節(jié)點(diǎn)出現(xiàn)錯(cuò)誤的狀況也不容忽視。
2、糾刪碼方案提供了一種新的容錯(cuò)技術(shù)，通過將源文件分塊后，按照編碼的規(guī)律進(jìn)行計(jì)算，進(jìn)而得到一定數(shù)量的冗余塊。冗余塊是糾刪碼提供容錯(cuò)能力的保證。當(dāng)某個(gè)條帶出現(xiàn)丟失時(shí)，可以使用相對(duì)應(yīng)的冗余塊來計(jì)算得到丟失的原數(shù)據(jù)。糾刪碼的引入可以在和副本技術(shù)提供相同的容錯(cuò)性能的情況下，擁有更好的存儲(chǔ)性能，代價(jià)則是編碼譯碼時(shí)的額外計(jì)算開銷。常見的糾刪碼有：以rs碼為代表，滿足了singleton邊界的mds碼；以evenodd為代表的陣列碼；以lrc為代表的分組碼。糾刪碼憑借其優(yōu)秀的存儲(chǔ)性能，許多分布式存儲(chǔ)系統(tǒng)，例如：hdfs，ceph等都應(yīng)用了糾刪碼方案。不同的糾刪碼方案，都會(huì)有不同的優(yōu)缺點(diǎn)，所以許多商業(yè)級(jí)的分布式存儲(chǔ)系統(tǒng)都會(huì)采用多種糾刪碼方案混合使用的情況。采用糾刪碼時(shí)，糾刪碼方案的不同；以及數(shù)據(jù)類型本身的不同，都會(huì)導(dǎo)致系統(tǒng)中數(shù)據(jù)的訪問存在不均衡性。同時(shí)用戶的訪問是具有一定時(shí)效性，隨機(jī)性的，便導(dǎo)致存儲(chǔ)系統(tǒng)中通常一部分?jǐn)?shù)據(jù)占據(jù)了大部分的訪問頻率。所以存儲(chǔ)系統(tǒng)中
3、當(dāng)前分布式存儲(chǔ)系統(tǒng)中的負(fù)載均衡手段主要有動(dòng)態(tài)靜態(tài)兩種處理方式，靜態(tài)負(fù)載均衡通常是在數(shù)據(jù)最初存儲(chǔ)進(jìn)系統(tǒng)時(shí)或者經(jīng)歷了較大改變時(shí)，通過編碼手段將數(shù)據(jù)更加均勻的存儲(chǔ)在節(jié)點(diǎn)上。局部修復(fù)碼是靜態(tài)負(fù)載均衡的一種常用手段。該方案的數(shù)據(jù)布局方法讓每個(gè)數(shù)據(jù)塊都擁有并行訪問路徑，當(dāng)某個(gè)數(shù)據(jù)塊過熱時(shí)，可以從其他路徑進(jìn)行訪問，從而實(shí)現(xiàn)負(fù)載均衡。缺點(diǎn)在于其無法反映數(shù)據(jù)的實(shí)時(shí)訪問情況，當(dāng)數(shù)據(jù)存在較大冷熱差異時(shí)，系統(tǒng)依然會(huì)有負(fù)載不均衡問題。文獻(xiàn)1(xia?m,saxena?m,blaum?m,et?al.atale?of?twoerasure?codes?in{hdfs}[c]//13th{usenix}conference?on?file?and?storagetechnologies({fast}15).2015:213-226.)提出了一種新的負(fù)載均衡方案，其動(dòng)態(tài)的根據(jù)當(dāng)前各個(gè)節(jié)點(diǎn)的負(fù)載情況，來選取差異化的編碼方式。對(duì)冷文件采用高存儲(chǔ)效率編碼方案，對(duì)熱文件采用高訪問性能編碼方案，從而達(dá)到提高存儲(chǔ)效率和訪問性能的目的，但缺點(diǎn)在于熱文件雖然采用高訪問性能編碼方案，熱文件對(duì)系統(tǒng)的訪問需求較高，糾刪碼方案并不適合此類場(chǎng)景。文獻(xiàn)2(zhou?p,huang?j,qin?x,et?al.pars:apopularity-awareredundancy?scheme?for?in?memory?stores[j].ieee?transactions?on?computers,2018,68(4):556-569.)提出了一種動(dòng)態(tài)的熱度感知方案，能夠動(dòng)態(tài)的感知數(shù)據(jù)塊的熱度，對(duì)熱數(shù)據(jù)采用增加額外數(shù)據(jù)副本的方式來提高熱數(shù)據(jù)塊的并行訪問能力，當(dāng)數(shù)據(jù)存在冷熱差異時(shí)能夠更好的負(fù)載均衡性，但額外的副本會(huì)導(dǎo)致更大的存儲(chǔ)開銷。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的是在傳統(tǒng)局部修復(fù)碼的基礎(chǔ)上增加冷熱數(shù)據(jù)機(jī)制，相較于局部修復(fù)碼，每個(gè)數(shù)據(jù)塊擁有相同并行訪問路徑。根據(jù)歷史時(shí)間窗口內(nèi)的訪問頻率分布，來確定冷熱數(shù)據(jù)，并根據(jù)數(shù)據(jù)的冷熱不同采取不同的編碼方式，從而根據(jù)編碼方式的不同，通過調(diào)整冷熱數(shù)據(jù)塊內(nèi)編碼組的數(shù)據(jù)范圍和并行訪問路徑個(gè)數(shù)來確定每個(gè)時(shí)間窗口的負(fù)載均衡能力。熱數(shù)據(jù)塊擁有更多的訪問路徑，能夠更好的應(yīng)對(duì)數(shù)據(jù)訪問頻率差異，提升負(fù)載均衡性能的同時(shí)，因?yàn)閮H熱數(shù)據(jù)塊使用了較多的空間，其余數(shù)據(jù)塊使用存儲(chǔ)效率較高的糾刪碼方案，所以整體的存儲(chǔ)效率較高。
2、為實(shí)現(xiàn)上述專利技術(shù)目的，本專利技術(shù)提供了一種動(dòng)態(tài)負(fù)載均衡方法，所述方法包括：
3、步驟1：獲得條帶化信息，包括節(jié)點(diǎn)數(shù)n、熱數(shù)據(jù)塊k以及熱數(shù)據(jù)塊并行訪問路徑個(gè)數(shù)t，基于條帶化信息將目標(biāo)存儲(chǔ)文件進(jìn)行條帶化處理，獲得條帶化處理后的存儲(chǔ)節(jié)點(diǎn)；
4、步驟2：計(jì)算獲得每個(gè)存儲(chǔ)節(jié)點(diǎn)的熱度值，基于存儲(chǔ)節(jié)點(diǎn)的熱度值對(duì)每個(gè)存儲(chǔ)節(jié)點(diǎn)的類型進(jìn)行劃分，將每個(gè)存儲(chǔ)節(jié)點(diǎn)劃分為熱存儲(chǔ)節(jié)點(diǎn)或冷存儲(chǔ)節(jié)點(diǎn)；
5、步驟3：基于存儲(chǔ)節(jié)點(diǎn)類型劃分結(jié)果獲得存儲(chǔ)節(jié)點(diǎn)的布局信息，基于存儲(chǔ)節(jié)點(diǎn)的布局信息構(gòu)建坐標(biāo)系，使得每個(gè)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)坐標(biāo)系中的一個(gè)點(diǎn)，這樣可以建立一個(gè)帶坐標(biāo)的編碼矩陣，每個(gè)數(shù)據(jù)塊均為其中的一個(gè)坐標(biāo)，方便代入后續(xù)編碼算法中進(jìn)行計(jì)算，坐標(biāo)系中橫坐標(biāo)范圍為[1,k]，縱坐標(biāo)范圍為[1,2]；
6、步驟4：針對(duì)每個(gè)熱存儲(chǔ)節(jié)點(diǎn)，計(jì)算熱存儲(chǔ)節(jié)點(diǎn)中數(shù)據(jù)塊的熱度值，獲得每個(gè)熱存儲(chǔ)節(jié)點(diǎn)中熱度值最高的數(shù)據(jù)塊作為熱數(shù)據(jù)塊；
7、步驟5：對(duì)熱存儲(chǔ)節(jié)點(diǎn)進(jìn)行編碼獲得熱存儲(chǔ)節(jié)點(diǎn)編碼塊，對(duì)熱數(shù)據(jù)塊進(jìn)行編碼獲得熱數(shù)據(jù)編碼塊，對(duì)冷存儲(chǔ)節(jié)點(diǎn)進(jìn)行編碼獲得冷存儲(chǔ)節(jié)點(diǎn)編碼塊，基于熱存儲(chǔ)節(jié)點(diǎn)編碼塊的信息、熱數(shù)據(jù)編碼塊的信息和冷存儲(chǔ)節(jié)點(diǎn)編碼塊的信息獲得編碼結(jié)果信息；
8、步驟6：將編碼結(jié)果信息與步驟一設(shè)置的條帶化信息進(jìn)行比較，基于比較結(jié)果判斷編碼是否準(zhǔn)確，若編碼不準(zhǔn)確則返回步驟5重新編碼，若編碼準(zhǔn)確則執(zhí)行步驟7；
9、步驟7：對(duì)目標(biāo)存儲(chǔ)節(jié)點(diǎn)進(jìn)行負(fù)載均衡，包括：判斷目標(biāo)存儲(chǔ)節(jié)點(diǎn)的負(fù)載狀態(tài)，當(dāng)判斷出目標(biāo)存儲(chǔ)節(jié)點(diǎn)處于高負(fù)載狀態(tài)，則檢測(cè)目標(biāo)存儲(chǔ)節(jié)點(diǎn)的類型，若為熱存儲(chǔ)節(jié)點(diǎn)，則使用目標(biāo)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)的熱存儲(chǔ)節(jié)點(diǎn)編碼塊進(jìn)行并行輔助訪問，然后再次判斷目標(biāo)存儲(chǔ)節(jié)點(diǎn)的負(fù)載狀態(tài)，若判斷出目標(biāo)存儲(chǔ)節(jié)點(diǎn)處于高負(fù)載狀態(tài)，則使用目標(biāo)存儲(chǔ)節(jié)點(diǎn)中的熱數(shù)據(jù)塊對(duì)應(yīng)的熱數(shù)據(jù)編碼塊進(jìn)行并行輔助訪問；若為冷存儲(chǔ)節(jié)點(diǎn)，則使用目標(biāo)存儲(chǔ)節(jié)點(diǎn)對(duì)應(yīng)的冷存儲(chǔ)節(jié)點(diǎn)編碼塊進(jìn)行并行輔助訪問。
10、其中，申請(qǐng)人研究發(fā)現(xiàn)，存儲(chǔ)系統(tǒng)中的數(shù)據(jù)的訪問頻率存在差異，傳統(tǒng)的負(fù)載均衡方法并不合理，本方法通過計(jì)算獲得每個(gè)存儲(chǔ)節(jié)點(diǎn)的熱度值，根據(jù)熱度值將每個(gè)存儲(chǔ)節(jié)點(diǎn)劃分為熱存儲(chǔ)節(jié)點(diǎn)或冷存儲(chǔ)節(jié)點(diǎn)，這樣在后續(xù)負(fù)載均衡時(shí)根據(jù)存儲(chǔ)節(jié)點(diǎn)的類型進(jìn)行區(qū)分處理，進(jìn)一步的，申請(qǐng)人發(fā)現(xiàn)熱存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)塊的訪問頻率也存在差異，為了進(jìn)一步提高負(fù)載均衡的效果，針對(duì)每個(gè)熱存儲(chǔ)節(jié)點(diǎn)，計(jì)算熱存儲(chǔ)節(jié)點(diǎn)中數(shù)據(jù)塊的熱度值，獲得每個(gè)熱存儲(chǔ)節(jié)點(diǎn)中熱度值最高的數(shù)據(jù)塊作為熱數(shù)據(jù)塊，并針對(duì)熱數(shù)據(jù)塊提供單獨(dú)的熱數(shù)據(jù)編碼塊進(jìn)行并行輔助訪問進(jìn)一步提高負(fù)載均衡的效果。
11、其中，在一些實(shí)施例中，所述步驟6具體包括：
12、比較熱存儲(chǔ)節(jié)點(diǎn)編碼塊個(gè)數(shù)與第一預(yù)設(shè)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種動(dòng)態(tài)負(fù)載均衡方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡方法，其特征在于，所述步驟6具體包括：
3.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡方法，其特征在于，所述步驟2中存儲(chǔ)節(jié)點(diǎn)的熱度值的計(jì)算方式為：
4.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡方法，其特征在于，對(duì)熱存儲(chǔ)節(jié)點(diǎn)進(jìn)行編碼獲得熱存儲(chǔ)節(jié)點(diǎn)編碼塊具體包括：
5.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡方法，其特征在于，對(duì)熱數(shù)據(jù)塊進(jìn)行編碼獲得熱數(shù)據(jù)編碼塊具體包括：
6.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡方法，其特征在于，對(duì)冷存儲(chǔ)節(jié)點(diǎn)進(jìn)行編碼獲得冷存儲(chǔ)節(jié)點(diǎn)編碼塊具體包括：
7.一種動(dòng)態(tài)負(fù)載均衡系統(tǒng)，其特征在于，所述系統(tǒng)包括：
8.一種動(dòng)態(tài)負(fù)載均衡裝置，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-6中任意一項(xiàng)所述動(dòng)態(tài)負(fù)載均衡方法的步驟。
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理
...【技術(shù)特征摘要】
1.一種動(dòng)態(tài)負(fù)載均衡方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡方法，其特征在于，所述步驟6具體包括：
3.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡方法，其特征在于，所述步驟2中存儲(chǔ)節(jié)點(diǎn)的熱度值的計(jì)算方式為：
4.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡方法，其特征在于，對(duì)熱存儲(chǔ)節(jié)點(diǎn)進(jìn)行編碼獲得熱存儲(chǔ)節(jié)點(diǎn)編碼塊具體包括：
5.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡方法，其特征在于，對(duì)熱數(shù)據(jù)塊進(jìn)行編碼獲得熱數(shù)據(jù)編碼塊具體包括：
6.根據(jù)權(quán)利要求1所述的動(dòng)態(tài)負(fù)載均衡...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：唐聃，鄧文杰，蔡紅亮，黎聰，曾瓊，
申請(qǐng)(專利權(quán))人：成都信息工程大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。