【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及深度學(xué)習(xí)與大數(shù)據(jù)交叉領(lǐng)域，具體涉及一種基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法及系統(tǒng)。
技術(shù)介紹
1、hdfs默認(rèn)副本策略是基于機(jī)架感知實(shí)現(xiàn)的，上傳文件至hdfs集群時(shí)，副本放置位置是按照節(jié)點(diǎn)和機(jī)架的相對(duì)關(guān)系確定的，放置流程如圖1所示。這種方式雖然沒(méi)有使文件副本均勻的分布在集群內(nèi)，但是其在保證數(shù)據(jù)可靠性和讀取性能的前提下，降低了多個(gè)機(jī)架間數(shù)據(jù)傳輸量，降低了網(wǎng)絡(luò)帶寬占用。
2、但是，該副本放置策略是默認(rèn)集群所有節(jié)點(diǎn)均為同構(gòu)，其處理器主頻、核心數(shù)量、內(nèi)存、硬盤容量均相同。但在實(shí)際生產(chǎn)環(huán)境中集群內(nèi)經(jīng)常出現(xiàn)多批次、多規(guī)格設(shè)備，各節(jié)點(diǎn)間存在明顯的異構(gòu)性。
3、除此之外，集群中個(gè)節(jié)點(diǎn)運(yùn)行負(fù)載也不盡相同,比如有的節(jié)點(diǎn)中資源常需要執(zhí)行計(jì)算型任務(wù)，會(huì)占用大量的cpu資源，有的節(jié)點(diǎn)中資源常被并發(fā)請(qǐng)求，需要大量的i/o操作，磁盤和網(wǎng)絡(luò)帶寬占用較高。僅依靠單獨(dú)某項(xiàng)指標(biāo)的當(dāng)前狀態(tài)，評(píng)價(jià)節(jié)點(diǎn)負(fù)載是不準(zhǔn)確的，需要綜合考慮多種影響因素和歷史數(shù)據(jù)進(jìn)行判評(píng)。
4、因此，根據(jù)集群內(nèi)節(jié)點(diǎn)規(guī)格和負(fù)載，動(dòng)態(tài)地確定副本位置在分布式存儲(chǔ)技術(shù)中尤為重要，也是提升整體系統(tǒng)響應(yīng)速度和增強(qiáng)數(shù)據(jù)可靠性的關(guān)鍵。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，針對(duì)副本策略對(duì)異構(gòu)集群負(fù)載區(qū)分度不足，為了解決在hdfs集群內(nèi)放置文件副本時(shí)忽略節(jié)點(diǎn)性能的問(wèn)題。本專利技術(shù)提出了一種基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法及系統(tǒng)，通過(guò)建立節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)，并對(duì)節(jié)點(diǎn)未來(lái)負(fù)載進(jìn)行預(yù)測(cè)，動(dòng)態(tài)設(shè)置文件副本的放置位
2、基于上述目的，第一方面，本專利技術(shù)提供了一種基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法，包括以下步驟：
3、構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)，用于衡量節(jié)點(diǎn)的當(dāng)前負(fù)載情況；
4、定時(shí)記錄節(jié)點(diǎn)的當(dāng)前負(fù)載，用于為負(fù)載預(yù)測(cè)提供數(shù)據(jù)支持；
5、利用lstm神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并構(gòu)建節(jié)點(diǎn)負(fù)載預(yù)測(cè)模型對(duì)集群節(jié)點(diǎn)未來(lái)負(fù)載進(jìn)行預(yù)測(cè)，根據(jù)預(yù)測(cè)值確定集群中文件的副本創(chuàng)建的位置；
6、寫入文件副本時(shí)，動(dòng)態(tài)計(jì)算節(jié)點(diǎn)未來(lái)負(fù)載，預(yù)測(cè)下一時(shí)刻各節(jié)點(diǎn)負(fù)載，優(yōu)先寫入未來(lái)負(fù)載較低的節(jié)點(diǎn)。
7、作為本專利技術(shù)的進(jìn)一步方案，構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)時(shí)，設(shè)節(jié)點(diǎn)的cpu主頻為f，核心數(shù)量為n，多核環(huán)境中性能轉(zhuǎn)化系數(shù)為t,節(jié)點(diǎn)k的cpu性能ck表示為：
8、
9、節(jié)點(diǎn)k在t時(shí)刻的cpu負(fù)載為
10、作為本專利技術(shù)的進(jìn)一步方案，構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)時(shí)，設(shè)節(jié)點(diǎn)的內(nèi)存容量為r，內(nèi)存速率系數(shù)為u,節(jié)點(diǎn)k的內(nèi)存性能mk表示為：
11、mk＝ukrk
12、節(jié)點(diǎn)在t時(shí)刻的內(nèi)存負(fù)載為
13、作為本專利技術(shù)的進(jìn)一步方案，構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)時(shí)，設(shè)節(jié)點(diǎn)的hdfs磁盤容量為e,硬盤速率系數(shù)為b,節(jié)點(diǎn)k的磁盤性能hk表示為：
14、hk＝bkek
15、節(jié)點(diǎn)在t時(shí)刻的磁盤負(fù)載為
16、作為本專利技術(shù)的進(jìn)一步方案，基于節(jié)點(diǎn)k的cpu性能ck、節(jié)點(diǎn)k的內(nèi)存性能mk以及節(jié)點(diǎn)k的磁盤性能hk，節(jié)點(diǎn)在t時(shí)刻的綜合負(fù)載為：
17、
18、α+β+γ＝1
19、其中，α為cpu影響系數(shù)，β為內(nèi)存影響系數(shù)，γ為磁盤影響系數(shù)。
20、作為本專利技術(shù)的進(jìn)一步方案，定時(shí)記錄節(jié)點(diǎn)的當(dāng)前負(fù)載時(shí)，設(shè)置定時(shí)任務(wù)，每小時(shí)記錄集群中個(gè)節(jié)點(diǎn)的負(fù)載情況。
21、作為本專利技術(shù)的進(jìn)一步方案，節(jié)點(diǎn)負(fù)載預(yù)測(cè)模型使用等時(shí)間間隔的節(jié)點(diǎn)負(fù)載數(shù)據(jù)，基于lstm網(wǎng)絡(luò)對(duì)未來(lái)時(shí)間段內(nèi)節(jié)點(diǎn)負(fù)載進(jìn)行預(yù)測(cè)，包括，包括數(shù)據(jù)預(yù)處理、lstm網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練，步驟為：
22、數(shù)據(jù)預(yù)處理：對(duì)數(shù)據(jù)進(jìn)行歸一化處理，使用最大最小歸一化函數(shù)；
23、lstm模型參數(shù)：模型輸入層使用一百個(gè)記憶單元，隱藏層使用一百個(gè)記憶單元，輸出層使用單個(gè)單元；
24、優(yōu)化器和損失函數(shù)：使用自適應(yīng)矩估計(jì)(adam)作為優(yōu)化器，選擇平均絕對(duì)誤差(mae)作為損失函數(shù)；
25、評(píng)價(jià)指標(biāo)：選用均方根誤差(rmse)作為預(yù)測(cè)結(jié)果的評(píng)價(jià)指標(biāo)，用于衡量預(yù)測(cè)結(jié)果與真實(shí)值之間的偏差。
26、作為本專利技術(shù)的進(jìn)一步方案，lstm模型參數(shù)設(shè)置包括一百個(gè)記憶單元的輸入層、一百個(gè)記憶單元的隱藏層，以及單個(gè)單元的輸出層。
27、第二方面，本專利技術(shù)還提供了一種基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的系統(tǒng)，包括以下模塊：
28、節(jié)點(diǎn)負(fù)載評(píng)價(jià)模塊，用于構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)，并定時(shí)記錄節(jié)點(diǎn)的當(dāng)前負(fù)載；
29、負(fù)載預(yù)測(cè)模塊，包括lstm神經(jīng)網(wǎng)絡(luò)，用于訓(xùn)練節(jié)點(diǎn)負(fù)載預(yù)測(cè)模型，并根據(jù)預(yù)測(cè)值確定集群中文件的副本創(chuàng)建位置；
30、文件寫入模塊，動(dòng)態(tài)計(jì)算節(jié)點(diǎn)未來(lái)負(fù)載，預(yù)測(cè)下一時(shí)刻各節(jié)點(diǎn)負(fù)載，優(yōu)先選擇未來(lái)負(fù)載較低的節(jié)點(diǎn)進(jìn)行文件副本寫入。
31、作為本專利技術(shù)的進(jìn)一步方案，節(jié)點(diǎn)負(fù)載評(píng)價(jià)模塊在定時(shí)記錄節(jié)點(diǎn)的當(dāng)前負(fù)載時(shí)，通過(guò)設(shè)置定時(shí)任務(wù)每小時(shí)記錄集群中各節(jié)點(diǎn)的負(fù)載情況。
32、作為本專利技術(shù)的進(jìn)一步方案，負(fù)載預(yù)測(cè)模塊的lstm神經(jīng)網(wǎng)絡(luò)包括以下步驟：
33、數(shù)據(jù)預(yù)處理步驟，用于對(duì)節(jié)點(diǎn)負(fù)載數(shù)據(jù)進(jìn)行歸一化處理，采用最大最小歸一化函數(shù)；
34、模型參數(shù)設(shè)置，包括一百個(gè)記憶單元的輸入層，一百個(gè)記憶單元的隱藏層，和單個(gè)單元的輸出層；
35、優(yōu)化器和損失函數(shù)設(shè)置，使用自適應(yīng)矩估計(jì)(adam)作為優(yōu)化器，選擇平均絕對(duì)誤差(mae)作為損失函數(shù)；
36、評(píng)價(jià)指標(biāo)設(shè)置，選用均方根誤差(rmse)作為預(yù)測(cè)結(jié)果的評(píng)價(jià)指標(biāo)。
37、作為本專利技術(shù)的進(jìn)一步方案，文件寫入模塊在需要寫入文件副本時(shí)，通過(guò)預(yù)測(cè)未來(lái)負(fù)載，優(yōu)先選擇未來(lái)負(fù)載較低的節(jié)點(diǎn)進(jìn)行文件副本的寫入，以實(shí)現(xiàn)負(fù)載均衡。
38、本專利技術(shù)的又一方面，還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，該存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)執(zhí)行上述任一項(xiàng)根據(jù)本專利技術(shù)的基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法。
39、本專利技術(shù)的再一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序指令，該計(jì)算機(jī)程序指令被執(zhí)行時(shí)實(shí)現(xiàn)上述任一項(xiàng)根據(jù)本專利技術(shù)的基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法。
40、與現(xiàn)有技術(shù)相比較而言，本專利技術(shù)提供的基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法及系統(tǒng)，具有以下有益效果：
41、1.負(fù)載均衡優(yōu)化：通過(guò)構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)和使用lstm神經(jīng)網(wǎng)絡(luò)進(jìn)行負(fù)載預(yù)測(cè)，本系統(tǒng)實(shí)現(xiàn)了對(duì)集群節(jié)點(diǎn)未來(lái)負(fù)載的精準(zhǔn)預(yù)測(cè)。這使得在文件副本創(chuàng)建時(shí)，系統(tǒng)能夠動(dòng)態(tài)計(jì)算節(jié)點(diǎn)未來(lái)負(fù)載，優(yōu)先選擇未來(lái)負(fù)載較低的節(jié)點(diǎn)進(jìn)行文件副本的寫入，從而實(shí)現(xiàn)了在hdfs中的負(fù)載均衡。
42、2.高效的負(fù)載預(yù)測(cè)模型：采用lstm神經(jīng)網(wǎng)絡(luò)作為負(fù)載預(yù)測(cè)模型，通過(guò)等時(shí)間間隔的節(jié)點(diǎn)負(fù)載數(shù)據(jù)進(jìn)行訓(xùn)練。該模型具備較高的準(zhǔn)確性，相較于傳統(tǒng)的基于馬爾可夫、自回歸滑動(dòng)平均等模型，能夠更精確本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的方法，其特征在于，構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)時(shí)，設(shè)節(jié)點(diǎn)的CPU主頻為f，核心數(shù)量為n，多核環(huán)境中性能轉(zhuǎn)化系數(shù)為t,節(jié)點(diǎn)k的CPU性能Ck表示為：
3.根據(jù)權(quán)利要求2所述的基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的方法，其特征在于，構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)時(shí)，設(shè)節(jié)點(diǎn)的內(nèi)存容量為r，內(nèi)存速率系數(shù)為u,節(jié)點(diǎn)k的內(nèi)存性能Mk表示為：
4.根據(jù)權(quán)利要求3所述的基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的方法，其特征在于，構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)時(shí)，設(shè)節(jié)點(diǎn)的HDFS磁盤容量為e,硬盤速率系數(shù)為b,節(jié)點(diǎn)k的磁盤性能Hk表示為：
5.根據(jù)權(quán)利要求4所述的基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的方法，其特征在于，基于節(jié)點(diǎn)k的CPU性能Ck、節(jié)點(diǎn)k的內(nèi)存性能Mk以及節(jié)點(diǎn)k的磁盤性能Hk，節(jié)點(diǎn)在t時(shí)刻的綜合負(fù)載為：
6.根據(jù)權(quán)利要求1所述的基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的方法，其特征在于
7.根據(jù)權(quán)利要求6所述的基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的方法，其特征在于，節(jié)點(diǎn)負(fù)載預(yù)測(cè)模型使用等時(shí)間間隔的節(jié)點(diǎn)負(fù)載數(shù)據(jù)，基于LSTM網(wǎng)絡(luò)對(duì)未來(lái)時(shí)間段內(nèi)節(jié)點(diǎn)負(fù)載進(jìn)行預(yù)測(cè)，包括，包括數(shù)據(jù)預(yù)處理、LSTM網(wǎng)絡(luò)的構(gòu)建和訓(xùn)練，步驟為：
8.根據(jù)權(quán)利要求7所述的基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的方法，其特征在于，LSTM模型參數(shù)設(shè)置包括一百個(gè)記憶單元的輸入層、一百個(gè)記憶單元的隱藏層，以及單個(gè)單元的輸出層。
9.一種基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的系統(tǒng)，其特征在于，該基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的系統(tǒng)用于執(zhí)行權(quán)利要求1-7任一項(xiàng)所述的基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的方法，該系統(tǒng)包括以下模塊：
10.根據(jù)權(quán)利要求9所述的基于節(jié)點(diǎn)歷史狀態(tài)的HDFS動(dòng)態(tài)確定副本位置的系統(tǒng)，其特征在于，負(fù)載預(yù)測(cè)模塊的LSTM神經(jīng)網(wǎng)絡(luò)包括以下步驟：
...【技術(shù)特征摘要】
1.一種基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法，其特征在于，構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)時(shí)，設(shè)節(jié)點(diǎn)的cpu主頻為f，核心數(shù)量為n，多核環(huán)境中性能轉(zhuǎn)化系數(shù)為t,節(jié)點(diǎn)k的cpu性能ck表示為：
3.根據(jù)權(quán)利要求2所述的基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法，其特征在于，構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)時(shí)，設(shè)節(jié)點(diǎn)的內(nèi)存容量為r，內(nèi)存速率系數(shù)為u,節(jié)點(diǎn)k的內(nèi)存性能mk表示為：
4.根據(jù)權(quán)利要求3所述的基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法，其特征在于，構(gòu)建節(jié)點(diǎn)負(fù)載評(píng)價(jià)指標(biāo)時(shí)，設(shè)節(jié)點(diǎn)的hdfs磁盤容量為e,硬盤速率系數(shù)為b,節(jié)點(diǎn)k的磁盤性能hk表示為：
5.根據(jù)權(quán)利要求4所述的基于節(jié)點(diǎn)歷史狀態(tài)的hdfs動(dòng)態(tài)確定副本位置的方法，其特征在于，基于節(jié)點(diǎn)k的cpu性能ck、節(jié)點(diǎn)k的內(nèi)存性能mk以及節(jié)點(diǎn)k的磁盤性能hk，節(jié)點(diǎn)在t時(shí)刻的綜合負(fù)載為：
6.根據(jù)權(quán)利要求1所述的基于節(jié)點(diǎn)歷史狀態(tài)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：郭彬，范順國(guó)，周威，甄賈平，陳金，李璨，張俊余，劉昌通，吳越紅，
申請(qǐng)(專利權(quán))人：天翼云科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。