The embodiment of the invention discloses a distributed file system input / output load adjustment method, the method includes: cold and heat calculation of each data node node, node gets cold heat of the biggest thermal data node of the node number and node number of the minimum heat cold cold according to the node number of nodes; the calculation the hottest data nodes in the data block block cold heat, obtains the location information of cold hot data block the largest block; block position information backup data to obtain the most hot data block, the node number according to the position information of the backup data block and the most cold data node, the backup data block migration to the most cold data in the node; sends the request to modify the metadata node identification preparation. The embodiment of the invention also discloses an input / output load adjustment device of a distributed file system.
【技術(shù)實(shí)現(xiàn)步驟摘要】
一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法及裝置
本專利技術(shù)涉及Hadoop分布式文件系統(tǒng)(HadoopDistributedFileSystem,HDFS)領(lǐng)域,尤其涉及一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法及裝置。
技術(shù)介紹
自大數(shù)據(jù)技術(shù)和Hadoop平臺(tái)出現(xiàn)以來(lái),已經(jīng)成為各種業(yè)務(wù)平臺(tái)(如教育云、醫(yī)療云、數(shù)據(jù)云等等)構(gòu)建的核心技術(shù)。其中,HDFS是Hadoop大數(shù)據(jù)平臺(tái)的核心系統(tǒng),具有高容錯(cuò)性、高可擴(kuò)展性等眾多優(yōu)點(diǎn)?,F(xiàn)有技術(shù)中,HDFS的架構(gòu)包括一個(gè)元數(shù)據(jù)節(jié)點(diǎn)(Namenode)、多個(gè)數(shù)據(jù)節(jié)點(diǎn)(Datanode)以及客戶端(Client),其中,元數(shù)據(jù)節(jié)點(diǎn)用于存儲(chǔ)和管理元數(shù)據(jù),該元數(shù)據(jù)包括文件系統(tǒng)目錄樹信息、文件和數(shù)據(jù)塊(Block)的對(duì)應(yīng)關(guān)系信息以及數(shù)據(jù)塊的位置信息;客戶端用于提供與元數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)進(jìn)行交互的應(yīng)用程序編程接口(ApplicationProgrammingInterface,API),周期性的向元數(shù)據(jù)節(jié)點(diǎn)回報(bào)存儲(chǔ)的數(shù)據(jù)塊信息;數(shù)據(jù)節(jié)點(diǎn)用于存儲(chǔ)數(shù)據(jù),元數(shù)據(jù)節(jié)點(diǎn)或客戶端可以向數(shù)據(jù)節(jié)點(diǎn)請(qǐng)求寫入或讀出數(shù)據(jù)塊。當(dāng)HDFS中有大量數(shù)據(jù)分布時(shí),尤其是在有新的數(shù)據(jù)節(jié)點(diǎn)加入或有數(shù)據(jù)節(jié)點(diǎn)退出時(shí),會(huì)出現(xiàn)數(shù)據(jù)節(jié)點(diǎn)的數(shù)據(jù)分布不均衡的問(wèn)題。為解決該問(wèn)題,在HDFS內(nèi)部集成數(shù)據(jù)分布調(diào)整模塊,該數(shù)據(jù)分布調(diào)整模塊可以有效地將數(shù)據(jù)分布到新的數(shù)據(jù)節(jié)點(diǎn)或其他數(shù)據(jù)節(jié)點(diǎn)上,實(shí)現(xiàn)數(shù)據(jù)的均衡化分布。在分布過(guò)程中其考慮每個(gè)數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊的大小和數(shù)量,盡可能的讓每個(gè)數(shù)據(jù)節(jié)點(diǎn)中的數(shù)據(jù)塊和大小平均分布。然而,對(duì)于一些對(duì)輸入/輸出(Input/Output,I/O)負(fù)載存在不同需求的 ...
【技術(shù)保護(hù)點(diǎn)】
一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法,其特征在于,所述方法包括:計(jì)算各個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)冷熱度,獲取節(jié)點(diǎn)冷熱度最大的最熱數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)和節(jié)點(diǎn)冷熱度最小的最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào);計(jì)算所述最熱數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊的塊冷熱度,獲取塊冷熱度最大的最熱數(shù)據(jù)塊的位置信息;獲取所述最熱數(shù)據(jù)塊的備份數(shù)據(jù)塊的位置信息,根據(jù)所述備份數(shù)據(jù)塊的位置信息以及所述最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào),將所述備份數(shù)據(jù)塊遷移到所述最冷數(shù)據(jù)節(jié)點(diǎn)內(nèi);向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送主備標(biāo)識(shí)修改請(qǐng)求,所述主備標(biāo)識(shí)修改請(qǐng)求中攜帶有將所述最冷數(shù)據(jù)節(jié)點(diǎn)中的備份數(shù)據(jù)塊的位置信息設(shè)置為主標(biāo)識(shí),并將所述最熱數(shù)據(jù)節(jié)點(diǎn)中的最熱數(shù)據(jù)塊的位置信息由原有的主標(biāo)識(shí)修改為備用標(biāo)識(shí)的指示。
【技術(shù)特征摘要】
1.一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法,其特征在于,所述方法包括:計(jì)算各個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)冷熱度,獲取節(jié)點(diǎn)冷熱度最大的最熱數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào)和節(jié)點(diǎn)冷熱度最小的最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào);計(jì)算所述最熱數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊的塊冷熱度,獲取塊冷熱度最大的最熱數(shù)據(jù)塊的位置信息;獲取所述最熱數(shù)據(jù)塊的備份數(shù)據(jù)塊的位置信息,根據(jù)所述備份數(shù)據(jù)塊的位置信息以及所述最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào),將所述備份數(shù)據(jù)塊遷移到所述最冷數(shù)據(jù)節(jié)點(diǎn)內(nèi);向元數(shù)據(jù)節(jié)點(diǎn)發(fā)送主備標(biāo)識(shí)修改請(qǐng)求,所述主備標(biāo)識(shí)修改請(qǐng)求中攜帶有將所述最冷數(shù)據(jù)節(jié)點(diǎn)中的備份數(shù)據(jù)塊的位置信息設(shè)置為主標(biāo)識(shí),并將所述最熱數(shù)據(jù)節(jié)點(diǎn)中的最熱數(shù)據(jù)塊的位置信息由原有的主標(biāo)識(shí)修改為備用標(biāo)識(shí)的指示。2.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述計(jì)算各個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)冷熱度,包括:按照以下公式計(jì)算獲得各個(gè)數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)冷熱度B:B=M*(M2/M1)*(N2/N1);其中,所述M為數(shù)據(jù)節(jié)點(diǎn)在單位時(shí)間內(nèi)的輸入/輸出負(fù)載總量;所述M1為數(shù)據(jù)節(jié)點(diǎn)在單位時(shí)間內(nèi)的讀操作數(shù);所述M2為數(shù)據(jù)節(jié)點(diǎn)在單位時(shí)間內(nèi)的寫操作數(shù);所述N1為數(shù)據(jù)節(jié)點(diǎn)在單位時(shí)間內(nèi)的讀數(shù)據(jù)塊總量;所述N2為數(shù)據(jù)節(jié)點(diǎn)在單位時(shí)間內(nèi)的寫數(shù)據(jù)塊總量。3.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述計(jì)算所述最熱數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊的塊冷熱度,包括:按照以下公式計(jì)算獲得所述最熱數(shù)據(jù)節(jié)點(diǎn)中數(shù)據(jù)塊的塊冷熱度N:N=X*(T1-T2);其中,所述X為數(shù)據(jù)塊在單位時(shí)間內(nèi)的讀寫操作總數(shù);所述T1為最近訪問(wèn)時(shí)間;所述T2為預(yù)設(shè)的基準(zhǔn)訪問(wèn)時(shí)間。4.根據(jù)權(quán)利要求1所述的方法,其特征在于,所述根據(jù)所述備份數(shù)據(jù)塊的位置信息以及所述最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào),將所述備份數(shù)據(jù)塊遷移到所述最冷數(shù)據(jù)節(jié)點(diǎn)內(nèi),包括:計(jì)算各個(gè)所述備份數(shù)據(jù)塊的塊冷熱度,獲得塊冷熱度最小的最冷備份數(shù)據(jù)塊的位置信息;根據(jù)所述最冷備份數(shù)據(jù)塊的位置信息以及所述最冷數(shù)據(jù)節(jié)點(diǎn)的節(jié)點(diǎn)號(hào),確定所述最冷備份數(shù)據(jù)塊在所述最冷數(shù)據(jù)節(jié)點(diǎn)內(nèi)時(shí),不進(jìn)行遷移;確定所述最冷備份數(shù)據(jù)塊不在所述最冷數(shù)據(jù)節(jié)點(diǎn)內(nèi)時(shí),將所述最冷備份數(shù)據(jù)塊遷移到所述最冷數(shù)據(jù)節(jié)點(diǎn)內(nèi)。5.一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整方法,其特征在于,所述方法包括:接收調(diào)整裝置發(fā)送的主備標(biāo)識(shí)修改請(qǐng)求,所述主備標(biāo)識(shí)修改請(qǐng)求中攜帶有將最冷數(shù)據(jù)節(jié)點(diǎn)中的備份數(shù)據(jù)塊的位置信息設(shè)置為主標(biāo)識(shí),并將最熱數(shù)據(jù)節(jié)點(diǎn)中的最熱數(shù)據(jù)塊的位置信息由原有的主標(biāo)識(shí)修改為備用標(biāo)識(shí)的指示;根據(jù)所述主備標(biāo)識(shí)修改請(qǐng)求,將所述最冷數(shù)據(jù)節(jié)點(diǎn)中的備份數(shù)據(jù)塊的位置信息設(shè)置為主標(biāo)識(shí),將所述最熱數(shù)據(jù)節(jié)點(diǎn)中的最熱數(shù)據(jù)塊的位置信息由原有的主標(biāo)識(shí)修改為備用標(biāo)識(shí)。6.一種分布式文件系統(tǒng)的輸入/輸出負(fù)載調(diào)整裝置,其特征在于,所述裝置包括:...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員:翟寧寧,馬麗,趙廣榮,李霞,任琰杰,付長(zhǎng)冬,
申請(qǐng)(專利權(quán))人:中國(guó)移動(dòng)通信集團(tuán)河北有限公司,
類型:發(fā)明
國(guó)別省市:河北,13
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。