用于數(shù)據(jù)備份的方法、裝置和分布式文件系統(tǒng)制造方法及圖紙

本發(fā)明專利技術(shù)公開一種用于數(shù)據(jù)備份的方法、裝置和分布式文件系統(tǒng)。其中在用于數(shù)據(jù)備份的方法中，當(dāng)接收到數(shù)據(jù)節(jié)點(diǎn)發(fā)送的數(shù)據(jù)備份請(qǐng)求時(shí)，向代價(jià)服務(wù)器發(fā)送查詢請(qǐng)求，用于查詢分布式系統(tǒng)中與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息。接收代價(jià)服務(wù)器發(fā)送的響應(yīng)信息，其中響應(yīng)信息中包括與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息。利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任一候選節(jié)點(diǎn)之間的備份成本，選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)，將目標(biāo)節(jié)點(diǎn)信息發(fā)送給所述數(shù)據(jù)節(jié)點(diǎn)，以便所述數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)備份到目標(biāo)節(jié)點(diǎn)上。本發(fā)明專利技術(shù)根據(jù)代價(jià)矩陣選擇備份成本最低的節(jié)點(diǎn)進(jìn)行數(shù)據(jù)備份，從而有效避免出現(xiàn)備份代價(jià)過高和節(jié)點(diǎn)負(fù)載不均的問題。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及通信領(lǐng)域，特別涉及一種用于數(shù)據(jù)備份的方法、裝置和分布式文件系統(tǒng)。
技術(shù)介紹
云計(jì)算分布式文件系統(tǒng)利用多臺(tái)服務(wù)器提供大容量高可靠的文件服務(wù)，集群包含數(shù)據(jù)服務(wù)器和目錄服務(wù)器(元數(shù)據(jù)服務(wù)器)。目錄服務(wù)器用來維護(hù)文件數(shù)據(jù)塊在數(shù)據(jù)服務(wù)器的分布情況（元數(shù)據(jù)），數(shù)據(jù)服務(wù)器用來存儲(chǔ)具體文件數(shù)據(jù)。相比現(xiàn)今其他存儲(chǔ)技術(shù)，分布式文件系統(tǒng)以其擴(kuò)展性強(qiáng)、性價(jià)比高、容錯(cuò)性好等優(yōu)勢(shì)得到了業(yè)界的廣泛認(rèn)同。然而，如何保證分布式文件系統(tǒng)的各方面要求，如擴(kuò)展性、可用性、可靠性、安全性、效率等，是我們需要解決的問題。在分布式系統(tǒng)中，副本機(jī)制是一種提高有效性和性能的重要方法。副本機(jī)制指當(dāng)向文件系統(tǒng)寫入數(shù)據(jù)塊時(shí)，除了在一個(gè)主用節(jié)點(diǎn)上寫入數(shù)據(jù)，同時(shí)會(huì)分配其他幾個(gè)節(jié)點(diǎn)并在這些節(jié)點(diǎn)中寫入數(shù)據(jù)。具體分配多少節(jié)點(diǎn)根據(jù)系統(tǒng)的可靠性要求決定。副本彌補(bǔ)了存儲(chǔ)對(duì)象單點(diǎn)失效、容錯(cuò)性差、接入性能不高等問題。但引入副本機(jī)制也必然帶來以下幾個(gè)方面的問題:副本一致性問題、負(fù)載平衡問題、創(chuàng)建副本的各種硬件和通信上的代價(jià)問題以及云計(jì)算任務(wù)對(duì)副本訪問代價(jià)問題等等。副本機(jī)制雖然能夠有效提高分布式系統(tǒng)的有效性，但現(xiàn)有的分布式文件系統(tǒng)數(shù)據(jù)副本備份方案存在以下問題：1、創(chuàng)建數(shù)據(jù)副本時(shí)，沒有考慮存儲(chǔ)、通信等代價(jià)，容易造成備份代價(jià)過高的問題。2、由于數(shù)據(jù)副本隨機(jī)選擇位置，當(dāng)大量副本集中在同一節(jié)點(diǎn)時(shí)，可能造成節(jié)點(diǎn)負(fù)載不均。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)要解決的技術(shù)問題是提供一種用于數(shù)據(jù)備份的方法、裝置和分布式文件系統(tǒng)。通過引入代價(jià)矩陣，根據(jù)代價(jià)矩陣選擇備份成本最低的節(jié)點(diǎn)進(jìn)行數(shù)據(jù)備份，從而有效避免出現(xiàn)備份代價(jià)過高和節(jié)點(diǎn)負(fù)載不均的問題。根據(jù)本專利技術(shù)的一個(gè)方面，提供一種用于數(shù)據(jù)備份的方法，包括：當(dāng)接收到數(shù)據(jù)節(jié)點(diǎn)發(fā)送的數(shù)據(jù)備份請(qǐng)求時(shí)，向代價(jià)服務(wù)器發(fā)送查詢請(qǐng)求，用于查詢分布式系統(tǒng)中與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息，其中所述數(shù)據(jù)節(jié)點(diǎn)為寫入數(shù)據(jù)的主用節(jié)點(diǎn)，與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息代表所述數(shù)據(jù)節(jié)點(diǎn)與分布式系統(tǒng)中其它任一候選節(jié)點(diǎn)之間的存儲(chǔ)成本；接收代價(jià)服務(wù)器發(fā)送的響應(yīng)信息，其中響應(yīng)信息中包括與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息；利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任一候選節(jié)點(diǎn)之間的備份成本；選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)；將目標(biāo)節(jié)點(diǎn)信息發(fā)送給所述數(shù)據(jù)節(jié)點(diǎn)，以便所述數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)備份到目標(biāo)節(jié)點(diǎn)上。優(yōu)選的，利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任一候選節(jié)點(diǎn)之間的備份成本的步驟包括：數(shù)據(jù)節(jié)點(diǎn)i和候選節(jié)點(diǎn)j之間的備份成本Cost(i,j)為：Cost(i,j)=Σl=1kW[l]CM(i,j)[l];]]>其中CM(i,j)[l]為所述數(shù)據(jù)節(jié)點(diǎn)i與候選節(jié)點(diǎn)j之間第l個(gè)維度的存儲(chǔ)成本，W[l]為第l個(gè)維度的成本權(quán)重，K為維度總數(shù)。優(yōu)選的，選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)的步驟包括：將滿足argminCost(i,j)的候選節(jié)點(diǎn)j作為所述數(shù)據(jù)節(jié)點(diǎn)i的目標(biāo)節(jié)點(diǎn)。優(yōu)選的，以預(yù)定的時(shí)間間隔檢測(cè)分布式系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)之間的網(wǎng)絡(luò)狀態(tài)；根據(jù)所述網(wǎng)絡(luò)狀態(tài)向代價(jià)服務(wù)器發(fā)送更新請(qǐng)求，以更新代價(jià)矩陣信息。優(yōu)選的，以預(yù)定的時(shí)間間隔檢測(cè)分布式系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)之間的網(wǎng)絡(luò)狀態(tài)的步驟包括：以預(yù)定的時(shí)間間隔檢測(cè)分布式系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)之間的鏈路擁塞度。根據(jù)本專利技術(shù)的另一方面，提供一種用于數(shù)據(jù)備份的方法，包括：當(dāng)數(shù)據(jù)節(jié)點(diǎn)作為寫入數(shù)據(jù)的主用節(jié)點(diǎn)時(shí)，向主節(jié)點(diǎn)發(fā)送數(shù)據(jù)備份請(qǐng)求，以便使主節(jié)點(diǎn)根據(jù)數(shù)據(jù)備份請(qǐng)求從代價(jià)服務(wù)器獲取與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息，利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任一候選節(jié)點(diǎn)之間的備份成本，選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)；其中與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息代表所述數(shù)據(jù)節(jié)點(diǎn)與分布式系統(tǒng)中其它任一候選節(jié)點(diǎn)之間的存儲(chǔ)成本；接收主節(jié)點(diǎn)發(fā)送的目標(biāo)節(jié)點(diǎn)信息；將數(shù)據(jù)備份到目標(biāo)節(jié)點(diǎn)上。根據(jù)本專利技術(shù)的另一方面，提供一種用于數(shù)據(jù)備份的主節(jié)點(diǎn)，包括：第一接收單元，用于接收數(shù)據(jù)節(jié)點(diǎn)發(fā)送的數(shù)據(jù)備份請(qǐng)求，當(dāng)接收到數(shù)據(jù)節(jié)點(diǎn)發(fā)送的數(shù)據(jù)備份請(qǐng)求時(shí)，指示第一發(fā)送單元向代價(jià)服務(wù)器發(fā)送查詢請(qǐng)求，其中所述數(shù)據(jù)節(jié)點(diǎn)為寫入數(shù)據(jù)的主用節(jié)點(diǎn)；第一發(fā)送單元，用于根據(jù)第一接收單元的指示，向代價(jià)服務(wù)器發(fā)送查詢請(qǐng)求，用于查詢分布式系統(tǒng)中與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息，其中與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息代表所述數(shù)據(jù)節(jié)點(diǎn)與分布式系統(tǒng)中其它任一候選節(jié)點(diǎn)之間的存儲(chǔ)成本；第二接收單元，用于接收代價(jià)服務(wù)器發(fā)送的響應(yīng)信息，其中響應(yīng)信息中包括與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息；計(jì)算單元，用于利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任一候選節(jié)點(diǎn)之間的備份成本；選擇單元，用于選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)；第二發(fā)送單元，用于將目標(biāo)節(jié)點(diǎn)信息發(fā)送給所述數(shù)據(jù)節(jié)點(diǎn)，以便所述數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)備份到目標(biāo)節(jié)點(diǎn)上。優(yōu)選的，計(jì)算單元具體利用下列公式計(jì)算數(shù)據(jù)節(jié)點(diǎn)i和候選節(jié)點(diǎn)j之間的備份成本Cost(i,j)：Cost(i,j)=Σl=1kW[l]CM(i,j)[l];]]>其中CM(i,j)[l]為所述數(shù)據(jù)節(jié)點(diǎn)i與候選節(jié)點(diǎn)j之間第l個(gè)維度的存儲(chǔ)成本，W[l]為第l個(gè)維度的成本權(quán)重，K為維度總數(shù)。優(yōu)選的，選擇單元具體將滿足argminCost(i,j)的候選節(jié)點(diǎn)j作為所述數(shù)據(jù)節(jié)點(diǎn)i的目標(biāo)節(jié)點(diǎn)。優(yōu)選的，控制單元還包括檢測(cè)單元，其中：檢測(cè)單元，用于以預(yù)定的時(shí)間間隔檢測(cè)分布式系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)之間的網(wǎng)絡(luò)狀態(tài)；第一發(fā)送單元還用于根據(jù)所述網(wǎng)絡(luò)狀態(tài)向代價(jià)服務(wù)器發(fā)送更新請(qǐng)求，以更新代價(jià)矩陣信息。優(yōu)選的，檢測(cè)單元具體以預(yù)定的時(shí)間間隔檢測(cè)分布式系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)之間的鏈路擁塞度。根據(jù)本專利技術(shù)的另一方面，提供一種用于數(shù)據(jù)備份的數(shù)據(jù)節(jié)點(diǎn)，包括：第三發(fā)送單元，用于當(dāng)數(shù)據(jù)節(jié)點(diǎn)作為寫入數(shù)據(jù)的主用節(jié)點(diǎn)時(shí)，向主節(jié)點(diǎn)發(fā)送數(shù)據(jù)備份請(qǐng)求，以便使主節(jié)點(diǎn)根據(jù)數(shù)據(jù)備份請(qǐng)求從代價(jià)服務(wù)器獲取與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息，利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任一候選節(jié)點(diǎn)之間的備份成本，選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)；其中與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息代表所述數(shù)據(jù)節(jié)點(diǎn)與分布式系統(tǒng)中其它任一候選節(jié)點(diǎn)之間的存儲(chǔ)成本；第三接收單元，用于接收主節(jié)點(diǎn)發(fā)送的目標(biāo)節(jié)點(diǎn)信息；備份單元，用于將數(shù)據(jù)備份到目標(biāo)節(jié)點(diǎn)上。根據(jù)本專利技術(shù)的另一方面，提供一種用于數(shù)據(jù)備份的分布式文件系<本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種用于數(shù)據(jù)備份的方法，其特征在于，包括：當(dāng)接收到數(shù)據(jù)節(jié)點(diǎn)發(fā)送的數(shù)據(jù)備份請(qǐng)求時(shí)，向代價(jià)服務(wù)器發(fā)送查詢請(qǐng)求，用于查詢分布式系統(tǒng)中與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息，其中所述數(shù)據(jù)節(jié)點(diǎn)為寫入數(shù)據(jù)的主用節(jié)點(diǎn)，與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息代表所述數(shù)據(jù)節(jié)點(diǎn)與分布式系統(tǒng)中其它任一候選節(jié)點(diǎn)之間的存儲(chǔ)成本；接收代價(jià)服務(wù)器發(fā)送的響應(yīng)信息，其中響應(yīng)信息中包括與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息；利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任一候選節(jié)點(diǎn)之間的備份成本；選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)；將目標(biāo)節(jié)點(diǎn)信息發(fā)送給所述數(shù)據(jù)節(jié)點(diǎn)，以便所述數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)備份到目標(biāo)節(jié)點(diǎn)上。

【技術(shù)特征摘要】
1.一種用于數(shù)據(jù)備份的方法，其特征在于，包括：
當(dāng)接收到數(shù)據(jù)節(jié)點(diǎn)發(fā)送的數(shù)據(jù)備份請(qǐng)求時(shí)，向代價(jià)服務(wù)器發(fā)送查詢
請(qǐng)求，用于查詢分布式系統(tǒng)中與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息，
其中所述數(shù)據(jù)節(jié)點(diǎn)為寫入數(shù)據(jù)的主用節(jié)點(diǎn)，與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代
價(jià)矩陣信息代表所述數(shù)據(jù)節(jié)點(diǎn)與分布式系統(tǒng)中其它任一候選節(jié)點(diǎn)之間
的存儲(chǔ)成本；
接收代價(jià)服務(wù)器發(fā)送的響應(yīng)信息，其中響應(yīng)信息中包括與所述數(shù)據(jù)
節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息；
利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任一候選節(jié)點(diǎn)之間的
備份成本；
選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)；
將目標(biāo)節(jié)點(diǎn)信息發(fā)送給所述數(shù)據(jù)節(jié)點(diǎn)，以便所述數(shù)據(jù)節(jié)點(diǎn)將數(shù)據(jù)備
份到目標(biāo)節(jié)點(diǎn)上。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，
利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任一候選節(jié)點(diǎn)之間的
備份成本的步驟包括：
數(shù)據(jù)節(jié)點(diǎn)i和候選節(jié)點(diǎn)j之間的備份成本Cost(i,j)為：
Cost(i,j)=Σl=1kW[l]CM(i,j)[l];]]>其中CM(i,j)[l]為所述數(shù)據(jù)節(jié)點(diǎn)i與候選節(jié)點(diǎn)j之間第l個(gè)維度的存
儲(chǔ)成本，W[l]為第l個(gè)維度的成本權(quán)重，K為維度總數(shù)。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，
選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)點(diǎn)的步驟包括：
將滿足argminCost(i,j)的候選節(jié)點(diǎn)j作為所述數(shù)據(jù)節(jié)點(diǎn)i的目標(biāo)節(jié)
點(diǎn)。
4.根據(jù)權(quán)利要求1-3中任一項(xiàng)所述的方法，其特征在于，
以預(yù)定的時(shí)間間隔檢測(cè)分布式系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)之間的網(wǎng)絡(luò)狀
態(tài)；
根據(jù)所述網(wǎng)絡(luò)狀態(tài)向代價(jià)服務(wù)器發(fā)送更新請(qǐng)求，以更新代價(jià)矩陣信
息。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，
以預(yù)定的時(shí)間間隔檢測(cè)分布式系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)之間的網(wǎng)絡(luò)狀
態(tài)的步驟包括：
以預(yù)定的時(shí)間間隔檢測(cè)分布式系統(tǒng)中任意兩個(gè)節(jié)點(diǎn)之間的鏈路擁
塞度。
6.一種用于數(shù)據(jù)備份的方法，其特征在于，包括：
當(dāng)數(shù)據(jù)節(jié)點(diǎn)作為寫入數(shù)據(jù)的主用節(jié)點(diǎn)時(shí)，向主節(jié)點(diǎn)發(fā)送數(shù)據(jù)備份請(qǐng)
求，以便使主節(jié)點(diǎn)根據(jù)數(shù)據(jù)備份請(qǐng)求從代價(jià)服務(wù)器獲取與所述數(shù)據(jù)節(jié)點(diǎn)
相關(guān)聯(lián)的代價(jià)矩陣信息，利用代價(jià)矩陣信息計(jì)算所述數(shù)據(jù)節(jié)點(diǎn)與其它任
一候選節(jié)點(diǎn)之間的備份成本，選擇備份成本最小的候選節(jié)點(diǎn)作為目標(biāo)節(jié)
點(diǎn)；其中與所述數(shù)據(jù)節(jié)點(diǎn)相關(guān)聯(lián)的代價(jià)矩陣信息代表所述數(shù)據(jù)節(jié)點(diǎn)與分
布式系統(tǒng)中其它任一候選節(jié)點(diǎn)之間的存儲(chǔ)成本；
接收主節(jié)點(diǎn)發(fā)送的目標(biāo)節(jié)點(diǎn)信息；
將數(shù)據(jù)備份到目標(biāo)節(jié)點(diǎn)上。
7.一種用于數(shù)據(jù)備份的主節(jié)點(diǎn)，其特征在于，包括：
第一接收單元，用于接收數(shù)據(jù)節(jié)點(diǎn)發(fā)送的數(shù)據(jù)備份請(qǐng)求，當(dāng)接收到
數(shù)據(jù)節(jié)點(diǎn)發(fā)送的數(shù)據(jù)備份請(qǐng)求時(shí)，指示第一發(fā)送單元向代價(jià)服務(wù)器發(fā)送
查詢請(qǐng)求，其...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：姚玉鳳，馮明，丁圣勇，唐宏，金華敏，劉健民，于玉海，賈嫚，
申請(qǐng)(專利權(quán))人：中國(guó)電信股份有限公司，
類型：發(fā)明
國(guó)別省市：北京;11