一種基于超融合存儲(chǔ)的資源遷移調(diào)度方法技術(shù)

本發(fā)明專利技術(shù)涉及一種基于超融合存儲(chǔ)的資源遷移調(diào)度方法，包括以下步驟：1)在每個(gè)虛擬化平臺(tái)上創(chuàng)建一個(gè)虛擬機(jī)作為控制虛擬機(jī)；2)在各個(gè)控制虛擬機(jī)上安裝分布式文件系統(tǒng)，并由各個(gè)控制虛擬機(jī)組建分布式集群；3)整個(gè)分布式文件系統(tǒng)構(gòu)成的存儲(chǔ)資源掛載給虛擬化平臺(tái)進(jìn)行使用；4)控制虛擬機(jī)的監(jiān)控模塊實(shí)時(shí)采集虛擬化平臺(tái)的計(jì)算負(fù)載信息和分布式文件系統(tǒng)的存儲(chǔ)負(fù)載信息；5)控制虛擬機(jī)根據(jù)計(jì)算負(fù)載信息和存儲(chǔ)負(fù)載信息進(jìn)行虛擬機(jī)的計(jì)算資源和存儲(chǔ)資源遷移。與現(xiàn)有技術(shù)相比，本發(fā)明專利技術(shù)綜合考慮整個(gè)集群系統(tǒng)的計(jì)算資源和存儲(chǔ)資源，從而達(dá)到資源的充分利用和系統(tǒng)性能的提升。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于超融合存儲(chǔ)的資源遷移調(diào)度方法
本專利技術(shù)涉及一種計(jì)算機(jī)存儲(chǔ)
，尤其是涉及一種基于超融合存儲(chǔ)的資源遷移調(diào)度方法。
技術(shù)介紹
虛擬化技術(shù)作為構(gòu)建云計(jì)算環(huán)境的技術(shù)基石之一，其部署規(guī)模和使用范圍都在迅速增長，而在傳統(tǒng)的虛擬化解決方案為虛擬化平臺(tái)使用的傳統(tǒng)存儲(chǔ)資源通過外部FC/IP網(wǎng)絡(luò)獲取的SAN或NAS的存儲(chǔ)資源，這種方案能夠基本解決系統(tǒng)的高可用，但由于將計(jì)算資源(虛擬化平臺(tái))和存儲(chǔ)資源(傳統(tǒng)的網(wǎng)絡(luò)存儲(chǔ))分離使得IO路徑過長，數(shù)據(jù)訪問延時(shí)較大，且分開的系統(tǒng)也造成在成本的浪費(fèi)和系統(tǒng)管理的復(fù)雜度增加。考慮到傳統(tǒng)解決方案的不足，將計(jì)算資源和存儲(chǔ)資源整合到一個(gè)物理機(jī)器，通過分布式文件系統(tǒng)提供存儲(chǔ)資源的高可用的超融合存儲(chǔ)方案正逐步走向成熟，成為虛擬化存儲(chǔ)的新寵。在超融合存儲(chǔ)的基本體系結(jié)構(gòu)中，由于可以充分考慮計(jì)算資源和存儲(chǔ)資源兩種資源相對(duì)傳統(tǒng)的虛擬化平臺(tái)只是單方面的考慮計(jì)算資源的遷移調(diào)度，可以提供更加高效準(zhǔn)確的遷移調(diào)度方法。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于超融合存儲(chǔ)的資源遷移調(diào)度方法，綜合考慮整個(gè)集群系統(tǒng)的計(jì)算資源和存儲(chǔ)資源，從而達(dá)到資源的充分利用和系統(tǒng)性能的提升。本專利技術(shù)的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：一種基于超融合存儲(chǔ)的資源遷移調(diào)度方法，其特征在于，包括以下步驟：1)在每個(gè)虛擬化平臺(tái)上創(chuàng)建一個(gè)虛擬機(jī)作為控制虛擬機(jī)；2)在各個(gè)控制虛擬機(jī)上安裝分布式文件系統(tǒng)，并由各個(gè)控制虛擬機(jī)組建分布式集群；3)整個(gè)分布式文件系統(tǒng)構(gòu)成的存儲(chǔ)資源掛載給虛擬化平臺(tái)進(jìn)行使用；4)控制虛擬機(jī)的監(jiān)控模塊實(shí)時(shí)采集虛擬化平臺(tái)的計(jì)算負(fù)載信息和分布式文件系統(tǒng)的存儲(chǔ)負(fù)載信息；5)控制虛擬機(jī)根據(jù)計(jì)算負(fù)載信息和存儲(chǔ)負(fù)載信息進(jìn)行虛擬機(jī)的計(jì)算資源和存儲(chǔ)資源遷移。所述的各個(gè)控制虛擬機(jī)組建的分布式文件系統(tǒng)使用NFS協(xié)議向虛擬化平臺(tái)提供存儲(chǔ)資源，并在NFS協(xié)議層實(shí)現(xiàn)高可用性HA。所述的分布式文件系統(tǒng)提供統(tǒng)一的命名空間并使用多副本冗余存儲(chǔ)，使得存儲(chǔ)資源具有高可用性，并各虛擬化平臺(tái)對(duì)應(yīng)的存儲(chǔ)資源的具體物理位置透明。所述的多副本為兩副本或三副本。所述的采集虛擬化平臺(tái)的計(jì)算負(fù)載信息具體為：所述的控制虛擬機(jī)采集各虛擬化平臺(tái)上的各個(gè)運(yùn)行虛擬機(jī)的CPU、內(nèi)存和網(wǎng)絡(luò)的計(jì)算負(fù)荷信息，從而獲得整個(gè)虛擬化平臺(tái)的CPU、內(nèi)存和網(wǎng)絡(luò)的計(jì)算負(fù)載信息。所述的采集存儲(chǔ)負(fù)載信息具體為：所述的控制虛擬機(jī)獲取分布式文件系統(tǒng)的IO負(fù)載信息，并獲取各個(gè)使用其存儲(chǔ)資源的各個(gè)虛擬機(jī)的位置信息。整個(gè)虛擬化集群的性能除了考慮計(jì)算代價(jià)和I\O代價(jià)之外。還應(yīng)該包括數(shù)據(jù)在網(wǎng)絡(luò)上的傳輸代價(jià)。即總代價(jià)＝計(jì)算代價(jià)+I\O代價(jià)+通信代價(jià)。因此整個(gè)集群在計(jì)算資源和I\O資源基本均衡的情況下，主要考慮計(jì)算資源盡可能本地化，從而降低系統(tǒng)的通信代價(jià)，使得系統(tǒng)性能獲得提升。因此控制虛擬機(jī)根據(jù)計(jì)算負(fù)載信息和存儲(chǔ)負(fù)載信息進(jìn)行虛擬機(jī)的計(jì)算資源和存儲(chǔ)資源遷移具體為：1)計(jì)算資源調(diào)度根據(jù)集群中每個(gè)運(yùn)行的應(yīng)用虛擬機(jī)所使用CPU和內(nèi)存情況，使用回溯算法將其均勻分布運(yùn)行到各個(gè)虛擬化管理平臺(tái)上；2)控制虛擬機(jī)根據(jù)當(dāng)前收集的各個(gè)控制虛擬機(jī)的IOPS和帶寬情況，判斷存儲(chǔ)的負(fù)載情況和均衡程度是否均在虛擬機(jī)遷移的閾值內(nèi)，若為是進(jìn)行步驟3，否則觸發(fā)虛擬化平臺(tái)的重新分配，返回步驟1)；3)將應(yīng)用虛擬機(jī)的計(jì)算位置和存儲(chǔ)位置放置到同一臺(tái)虛擬化平臺(tái)上，使其無需經(jīng)過物理網(wǎng)絡(luò)，實(shí)現(xiàn)數(shù)據(jù)的本地化，完成無網(wǎng)絡(luò)的NFS最優(yōu)通信代價(jià)；4)資源調(diào)度器將根據(jù)策略定時(shí)掃描系統(tǒng)，檢測(cè)是否需要進(jìn)行資源的遷移。當(dāng)集群中的某個(gè)物理節(jié)點(diǎn)故障時(shí)，資源調(diào)度器的HA功能對(duì)運(yùn)行在故障節(jié)點(diǎn)上的應(yīng)用虛擬機(jī)進(jìn)行調(diào)度遷移，在其計(jì)算資源進(jìn)行穩(wěn)態(tài)后，其故障節(jié)點(diǎn)對(duì)應(yīng)的存儲(chǔ)資源副本根據(jù)其對(duì)應(yīng)虛擬機(jī)的分配，來遷移存儲(chǔ)資源副本，以實(shí)現(xiàn)遷移后虛擬機(jī)與遷移后存儲(chǔ)資源副本的位置最近。物理節(jié)點(diǎn)故障包括節(jié)點(diǎn)宕機(jī)或節(jié)點(diǎn)失聯(lián)。與現(xiàn)有技術(shù)相比，本專利技術(shù)具有以下優(yōu)點(diǎn)：1)基于超融合存儲(chǔ)，實(shí)現(xiàn)計(jì)算資源和存儲(chǔ)資源的統(tǒng)一。2)從存儲(chǔ)資源和計(jì)算資源兩個(gè)方面的著手，能夠?qū)崿F(xiàn)更加精確的調(diào)度，實(shí)現(xiàn)資源的充分利用和系統(tǒng)的整體性能提升。3)對(duì)故障節(jié)點(diǎn)的快速感知，并對(duì)故障的相關(guān)虛擬機(jī)進(jìn)行快速遷移，使得整個(gè)系統(tǒng)具有高可用性。附圖說明圖1是超融合存儲(chǔ)整體示意圖；圖2是超融合存儲(chǔ)的數(shù)據(jù)訪問示意圖；圖3是虛擬機(jī)在線遷移的處理示意圖；圖4是虛擬化宕機(jī)后計(jì)算資源遷移示意圖；圖5是虛擬化宕機(jī)后存儲(chǔ)資源遷移調(diào)整示意圖。具體實(shí)施方式下面結(jié)合附圖和具體實(shí)施例對(duì)本專利技術(shù)進(jìn)行詳細(xì)說明。實(shí)施例本專利技術(shù)設(shè)計(jì)出基于超融合存儲(chǔ)的虛資源遷移調(diào)度方法，本專利技術(shù)的技術(shù)問題通過以下關(guān)鍵技術(shù)予以解決：(1)存儲(chǔ)系統(tǒng)實(shí)現(xiàn)一個(gè)分布式文件體統(tǒng)，將集群中的服務(wù)器的存儲(chǔ)資源匯聚成一個(gè)統(tǒng)一的存儲(chǔ)資源池。(2)分布式文件系統(tǒng)提供統(tǒng)一的名稱空間，并提供高可用的NFS，虛擬化平臺(tái)通過NFS協(xié)議訪問存儲(chǔ)資源。(3)每個(gè)虛擬化平臺(tái)分別通過不同的IP地址掛載到與其對(duì)應(yīng)的存儲(chǔ)資源上。(4)超融合存儲(chǔ)系統(tǒng)的管理節(jié)點(diǎn)連接到集群中的各個(gè)虛擬化平臺(tái)采集其相關(guān)數(shù)據(jù)作為計(jì)算資源遷移調(diào)度參考數(shù)據(jù)。(5)超融合存儲(chǔ)系統(tǒng)的管理節(jié)點(diǎn)采集分布式系統(tǒng)各個(gè)節(jié)點(diǎn)的IO相關(guān)數(shù)據(jù)，并獲取其訪問其節(jié)點(diǎn)的對(duì)應(yīng)虛擬機(jī)的相對(duì)位置，作為存儲(chǔ)資源遷移調(diào)度的參考數(shù)據(jù)。(6)管理節(jié)點(diǎn)的監(jiān)控模塊根據(jù)采集的計(jì)算資源和存儲(chǔ)資源的性能數(shù)據(jù)綜合分析，獲得相關(guān)的調(diào)度策略，并向虛擬化平臺(tái)發(fā)送相應(yīng)的遷移命令。(7)當(dāng)集群中的服務(wù)器出現(xiàn)故障時(shí)，管理節(jié)點(diǎn)能夠快速感知，迅速作出相應(yīng)的調(diào)度策略，使系統(tǒng)實(shí)現(xiàn)高可用。下面將結(jié)合本專利技術(shù)實(shí)施例中的附圖，對(duì)本專利技術(shù)的技術(shù)方案進(jìn)行清楚、完整地描述。此處所描述的具體實(shí)施例僅僅用以解釋本專利技術(shù)，并不用于限定本專利技術(shù)。如圖1所示，超融合存儲(chǔ)的虛擬化解決方案主要由虛擬化平臺(tái)上的虛擬機(jī)組成的計(jì)算資源池和有ECFS分布式文件系統(tǒng)組成的存儲(chǔ)資源池兩部分組成。在虛擬化平臺(tái)上有一個(gè)特殊的虛擬機(jī)CVM(控制虛擬機(jī))由他作為ECFS的宿主系統(tǒng)，各個(gè)虛擬機(jī)實(shí)際為訪問CVM構(gòu)建的ECFS文件系統(tǒng)，在簡單介紹了超融合存儲(chǔ)的解決方案后，我們重點(diǎn)來解釋超融合存儲(chǔ)的數(shù)據(jù)訪問和資源的遷移調(diào)度。(1)如圖2所示由4臺(tái)物理機(jī)組成的虛擬化集群的系統(tǒng)中，各個(gè)虛擬機(jī)的存儲(chǔ)資源為2副本的冗余存儲(chǔ)，以實(shí)現(xiàn)系統(tǒng)的高可用，而各個(gè)虛擬化平臺(tái)通過NFS協(xié)議訪問系統(tǒng)的存儲(chǔ)資源。我們以虛擬機(jī)E數(shù)據(jù)寫入為例，當(dāng)虛擬機(jī)E中有數(shù)據(jù)寫入時(shí)，先通過本地的網(wǎng)絡(luò)即storageI\O將數(shù)據(jù)寫入，然后分布式系統(tǒng)再將數(shù)據(jù)通過共有網(wǎng)絡(luò)即networkI\O寫入到對(duì)應(yīng)的副本位置，確保數(shù)據(jù)的高可用。當(dāng)數(shù)據(jù)讀取時(shí)則可真正實(shí)現(xiàn)無網(wǎng)絡(luò)的訪問到數(shù)據(jù)E，這樣就能實(shí)現(xiàn)無網(wǎng)絡(luò)的NFS使得系統(tǒng)的性能獲得極大提高，這也是時(shí)后面提到的存儲(chǔ)資源遷移的重要原則——盡量實(shí)現(xiàn)無網(wǎng)絡(luò)的NFS訪問。(2)在虛擬化平臺(tái)的集群中，根據(jù)平臺(tái)的CPU，內(nèi)存等情況將各個(gè)虛擬機(jī)熱遷移到集群中的各個(gè)分布式平臺(tái)，在商用的方案中如VMware的HA，如圖3所示，在超融合存儲(chǔ)的方案中由于在資源的使用中采用統(tǒng)一命令空間，所以計(jì)算資源的遷移對(duì)存儲(chǔ)資源透明，如在圖3中的應(yīng)用虛擬機(jī)D有虛擬化平臺(tái)的HA引發(fā)虛擬機(jī)的遷移，應(yīng)用虛擬機(jī)被遷移到另一個(gè)虛擬化平臺(tái)，發(fā)生遷移后依然可以訪問到原來的存儲(chǔ)資源，存儲(chǔ)資源不用發(fā)生遷移，但這是系統(tǒng)的監(jiān)控模塊采集相關(guān)計(jì)算資源的相對(duì)位置，根本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于超融合存儲(chǔ)的資源遷移調(diào)度方法，其特征在于，包括以下步驟：1)在每個(gè)虛擬化平臺(tái)上創(chuàng)建一個(gè)虛擬機(jī)作為控制虛擬機(jī)；2)在各個(gè)控制虛擬機(jī)上安裝分布式文件系統(tǒng)，并由各個(gè)控制虛擬機(jī)組建分布式集群；3)整個(gè)分布式文件系統(tǒng)構(gòu)成的存儲(chǔ)資源掛載給虛擬化平臺(tái)進(jìn)行使用；4)控制虛擬機(jī)的監(jiān)控模塊實(shí)時(shí)采集虛擬化平臺(tái)的計(jì)算負(fù)載信息和分布式文件系統(tǒng)的存儲(chǔ)負(fù)載信息；5)控制虛擬機(jī)根據(jù)計(jì)算負(fù)載信息和存儲(chǔ)負(fù)載信息進(jìn)行虛擬機(jī)的計(jì)算資源和存儲(chǔ)資源遷移。

【技術(shù)特征摘要】
1.一種基于超融合存儲(chǔ)的資源遷移調(diào)度方法，其特征在于，包括以下步驟：1)在每個(gè)虛擬化平臺(tái)上創(chuàng)建一個(gè)虛擬機(jī)作為控制虛擬機(jī)；2)在各個(gè)控制虛擬機(jī)上安裝分布式文件系統(tǒng)，并由各個(gè)控制虛擬機(jī)組建分布式集群；3)整個(gè)分布式文件系統(tǒng)構(gòu)成的存儲(chǔ)資源掛載給虛擬化平臺(tái)進(jìn)行使用；4)控制虛擬機(jī)的監(jiān)控模塊實(shí)時(shí)采集虛擬化平臺(tái)的計(jì)算負(fù)載信息和分布式文件系統(tǒng)的存儲(chǔ)負(fù)載信息；5)控制虛擬機(jī)根據(jù)計(jì)算負(fù)載信息和存儲(chǔ)負(fù)載信息進(jìn)行虛擬機(jī)的計(jì)算資源和存儲(chǔ)資源遷移；所述的采集虛擬化平臺(tái)的計(jì)算負(fù)載信息具體為：所述的控制虛擬機(jī)采集各虛擬化平臺(tái)上的各個(gè)運(yùn)行虛擬機(jī)的CPU、內(nèi)存和網(wǎng)絡(luò)的計(jì)算負(fù)荷信息，從而獲得整個(gè)虛擬化平臺(tái)的CPU、內(nèi)存和網(wǎng)絡(luò)的計(jì)算負(fù)載信息；所述的采集存儲(chǔ)負(fù)載信息具體為：所述的控制虛擬機(jī)獲取分布式文件系統(tǒng)的IO負(fù)載信息，并獲取各個(gè)使用其存儲(chǔ)資源的各個(gè)虛擬機(jī)的位置信息；控制虛擬機(jī)根據(jù)計(jì)算負(fù)載信息和存儲(chǔ)負(fù)載信息進(jìn)行虛擬機(jī)的計(jì)算資源和存儲(chǔ)資源遷移具體為：1)計(jì)算資源調(diào)度根據(jù)集群中每個(gè)運(yùn)行的應(yīng)用虛擬機(jī)所使用CPU和內(nèi)存情況，使用回溯算法將其均勻分布運(yùn)行到各個(gè)虛擬化管理平臺(tái)上；2)控制虛擬機(jī)根據(jù)當(dāng)前收集的各個(gè)控制虛擬機(jī)的IOPS和帶寬情況，判斷存儲(chǔ)的負(fù)載情況和均衡程度是否均在虛擬機(jī)遷移的閾值內(nèi)，若為是進(jìn)行步驟3)，否則觸發(fā)虛擬化平臺(tái)的重新分配，...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：雍帥，
申請(qǐng)(專利權(quán))人：上海愛數(shù)軟件有限公司，
類型：發(fā)明
國別省市：上海;31