一種分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)提供一種分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法及系統(tǒng)，包括構(gòu)建分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)；在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR機(jī)制，實(shí)現(xiàn)Active/Active多路徑環(huán)境和集群多節(jié)點(diǎn)訪問塊存儲(chǔ)；采用分布式watcher機(jī)制，定時(shí)監(jiān)控分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)的可訪問性；采用分布式PR機(jī)制和watcher機(jī)制，解耦分布式集群節(jié)點(diǎn)中多服務(wù)進(jìn)程啟動(dòng)。本發(fā)明專利技術(shù)的分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法及系統(tǒng)減少了分布式塊存儲(chǔ)并發(fā)訪問的權(quán)限沖突，強(qiáng)化并行訪問的權(quán)限控制，提高數(shù)據(jù)并發(fā)訪問的安全性和可靠性，塊存儲(chǔ)預(yù)警的準(zhǔn)確度和及時(shí)性，和分布式存儲(chǔ)系統(tǒng)及塊存儲(chǔ)數(shù)據(jù)訪問的穩(wěn)定性。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及云存儲(chǔ)及計(jì)算機(jī)信息存儲(chǔ)的
，特別是涉及一種分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法及系統(tǒng)。
技術(shù)介紹
在云計(jì)算的基礎(chǔ)設(shè)施即服務(wù)(Infrastructure as a Service，IaaS)中，云運(yùn)營商提供托管的物理機(jī)、虛擬機(jī)及其他設(shè)施，供不同的用戶根據(jù)自己的實(shí)際需求進(jìn)行租賃使用。虛擬機(jī)服務(wù)是IaaS的核心，IaaS云運(yùn)營商幾乎都提供虛擬機(jī)服務(wù)。這里的虛擬機(jī)指的是狹義的系統(tǒng)虛擬機(jī)，常見的虛擬機(jī)有Hyper-V、KVM、VMware等。傳統(tǒng)的虛擬機(jī)存儲(chǔ)服務(wù)可分為三大類：開放系統(tǒng)的直連式存儲(chǔ)(Direct-Attached Storage，DAS)、網(wǎng)絡(luò)附屬存儲(chǔ)(Network-Attached Storage，NAS)和存儲(chǔ)區(qū)域網(wǎng)絡(luò)(StorageArea-Network，SAN)。然而，傳統(tǒng)的DAS、NAS和SAN存儲(chǔ)難以滿足IaaS場景下的虛擬機(jī)存儲(chǔ)對(duì)容量、性能可用性的綜合需求。基于SAN的分布式塊存儲(chǔ)系統(tǒng)更適合虛擬機(jī)存儲(chǔ)服務(wù)的應(yīng)用。目前，主流開源分布式塊存儲(chǔ)包括ceph與sheepdog。ceph是加州大學(xué)Santa Cruz分校的Sage Weil(DreamHost的聯(lián)合創(chuàng)始人)專為博士論文設(shè)計(jì)的新一代自由軟件分布式文件系統(tǒng)，其可輕松擴(kuò)展到數(shù)PB容量，支持多種工作負(fù)載的高性能，具有高可靠性、可擴(kuò)展性、伸縮性。ceph能夠提供對(duì)象、塊和文件這三種形式的存儲(chǔ)服務(wù)。Ceph將數(shù)據(jù)視為存儲(chǔ)池中的對(duì)象，通過CRUSH算法將對(duì)象均勻分布到集群之中，并提供動(dòng)態(tài)擴(kuò)展、平衡和恢復(fù)。在對(duì)象的基礎(chǔ)上，ceph通過rbd-ko等模塊基于可靠、自治、分布式對(duì)象存儲(chǔ)(Reliable，Autonomic Distributed Object Store，RADOS)協(xié)議提供了一層塊設(shè)備的抽象，支持對(duì)Internet小型計(jì)算機(jī)系統(tǒng)接口協(xié)議(Internet Small Computer SystemInterface，iSCSI)的支持。Sheepdog是一個(gè)分布式對(duì)象存儲(chǔ)系統(tǒng)，并在此基礎(chǔ)上提供高可用的塊級(jí)存儲(chǔ)卷，提供對(duì)iSCSI協(xié)議的支持。大多數(shù)SAN使用iSCSI協(xié)議在服務(wù)器和存儲(chǔ)設(shè)備之間進(jìn)行傳輸和溝通，通過在小型計(jì)算機(jī)系統(tǒng)接口(Small Computer System Interface，SCSI)之上建立不同鏡像層，來實(shí)現(xiàn)存儲(chǔ)網(wǎng)絡(luò)的連接。常見的通信協(xié)議有iSCSI、光纖通道協(xié)議(Fibre Channel Protocol，F(xiàn)CP)、以太網(wǎng)光纖通道(Fibre Channel over Ethernet)等。傳統(tǒng)SAN塊存儲(chǔ)的SCSI目標(biāo)(Target)訪問
方式主要有：STGT、SCST和LIO。其中，SCST和LIO處于內(nèi)核態(tài)，支持文件系統(tǒng)訪問和搶占式SCSI-3預(yù)留鎖(Persistent Reservation，PR)、ALUA，提供更細(xì)粒度控制策略和Qos保證體制，但結(jié)構(gòu)復(fù)雜、二次開發(fā)成本較高，且一旦出現(xiàn)問題，整個(gè)存儲(chǔ)系統(tǒng)癱瘓。STGT默認(rèn)為用戶態(tài)方式，專注于iSCSI、維護(hù)方便，但支持的SCSI協(xié)議簡單，不支持集群PR。PR是指在訪問邏輯單元號(hào)(Logical Unit Number，LUN)之前，主機(jī)首先向LUN注冊(cè)一個(gè)留約密鑰，注冊(cè)成功后主機(jī)可以嘗試進(jìn)行永久預(yù)留，永久預(yù)留成功后就可以獲得LUN的操作權(quán)限。總體來說，構(gòu)建規(guī)模不大的iSCSI Target，STGT是一個(gè)不錯(cuò)的選擇，但STGT不支持PR，無法滿足Active/Active多路徑環(huán)境和集群多節(jié)點(diǎn)訪問存儲(chǔ)的需求。多節(jié)點(diǎn)經(jīng)過iSCSI多路徑對(duì)同一LUN塊存儲(chǔ)資源分配時(shí)，因?yàn)樵L問沖突會(huì)引起虛擬化文件的損壞，無法保障分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)訪問的安全性。即使LUN塊存儲(chǔ)資源出現(xiàn)異常，多主機(jī)無法感知，持續(xù)對(duì)LUN讀寫數(shù)據(jù)，引起虛擬桌面基礎(chǔ)架構(gòu)(Virtual Desktop Infrastructure，VDI)異常，帶來不可預(yù)知的后果。
技術(shù)實(shí)現(xiàn)思路
鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本專利技術(shù)的目的在于提供一種分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法及系統(tǒng)，采用分布式PR機(jī)制，減少了分布式塊存儲(chǔ)并發(fā)訪問的權(quán)限沖突，強(qiáng)化了并行訪問的權(quán)限控制；采用分布式watcher機(jī)制，提高了塊存儲(chǔ)預(yù)警的準(zhǔn)確度和及時(shí)性。為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本專利技術(shù)提供一種分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，包括：1)構(gòu)建分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)；所述分布式STGT多資源管理系統(tǒng)包括存儲(chǔ)層、存儲(chǔ)驅(qū)動(dòng)層、主機(jī)層和管理集群層；所述存儲(chǔ)層用于基于分布式文件系統(tǒng)，對(duì)所述存儲(chǔ)驅(qū)動(dòng)層提供塊訪問；所述存儲(chǔ)驅(qū)動(dòng)層用于基于STGT塊存儲(chǔ)訪問協(xié)議和分布式開源組件管理分布式塊存儲(chǔ)的數(shù)據(jù)訪問；所述主機(jī)層用于基于分布式SAN的iSCSI協(xié)議對(duì)分布式STGT多資源管理系統(tǒng)的目標(biāo)塊存儲(chǔ)的數(shù)據(jù)進(jìn)行訪問；所述管理集群層用于管理分布式存儲(chǔ)系統(tǒng)中的節(jié)點(diǎn)及控制iSCSI數(shù)據(jù)的訪問業(yè)務(wù)；所述分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR中的節(jié)點(diǎn)目錄模型模擬訪問塊存儲(chǔ)的iSCSI主機(jī)，所述節(jié)點(diǎn)目錄用于記錄塊存儲(chǔ)及iSCSI主機(jī)信息，采用watcher功能提供iSCSI存儲(chǔ)中塊存儲(chǔ)狀態(tài)及與塊存儲(chǔ)相關(guān)的服務(wù)的監(jiān)控；2)在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR機(jī)制，實(shí)現(xiàn)Active/Active多路徑環(huán)境和集群多節(jié)點(diǎn)訪問塊存儲(chǔ)；3)在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式watcher機(jī)制，定時(shí)監(jiān)控分布式存儲(chǔ)系統(tǒng)中塊
存儲(chǔ)的可訪問性；4)在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR機(jī)制和watcher機(jī)制，解耦分布式集群節(jié)點(diǎn)中多服務(wù)進(jìn)程啟動(dòng)。根據(jù)上述的分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其中：所述存儲(chǔ)層基于RADOS協(xié)議提供一層塊設(shè)備的抽象，支持對(duì)iSCSI的支持。根據(jù)上述的分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其中：所述分布式PR機(jī)制的處理流程包括以下步驟：1)啟動(dòng)STGT服務(wù)進(jìn)程；2)查詢分布式節(jié)點(diǎn)目錄的根目錄，判斷目錄/PR是否存在，若否，轉(zhuǎn)入3)，若是，轉(zhuǎn)入4)；3)創(chuàng)建臨時(shí)目錄/PR；4)執(zhí)行STGT循環(huán)事件，以周期性地響應(yīng)iSCSI主機(jī)層請(qǐng)求。進(jìn)一步地，根據(jù)上述的分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其中：所述STGT循環(huán)事件包括以下步驟：a)接收并解析iSCSI指令；b)判斷解析后的iSCSI指令是否是PR指令；若是，轉(zhuǎn)入c)；否則，轉(zhuǎn)入g)；c)查詢分布式節(jié)點(diǎn)目錄的目錄/PR，并判斷操作的塊存儲(chǔ)的LUN_ID是否已置/PR；若是，轉(zhuǎn)入d)；若否，轉(zhuǎn)入g)；d)判斷PR指令是加鎖還是釋放鎖，若為加鎖，轉(zhuǎn)入e)；若否，轉(zhuǎn)入f)；e)創(chuàng)建臨時(shí)目錄/PR/LUN_ID，轉(zhuǎn)入g)；f)刪除臨時(shí)目錄/PR/LUN_ID，轉(zhuǎn)入g)；g)讀寫塊設(shè)備的數(shù)據(jù)。根據(jù)上述的分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其中：所述watcher機(jī)制的處理流程包括以下步驟：1)連接iSCSI目標(biāo)端，確保訪問邏輯單元號(hào)能夠正常掛載；2)查看已掛載的以磁盤方式呈現(xiàn)的塊設(shè)備，過濾出特定的磁盤；3)讀取特定的磁盤；4)判斷磁盤是否含有IO錯(cuò)誤；若是，轉(zhuǎn)入5)；若否，轉(zhuǎn)入3)；5)刪除磁盤對(duì)應(yīng)的塊存本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其特征在于：包括：1)構(gòu)建分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)；所述分布式STGT多資源管理系統(tǒng)包括存儲(chǔ)層、存儲(chǔ)驅(qū)動(dòng)層、主機(jī)層和管理集群層；所述存儲(chǔ)層用于基于分布式文件系統(tǒng)，對(duì)所述存儲(chǔ)驅(qū)動(dòng)層提供塊訪問；所述存儲(chǔ)驅(qū)動(dòng)層用于基于STGT塊存儲(chǔ)訪問協(xié)議和分布式開源組件管理分布式塊存儲(chǔ)的數(shù)據(jù)訪問；所述主機(jī)層用于基于分布式SAN的iSCSI協(xié)議對(duì)分布式STGT多資源管理系統(tǒng)的目標(biāo)塊存儲(chǔ)的數(shù)據(jù)進(jìn)行訪問；所述管理集群層用于管理分布式存儲(chǔ)系統(tǒng)中的節(jié)點(diǎn)及控制iSCSI數(shù)據(jù)的訪問業(yè)務(wù)；所述分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR中的節(jié)點(diǎn)目錄模型模擬訪問塊存儲(chǔ)的iSCSI主機(jī)，所述節(jié)點(diǎn)目錄用于記錄塊存儲(chǔ)及iSCSI主機(jī)信息，采用watcher功能提供iSCSI存儲(chǔ)中塊存儲(chǔ)狀態(tài)及與塊存儲(chǔ)相關(guān)的服務(wù)的監(jiān)控；2)在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR機(jī)制，實(shí)現(xiàn)Active/Active多路徑環(huán)境和集群多節(jié)點(diǎn)訪問塊存儲(chǔ)；3)在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式watcher機(jī)制，定時(shí)監(jiān)控分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)的可訪問性；4)在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR機(jī)制和watcher機(jī)制，解耦分布式集群節(jié)點(diǎn)中多服務(wù)進(jìn)程啟動(dòng)。...

【技術(shù)特征摘要】
1.一種分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其特征在于：包括：1)構(gòu)建分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)；所述分布式STGT多資源管理系統(tǒng)包括存儲(chǔ)層、存儲(chǔ)驅(qū)動(dòng)層、主機(jī)層和管理集群層；所述存儲(chǔ)層用于基于分布式文件系統(tǒng)，對(duì)所述存儲(chǔ)驅(qū)動(dòng)層提供塊訪問；所述存儲(chǔ)驅(qū)動(dòng)層用于基于STGT塊存儲(chǔ)訪問協(xié)議和分布式開源組件管理分布式塊存儲(chǔ)的數(shù)據(jù)訪問；所述主機(jī)層用于基于分布式SAN的iSCSI協(xié)議對(duì)分布式STGT多資源管理系統(tǒng)的目標(biāo)塊存儲(chǔ)的數(shù)據(jù)進(jìn)行訪問；所述管理集群層用于管理分布式存儲(chǔ)系統(tǒng)中的節(jié)點(diǎn)及控制iSCSI數(shù)據(jù)的訪問業(yè)務(wù)；所述分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR中的節(jié)點(diǎn)目錄模型模擬訪問塊存儲(chǔ)的iSCSI主機(jī)，所述節(jié)點(diǎn)目錄用于記錄塊存儲(chǔ)及iSCSI主機(jī)信息，采用watcher功能提供iSCSI存儲(chǔ)中塊存儲(chǔ)狀態(tài)及與塊存儲(chǔ)相關(guān)的服務(wù)的監(jiān)控；2)在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR機(jī)制，實(shí)現(xiàn)Active/Active多路徑環(huán)境和集群多節(jié)點(diǎn)訪問塊存儲(chǔ)；3)在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式watcher機(jī)制，定時(shí)監(jiān)控分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)的可訪問性；4)在所述分布式STGT多資源管理系統(tǒng)和分布式塊存儲(chǔ)系統(tǒng)中，采用分布式PR機(jī)制和watcher機(jī)制，解耦分布式集群節(jié)點(diǎn)中多服務(wù)進(jìn)程啟動(dòng)。2.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其特征在于：所述存儲(chǔ)層基于RADOS協(xié)議提供一層塊設(shè)備的抽象，支持對(duì)iSCSI的支持。3.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其特征在于：所述分布式PR機(jī)制的處理流程包括以下步驟：1)啟動(dòng)STGT服務(wù)進(jìn)程；2)查詢分布式節(jié)點(diǎn)目錄的根目錄，判斷目錄/PR是否存在，若否，轉(zhuǎn)入3)，若是，轉(zhuǎn)入4)；3)創(chuàng)建臨時(shí)目錄/PR；4)執(zhí)行STGT循環(huán)事件，以周期性地響應(yīng)iSCSI主機(jī)層請(qǐng)求。4.根據(jù)權(quán)利要求3所述的分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其特征在于：所述STGT
\t循環(huán)事件包括以下步驟：a)接收并解析iSCSI指令；b)判斷解析后的iSCSI指令是否是PR指令；若是，轉(zhuǎn)入c)；否則，轉(zhuǎn)入g)；c)查詢分布式節(jié)點(diǎn)目錄的目錄/PR，并判斷操作的塊存儲(chǔ)的LUN_ID是否已置/PR；若是，轉(zhuǎn)入d)；若否，轉(zhuǎn)入g)；d)判斷PR指令是加鎖還是釋放鎖，若為加鎖，轉(zhuǎn)入e)；若否，轉(zhuǎn)入f)；e)創(chuàng)建臨時(shí)目錄/PR/LUN_ID，轉(zhuǎn)入g)；f)刪除臨時(shí)目錄/PR/LUN_ID，轉(zhuǎn)入g)；g)讀寫塊設(shè)備的數(shù)據(jù)。5.根據(jù)權(quán)利要求1所述的分布式存儲(chǔ)系統(tǒng)中塊存儲(chǔ)數(shù)據(jù)的訪問方法，其特征在于：所述watcher機(jī)制的處理流程包括以下步驟：1)連接iSCSI目標(biāo)端，確保訪問邏輯單元號(hào)能夠正常掛載；2)查看已掛載的以磁盤方式呈現(xiàn)的塊設(shè)備，過濾出特定的磁盤；3)讀取特定的磁盤；4)判斷磁盤是否含有IO錯(cuò)誤；若是，轉(zhuǎn)入5)；若否，轉(zhuǎn)入3)；5)刪除磁盤對(duì)...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：何云，
申請(qǐng)(專利權(quán))人：上海愛數(shù)信息技術(shù)股份有限公司，
類型：發(fā)明
國別省市：上海;31