一種存取文件的方法、裝置及分布式存儲系統(tǒng)制造方法及圖紙

本發(fā)明專利技術(shù)涉及一種在在分布式存儲系統(tǒng)中存取文件的方法、裝置及分布式存儲系統(tǒng)。在一個實施例中，上述方法包括：接收客戶端上傳的文件；向所述元數(shù)據(jù)服務(wù)器集群發(fā)送文件索引獲取請求以獲取所述元數(shù)據(jù)服務(wù)器集群返回的元數(shù)據(jù)索引；將所述文件或者所述文件的分片發(fā)送給選擇的數(shù)據(jù)服務(wù)器集群進(jìn)行存儲；以及將所述文件或者所述文件的分片在所述選擇的數(shù)據(jù)服務(wù)器集群內(nèi)的存儲索引、所述選擇的數(shù)據(jù)服務(wù)器集群的標(biāo)識以及所述元數(shù)據(jù)索引發(fā)送給所述元數(shù)據(jù)服務(wù)器集群進(jìn)行關(guān)聯(lián)存儲。根據(jù)上述的方法、裝置及系統(tǒng)，由于數(shù)據(jù)是被存儲在位于不同數(shù)據(jù)中心的數(shù)據(jù)服務(wù)器集群內(nèi)，因此可降低數(shù)據(jù)中心的分布式存儲系統(tǒng)的運營成本。

【技術(shù)實現(xiàn)步驟摘要】

本專利技術(shù)涉及數(shù)據(jù)傳輸技術(shù)，尤其涉及一種存取文件的方法、裝置及分布式存儲系統(tǒng)。
技術(shù)介紹
分布式存儲系統(tǒng)，是將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上。傳統(tǒng)的網(wǎng)絡(luò)存儲系統(tǒng)采用集中的存儲服務(wù)器存放所有數(shù)據(jù)，存儲服務(wù)器成為系統(tǒng)性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規(guī)模存儲應(yīng)用的需要。分布式網(wǎng)絡(luò)存儲系統(tǒng)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，利用位置服務(wù)器定位存儲信息，它不但提高了系統(tǒng)的可靠性、可用性和存取效率，還易于擴(kuò)展。然而現(xiàn)有的分布式存儲系統(tǒng)中，為了確保存儲安全，需要在一個數(shù)據(jù)中心內(nèi)至少保存各個文件的一份副本。在互聯(lián)網(wǎng)的業(yè)務(wù)場景下，隨著業(yè)務(wù)數(shù)據(jù)量的不斷增大，即使只保存一份副本，最終會超過單個數(shù)據(jù)中心的帶寬及機(jī)器數(shù)量的承載能力。
技術(shù)實現(xiàn)思路
有鑒于此，有必要提供一種在分布式存儲系統(tǒng)中存取文件的方法、裝置及分布式存儲系統(tǒng)，其可降低數(shù)據(jù)中心的運營成本。一種在分布式存儲系統(tǒng)中存取文件的方法，所述分布式存儲系統(tǒng)包括:元數(shù)據(jù)服務(wù)器集群以及多個數(shù)據(jù)服務(wù)器集群；每個數(shù)據(jù)服務(wù)器集群內(nèi)包括多臺數(shù)據(jù)服務(wù)器，所述多個數(shù)據(jù)服務(wù)器集群體內(nèi)的服務(wù)器至少分布在兩個不同的數(shù)據(jù)中心內(nèi)；所述方法包括:接收客戶端上傳的文件；向所述元數(shù)據(jù)服務(wù)器集群發(fā)送文件索引獲取請求以獲取所述元數(shù)據(jù)服務(wù)器集群返回的元數(shù)據(jù)索引；將所述文件或者所述文件的分片發(fā)送給選擇的數(shù)據(jù)服務(wù)器集群進(jìn)行存儲；以及將所述文件或者所述文件的分片在所述選擇的數(shù)據(jù)服務(wù)器集群內(nèi)的存儲索引、所述選擇的數(shù)據(jù)服務(wù)器集群的標(biāo)識以及所述元數(shù)據(jù)索弓I發(fā)送給所述元數(shù)據(jù)服務(wù)器集群進(jìn)行關(guān)聯(lián)存儲。一種在分布式存儲系統(tǒng)中存取文件的裝置，包括:上傳請求接收模塊，用于接收客戶端上傳的文件；文件索引請求模塊，用于向所述元數(shù)據(jù)服務(wù)器集群發(fā)送文件索引獲取請求以獲取所述元數(shù)據(jù)服務(wù)器集群返回的元數(shù)據(jù)索引；文件存儲模塊，用于將所述文件或者所述文件的分片發(fā)送給選擇的數(shù)據(jù)服務(wù)器集群進(jìn)行存儲；以及文件索引提交模塊，用于將所述文件或者所述文件的分片在所述選擇的數(shù)據(jù)服務(wù)器集群內(nèi)的存儲索引、所述選擇的數(shù)據(jù)服務(wù)器集群的標(biāo)識以及所述元數(shù)據(jù)索引發(fā)送給所述元數(shù)據(jù)服務(wù)器集群進(jìn)行關(guān)聯(lián)存儲?！N分布式存儲系統(tǒng),包括:入口服務(wù)器、元數(shù)據(jù)服務(wù)器集群以及多個數(shù)據(jù)服務(wù)器集群；每個數(shù)據(jù)服務(wù)器集群內(nèi)包括多臺數(shù)據(jù)服務(wù)器，所述多個數(shù)據(jù)服務(wù)器集群體內(nèi)的服務(wù)器至少分布在兩個不同的數(shù)據(jù)中心內(nèi)；所述入口服務(wù)器用于:接收客戶端上傳的文件；向所述元數(shù)據(jù)服務(wù)器集群發(fā)送文件索引獲取請求；所述元數(shù)據(jù)服務(wù)器集群用于:根據(jù)所述文件索引獲取請求返回元數(shù)據(jù)索引；所述入口服務(wù)器還用于:將所述文件或者所述文件的分片發(fā)送給選擇的數(shù)據(jù)服務(wù)器集群；所述數(shù)據(jù)服務(wù)器用于:接收所述入口服務(wù)器上傳的文件；存儲所述文件； 所述入口服務(wù)器還用于:將所述文件在數(shù)據(jù)服務(wù)器集群內(nèi)的存儲索引以及所存儲的數(shù)據(jù)服務(wù)器集群的標(biāo)識提交給所述元數(shù)據(jù)服務(wù)器集群；所述元數(shù)據(jù)服務(wù)器集群還用于:存儲所述入口服務(wù)器提交的所述文件在數(shù)據(jù)服務(wù)器集群內(nèi)的存儲索引以及對應(yīng)的數(shù)據(jù)服務(wù)器集群的標(biāo)識。根據(jù)上述的方法、裝置及系統(tǒng)，元數(shù)據(jù)與數(shù)據(jù)正文分別存儲在元數(shù)據(jù)服務(wù)器集群與數(shù)據(jù)服務(wù)器集群中，而且數(shù)據(jù)服務(wù)器集群是分布在不同的數(shù)據(jù)中心內(nèi)。因此，可以避免所有數(shù)據(jù)存儲在一個數(shù)據(jù)中心容易導(dǎo)致數(shù)量超過單一數(shù)據(jù)中心的承載量的問題。降低數(shù)據(jù)中心的分布式存儲系統(tǒng)的運營成本。為讓本專利技術(shù)的上述和其他目的、特征和優(yōu)點能更明顯易懂，下文特舉較佳實施例，并配合所附圖式，作詳細(xì)說明如下。【附圖說明】圖1為第一實施例提供的分布式存儲系統(tǒng)的架構(gòu)示意圖。圖2為圖1的分布式存儲系統(tǒng)中元數(shù)據(jù)服務(wù)器集群的一個實施例的架構(gòu)示意圖。圖3為圖1的分布式存儲系統(tǒng)中入口服務(wù)器的結(jié)構(gòu)框圖。圖4為圖1的分布式存儲系統(tǒng)上傳文件時的交互示意圖。圖5為圖1的分布式存儲系統(tǒng)下載文件時的交互示意圖。圖6為圖1的分布式存儲系統(tǒng)刪除文件時的交互示意圖。圖7為圖1的分布式存儲系統(tǒng)更新文件時的交互示意圖。圖8為第二實施例提供的在分布式存儲系統(tǒng)存儲文件的方法流程圖。圖9為第三實施例提供的在分布式存儲系統(tǒng)存儲文件的方法流程圖。圖10為第四實施例提供的在分布式存儲系統(tǒng)存儲文件的方法流程圖。圖11為第五實施例提供的在分布式存儲系統(tǒng)存儲文件的方法流程圖。圖12為第六實施例提供的在分布式存儲系統(tǒng)存儲文件的裝置結(jié)構(gòu)框圖。圖13為第七實施例提供的在分布式存儲系統(tǒng)存儲文件的裝置結(jié)構(gòu)框圖。圖14為第八實施例提供的在分布式存儲系統(tǒng)存儲文件的裝置結(jié)構(gòu)框圖。圖15為第九實施例提供的在分布式存儲系統(tǒng)存儲文件的裝置結(jié)構(gòu)框圖?！揪唧w實施方式】為更進(jìn)一步闡述本專利技術(shù)為實現(xiàn)預(yù)定專利技術(shù)目的所采取的技術(shù)手段及功效，以下結(jié)合附圖及較佳實施例，對依據(jù)本專利技術(shù)的【具體實施方式】、結(jié)構(gòu)、特征及其功效，詳細(xì)說明如后。數(shù)據(jù)中心數(shù)據(jù)中心(data center)，指用于安置計算機(jī)系統(tǒng)及相關(guān)部件的設(shè)施，例如電信和儲存系統(tǒng)。一般它包含冗余和備用電源，冗余數(shù)據(jù)通信連接，環(huán)境控制(例如空調(diào)、滅火器)和安全設(shè)備。服務(wù)器服務(wù)器是指安裝有特定服務(wù)器應(yīng)用程序的計算機(jī)，其用于通過計算機(jī)網(wǎng)絡(luò)接收客戶端的網(wǎng)絡(luò)請求，并根據(jù)預(yù)定協(xié)議對接收的網(wǎng)絡(luò)請求進(jìn)行響應(yīng)，從而提供或幫助提供某種網(wǎng)絡(luò)服務(wù)。上述的預(yù)定協(xié)議包括但并不限于:傳輸控制協(xié)議(Transmiss1n ControlProtocol, TCP)、超文本傳輸協(xié)議(Hypertext Transfer Protocol, HTTP)、用戶數(shù)據(jù)協(xié)議(User Datagram Protocol, UDP)、文件傳輸協(xié)議(File Transfer Protocol, FTP)等。服務(wù)器集群服務(wù)器集群是指兩臺或者更多服務(wù)器的集合。服務(wù)器集群內(nèi)的全部或者大部分服務(wù)器構(gòu)成一個分布式網(wǎng)絡(luò)系統(tǒng)，從而共同向客戶端提供一種或多個網(wǎng)絡(luò)服務(wù)。服務(wù)器集群內(nèi)可包括一臺或者多臺調(diào)度服務(wù)器，用于統(tǒng)一控制服務(wù)器集群內(nèi)的各服務(wù)器，例如提供路由功能，根據(jù)客戶端的請求給客戶端指定由哪個服務(wù)器向該客戶端提供網(wǎng)絡(luò)服務(wù)?？蛻舳丝蛻舳伺c服務(wù)器相對，其為采用預(yù)定協(xié)議與服務(wù)器進(jìn)行網(wǎng)絡(luò)通訊的終端設(shè)備，其具體實施包括但并不限于另一臺服務(wù)器、臺式電腦、筆記本電腦、平板電腦、智能手機(jī)、多媒體電視、智能眼鏡、智能手表以及其他電子裝置。鍵-值(Key-Value)存儲系統(tǒng)Key-value存儲系統(tǒng)是指一種非關(guān)系型數(shù)據(jù)庫，其是指按照提供的鍵給存儲內(nèi)容(Value)分配存儲空間、并獲取對應(yīng)的值。相比于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫，其具有高并發(fā)、高性能的優(yōu)勢。第一實施例圖1為第一實施例提供的分布式存儲系統(tǒng)的架構(gòu)示意圖。如圖1所示，分布式存儲系統(tǒng)100部署在兩個或更多(圖1中僅示出兩個)數(shù)據(jù)中心10、20內(nèi)。數(shù)據(jù)中心10內(nèi)包括元數(shù)據(jù)服務(wù)器集群101、第一數(shù)據(jù)服務(wù)器集群102、以及一臺或多臺服務(wù)器103。數(shù)據(jù)中心20內(nèi)包括第二數(shù)據(jù)服務(wù)器集群104以及一臺或多臺服務(wù)器105。其中，服務(wù)器103與服務(wù)器105共同構(gòu)成第三數(shù)據(jù)服務(wù)器集群106。分布式存儲系統(tǒng)100用于根據(jù)入口服務(wù)器200的請求進(jìn)行文件的存儲(上傳)、下載、更新、或者刪除等操作。元數(shù)據(jù)服務(wù)器集群101內(nèi)的多臺服務(wù)器自身構(gòu)成一個分布式存儲系統(tǒng)，用于存儲文件的元數(shù)據(jù)。上述的分布式存儲系統(tǒng)例如可為上述的Key-Value存儲系統(tǒng)。而上述的元數(shù)據(jù)例如可包括本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點】
一種在分布式存儲系統(tǒng)中存取文件的方法，所述分布式存儲系統(tǒng)包括：元數(shù)據(jù)服務(wù)器集群以及多個數(shù)據(jù)服務(wù)器集群；每個數(shù)據(jù)服務(wù)器集群內(nèi)包括多臺數(shù)據(jù)服務(wù)器，所述多個數(shù)據(jù)服務(wù)器集群體內(nèi)的服務(wù)器至少分布在兩個不同的數(shù)據(jù)中心內(nèi)；其特征在于，所述方法包括：接收客戶端上傳的文件；向所述元數(shù)據(jù)服務(wù)器集群發(fā)送文件索引獲取請求以獲取所述元數(shù)據(jù)服務(wù)器集群返回的元數(shù)據(jù)索引；將所述文件或者所述文件的分片發(fā)送給選擇的數(shù)據(jù)服務(wù)器集群進(jìn)行存儲；以及將所述文件或者所述文件的分片在所述選擇的數(shù)據(jù)服務(wù)器集群內(nèi)的存儲索引、所述選擇的數(shù)據(jù)服務(wù)器集群的標(biāo)識以及所述元數(shù)據(jù)索引發(fā)送給所述元數(shù)據(jù)服務(wù)器集群進(jìn)行關(guān)聯(lián)存儲。

【技術(shù)特征摘要】

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王炎，婁繼冰，李博，
申請(專利權(quán))人：騰訊科技深圳有限公司，
類型：發(fā)明
國別省市：廣東;44