【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于計算機(jī)數(shù)據(jù)存儲，具體涉及一種實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)通信的系統(tǒng)和方法。
技術(shù)介紹
1、hadoop是一個開源的分布式計算框架，旨在處理大規(guī)模數(shù)據(jù)集。它提供了可靠、高效的分布式存儲和處理大數(shù)據(jù)的能力，適合在集群上運(yùn)行大規(guī)模的應(yīng)用程序。
2、hadoop的核心組件包括hadoop?distributed?file?system?(hdfs)，hdfs是hadoop的分布式文件系統(tǒng)，用于存儲大規(guī)模數(shù)據(jù)集，并提供高容錯性和高吞吐量。hdfs采用master/slave架構(gòu)，主要由存儲文件信息的namenodegateway模塊以及一定數(shù)目的存儲數(shù)據(jù)的datanode組成。namenodegateway模塊是一個中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間(namespace)以及客戶端對文件的訪問。集群中的datanode一般是一個節(jié)點一個，負(fù)責(zé)管理它所在節(jié)點上的存儲。hdfs暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲數(shù)據(jù)。從內(nèi)部看，一個文件其實被分成一個或多個數(shù)據(jù)塊，這些塊存儲在一組datanode上。namenodegateway模塊執(zhí)行文件系統(tǒng)的名字空間操作，比如打開、關(guān)閉、重命名文件或目錄。它也負(fù)責(zé)確定數(shù)據(jù)塊到具體datanode節(jié)點的映射。datanode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請求。在namenodegateway模塊的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。它將數(shù)據(jù)分割成塊，然后分布在集群中的多個節(jié)點上，保證數(shù)據(jù)的可靠性和高效訪問。hadoop通常應(yīng)用于以下場景：大數(shù)據(jù)存
3、通過hdfs處理及存儲數(shù)據(jù)通常需要一個標(biāo)準(zhǔn)的處理過程，具體是：提取待處理源數(shù)據(jù)，加工數(shù)據(jù)，保存處理結(jié)果，并且會不斷反復(fù)重復(fù)這個過程，過程中會產(chǎn)生大量結(jié)果數(shù)據(jù)。這些數(shù)據(jù)中包含熱數(shù)據(jù)、溫數(shù)據(jù)以及冷數(shù)據(jù)。hdfs雖然可以存儲部分?jǐn)?shù)據(jù)，但是對于海量數(shù)據(jù)計算產(chǎn)生的結(jié)果存在存儲成本高、管理維護(hù)復(fù)雜的問題。
4、hdfs沒法存儲所有結(jié)果，s3(simple?storage?service)?對象存儲系統(tǒng)作為當(dāng)前主流的分布式文件系統(tǒng)是一種海量非結(jié)構(gòu)化存儲系統(tǒng)，更適合存儲此類溫冷數(shù)據(jù)。對象存儲的基本單位是對象（object），一個對象通常包含了數(shù)據(jù)、元數(shù)據(jù)和唯一的標(biāo)識符（objectkey）。對象可以根據(jù)需要動態(tài)調(diào)整大小，并且可以存儲在多個節(jié)點之間進(jìn)行冗余復(fù)制，以確保數(shù)據(jù)的可靠性和持久性。因此，對象存儲可以提供高度可擴(kuò)展的存儲容量、高性能的數(shù)據(jù)訪問和高度安全的數(shù)據(jù)保護(hù)。
5、但由于計算平臺通常通過hdfs訪問相應(yīng)處理數(shù)據(jù)以及存儲處理結(jié)果，如何打通文件訪問讀取接口不同的hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)之間的訪問通道是一個需要解決的技術(shù)難題。
技術(shù)實現(xiàn)思路
1、為了解決如何打通hdfs文件系統(tǒng)與對象存儲系統(tǒng)之間的訪問通道的問題，本專利技術(shù)提供了一種實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)通信的系統(tǒng)。
2、為了實現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：
3、一種實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)通信的系統(tǒng)，通過設(shè)置hdfs代理模塊實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)之間的通信，所述hdfs代理模塊包括：
4、hdfs?namenodegateway模塊，用于接收外部hdfs客戶端發(fā)送的攜帶名字空間的用戶請求；
5、distributer請求閘模塊，用于接收hdfs?namenodegateway模塊發(fā)送的用戶請求，并根據(jù)接收到的名字空間調(diào)用相應(yīng)的namespacehandler名字空間模塊；
6、namespacehandler名字空間模塊，用于根據(jù)請求的名字空間進(jìn)行判斷，根據(jù)判斷結(jié)果將請求信息轉(zhuǎn)發(fā)至外部hdfs文件系統(tǒng)或外部s3對象存儲系統(tǒng)。
7、優(yōu)選地，所述hdfs代理模塊還包括clientprotocol執(zhí)行模塊；如需將請求信息轉(zhuǎn)發(fā)至外部hdfs文件系統(tǒng)，則namespacehandler名字空間模塊通過clientprotocol執(zhí)行模塊與外部hdfs文件系統(tǒng)進(jìn)行通信，實現(xiàn)數(shù)據(jù)轉(zhuǎn)發(fā)；同時將請求結(jié)果通過clientprotocol執(zhí)行模塊返回至hdfs?namenodegateway模塊。
8、優(yōu)選地，所述hdfs代理模塊還包括s3interpreter?s3命令轉(zhuǎn)換模塊、s3requests3指令執(zhí)行模塊和responseconvert結(jié)果轉(zhuǎn)換模塊；
9、如需將請求信息轉(zhuǎn)發(fā)至外部s3對象存儲系統(tǒng)，則namespacehandler名字空間模塊先將請求信息轉(zhuǎn)發(fā)至s3interpreter?s3命令轉(zhuǎn)換模塊，s3interpreter?s3命令轉(zhuǎn)換模塊將接收到的請求信息重組為s3協(xié)議支持的對象訪問接口請求信息，并將重組后的請求信息通過s3request?s3指令執(zhí)行模塊發(fā)送至外部s3對象存儲系統(tǒng)；同時將請求結(jié)果依次通過s3request?s3指令執(zhí)行模塊、responseconvert結(jié)果轉(zhuǎn)換模塊及s3interpreter?s3命令轉(zhuǎn)換模塊返回至hdfs?namenodegateway模塊。
10、優(yōu)選地，所述s3interpreter?s3命令轉(zhuǎn)換模塊將接收到的請求信息重組包括：對象讀取readobject、對象寫入putobject、對象刪除deleteobject、對象列出listobject和創(chuàng)建目錄mkdir。
11、優(yōu)選地，所述hdfs代理模塊還包括authorization認(rèn)證模塊，所述authorization認(rèn)證模塊設(shè)置在hdfs?namenodegateway模塊和distributer請求閘模塊之間；
12、所述hdfs?namenodegateway模塊將接收到的攜帶名字空間的用戶請求發(fā)送至所述distributer請求閘模塊之前，所述authorization認(rèn)證模塊根據(jù)攜帶的驗證信息校驗用戶認(rèn)證信息的合法性；當(dāng)請求驗證有誤，則將錯誤信息通過namenodegateway模塊返回至外部hdfs客戶端；當(dāng)請求的用戶合法，則hdfs?namenodegateway模塊將接收到的攜帶名字空間的用戶請求發(fā)送至所述distributer請求閘模塊。
13、本專利技術(shù)還提供了一種實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)通信的方法，包括：
14、hdfs?namenodegateway模塊接收外部hdfs客戶端發(fā)送的攜帶名字空間的用戶請求；
15、distributer請求閘模塊接收hdfs?namenodegateway模塊發(fā)送的用戶請求，并根據(jù)接收到的名字空間調(diào)用相應(yīng)的namespacehandler名字空間模塊；
16、namespacehandler名字空本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種實現(xiàn)HDFS文件系統(tǒng)與S3對象存儲系統(tǒng)通信的系統(tǒng)，其特征在于，通過設(shè)置HDFS代理模塊實現(xiàn)HDFS文件系統(tǒng)與S3對象存儲系統(tǒng)之間的通信，所述HDFS代理模塊包括：
2.根據(jù)權(quán)利要求1所述的實現(xiàn)HDFS文件系統(tǒng)與S3對象存儲系統(tǒng)通信的系統(tǒng)，其特征在于，所述HDFS代理模塊還包括S3Interpreter?S3命令轉(zhuǎn)換模塊、S3Request?S3指令執(zhí)行模塊和ResponseConvert結(jié)果轉(zhuǎn)換模塊；
3.根據(jù)權(quán)利要求2所述的實現(xiàn)HDFS文件系統(tǒng)與S3對象存儲系統(tǒng)通信的系統(tǒng)，其特征在于，所述S3Interpreter?S3命令轉(zhuǎn)換模塊將接收到的請求信息重組包括：對象讀取ReadObject、對象寫入PutObject、對象刪除DeleteObject、對象列出ListObject和創(chuàng)建目錄Mkdir。
4.根據(jù)權(quán)利要求1所述的實現(xiàn)HDFS文件系統(tǒng)與S3對象存儲系統(tǒng)通信的系統(tǒng)，其特征在于，所述HDFS代理模塊還包括Authorization認(rèn)證模塊，所述Authorization認(rèn)證模塊設(shè)置在HDFS?NameNodeGateway模塊和
5.一種實現(xiàn)HDFS文件系統(tǒng)與S3對象存儲系統(tǒng)通信的方法，其特征在于，包括：
6.根據(jù)權(quán)利要求5所述的實現(xiàn)HDFS文件系統(tǒng)與S3對象存儲系統(tǒng)通信的方法，其特征在于，所述HDFS?NameNodeGateway模塊接收外部HDFS客戶端發(fā)送的攜帶名字空間的用戶請求之前，還包括配置HDFS文件系統(tǒng)的名字空間映射，具體為：將一部分名字空間映射至外部HDFS?NameNode服務(wù)節(jié)點，將另一部分名字空間映射為外部對象存儲桶Bucket1。
7.一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序以實現(xiàn)權(quán)利要求5或6所述實現(xiàn)HDFS文件系統(tǒng)與S3對象存儲系統(tǒng)通信的方法的步驟。
8.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，該計算機(jī)程序被處理器加載時，能夠執(zhí)行權(quán)利要求5或6所述的實現(xiàn)HDFS文件系統(tǒng)與S3對象存儲系統(tǒng)通信的方法的步驟。
...【技術(shù)特征摘要】
1.一種實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)通信的系統(tǒng)，其特征在于，通過設(shè)置hdfs代理模塊實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)之間的通信，所述hdfs代理模塊包括：
2.根據(jù)權(quán)利要求1所述的實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)通信的系統(tǒng)，其特征在于，所述hdfs代理模塊還包括s3interpreter?s3命令轉(zhuǎn)換模塊、s3request?s3指令執(zhí)行模塊和responseconvert結(jié)果轉(zhuǎn)換模塊；
3.根據(jù)權(quán)利要求2所述的實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)通信的系統(tǒng)，其特征在于，所述s3interpreter?s3命令轉(zhuǎn)換模塊將接收到的請求信息重組包括：對象讀取readobject、對象寫入putobject、對象刪除deleteobject、對象列出listobject和創(chuàng)建目錄mkdir。
4.根據(jù)權(quán)利要求1所述的實現(xiàn)hdfs文件系統(tǒng)與s3對象存儲系統(tǒng)通信的系統(tǒng)，其特征在于，所述hdfs代理模塊還包括authorization認(rèn)證模塊，所述authorization認(rèn)證模塊...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張穎，韓松，
申請(專利權(quán))人：創(chuàng)云融達(dá)信息技術(shù)天津股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。