一種基于地址映射的集群通信模型制造技術(shù)

本發(fā)明專利技術(shù)提供一種基于地址映射的集群通信模型其結(jié)構(gòu)中由多個(gè)主機(jī)系統(tǒng)和多個(gè)通信模塊構(gòu)成，多個(gè)主機(jī)系統(tǒng)都包含內(nèi)存地址映射設(shè)備和基于內(nèi)存地址映射的通信模塊；所述內(nèi)存地址映射設(shè)備，用于不同主機(jī)系統(tǒng)之間內(nèi)存地址映射；本發(fā)明專利技術(shù)的一種基于地址映射的集群通信模型和現(xiàn)有技術(shù)相比，基于內(nèi)存地址映射，實(shí)現(xiàn)RDMA，按照特殊的通信協(xié)議封裝，直接在通信模塊實(shí)現(xiàn)包轉(zhuǎn)發(fā)，實(shí)現(xiàn)零拷貝數(shù)據(jù)傳輸，充分利用了計(jì)算機(jī)主機(jī)之間物理傳輸鏈路，提高了傳輸性能、減少了系統(tǒng)損耗；本發(fā)明專利技術(shù)基于NTB實(shí)現(xiàn)內(nèi)存地址映射，實(shí)現(xiàn)數(shù)據(jù)傳輸；使用PCI-E2.0協(xié)議進(jìn)行數(shù)據(jù)傳輸，因而，具有很好的推廣使用價(jià)值。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于地址映射的集群通信模型
本專利技術(shù)涉及計(jì)算機(jī)集群系統(tǒng)及存儲(chǔ)領(lǐng)域，具體地說是一種基于地址映射的集群通信模型。
技術(shù)介紹
計(jì)算機(jī)集群是一種計(jì)算機(jī)系統(tǒng)，它通過一組松散集成的計(jì)算機(jī)軟件和/或硬件連接起來高度緊密地協(xié)作完成計(jì)算工作。在某種意義上，他們可以被看作是一臺(tái)計(jì)算機(jī)。集群系統(tǒng)中的單個(gè)計(jì)算機(jī)通常稱為節(jié)點(diǎn)，通常通過局域網(wǎng)連接，但也有其它的可能連接方式。集群計(jì)算機(jī)通常用來改進(jìn)單個(gè)計(jì)算機(jī)的計(jì)算速度和/或可靠性。一般情況下集群計(jì)算機(jī)比單個(gè)計(jì)算機(jī)，比如工作站或超級計(jì)算機(jī)性能價(jià)格比要高得多。計(jì)算機(jī)集群技術(shù)的出發(fā)點(diǎn)是為了提供更高的可用性、可管理性、可伸縮性的計(jì)算機(jī)系統(tǒng)。一個(gè)集群包含多臺(tái)擁有共享數(shù)據(jù)存儲(chǔ)空間的服務(wù)器，各服務(wù)器通過內(nèi)部局域網(wǎng)相互通信。當(dāng)一個(gè)節(jié)點(diǎn)發(fā)生故障時(shí)，它所運(yùn)行的應(yīng)用程序?qū)⒂善渌?jié)點(diǎn)自動(dòng)接管。在大多數(shù)模式下，集群中所有的節(jié)點(diǎn)擁有一個(gè)共同的名稱，集群內(nèi)的任一節(jié)點(diǎn)上運(yùn)行的服務(wù)都可被所有的網(wǎng)絡(luò)客戶所使用。集群中各個(gè)節(jié)點(diǎn)之間需要進(jìn)行大量的數(shù)據(jù)交互。通常集群系統(tǒng)中依靠高速局域網(wǎng)來實(shí)現(xiàn)，常見的高速局域網(wǎng)有FDDI光纖環(huán)網(wǎng)、100BASE-T高速以太網(wǎng)、千兆位以太網(wǎng)、lOGbit/s以太網(wǎng)等。傳輸介質(zhì)有光線、以太網(wǎng)等。使用的是傳統(tǒng)iscs1、TCP/IP協(xié)議，協(xié)議封裝較復(fù)雜，傳輸數(shù)據(jù)時(shí)需要經(jīng)過大量的協(xié)議包轉(zhuǎn)換、封裝、編解碼、校驗(yàn)等步驟，這些協(xié)議更適合于遠(yuǎn)距離、不可 靠環(huán)境下傳輸數(shù)據(jù)。而在大規(guī)模集群系統(tǒng)中，更多的是主機(jī)在短距離、可靠、穩(wěn)定的傳輸環(huán)境中傳輸。需求高帶寬、高可靠性、大容量的數(shù)據(jù)傳輸鏈路。使用傳統(tǒng)的高速傳輸協(xié)議時(shí)，計(jì)算機(jī)主機(jī)需要耗費(fèi)大量的計(jì)算用于數(shù)據(jù)協(xié)議包封裝、編解碼、校驗(yàn)，并且通信鏈路帶寬和節(jié)點(diǎn)計(jì)算能力將成為整個(gè)計(jì)算機(jī)集群系統(tǒng)整體響應(yīng)、性能的瓶頸。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)的目的是克服現(xiàn)有技術(shù)中存在的不足，提供一種基于地址映射的集群通信模型，可滿足大規(guī)模集群系統(tǒng)節(jié)點(diǎn)之間數(shù)據(jù)高速、高可靠、大容量的數(shù)據(jù)傳輸需求。本專利技術(shù)的技術(shù)方案是按以下方式實(shí)現(xiàn)的，其結(jié)構(gòu)中由多個(gè)主機(jī)系統(tǒng)和多個(gè)通信模塊構(gòu)成，多個(gè)主機(jī)系統(tǒng)都包含內(nèi)存地址映射設(shè)備和基于內(nèi)存地址映射的通信模塊； 所述內(nèi)存地址映射設(shè)備，用于不同主機(jī)系統(tǒng)之間內(nèi)存地址映射； 所述通信模型，用于不同主機(jī)系統(tǒng)之間數(shù)據(jù)通信，實(shí)現(xiàn)點(diǎn)對點(diǎn)的數(shù)據(jù)傳輸模型，通信模塊解析數(shù)據(jù)包地址信息，不經(jīng)過交換機(jī)等設(shè)備轉(zhuǎn)發(fā)，直接傳輸?shù)侥康闹鳈C(jī)系統(tǒng)，實(shí)現(xiàn)了高帶寬、低延遲的數(shù)據(jù)傳輸模型，適用于集群系統(tǒng)之間大規(guī)模數(shù)據(jù)傳輸。所述多個(gè)主機(jī)系統(tǒng)之間通過內(nèi)存地址映射設(shè)備連接，如NTB ； 所述通信模型，用于計(jì)算機(jī)主機(jī)之間通信需求，提供統(tǒng)一的接口，以供計(jì)算機(jī)系統(tǒng)應(yīng)用使用，通信模塊基于計(jì)算機(jī)之間的地址映射裝置，通過訪問映射內(nèi)存，進(jìn)行數(shù)據(jù)讀寫，從而完成數(shù)據(jù)通信。所述內(nèi)存地址映射設(shè)備，用于將多個(gè)主機(jī)系統(tǒng)之間相互連接，每個(gè)主機(jī)都與其他所有主機(jī)進(jìn)行內(nèi)存地址映射。主機(jī)之間位置對等，所有主機(jī)之間完全對等訪問。所訴通信模塊，還包含特殊的通信協(xié)議封裝，基于有效、可靠、簡潔的主機(jī)之間通信鏈路，減少數(shù)據(jù)通信在協(xié)議處理上的損耗，提高有效數(shù)據(jù)占空比，提升數(shù)據(jù)通信效率。所述每個(gè)主機(jī)之間通過互聯(lián)總線相連，所述每個(gè)主機(jī)之間中均包含心跳模塊。所述心跳模塊，用于通過所述互聯(lián)總線檢測到對端存儲(chǔ)控制器處于故障狀態(tài)時(shí)，對所述對端存儲(chǔ)控制器的電源進(jìn)行重置。本專利技術(shù)的優(yōu)點(diǎn)是: 本專利技術(shù)的一種基于地址映射的集群通信模型和現(xiàn)有技術(shù)相比，基于內(nèi)存地址映射，實(shí)現(xiàn)RDMA，按照特殊的通信協(xié)議封裝，直接在通信模塊實(shí)現(xiàn)包轉(zhuǎn)發(fā)，實(shí)現(xiàn)零拷貝數(shù)據(jù)傳輸，充分利用了計(jì)算機(jī)主機(jī)之間物理傳輸鏈路，提高了傳輸性能、減少了系統(tǒng)損耗；本專利技術(shù)基于NTB實(shí)現(xiàn)內(nèi)存地址映射，實(shí)現(xiàn)數(shù)據(jù)傳輸；使用PC1-E 2.0協(xié)議進(jìn)行數(shù)據(jù)傳輸，因而，具有很好的推廣使用價(jià)值。【附圖說明】圖1為一種基于地址映射的集群通信模型的結(jié)構(gòu)示意圖。實(shí)施方式 下面結(jié)合附圖對本專利技術(shù)的一種基于地址映射的集群通信模型作以下詳細(xì)說明。如圖1所示，本專利技術(shù)的一種基于地址映射的集群通信模型其結(jié)構(gòu)中高速通信模型如圖1所示，集群中不同節(jié)點(diǎn)通過內(nèi)存地址映射裝置相互連接。每個(gè)主機(jī)都在自己的內(nèi)存中，開辟一段空間作為其他節(jié)點(diǎn)的內(nèi)存訪問區(qū)域。供收發(fā)數(shù)據(jù)使用。內(nèi)存地址映射裝置(如NTB，本文以下章節(jié)使用NTB暫代內(nèi)存地址映射裝置)，可以實(shí)現(xiàn)不同主機(jī)系統(tǒng)之間內(nèi)存訪問，并通過中斷寄存器、暫存寄存器實(shí)現(xiàn)通信的目的。通過地址翻譯技術(shù),將本機(jī)中的一段內(nèi)存映射至遠(yuǎn)端NTB的麗1區(qū)域當(dāng)中。遠(yuǎn)端主機(jī)向麗1中拷貝數(shù)據(jù)，相當(dāng)于直接往本端對應(yīng)內(nèi)存區(qū)域中拷貝數(shù)據(jù)。從而現(xiàn)數(shù)據(jù)的發(fā)送。并結(jié)合門鈴中斷寄存器和暫存寄存器，實(shí)現(xiàn)中斷通知和配置交互的過程。從而實(shí)現(xiàn)不同主機(jī)系統(tǒng)之間的數(shù)據(jù)傳輸。如圖1所示，通過NTB將集群中所有節(jié)點(diǎn)都映射一段內(nèi)存空間(映射窗口一般申請為小于1MB)。形成可訪問的內(nèi)存窗口，可以用于接收數(shù)據(jù)。再加上NTB的麗1區(qū)域，形成發(fā)送和接收緩存區(qū)。在系統(tǒng)啟動(dòng)過程當(dāng)中，枚舉PCI設(shè)備時(shí)，根據(jù)不同主機(jī)的NTB映射區(qū)間，申請不同的內(nèi)存空間，建立一一對應(yīng)的關(guān)系，供查詢。針對不同節(jié)點(diǎn)的NTB設(shè)備建立不同的中斷處理函數(shù)。根據(jù)中斷偏移判斷是屬于哪一個(gè)節(jié)點(diǎn)的，并添加入哈希表中。在初始化最后，向所有注冊的NTB設(shè)備節(jié)點(diǎn)發(fā)送LINK UP信號，然后根據(jù)LINK狀態(tài)寄存器判斷其他節(jié)點(diǎn)的狀態(tài)，當(dāng)對應(yīng)節(jié)點(diǎn)也發(fā)送LINK UP信號之后，開啟建立連接流程。通過暫存寄存器進(jìn)行數(shù)據(jù)交互，建立連接。初始化完畢之后，本節(jié)點(diǎn)就可以通過通信模塊與其他節(jié)點(diǎn)進(jìn)行數(shù)據(jù)傳輸。當(dāng)主機(jī)節(jié)點(diǎn)應(yīng)用提交傳輸請求之后，將數(shù)據(jù)包按照MTU進(jìn)行拆分、封裝，并添加包頭，根據(jù)節(jié)點(diǎn)序號，查找哈希表，拷貝至對應(yīng)節(jié)點(diǎn)的MM1內(nèi)。然后將發(fā)送完畢標(biāo)志位置1，最后觸發(fā)對應(yīng)的中斷，通知遠(yuǎn)端節(jié)點(diǎn)接收數(shù)據(jù)。遠(yuǎn)端節(jié)點(diǎn)中斷響應(yīng)時(shí)，喚醒對應(yīng)內(nèi)存映射窗口的處理線程。首先判斷發(fā)送完畢標(biāo)志位是否置1，如果置I表明數(shù)據(jù)包傳輸完畢，可以進(jìn)行數(shù)據(jù)接收。解析包頭，將接收的數(shù)據(jù)包提取有效數(shù)據(jù)、合并，當(dāng)數(shù)據(jù)傳輸完畢時(shí)，提交至對應(yīng)的應(yīng)用層中。表明此次數(shù)據(jù)發(fā)送完畢。本專利技術(shù)的一種基于地址映射的集群通信模型其加工制作非常簡單方便，按照說明書附圖所示即可加工。除說明書所述的技術(shù)特征外，均為本專業(yè)技術(shù)人員的已知技術(shù)。本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于地址映射的集群通信模型，其特征在于由多個(gè)主機(jī)系統(tǒng)和多個(gè)通信模塊構(gòu)成，多個(gè)主機(jī)系統(tǒng)都包含內(nèi)存地址映射設(shè)備和基于內(nèi)存地址映射的通信模塊；所述內(nèi)存地址映射設(shè)備，用于不同主機(jī)系統(tǒng)之間內(nèi)存地址映射；所述通信模型，用于不同主機(jī)系統(tǒng)之間數(shù)據(jù)通信，實(shí)現(xiàn)點(diǎn)對點(diǎn)的數(shù)據(jù)傳輸模型，通信模塊解析數(shù)據(jù)包地址信息，不經(jīng)過交換機(jī)等設(shè)備轉(zhuǎn)發(fā)，直接傳輸?shù)侥康闹鳈C(jī)系統(tǒng)，實(shí)現(xiàn)了高帶寬、低延遲的數(shù)據(jù)傳輸模型，適用于集群系統(tǒng)之間大規(guī)模數(shù)據(jù)傳輸。

【技術(shù)特征摘要】
1.一種基于地址映射的集群通信模型，其特征在于由多個(gè)主機(jī)系統(tǒng)和多個(gè)通信模塊構(gòu)成，多個(gè)主機(jī)系統(tǒng)都包含內(nèi)存地址映射設(shè)備和基于內(nèi)存地址映射的通信模塊； 所述內(nèi)存地址映射設(shè)備，用于不同主機(jī)系統(tǒng)之間內(nèi)存地址映射； 所述通信模型，用于不同主機(jī)系統(tǒng)之間數(shù)據(jù)通信，實(shí)現(xiàn)點(diǎn)對點(diǎn)的數(shù)據(jù)傳輸模型，通信模塊解析數(shù)據(jù)包地址信息，不經(jīng)過交換機(jī)等設(shè)備轉(zhuǎn)發(fā)，直接傳輸?shù)侥康闹鳈C(jī)系統(tǒng)，實(shí)現(xiàn)了高帶寬、低延遲的數(shù)據(jù)傳輸模型，適用于集群系統(tǒng)之間大規(guī)模數(shù)據(jù)傳輸。2.根據(jù)權(quán)利要求1所述的一種基于地址映射的集群通信模型，其特征在于所述多個(gè)主機(jī)系統(tǒng)之間通過內(nèi)存地址映射設(shè)備連接，如NTB ； 所述通信模型，用于計(jì)算機(jī)主機(jī)之間通信需求，提供統(tǒng)一的接口，以供計(jì)算機(jī)系統(tǒng)應(yīng)用使用，通信模塊基于計(jì)算機(jī)之間的地址映射裝置，通過訪問映射內(nèi)存，進(jìn)行數(shù)據(jù)讀寫，從而完成數(shù)據(jù)通信。3...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王少鋒，施培任，
申請(專利權(quán))人：浪潮電子信息產(chǎn)業(yè)股份有限公司，
類型：發(fā)明
國別省市：山東;37