一種對等云平臺上構建希爾伯特R樹索引的方法技術

一種對等結構云平臺上構建希爾伯特R樹索引的方法，在P2P云平臺中的主節點組織成對等結構的Chord網絡。首先，通過映射方法讀取數據對象，基于其地理位置得到其所處空間的希爾伯特曲線編碼；其次，基于這一編碼對數據對象進行分區，并將其傳給相應的歸約方法；然后，歸約方法對各個分區的數據對象進行希爾伯特R子樹的構建；最后，通過安全散列函數得到希爾伯特R子樹根節點編號的散列值，并將其發布到處于Chord環中的主節點上，構成完整的分布式希爾伯特R樹索引。本方法能并行地建立希爾伯特R樹，減少了建樹的時間；同時，建立的希爾伯特R樹是分布式的，加強了索引的穩定性和查找效率。

【技術實現步驟摘要】
—種對等云平臺上構建希爾伯特R樹索引的方法
本專利技術涉及一種對等云平臺上構建希爾伯特R樹索引的方法，屬于空間數據索引和對等云平臺的融合
。
技術介紹
云計算是一種商業計算模型將計算任務分布在大量計算機構成的資源池上，使各種應用系統能夠根據需要獲取計算力、存儲空間和信息服務。現在Google公司和開源云計算平臺Hadoop等都使用Map-Reduce平行計算模型，該模型為海量數據的處理提供了一個通用、高效的技術框架，從而在地理空間數據查詢處理、數據挖掘等領域得到了越來越廣泛的應用。P2P (Peer-to-Peer,對等網)計算是指不同系統之間通過直接交換，實現計算機資源和服務共享、進行信息處理的過程。這里，資源可以是處理器、緩存和磁盤空間等；服務包括信息交換、數據計算等。P2P模式與傳統客戶/服務器模式的關鍵區別在于Peer (對等體)與Peer在通信過程中，可以完全摒棄服務器的角色，通過直接通信獲得共享資源或服務。面對空間數據挖掘、空間決策支持、空間多維動態可視化分析與模擬等諸多屬于計算密集型和I/o密集型的空間應用，傳統GIS的計算和數據處理能力不能很好地滿足應用需求。隨著網格計算技術在GIS中的應用逐漸成為研究熱點，其分布式并行計算模式與系統架構將有助于提高GIS的整體性能和運行效率。因此，分布式并行計算將成為解決傳統GIS計算能力不足問題的重要方法。海量空間數據的組織與管理技術是各類復雜空間應用的基礎，也是GIS技術的核心問題。其中，空間索引技術是數據組織與管理的重要研究內容。目前，在數據庫管理系統及GIS等科研領域，空間索引技術的研究成果非常豐富，應用較為廣泛。然而，針對海量空間數據的組織、管理、存取、處理與應用的分布式并行空間索引技術研究成果較少。ArielCary等提出了在云平臺下運用MapReduce并行構建子R樹，將子R樹合并，形成的R樹索引是一個集中式的，這個集中式的R樹成為了它的瓶頸。AnirbanMondal等提出了再對等網絡下建立R樹索引，其將空間劃分為相等的塊，每個對等節點維護一個等分的塊，由于存儲信息的對等節點不一定是連續的，可能破壞地理空間的連續性。
技術實現思路
本專利技術所要解決的技術問題是針對上述
技術介紹
的不足，提供了一種在對等云平臺上對地理空間數據建立分布式R樹索引的方法。本專利技術為實現上述專利技術目的采用如下技術方案:一種對等結構云平臺上構建希爾伯特R樹索引的方法，其特征是:在P2P云平臺中的主節點(Master)組織成對等結構的Chord網絡，首先，通過映射方法(Map)讀取數據對象，基于其地理位置得到其所處空間的希爾伯特曲線編碼；其次，基于這一編碼對數據對象進行分區，并將其傳給相應的歸約方法(Reduce);然后，歸約方法對各個分區的數據對象進行希爾伯特R子樹的構建；最后，通過安全散列函數(SHA-1)得到希爾伯特R子樹根節點編號的散列值，并將其發布到處于Chord環中的主節點(Master)上,構成完整的分布式希爾伯特R樹索引；包括如下步驟:步驟I，假設數據集為D，設0 e D為數據集中的任一數據對象，0.1d為數據對象0的標識符，0.P為數據對象0的地理位置坐標；步驟2，用映射方法(Map)將數據集D中的數據對象讀入，映射方法(Map)輸入的關鍵字為0.1d，值為0.P，對于輸入的數據對象O，根據其地理位置坐標0.P，將該對象映射到公階的希爾伯特空間曲線填充上(希爾伯特曲線的階數由數據集的大小決定，數據集大小ID I,則Z1 = |_log|l)|」)，并產生相應希爾伯特編碼0.he ；步驟3，基于希爾伯特編碼0.hc，調用分區方法f將數據對象0映射到相應的分區，分區方法f的輸入為數據對象的希爾伯特編碼，輸出為分區號，定義如下:J (0.hc) = \_0.hc /21' /:」IS 0.hc < 21'則映射方法(Map)輸出的關鍵字為分區號f (0.he)，值為O，根據分區方法f，數據對象將被映射到^個分區中，分區數目由處于Chord環中的主節點(Master)的數目決定，設主節點(Master)是數目為N,則/2 = [log A7J;步驟4，用2/2個歸約方法(Reduce)接收映射方法(Map)的輸出作為輸入，其關鍵字為分區號f (0.hc)，值為O，各個歸約方法(Reduce)對于輸入的某一分區的數據對象分別進行希爾伯特R子樹的構建，并將該分區號作為構建好的希爾伯特R子樹根節點的編號；步驟5，通過安全散列算法，計算出希爾伯特R子樹根節點編號的散列值，并將該散列值對應的希爾伯特R子樹的根節點發布到Chord環中的相應的主節點(Master)上,構成完整的分布式希爾伯特R樹索引；至此，在對等云平臺下建立分布式希爾伯特R樹索引已經完成，在對等云平臺中的單獨一個主節點(Master)起到一個局部索引的作用，基于Chord的所有的主節點(Master)起到一個全局索引的作用。本專利技術具有以下優點及有益效果:I)本專利技術方法解決了現有技術的缺點，形成了分布式的R樹索引，較好的解決了集中式R樹的瓶頸，利用希爾伯特曲線進行分區，較好的解決了地理空間的連續性的問題。2)在為空間數據并行建立希爾伯特R樹，其相對于傳統的建立希爾伯特R樹的索引方法其建立希爾伯特R樹索引的速度有顯著的提升。3)本專利技術將緩存根節點的Mater節點組織成了 Chord環,相對于單個Master節點，不但減少了 Master節點的負擔,而且提高了 Master節點的并行處理能力，其維護開銷要低于傳統的R樹；能有效的加速查詢，其維護開銷要低于傳統的R樹，減少了 Master節點失效所造成的損失。且建立的是希爾伯特R樹的分布式索引，有效的解決了集中式索引的瓶頸，如:并行查詢的能力，處理查詢的最大的負載等。【附圖說明】圖1是對等結構云平臺上構建希爾伯特R樹索引的總流程圖；圖2是對等結構云平臺上已構建完成的希爾伯特R樹索引結構示意圖。【具體實施方式】 下面結合附圖對專利技術的技術方案進行詳細說明:在P2P云平臺中的主節點(Master)組織成對等結構的Chord網絡。在對等結構云平臺上構建希爾伯特R樹索引的總流程圖，如圖1所示:步驟I，假設數據集為D，設O e D為數據集中的任一數據對象，0.1d為數據對象0的標識符，0.P為數據對象0的地理位置坐標。步驟2，用映射方法(Map)將數據集D中的數據對象讀入。映射方法(Map)輸入的關鍵字為0.1d，值為0.P。對于輸入的數據對象O，根據其地理位置坐標0.P，將該對象映射到公階的希爾伯特空間曲線填充上(希爾伯特曲線的階數由數據集的大小決定，本文中數據集大小ID I，則I1 = Llog|D|J),并產生相應希爾伯特編碼0.he。步驟3，基于希爾伯特編碼0.he,調用分區方法f將數據對象0映射到相應的分區。分區方法f的輸入為數據對象的希爾伯特編碼，輸出為分區號，定義如下:f {0.hc、= \_0.hc /2,',:」I < 0.hc < 21'則映射方法(Map)輸出的關鍵字為分區號f(0.he)，值為O。根據分區方法f，數據對象將被映射到2/2個分區中，分區數目由處于Chord環中的主節點的數目決定，設主節點是數本文檔來自技高網...

【技術保護點】
一種對等結構云平臺上構建希爾伯特R樹索引的方法，其特征是：在P2P云平臺中的主節點組織成對等結構的Chord網絡，首先，通過映射方法讀取數據對象，基于其地理位置得到其所處空間的希爾伯特曲線編碼；其次，基于這一編碼對數據對象進行分區，并將其傳給相應的歸約方法；然后，歸約方法對各個分區的數據對象進行希爾伯特R子樹的構建；最后，通過安全散列函數得到希爾伯特R子樹根節點編號的散列值，并將其發布到處于Chord環中的主節點上，構成完整的分布式希爾伯特R樹索引；包括如下步驟：步驟1，假設數據集為D，設o∈D為數據集中的任一數據對象，o.id為數據對象o的標識符，o.p為數據對象o的地理位置坐標；步驟2，用映射方法將數據集D中的數據對象讀入，映射方法輸入的關鍵字為o.id，值為o.p，對于輸入的數據對象o，根據其地理位置坐標o.p，將該對象映射到階的希爾伯特空間曲線填充上，希爾伯特曲線的階數由數據集的大小決定，數據集大小|D|，則并產生相應希爾伯特編碼o.hc；步驟3，基于希爾伯特編碼o.hc，調用分區方法f將數據對象o映射到相應的分區，分區方法f的輸入為數據對象的希爾伯特編碼，輸出為分區號，定義如下：則映射方法輸出的關鍵字為分區號f(o.hc)，值為o，根據分區方法f，數據對象將被映射到個分區中，分區數目由處于Chord環中的主節點的數目決定，設主節點是數目為N，則步驟4，用個歸約方法接收映射方法的輸出作為輸入，其關鍵字為分區號f(o.hc)，值為o，各個歸約方法對于輸入的某一分區的數據對象分別進行希爾伯特R子樹的構建，并將該分區號作為構建好的希爾伯特R子樹根節點的編號；步驟5，通過安全散列算法，計算出希爾伯特R子樹根節點編號的散列值，并將該散列值對應的希爾伯特R子樹的根節點發布到Chord環中的相應的主節點上，構成完整的分布式希爾伯特R樹索引；至此，在對等云平臺下建立分布式希爾伯特R樹索引已經完成，在對等云平臺中的單獨一個主節點起到一個局部索引的作用，基于Chord的所有的主節點起到一個全局索引的作用。FDA0000395095320000011.jpg,FDA0000395095320000012.jpg,FDA0000395095320000013.jpg,FDA0000395095320000014.jpg,FDA0000395095320000015.jpg,FDA0000395095320000016.jpg...

【技術特征摘要】
1.一種對等結構云平臺上構建希爾伯特R樹索引的方法，其特征是:在P2P云平臺中的主節點組織成對等結構的Chord網絡，首先，通過映射方法讀取數據對象，基于其地理位置得到其所處空間的希爾伯特曲線編碼；其次，基于這一編碼對數據對象進行分區，并將其傳給相應的歸約方法；然后，歸約方法對各個分區的數據對象進行希爾伯特R子樹的構建；最后，通過安全散列函數得到希爾伯特R子樹根節點編號的散列值，并將其發布到處于Chord環中的主節點上,構成完整的分布式希爾伯特R樹索引；包括如下步驟: 步驟I，假設數據集為D，設0 e D為數據集中的任一...

【專利技術屬性】
技術研發人員：吳家皋，劉杰，鄒志強，
申請(專利權)人：南京郵電大學，
類型：發明
國別省市：