基于MapReduce的地圖瓦片存儲布局優化方法技術

本發明專利技術涉及基于MapReduce的地圖瓦片存儲布局優化方法，包括步驟：Map任務根據瓦片索引表計算出IndexKey對應的Number，將輸入的（IndexKey，IndexValue）轉換為（Number，IndexValue）輸出；自定義分區算法將得到的（Number，IndexValue）進行分區；每個Reduce任務獲得專屬分區號的（Number，IndexValue），自定義分組算法進行分組，最終根據IndexValue讀取瓦片數據，再重新寫到新瓦片打包文件，更新索引項指向新打包文件；瓦片重新寫入結束后刪除舊打包文件。本發明專利技術滿足了快速讀取瓦片的需求，提高了系統性能，不影響瓦片生成存儲的速度，保證了瓦片生成后以及在地圖瓦片存儲布局優化的過程中，瓦片正常對外提供服務。

【技術實現步驟摘要】

本專利技術屬于分布式存儲
，具體涉及一種基于MapReduce的地圖瓦片存儲 布局優化方法。
技術介紹
地理信息系統（Geographic Information System，GIS)是一個運用計算機科學對 地理信息進行采集、存儲、管控、檢索、處理、分析和顯示的綜合性技術系統。GIS具有數據量 大、需要復雜的空間處理與分析等特點，而云計算技術具有分布式存儲、高吞吐量、分布式 計算、負載均衡、擴展性、數據備份以及錯誤恢復等特點，所以使得云計算廣泛地應用在GIS 領域中。目前，國內外的公司和研究機構相繼推出各自的GIS產品，包括國外的MapXtreme、 GeoMedia WebMap、MapServer、MapGuide 以及 Google Maps 等，國內的 SuperMap、MapGIS 和 GeoBeans 等。 GIS產品主要是向用戶輸出大數據量的點陣形式的地圖，并在其中包含了諸如空 間數據的檢索、查詢等常見內容。傳統的GIS產品提供的圖片是由GIS服務器實時動態渲 染生成的。而由于服務器通常需要比較長的時間才能將用戶感興趣區域的地圖轉換為圖片 格式，因此很大程度上影響了 GIS產品的響應速度。在"地圖瓦片"概念提出后，以瓦片金 字塔為模型的地圖瓦片預生成方案通過對地圖進行預先切片生成地圖瓦片后將其存儲在 地圖服務器端，取代圖片的實時動態渲染生成，從而有效的解決了 GIS產品服務的效率問 題。所謂地圖切片是指將指定地理范圍內的地圖，在某一比例尺級別下，切割成若干行和列 均為固定尺寸的正方形圖片的過程，這些規整的圖片又稱為地圖瓦片。地圖切片針對每個 地圖切片所表示的地理范圍，進行下一個縮放級別的地圖切片，直至地圖達到設定的切片 級數或者最大(最?。┍壤?。 這些GIS產品在地圖瓦片生成方案上大多采用瓦片按行生成或者瓦片按照空間 鄰近性生成。這兩種方式各有優缺點。按行生成瓦片可以保證很快的生成速度，但是由于 寫入的瓦片不符合空間臨近性，所以瓦片訪問時效率比較低；按照空間臨近性生成瓦片雖 然寫入的瓦片在訪問時效率較高，但是瓦片生成速度比較慢。
技術實現思路
本專利技術的目的是提供一種，解決地 圖瓦片存儲不符合空間臨近性原則、讀取瓦片性能差的問題。 本專利技術所采用的技術方案是： ，其特征在于： 包括以下步驟： 步驟一 ：Map任務讀取地圖瓦片金字塔生成時形成的瓦片索引表，根據（IndexKey， IndexValue)鍵值對中的IndexKey計算出該瓦片在金字塔中的順序號Number，將IndexKey 替換為其對應的Number值，形成（Number，IndexValue)鍵值對輸出； 步驟二：采用自定義分區算法將得到的（Number，IndexValue)鍵值對進行分區，使得 每個分區中Number列表是有序的，分區之間的Number也是有序的； 步驟三：每一個Reduce任務獲得屬于自己分區的（Number，IndexValue)鍵值對，采用 自定義分組算法對所有鍵值對進行分組，將所有（Number，IndexValue)鍵值對中的Number 替換為同一個值NumberO,使得每一個Reduce任務最終只處理一個分組，這個唯一分組為 (NumberO, List (IndexValue))； 步驟四：Reduce 任務循環讀取（NumberO,List(IndexValue))中的每一個 IndexValue， 根據該索引值讀取地圖瓦片實體數據，然后將其寫入到新的打包文件中，并同時更新索引 表中該地圖瓦片對應的索引項，使該索引項指向新的打包文件； 步驟五：所有地圖瓦片重新寫入結束之后，將舊的打包文件刪除。 步驟一中，瓦片索引表的組織形式為（IndexKey，IndexValue)鍵值對；其中， 行鍵IndexKey由地圖瓦片金字塔版本名稱、層級和行列號得出的四叉樹編碼組成，列族 IndexValue由地圖瓦片打包文件名稱、瓦片在打包文件中的偏移量、瓦片大小和刪除標志 位組成。 步驟一中，根據（IndexKey，IndexValue)鍵值對中的IndexKey計算該瓦片在金字 塔中的順序號Number的具體過程為： 1) 獲得該金字塔的最小級別MinLevel，根據該MinLevel計算出該級別下第一張瓦片 的四叉樹編碼MinQuadtreeCode，該四叉樹編碼即為該金字塔下的最小四叉樹編碼； 2) 從IndexKey中解析出該地圖瓦片對應的四叉樹編碼CurrentQuadtreeCode和該地 圖瓦片所在層級CurrentLevel，根據該CurrentLevel計算出該級別下第一張地圖瓦片的 四叉樹編碼CurrentMinQuadtreeCode，并計算出CurrentLevel和MinLevel之間所有的地 圖瓦片數 FirstTileCount ; 3) 根據公式 CurrentQuadtreeCode-CurrentMinQuadtreeCode 得出 QuanternaryNumber即地圖瓦片在當前層級的四進制順序號，最后將QuanternaryNumber 轉換為十進制并與FirstTileCount相加，即可得到地圖瓦片順序號Number。 步驟二中，采用自定義分區算法將得到的（Number，IndexValue)鍵值對進行分區 的具體過程為： 分區數目等于Reduce任務數； 分區算法基于公式式中，OrderPartitioner表示分區號，Number表示Map任務輸出的地圖瓦片順序號， NumPartitions表示Reduce數量即分區數量，TileCount表示處理的總瓦片數。 本專利技術具有以下優點： 本專利技術是一種地圖瓦片存儲布局優化方案，利用該方案可以調整地圖瓦片存儲數據， 使其符合空間臨近性原則，提高瓦片讀取性能。解決了地圖瓦片存儲不符合空間臨近性原 貝1J，讀取瓦片性能差的問題，滿足了 GIS應用要求盡可能低延時的訪問地圖數據的需求，同 時不影響瓦片生成存儲的速度，也保證了地圖瓦片生成后，以及在瓦片存儲布局優化的過 程中，瓦片可以正常對外提供服務。【附圖說明】 圖1是本專利技術流程圖； 圖2是瓦片索引IndexKey ; 圖3是瓦片索引IndexValue ; 圖4是Map任務過程?！揪唧w實施方式】 下面結合【具體實施方式】對本專利技術進行詳細的說明。 本專利技術涉及的，針對現有方案的優 缺點，在瓦片按行生成的基礎上，對生成后的瓦片進行瓦片存儲布局的優化，這樣既保留了 瓦片按行生成的高速度，同時也提高了瓦片的訪問效率，并且在優化過程中，能夠保證瓦片 對外提供正常的服務。 參見圖1，本專利技術具體包括以下步驟： 步驟一 ：Map任務讀取地圖瓦片金字塔生成時形成的瓦片索引表，根據（IndexKey， IndexValue)鍵值對中的IndexKey計算出該瓦片在金字塔中的順序號Number，將IndexKey 替換為其對應的Number值，形成（Number，IndexValue)鍵值對輸出。 所述瓦片索引表的組織形式為（IndexKey，IndexValue)鍵值對；其中，行 鍵IndexKey由地圖瓦片金字塔版本名稱、層級和行列號得出的四叉樹編碼組本文檔來自技高網...

【技術保護點】
基于MapReduce的地圖瓦片存儲布局優化方法，其特征在于：包括以下步驟：步驟一：Map任務讀取地圖瓦片金字塔生成時形成的瓦片索引表，根據（IndexKey，IndexValue）鍵值對中的IndexKey計算出該瓦片在金字塔中的順序號Number，將IndexKey替換為其對應的Number值，形成（Number，IndexValue）鍵值對輸出；步驟二：采用自定義分區算法將得到的（Number，IndexValue）鍵值對進行分區，使得每個分區中Number列表是有序的，分區之間的Number也是有序的；步驟三：每一個Reduce任務獲得屬于自己分區的（Number，IndexValue）鍵值對，采用自定義分組算法對所有鍵值對進行分組，將所有（Number，IndexValue）鍵值對中的Number替換為同一個值Number0，使得每一個Reduce任務最終只處理一個分組，這個唯一分組為（Number0，List（IndexValue））；步驟四：Reduce任務循環讀?。∟umber0，List（IndexValue））中的每一個IndexValue，根據該索引值讀取地圖瓦片實體數據，然后將其寫入到新的打包文件中，并同時更新索引表中該地圖瓦片對應的索引項，使該索引項指向新的打包文件；步驟五：所有地圖瓦片重新寫入結束之后，將舊的打包文件刪除。...

【技術特征摘要】

【專利技術屬性】
技術研發人員：李龍海，張少將，黃芬芬，付少鋒，
申請(專利權)人：西安電子科技大學，
類型：發明
國別省市：陜西;61