一種基于任務樹的大尺度遙感影像并行鑲嵌方法技術

本發明專利技術涉及一種基于任務樹的大尺度遙感影像并行鑲嵌方法。包括以下步驟：1）基于鄰接關系和遞歸任務劃分的鑲嵌任務樹構建，根據平衡二叉樹構建方法進行鑲嵌任務樹構建；2）鑲嵌任務樹的DAG模型表示；3）基于CPDS-SQ（基于關鍵路徑和狀態隊列的動態DAG調度策略）的鑲嵌任務樹動態調度；4）大量鑲嵌任務的并行處理。本發明專利技術的有益效果為：通過將一系列鑲嵌任務間的數據依賴關系從基于MPI的并行鑲嵌實現流程中解耦出來，并交動態任務樹調度來進行任務依賴關系控制，如此可大幅簡化并行鑲嵌過程的并行控制邏輯和并行實現，最大程度地挖掘大尺度鑲嵌的并行性，從而大大提高大尺度鑲嵌的處理性能和擴展性。

【技術實現步驟摘要】

本專利技術涉及。
技術介紹
大尺度遙感影像鑲嵌被廣泛關注并應用于大區域甚至覆蓋全球范圍的熱帶雨林、土地利用、環境變化等科學研究中。遙感影像鑲嵌通常將大量的具有重疊區域的遙感影像數據無縫地拼接成一幅幾何準確、輻射平衡連續的大鑲嵌圖，從而為整個大地理區域提供一個連續、全局的視圖。然而鑲嵌尺度擴大到大區域、全國、甚至是全球范圍時，大尺度鑲嵌面臨挑戰:海量的遙感影像數據，復雜的遙感影像鑲嵌處理流程，驚人的計算能力需求，由大量具有前驅后續數據依賴關系的子區域鑲嵌任務及復雜處理流程導致遙感影像鑲嵌算法在集群平臺上的MPI并行實現相當復雜且易錯，同時算法的并行擴展性差，而且大量具有重疊區的遙感影像和眾多具有數據依賴關系的處理任務如何有效組織和管理也并非易事。顯然，傳統方式的并行遙感影像鑲嵌在大尺度處理問題上顯得力不從心。具有多層并行結構且計算規模日益增加的集群系統被廣泛用于高性能計算領域，同樣也用于在遙感數據的并行處理中。目前，遙感數據并行處理算法中通常采用基于消息傳遞模型的MP1、共享內存模型的OpenMP以及MPI+OpenMP的混合并行模型。然而，在面對大尺度遙感影像鑲嵌問題的時候，純粹依賴于MPI或者OpenMP等低層次的并行模式將會使得大尺度遙感影像鑲嵌的并行處理流程異常復雜，由任務間依賴關系引入的額外的計算節點間通信和同步邏輯將及其復雜和困難。
技術實現思路
本專利技術的目的是提供，通過將任務之間的依賴關系從鑲嵌并行處理流程中解耦出來，從而提供了一種簡單卻有效的方法來提高遙感影像鑲嵌的大尺度處理能力。本專利技術的目的是通過以下技術方案來實現: ，其特征在于，包括以下步驟: 1)、利用Row-Path兩級排序方法對大量待鑲嵌遙感影像進行排序，利用分而治之方法將大尺度鑲嵌問題遞歸劃分為一系列具有前驅后繼數據依賴關系的任務，并根據平衡二叉樹構建方法進行鑲嵌任務樹構建； 2)、對構建的鑲嵌任務樹的任務節點和任務間數據依賴關系利用DAG(數據庫可用性組)模型進行描述和表示，其中利用基于鑲嵌任務的覆蓋區域和數據量進行運行時間估計，并基于運行時間計算每個任務節點的權值，從而形成帶權任務DAG ； 3)、任務優先級初始化，利用最早開始時間Ht最為任務初始優先級形成初始調度序列； 4)、基于狀態隊列的動態調度，為就緒任務自適應地分配計算資源、指定鑲嵌影像數據和準備處理參數文件，并將任務插入就緒隊列，經優先級排序后順序提交到集群調度系統中執行并加入運行隊列； 5)、實時任務狀態監控與優先級重新計算，對運行隊列中的任務進行狀態監控，重新計算已完成任務的所有后續任務的優先級，并將就緒的后續任務加入就緒隊列，直至所有任務執行完成；完成后的失效任務重新提交； 6)、利用MPI消息傳遞模型對單個鑲嵌任務進行細粒度并行實現，單個并行處理任務的處理流程為:細粒度任務/數據劃分、投影變換、圖像配準、基于直方圖匹配的輻射均衡化、圖像采樣、重疊區拼接線提取、基于拉普拉斯-高斯金字塔加權融合的重疊區勻色處理、計算結果并發輸出。進一步的，所述步驟I)的鑲嵌任務樹的構建過程中，利用一種簡單的平衡二叉樹構建方法構建扁平的平衡任務樹，首先，利用Row-Path兩級排序方法得到空間地理位置偏序的遙感影像序列；隨后，對排序后的遙感影像序列進行遞歸劃分，每個劃分過程中遙感影像序列被劃分為影像數量相當的兩個子序列，分別被封裝為左子和右子結點。此外，根據影像之間的鄰接關系(重疊區域)調整劃分后的子序列，用于消除“假孤立影像”(由于排序和序列劃分導致原本與其他影像有重疊區域的某景遙感影與當前子序列中的其他影像不存在重疊區域)。進一步的，所述步驟3)、4)和5)中，采用基于狀態隊列的動態DAG調度方法對并行鑲嵌任務進行有效調度，利用實時狀態監控得到的狀態報告將任務放入不同的狀態隊列并進行調度控制。同時采用自定義格式的XML文件方便地指定并描述每個鑲嵌任務所需的遙感影像數據，同時為每個任務設計參數文件來描述每個鑲嵌任務的處理參數。此外，在調度過程中，任務提交給集群調度軟件PBS (工作負載管理器和調度器)進行實際的計算資源分配和執行；支持利用其他本地資源管理器如輕量級的大規模任務調度器。本專利技術的有益效果為:通過將一系列鑲嵌任務間的數據依賴關系從基于MPI的并行鑲嵌實現流程中解耦出來，并交動態任務樹調度來進行任務依賴關系控制，如此可大幅簡化并行鑲嵌過程的并行控制邏輯和并行實現，最大程度地挖掘大尺度鑲嵌的并行性，從而大大提高大尺度鑲嵌的處理性能和擴展性。附圖說明下面根據附圖對本專利技術作進一步詳細說明。圖1是本專利技術實施例所述的基于任務樹的大尺度遙感影像并行鑲嵌方法并行化鑲嵌調度的流程 圖2是本專利技術實施例所述的基于任務樹的大尺度遙感影像并行鑲嵌方法的遙感數據處理的任務樹構建示意 圖3是本專利技術實施例所述的基于任務樹的大尺度遙感影像并行鑲嵌方法的動態任務調度不意 圖4是本專利技術實施例所述的基于任務樹的大尺度遙感影像并行鑲嵌方法中每個單獨執行的鑲嵌任務PMosaic的執行示意圖。具體實施例方式如圖1所示，本專利技術實施例所述的基于任務樹的大尺度遙感影像并行鑲嵌方法，包括以下步驟: I)、基于鄰接關系和遞歸任務劃分的鑲嵌任務樹構建。由于大尺度遙感鑲嵌的數據量很大且輸入沒有固定順序，所以我們要對輸入影像進行排序并規定任務劃分。為了達到細粒度的劃分效果，我們將在一個鑲嵌任務中只放入兩張遙感影像。也就是說，任務樹中的每個非葉子節點只有兩個子節點，并且我們建立出的是一個二叉任務樹。顯然，平衡二叉任務樹在執行時間上是最優的，它可以保證更多的節點被利用。2)、鑲嵌任務樹的DAG模型表示。任務樹的執行是一個由下向上的過程，也就是說如果節點ni是節點nk的子節點，那么只有在ni執行之后nk才可以被執行。我們用G=(V, E，W，Ht, Hb)來表示DAG模型，其中V是節點集合，E是有向邊的集合，W是每個結點(任務)的計算時間估計值，Ht與Hb均表示任務高度,只是起點不同。3)、基于CPDS-SQ (基于關鍵路徑和狀態隊列的動態DAG調度策略)的鑲嵌任務樹動態調度。起初，我們有一個初始優先級，我們把滿足執行條件的任務放入就緒隊列，這些任務被交給PBS任務調度器分配各集群上的節點來完成鑲嵌任務。一旦這些任務開始執行，我們將這些任務移入運行隊列，當他任務完成時我們將任務移入完成隊列，然后CPDS-SQ會將運行隊列中相應的任務移除并更新與其有關系的相應任務的優先級與執行條件。CPDS-SQ會監視所有隊列與調控運行，直至所有任務完成。4)、大量鑲嵌任務的并行處理。PBS批處理調度器調度PMosaic程序完成每個鑲嵌任務。PMosaic程序是一個MPI并行程序，它主要包含圖像配準與重采樣階段階段，圖像配準階段:管理節點進行圖像預處理(圖像投影轉換等工作)和直方圖統計，管理節點根據映射關系計算出輸出圖像的區域范圍，并同時獲取η副圖像之間重疊區域列表；之后對重疊區域有效范圍進行均勻劃分，得到計算節點PfPn的計算任務Taskl Taskm(目標圖像子區域范圍)；各計算節點計算獲取的任務Taski中的結果圖像對應的原始圖像的范圍，之后對圖像進行配準，獲取控制點信息；所有任務處理完成之后，將各個節點的控制本文檔來自技高網...

【技術保護點】
一種基于任務樹的大尺度遙感影像并行鑲嵌方法，其特征在于，包括以下步驟：1）、利用Row?Path兩級排序方法對大量待鑲嵌遙感影像進行排序，利用分而治之方法將大尺度鑲嵌問題遞歸劃分為一系列具有前驅后繼數據依賴關系的任務，并根據平衡二叉樹構建方法進行鑲嵌任務樹構建；2）、對構建的鑲嵌任務樹的任務節點和任務間數據依賴關系利用DAG模型進行描述和表示，其中利用基于鑲嵌任務的覆蓋區域和數據量進行運行時間估計，并基于運行時間計算每個任務節點的權值，從而形成帶權任務DAG；3）、任務優先級初始化，利用最早開始時間Ht最為任務初始優先級形成初始調度序列；4）、基于狀態隊列的動態調度，為就緒任務自適應地分配計算資源、指定鑲嵌影像數據和準備處理參數文件，并將任務插入就緒隊列，經優先級排序后順序提交到集群調度系統中執行并加入運行隊列；5）、實時任務狀態監控與優先級重新計算，對運行隊列中的任務進行狀態監控，重新計算已完成任務的所有后續任務的優先級，并將就緒的后續任務加入就緒隊列，直至所有任務執行完成，完成后的失效任務重新提交；6）、利用MPI消息傳遞模型對單個鑲嵌任務進行細粒度并行實現。

【技術特征摘要】
1.一種基于任務樹的大尺度遙感影像并行鑲嵌方法，其特征在于，包括以下步驟: 1)、利用Row-Path兩級排序方法對大量待鑲嵌遙感影像進行排序，利用分而治之方法將大尺度鑲嵌問題遞歸劃分為一系列具有前驅后繼數據依賴關系的任務，并根據平衡二叉樹構建方法進行鑲嵌任務樹構建； 2)、對構建的鑲嵌任務樹的任務節點和任務間數據依賴關系利用DAG模型進行描述和表示，其中利用基于鑲嵌任務的覆蓋區域和數據量進行運行時間估計，并基于運行時間計算每個任務節點的權值，從而形成帶權任務DAG ； 3)、任務優先級初始化，利用最早開始時間Ht最為任務初始優先級形成初始調度序列； 4)、基于狀態隊列的動態調度，為就緒任務自適應地分配計算資源、指定鑲嵌影像數據和準備處理參數文件，并將任務插入就緒隊列，經優先級排序后順序提交到集群調度系統中執行并加入運行隊列； 5)、實時任務狀態監控與優先級重新計算，對運行隊列中的任務進行狀態監控，重新計算已完成任務的所有后續任務的優先級，并將就緒的后續任務加入就緒隊列，直至所有任務執行完成，完成后的失效任務重新提交； 6)、利用MPI消息傳遞模型對單個鑲嵌任務進行細粒度并行實現。2.根據權利要求1所述...

【專利技術屬性】
技術研發人員：馬艷，王力哲，劉定生，劉鵬，劉志文，
申請(專利權)人：中國科學院對地觀測與數字地球科學中心，
類型：發明
國別省市：