一種Hadoop下的剖分遙感影像并行處理方法技術

本發明專利技術屬于影像處理技術領域，公開了一種Hadoop下的剖分遙感影像并行處理方法,包括：部署無線傳感器，選擇簇頭，分簇，簇內節點構成簡單圖模型：通過S103得到簇內所有節點在簇內所處的位置，將每個節點當做圖的一個頂點，每兩個相鄰節點間用邊相連接；所述簡單圖模型為圖像的顯著性模型；簇內權值的計算；簇內權值的計算后進行網絡數據認證；網絡數據認證后進行數據庫的緩存管理。本發明專利技術解決了傳統的SVM分類方法的構造基于單機環境，受限于CPU的計算能力和內存的大小，只能串行處理遙感影像文件，仍然需要消耗很長的時間的問題；本發明專利技術圖像數據處理效果清晰，準確率高。

【技術實現步驟摘要】
一種Hadoop下的剖分遙感影像并行處理方法
本專利技術屬于影像處理
，尤其涉及一種Hadoop下的剖分遙感影像并行處理方法。
技術介紹
隨著遙感技術的飛速發展，遙感影像被廣泛應用于農業、林業、地質、礦產、水文、海洋、環境監測等方面，而遙感影像分類作為遙感領域中的基礎工作流程，也在不斷地進步。近年來，遙感影像數據量呈爆炸性增長，形成GB級，TB級，PB級的發展趨勢。這給遙感影像分類工作帶來了巨大的壓力，如何快速、準確的對遙感影像進行分類成為了遙感影像應用急需解決的課題。在大量實際應用中，分類工作普遍還是采用人工提取分類模板的監督分類方法或自動選取樣本的半監督分類方法，都需要根據先驗知識創建分類模型之后，再對影像分類處理。例如，基于SVM(支持向量機，SupportVectorMachine)森林分類方法無需人工采集分類樣本，實現了機器自動采樣分類的過程。傳統的基于SVM森林分類方法利用了數字高程模型(DigitalElevationModel)、Modis傳感器生產的250米分辨率影像，對Landsat衛星系列上搭載的TM、ETM+傳感器產生的30米分辨率影像進行輔助分類，SVM森林分類方法通過多種數據的復雜運算選取出精確的分類樣本，精確的分類樣本陸續進入SVM分類器，對SVM分類器進行訓練，直到SVM分類器達到足夠的分類精度，最后使用訓練所得的SVM分類器對影像分類。機器自動采樣訓練分類的特性減少了樣本選取的時間，節省了人力物力。綜上所述，現有技術存在的問題是：傳統的SVM分類方法的構造基于單機環境，受限于CPU的計算能力和內存的大小，只能串行處理遙感影像文件，仍然需要消耗很長的時間。而且在處理過程中容易因為機器故障，導致程序崩潰，甚至基礎遙感影像數據也會受損，單機環境的分類效率已經難以滿足海量遙感影像分類處理任務的需求，從而造成圖像數據處理效果不清晰，準確率低。
技術實現思路
為解決現有技術存在的問題，本專利技術的目的在于提供一種Hadoop下的剖分遙感影像并行處理方法。本專利技術是這樣實現的，一種Hadoop下的剖分遙感影像并行處理方法，包括以下步驟：步驟一、部署無線傳感器：在面積為S＝W×L的檢測區域內，將無線傳感器部署在檢測區域；步驟二、選擇簇頭：將整個檢測區域按網格進行均勻劃分，使每個網格的大小形狀相同，在每個網格中選擇位置距離網格中心最近的傳感器節點作為簇頭；步驟三、分簇：簇頭選擇完成后，簇頭廣播Cluster{ID，N，Hop}信息，其中，ID為節點的編號，N為Cluster信息轉發的跳數，且N的初值為0，Hop為系統設定的跳數；處于簇頭附近的鄰居節點收到Cluster信息后N增加1再轉發這一信息，直到N＝Hop就不再轉發Cluster信息；簇頭的鄰居節點轉發Cluster信息后再向將Cluster信息轉發給自己的鄰居節點，然后發送一個反饋信息Join{ID，N，Eir，dij，ki}給將Cluster信息轉發給自己的節點，最終將Join信息轉發給簇頭表示自己加入該簇，其中，Eir表示該節點此時的剩余能量，dij表示兩節點間的距離，ki表示該節點能夠監測得到的數據包的大小；如果一個節點收到了多個Cluster信息，節點就選擇N值小的加入該簇，若N相等節點就隨便選擇一個簇并加入到該簇；如果節點沒有收到Cluster信息，則節點發送Help信息，加入離自己最近的一個簇；步驟四、簇內節點構成簡單圖模型：通過步驟三得到簇內所有節點在簇內所處的位置，將每個節點當做圖的一個頂點，每兩個相鄰節點間用邊相連接；所述簡單圖模型為圖像的顯著性模型，建立圖像的顯著性模型中，利用預定過分割算法對所述圖像進行過分割，得到至少一個區域，同一個所述區域中各個像素點的顏色值相同；確定每個所述區域的顏色值和質心；根據各個區域所對應的顏色值以及各個區域的質心，建立所述顯著性模型；所述顯著性模型為：其中，Si1為區域Ri中任一像素點的顯著性值，w(Rj)為區域Rj中的像素點的個數，DS(Ri,Rj)用于表征所述區域Ri和所述區域Rj之間空間位置差異的度量值，DC(Ri,Rj)用于表征所述區域Ri和所述區域Rj之間顏色差異的度量值，N為對所述圖像進行過分割后得到的區域的總個數，DS(Ri,Rj)為：Center(Ri)為所述區域Ri的質心，Center(Rj)為所述區域Rj的質心，當所述圖像中各個像素點的坐標均歸一化到[0,1]時；或按照各個像素點的顏色值，對所述圖像中各個像素點進行歸類，將相同顏色值的像素點歸類為同一種顏色類型；根據每種顏色類型的顏色值，建立所述顯著性模型；步驟五、簇內權值的計算：通過所述步驟三，簇頭獲取簇內成員節點的Eir、dij和ki，計算相鄰兩節點i，j之間的權值，權值的計算公式為：Wij＝a1(Eir+Ejr)+a2dij+a3(ki+kj)；其中，Ejr、kj分別表示節點j的剩余能量和節點j能夠監測得的數據的大小，且a1+a2+a3＝1，這樣系統就可以根據系統對Eir、dij或ki所要求的比重不同調整ai的值而得到滿足不同需要的權值；步驟六，簇內權值的計算后進行網絡數據認證：所網絡數據認證方法包括：生成隨機數rkeyid，利用橢圓曲線密碼算法計算相應的公鑰rPKid，rPKid＝rkeyid×G，G為橢圓曲線的基點，將rPKid和用戶標識UID對外發送，網絡數據認證模塊的密鑰生成系統生成隨機數rkeyKMC，利用橢圓曲線密碼算法計算其相應的公鑰rPKKMC，其中，rPKKMC＝rkeyKMC×G，并記γid＝rPKid+rPKKMC；利用用戶標識UID及人臉識別數據庫的數據計算標識私鑰keyid和標識公鑰Rid，具體為：生成私鑰矩陣和公鑰矩陣，私鑰矩陣和公鑰矩陣的大小均為m×h，m和h均為正整數；利用用戶標識UID及人臉識別數據庫的數據使用散列算法計算用戶標識UID的散列值，將所述散列值分為m段，作為私鑰矩陣和公鑰矩陣的列映射值map[i]，i＝0,1,2......m-1；計算：ri,map[i]為私鑰矩陣中的一個元素；Xi,map[i]為公鑰矩陣中的一個元素；n為橢圓曲線的階；步驟七，網絡數據認證后進行數據庫的緩存管理，數據庫的緩存管理方法包括：預先為數據庫中的數據表建立記錄緩存，所述記錄緩存以數據行為單位進行數據讀寫；當接收到客戶端的數據查詢請求時，在所述記錄緩存中查找所請求的數據；若查找失敗，則在所述數據庫的頁緩存中查找所請求的數據，所述頁緩存以頁為基本單位進行數據讀寫；將在所述記錄緩存或所述頁緩存中查找到的數據返回至客戶端；向所述記錄緩存中添加數據，具體的，將在頁緩存中查找到的數據添加至記錄緩存中。進一步，所述向所述記錄緩存中添加數據的具體過程包括：方式一：在記錄緩存中，選擇與待添加數據具有相同數量級的記錄數據進行替換；或方式二：在記錄緩存中，選擇與待添加數據具有不同數量級的記錄緩存頁，回收該緩存頁所占用的空間，利用所回收的空間為所述待添加數據分配新的記錄緩存頁，將所述待添加數據寫入該新的記錄緩存頁；其中，根據以下方法選擇所述方式一或方式二：獲得與所述待添加數據具有相同數量級的記錄數據的訪問頻率Frec、以及與待添加數據具有不同數量級的記錄緩存頁的訪問頻率Fpage；判斷Frec＞r本文檔來自技高網...

【技術保護點】
一種Hadoop下的剖分遙感影像并行處理方法，其特征在于，所述Hadoop下的剖分遙感影像并行處理方法包括以下步驟：步驟一、部署無線傳感器：在面積為S＝W×L的檢測區域內，將無線傳感器部署在檢測區域；步驟二、選擇簇頭：將整個檢測區域按網格進行均勻劃分，使每個網格的大小形狀相同，在每個網格中選擇位置距離網格中心最近的傳感器節點作為簇頭；步驟三、分簇：簇頭選擇完成后，簇頭廣播Cluster{ID，N，Hop}信息，其中，ID為節點的編號，N為Cluster信息轉發的跳數，且N的初值為0，Hop為系統設定的跳數；處于簇頭附近的鄰居節點收到Cluster信息后N增加1再轉發這一信息，直到N＝Hop就不再轉發Cluster信息；簇頭的鄰居節點轉發Cluster信息后再向將Cluster信息轉發給自己的鄰居節點，然后發送一個反饋信息Join{ID，N，Eir，dij，ki}給將Cluster信息轉發給自己的節點，最終將Join信息轉發給簇頭表示自己加入該簇，其中，Eir表示該節點此時的剩余能量，dij表示兩節點間的距離，ki表示該節點能夠監測得到的數據包的大小；如果一個節點收到了多個Cluster信息，節點就選擇N值小的加入該簇，若N相等節點就隨便選擇一個簇并加入到該簇；如果節點沒有收到Cluster信息，則節點發送Help信息，加入離自己最近的一個簇；步驟四、簇內節點構成簡單圖模型：通過步驟三得到簇內所有節點在簇內所處的位置，將每個節點當做圖的一個頂點，每兩個相鄰節點間用邊相連接；所述簡單圖模型為圖像的顯著性模型，建立圖像的顯著性模型中，利用預定過分割算法對所述圖像進行過分割，得到至少一個區域，同一個所述區域中各個像素點的顏色值相同；確定每個所述區域的顏色值和質心；根據各個區域所對應的顏色值以及各個區域的質心，建立所述顯著性模型；所述顯著性模型為：...

【技術特征摘要】
1.一種Hadoop下的剖分遙感影像并行處理方法，其特征在于，所述Hadoop下的剖分遙感影像并行處理方法包括以下步驟：步驟一、部署無線傳感器：在面積為S＝W×L的檢測區域內，將無線傳感器部署在檢測區域；步驟二、選擇簇頭：將整個檢測區域按網格進行均勻劃分，使每個網格的大小形狀相同，在每個網格中選擇位置距離網格中心最近的傳感器節點作為簇頭；步驟三、分簇：簇頭選擇完成后，簇頭廣播Cluster{ID，N，Hop}信息，其中，ID為節點的編號，N為Cluster信息轉發的跳數，且N的初值為0，Hop為系統設定的跳數；處于簇頭附近的鄰居節點收到Cluster信息后N增加1再轉發這一信息，直到N＝Hop就不再轉發Cluster信息；簇頭的鄰居節點轉發Cluster信息后再向將Cluster信息轉發給自己的鄰居節點，然后發送一個反饋信息Join{ID，N，Eir，dij，ki}給將Cluster信息轉發給自己的節點，最終將Join信息轉發給簇頭表示自己加入該簇，其中，Eir表示該節點此時的剩余能量，dij表示兩節點間的距離，ki表示該節點能夠監測得到的數據包的大小；如果一個節點收到了多個Cluster信息，節點就選擇N值小的加入該簇，若N相等節點就隨便選擇一個簇并加入到該簇；如果節點沒有收到Cluster信息，則節點發送Help信息，加入離自己最近的一個簇；步驟四、簇內節點構成簡單圖模型：通過步驟三得到簇內所有節點在簇內所處的位置，將每個節點當做圖的一個頂點，每兩個相鄰節點間用邊相連接；所述簡單圖模型為圖像的顯著性模型，建立圖像的顯著性模型中，利用預定過分割算法對所述圖像進行過分割，得到至少一個區域，同一個所述區域中各個像素點的顏色值相同；確定每個所述區域的顏色值和質心；根據各個區域所對應的顏色值以及各個區域的質心，建立所述顯著性模型；所述顯著性模型為：其中，Si1為區域Ri中任一像素點的顯著性值，w(Rj)為區域Rj中的像素點的個數，DS(Ri,Rj)用于表征所述區域Ri和所述區域Rj之間空間位置差異的度量值，DC(Ri,Rj)用于表征所述區域Ri和所述區域Rj之間顏色差異的度量值，N為對所述圖像進行過分割后得到的區域的總個數，DS(Ri,Rj)為：Center(Ri)為所述區域Ri的質心，Center(Rj)為所述區域Rj的質心，當所述圖像中各個像素點的坐標均歸一化到[0,1]時；或按照各個像素點的顏色值，對所述圖像中各個像素點進行歸類，將相同顏色值的像素點歸類為同一種顏色類型；根據每種顏色類型的顏色值，建立所述顯著性模型；步驟五、簇內權值的計算：通過所述步驟三，簇頭獲取簇內成員節點的Eir、dij和ki，計算相鄰兩節點i，j之間的權值，權值的計算公式為：Wij＝a1(Eir+Ejr)+a2dij+a3(ki+kj)；其中，Ejr、kj分別表示節點j的剩余能量和節點j能夠監測得的數據的大小，且a1+a2+a3＝1，這樣系統就可以根據系統對Eir、dij或ki所要求的比重不同調整ai的值而得到滿足不同需要的權值；步驟六，簇內權值的計算后進行網絡數據認證：所網絡數據認證方法包括：生成隨機數rkeyid，利用橢圓曲線密碼算法計算相應的公鑰rPKid，rPKid＝rkeyid×G，G為橢圓曲線的基點，將rPKid和用戶標識UID對外發送，網絡數據認證模塊的密鑰生成系統生成隨機數rkeyKMC，利用橢圓曲線密碼算法計算其相應的公鑰rPKKMC，其中，rPKKMC＝rkeyKMC×G，并記γid＝rPKid+rPKKMC；利用用戶標識UID及人臉識別數據庫的數據計算標識私鑰keyid和標識公鑰Rid，具體為：生成私鑰矩陣和公鑰矩陣，私鑰矩陣和公鑰矩陣的大小均為m×h，m和h均為正整數；利用用戶標識UID及人臉識別數據庫的數據使用散列算法計算用戶標識UID的散列值，將所述散列值分為m段，作為私鑰矩陣和公鑰矩陣的列映射值map[i]，i＝0,1,2......m-1；計算：ri,map[i]為私鑰矩陣中的...

【專利技術屬性】
技術研發人員：杜根遠，姚丹丹，邱穎豫，盧涵宇，袁雅婧，胡濤，
申請(專利權)人：許昌學院，
類型：發明
國別省市：河南,41