【技術實現步驟摘要】
本專利技術屬于遙感圖像處理領域，涉及一種大幾何變形遙感影像初始配準方法及模型，尤其涉及一種非監督多階段的大旋轉角度遙感影像初始配準方法及模型。
技術介紹
1、航空航天遙感影像，是人類獲取地球表面空間信息的重要數據源。受衛星軌道或者航飛軌跡、拍攝角度、地形起伏等多因素影響，獲取的航空航天遙感圖像往往存在復雜的仿射變換和畸變，包括尺度變化、旋轉、剪切和透視失真等。對于大幾何變形的遙感圖像，目前主要采用手工方式進行初始對齊，不僅工作單調枯燥，而且極大制約數據處理的自動化程度。實現遙感影像自動初始配準，快速建立遙感影像間的近似幾何變換關系，是其自動化智能化數據處理的關鍵前提。
2、基于特征點的匹配方法是常用的手段，經典算法有尺度不變特征變換(sift)、加速魯棒特征(surf)和方向加速穩健特征(orb)等。這類方法首先檢測圖像中的關鍵點，提取其特征描述符，進行圖像間的特征匹配，然后利用隨機采樣一致性(ransac)算法剔除錯誤匹配點，最后估計圖像間的仿射變換矩陣或單應性矩陣。這類方法在處理小角度變換和特征明顯的圖像時效果良好，但對于紋理較少、重復性圖案、存在大尺度幾何變形的遙感圖像，特征點的檢測和匹配可靠性顯著下降，導致變換估計的準確性受限。
3、近年來，隨著深度學習的興起，研究者們嘗試利用神經網絡的強大非線性建模能力，解決圖像變換估計和對齊的問題。jaderberg等提出空間變換網絡(spatialtransformer?networks，stn)，作為一種可微的模塊，允許神經網絡在端到端的訓練過程中學習輸入
4、目前，遙感影像初始配準在小幾何變形和圖像特征明顯情況下效果良好，但在大幾何變形條件下，特征點的檢測和匹配可靠性顯著下降，導致變換估計的準確性受限。
技術實現思路
1、為了解決
技術介紹
中存在的上述技術問題，本專利技術提供了一種可以快速恢復遙感影像間近似的幾何變換關系以及提升圖像配準成功率的非監督多階段的大旋轉角度遙感影像初始配準方法及模型。
2、為了實現上述目的，本專利技術采用如下技術方案：
3、一種非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述非監督多階段的大旋轉角度遙感影像初始配準方法包括以下步驟：
4、1)建立數據集，所述數據集包括預訓練數據集以及航空航天影像微調數據集；
5、2)基于步驟1)建立得到的數據集構建大幾何變形遙感影像配準模型；
6、3)對步驟2)所構建的大幾何變形遙感影像配準模型進行訓練，得到影像配準模型；
7、4)基于步驟3)所得到的影像配準模型進行影像初始配準。
8、優選地，所述步驟1)中預訓練數據集的建立方式是：
9、a.1)megadepth數據集中篩選了m個場景，并從每個場景中隨機采樣n張圖像，得到共選取了m×n張高質量圖像，得到reference數據集；
10、a.2)對步驟a.1)所得到的reference數據集中每張圖像，按平移變換、剪切變換、旋轉變換以及縮放變換的順序依次進行變換，得到slave數據集；
11、所述平移變換是在水平方向以及垂直方向分別施加平移變換，平移像素是隨機選取的，將reference數據集進行平移變換后的數據記為ref_trans數據集；
12、所述剪切變換是在水平方向和垂直方向分別施加剪切變換，剪切角度隨機選取，將ref_trans數據集進行剪切變換后的數據記為ref_trans_sh數據集；
13、所述旋轉變換是對圖像施加旋轉操作，旋轉角度隨機選取，將ref_trans_sh數據集進行旋轉變換后的數據記為ref_trans_sh_rot數據集；
14、所述縮放變換是對圖像施加縮放操作，縮放因子隨機選取，將ref_trans_sh_rot數據集進行縮放變換后的數據記為slave數據集；
15、所述步驟1)中航空航天影像微調數據集的建立方式是：
16、b.1)從google?earth數據集選取了q張圖像，記為ref_remote數據集；
17、b.2)按照步驟a.2)中的方式，按固定的平移變換、剪切變換、旋轉變換、縮放變換的順序并以隨機生成參數的方式，對ref_remote數據集中每張影像進行變換，生成slave_remote數據集；所述ref_remote數據集以及slave_remote數據集構成航空航天影像微調數據集。
18、優選地，所述步驟2)的具體實現方式是：
19、2.1)采用多層swin?transformer架構構建特征提取模塊；
20、2.2)基于步驟2.1)構建得到的特征提取模塊依次構建縮放參數預測模塊、旋轉參數預測模塊、剪切參數預測模塊以及平移參數預測模塊；所述縮放參數預測模塊、旋轉參數預測模塊、剪切參數預測模塊以及平移參數預測模塊共同構成大幾何變形遙感影像配準模型。
21、優選地，所述步驟2.1)的具體實現方式是：
22、2.1.1)將輸入的兩幅影像進行堆疊為2通道影像數據；
23、2.1.2)對堆疊的2通道影像數據進行線性投影操作，得到線性投影矩陣；優選地，所述步驟2.1.2)的具體實現方式是：
24、2.1.2.1)將輸入影像數據分解成n不重疊的圖像塊(patch)，每一圖像塊的大小為4×4，p代表每個圖像塊的大小，i∈{1，…，n}，為圖像塊總數，h和w表示輸入影像數據的高與寬；
25、2.1.2.2)將每個圖像塊展平為一維向量并使用線性投影層將每個向量投影為指定維度c，形成圖像向量矩陣z0，設線性投影矩陣為e，則有：
26、
27、其中：z0的維度為n×c，其中每列表示圖像塊的特征向量；
28、2.1.3)對步驟2.1.2)所得到的線性投影矩陣的影像特征進行提取；優選地，所述步驟2.1.3)的具體實現方式是：
29、2.1.3.1)采用4個stage，每個stage里，由patch?merging和多個swintransformer?block組成；4個stage含有的swin?transformer?block數分別為2、2、4和2；其中，patch?merging主要在每個stage開始時，在行方向和本文檔來自技高網...
【技術保護點】
1.一種非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述非監督多階段的大旋轉角度遙感影像初始配準方法包括以下步驟：
2.根據權利要求1所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟1)中預訓練數據集的建立方式是：
3.根據權利要求2所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟2)的具體實現方式是：
4.根據權利要求3所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟2.1)的具體實現方式是：
5.根據權利要求4所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟2.2)中縮放參數預測模塊的構建方式是：
6.根據權利要求5所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟3)的具體實現方式是：
7.根據權利要求6所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟3.1)的具體實現方式是：利用預訓練數據集中的slave數據集和ref_trans_sh_rot數據
8.根據權利要求7所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述縮放參數預測模塊的權重預訓練的具體實現方式是：輸入數據為slave數據集和ref_trans_sh_rot數據集，對每個影像對堆疊為2通道影像數據，并將2通道影像數據輸入到特征提取模塊中提取影像特征，影像特征展平為向量后輸入到全連接層，將輸入特征壓縮為64維，采用ReLU激活函數處理后，再通過一個全連接層，輸出為1維，得到縮放因子；利用縮放因子構造轉換矩陣對數據集slave中影像進行轉換，將轉換后的影像與ref_trans_sh_rot數據集中影像進行灰度均方誤差作為損失，采用后向傳播算法對權值進行迭代更新直至收斂，完成縮放參數預測模塊的權重預訓練；
9.根據權利要求8所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟3.2)的具體實現方式是：
10.一種基于如權利要求1-9任一項所述的非監督多階段的大旋轉角度遙感影像初始配準方法構建得到的非監督多階段的大旋轉角度遙感影像初始配準模型。
...【技術特征摘要】
1.一種非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述非監督多階段的大旋轉角度遙感影像初始配準方法包括以下步驟：
2.根據權利要求1所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟1)中預訓練數據集的建立方式是：
3.根據權利要求2所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟2)的具體實現方式是：
4.根據權利要求3所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟2.1)的具體實現方式是：
5.根據權利要求4所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟2.2)中縮放參數預測模塊的構建方式是：
6.根據權利要求5所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟3)的具體實現方式是：
7.根據權利要求6所述的非監督多階段的大旋轉角度遙感影像初始配準方法，其特征在于：所述步驟3.1)的具體實現方式是：利用預訓練數據集中的slave數據集和ref_trans_sh_rot數據集進行縮放參數預測模塊的權重預訓練；利用ref_trans_sh_rot數據集和ref_trans_sh數據集進行旋轉參數預測模塊的權重預...
【專利技術屬性】
技術研發人員：吳穎丹，李炎，程喆晟，徐久紅，劉宇，張桐僮，
申請(專利權)人：湖北工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。