本公開的實施例公開了基于上下文增強的遙感基礎模型預訓練方法和裝置。該方法的一具體實施方式包括：獲取地面遙感圖像集和遙感基礎模型；對每個地面遙感圖像進行圖像塊劃分以生成圖像塊向量序列；對每個圖像塊向量序列進行掩碼處理以生成掩碼圖像塊向量序列和原始像素值；將每個掩碼圖像塊向量序列輸入遙感基礎模型，得到重建像素值集；將每個圖像塊向量序列輸入遙感基礎模型，得到預測像素值集；確定遙感基礎模型的總損失值，其中，總損失值是重建損失值，預測損失值和一致性損失值的總和；根據總損失值，對遙感基礎模型進行反向傳播參數更新，得到預訓練遙感基礎模型。該實施方式可以用來提取準確的遙感特征，減少計算資源的浪費。
【技術實現步驟摘要】
本公開的實施例涉及遙感影像感知領域，具體涉及基于上下文增強的遙感基礎模型預訓練方法和裝置。
技術介紹
1、隨著遙感技術和航天技術的進步，通過遙感收集對地觀測遙感數據越來越容易，衛星影像的數據規模也越來越龐大。同時，自監督學習在處理大量未標記數據方面表現出色，在分類、分割和檢測等任務中顯示出比監督學習更優異的性能。目前，在對遙感基礎模型進行預訓練時，通常采用的方式為：基于自監督學習的對比學習預訓練方法，通過大量數據增強技術進行遙感影像的表征學習，以得到預訓練的遙感基礎模型。
2、然而，當采用上述方式對遙感基礎模型進行預訓練時，經常會存在如下技術問題：
3、第一，對比學習方法通常需要在時間和地理維度上組織預訓練數據，往往需要構建和存儲大量的負樣本，以及進行正負樣本的對比，導致訓練時需要較大的內存和計算資源，此外，在處理復雜的遙感影像特征提取任務時，基于對比學習的模型往往表現出較差的泛化能力，難以有效提取準確的遙感特征，從而耗費了大量的計算資源；
4、第二，基于掩碼圖像建模的自監督學習方法對遙感模型進行預訓練時，由于遙感影像中目標密度分布不均勻，較高的掩碼率會導致上下文信息缺失，從而會影響模型對圖像的整體語義理解，降低預訓練遙感基礎模型的性能，進而降低了對遙感圖像進行分類、分割或檢測任務的精度。
5、該
技術介紹
部分中所公開的以上信息僅用于增強對本公開構思的背景的理解，并因此，其可包含并不形成本國的本領域普通技術人員已知的現有技術的信息。
技術實現思路</p>1、本公開的內容部分用于以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。
2、本公開的一些實施例提出了基于上下文增強的遙感基礎模型預訓練方法和裝置，來解決以上
技術介紹
部分提到的技術問題中的一項或多項。
3、第一方面，本公開的一些實施例提供了一種基于上下文增強的遙感基礎模型預訓練方法，該方法包括：獲取地面遙感圖像集和遙感基礎模型；對上述地面遙感圖像集中的每個地面遙感圖像進行圖像塊劃分以生成圖像塊向量序列，得到圖像塊向量序列集；對上述圖像塊向量序列集中的每個圖像塊向量序列進行掩碼處理以生成掩碼圖像塊向量序列和原始像素值，得到掩碼圖像塊向量序列集和原始像素值集；將上述掩碼圖像塊向量序列集中的每個掩碼圖像塊向量序列輸入上述遙感基礎模型，得到重建像素值集；將上述圖像塊向量序列集中的每個圖像塊向量序列輸入上述遙感基礎模型，得到預測像素值集；根據上述重建像素值集，上述預測像素值集和上述原始像素值集，確定上述遙感基礎模型的總損失值，其中，上述總損失值是重建損失值，預測損失值和一致性損失值的總和；根據上述總損失值，對上述遙感基礎模型進行反向傳播參數更新，得到預訓練遙感基礎模型。
4、第二方面，本公開的一些實施例提供了一種基于上下文增強的遙感基礎模型預訓練裝置，裝置包括：獲取單元，被配置成獲取地面遙感圖像集和遙感基礎模型；圖像塊劃分單元，被配置成對上述地面遙感圖像集中的每個地面遙感圖像進行圖像塊劃分以生成圖像塊向量序列，得到圖像塊向量序列集；掩碼處理單元，被配置成對上述圖像塊向量序列集中的每個圖像塊向量序列進行掩碼處理以生成掩碼圖像塊向量序列和原始像素值，得到掩碼圖像塊向量序列集和原始像素值集；重建像素單元，被配置成將上述掩碼圖像塊向量序列集中的每個掩碼圖像塊向量序列輸入上述遙感基礎模型，得到重建像素值集；預測像素單元，被配置成將上述圖像塊向量序列集中的每個圖像塊向量序列輸入上述遙感基礎模型，得到預測像素值集；確定單元，被配置成根據上述重建像素值集，上述預測像素值集和上述原始像素值集，確定上述遙感基礎模型的總損失值，其中，上述總損失值是重建損失值，預測損失值和一致性損失值的總和；反向傳播參數更新單元，被配置成根據上述總損失值，對上述遙感基礎模型進行反向傳播參數更新，得到預訓練遙感基礎模型。
5、第三方面，本公開的一些實施例提供了一種電子設備，包括：一個或多個處理器；存儲裝置，其上存儲有一個或多個程序，當一個或多個程序被一個或多個處理器執行，使得一個或多個處理器實現上述第一方面任一實現方式所描述的方法。
6、第四方面，本公開的一些實施例提供了一種計算機可讀介質，其上存儲有計算機程序，其中，程序被處理器執行時實現上述第一方面任一實現方式所描述的方法。
7、本公開的上述各個實施例中具有如下有益效果：通過本公開的一些實施例的基于上下文增強的遙感基礎模型預訓練方法，可以減少計算資源的浪費。具體來說，造成計算資源浪費的原因在于：對比學習方法通常需要在時間和地理維度上組織預訓練數據，往往需要構建和存儲大量的負樣本，以及進行正負樣本的對比，導致訓練時需要較大的內存和計算資源，此外，在處理復雜的遙感影像特征提取任務時，基于對比學習的模型往往表現出較差的泛化能力，難以有效提取準確的遙感特征?；诖耍竟_的一些實施例的基于上下文增強的遙感基礎模型預訓練方法，首先，獲取地面遙感圖像集和遙感基礎模型。其次，對上述地面遙感圖像集中的每個地面遙感圖像進行圖像塊劃分以生成圖像塊向量序列，得到圖像塊向量序列集。然后，對上述圖像塊向量序列集中的每個圖像塊向量序列進行掩碼處理以生成掩碼圖像塊向量序列和原始像素值，得到掩碼圖像塊向量序列集和原始像素值集。為了解決目標密度不均導致的上下文信息丟失問題，使用原始圖像塊作為重建模板，而非直接刪除被掩碼的圖像塊。再然后，將上述掩碼圖像塊向量序列集中的每個掩碼圖像塊向量序列輸入上述遙感基礎模型，得到重建像素值集。通過掩碼重建方式，增強了模型對圖像細節的提取能力，進而提高模型在后續任務中的泛化能力。接著，將上述圖像塊向量序列集中的每個圖像塊向量序列輸入上述遙感基礎模型，得到預測像素值集。引入了共享參數的上下文增強生成分支，通過在重建過程中提供有意義的上下文信息來促進語義推理。之后，根據上述重建像素值集，上述預測像素值集和上述原始像素值集，確定上述遙感基礎模型的總損失值。其中，上述總損失值是重建損失值，預測損失值和一致性損失值的總和。通過最小化掩碼塊的原始像素值與重建值之間的差距，指導模型學習更多上下文信息。最后，根據上述總損失值，對上述遙感基礎模型進行反向傳播參數更新，得到預訓練遙感基礎模型。由此，避免了組織正負樣本以及進行正負樣本對比學習而帶來的內存和計算資源的消耗。
本文檔來自技高網...
【技術保護點】
1.一種基于上下文增強的遙感基礎模型預訓練方法，包括：
2.根據權利要求1所述的方法，其中，所述對所述地面遙感圖像集中的每個地面遙感圖像進行圖像塊劃分以生成圖像塊向量序列，得到圖像塊向量序列集，包括：
3.根據權利要求1所述的方法，其中，所述對所述圖像塊向量序列集中的每個圖像塊向量序列進行掩碼處理以生成掩碼圖像塊向量序列和原始像素值，得到掩碼圖像塊向量序列集和原始像素值集，包括：
4.根據權利要求1所述的方法，其中，所述將所述掩碼圖像塊向量序列集中的每個掩碼圖像塊向量序列輸入所述遙感基礎模型，得到重建像素值集，以及
5.根據權利要求1所述的方法，其中，所述方法還包括：
6.一種基于上下文增強的遙感基礎模型預訓練裝置，包括：
7.一種電子設備，包括：
8.一種計算機可讀介質，其上存儲有計算機程序，其中，所述程序被處理器執行時實現如權利要求1至5中任一所述的方法。
【技術特征摘要】
1.一種基于上下文增強的遙感基礎模型預訓練方法，包括：
2.根據權利要求1所述的方法，其中，所述對所述地面遙感圖像集中的每個地面遙感圖像進行圖像塊劃分以生成圖像塊向量序列，得到圖像塊向量序列集，包括：
3.根據權利要求1所述的方法，其中，所述對所述圖像塊向量序列集中的每個圖像塊向量序列進行掩碼處理以生成掩碼圖像塊向量序列和原始像素值，得到掩碼圖像塊向量序列集和原始像素值集，包括：
4.根據...
【專利技術屬性】
技術研發人員：劉慶杰，萬嶠，張明明，胡征慧，朱佳慧，李世偉，王蘊紅，
申請(專利權)人：北京航空航天大學杭州創新研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。