【技術實現步驟摘要】
本專利技術屬于遙感視覺解譯，具體涉及一種跨知識交互學習與自監督輔助學習的遙感多任務解譯方法及裝置。
技術介紹
1、目前，多任務學習作為一種先進的機器學習范式，正通過其獨特的優勢在多個領域展現出非凡的潛力。多任務學習的核心思想在于，通過并行優化多個相關任務，利用任務間的互補性，在共享的網絡結構層中實施參數共享策略，并精心構造聯合損失函數，以此來增強模型的泛化能力，確保在多個任務間實現性能的均衡提升，或借助其他任務的輔助信息，在特定任務上達到卓越的性能表現。多任務學習在自然圖像領域已經取得了良好的發展。但是，多任務學習中，不同任務往往采用不同的數據集，而不同數據集之間的差異會對模型性能產生一定影響。在遙感圖像中，由于數據集模態的多樣性，數據集之間往往存在顯著的差異，這些差異會對模型性能帶來較大的影響。要想實現遙感的多任務解譯系統，需要考慮數據集的差異，并且需要考慮到不同任務之間的效果的平衡。現有的技術體系在應對遙感圖像多任務學習中的這些挑戰時，尚顯不足。
2、現有技術中，劉尚旺等人提出了一種基于unet網絡多任務學習的遙感圖像建筑地物語義分割，該網絡可提高遙感圖像建筑地物語義分割的精度，并具有一定的準確性與時效性；但是，所提出的網絡的深度仍然有限，且邊界距離采用的是簡單歐氏距離。馬惠等人提出了一個多任務學習深度孿生網絡模型，適用于在沒有變化、未變化樣本而有歷史專題圖的變化檢測場景中；但是現有的變化檢測精度還達不到實際的工程應用需求，需要與人工判讀相結合。
3、因此，亟需提供一種遙感視覺多任務解譯方法，以解決現
技術實現思路
1、為了解決現有技術中存在的上述問題，本專利技術提供了一種跨知識交互學習與自監督輔助學習的遙感多任務解譯方法及裝置。本專利技術要解決的技術問題通過以下技術方案實現：
2、第一方面，本專利技術提供一種跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，包括：
3、獲取待處理圖像，設定待處理圖像的任務要求，任務要求包括單模態數據分類任務、多模態數據分類任務、單模態數據分割任務、多模態數據分割任務、單模態數據變化檢測任務、多模態數據變化檢測任務中的一種或多種；
4、將待處理圖像輸入至訓練好的多任務解譯網絡中，按照待處理圖像的任務要求，得到待處理圖像執行任務要求后的結果；
5、其中，訓練好的多任務解譯網絡以預設類別的數據作為訓練數據集，以自監督學習的方式，對初始的多任務解譯網絡進行訓練得到。
6、第二方面，本專利技術還提供一種跨知識交互學習與自監督輔助學習的遙感多任務解譯裝置，包括：
7、圖像獲取模塊，用于獲取待處理圖像，設定待處理圖像的任務要求，任務要求包括單模態數據分類任務、多模態數據分類任務、單模態數據分割任務、多模態數據分割任務、單模態數據變化檢測任務、多模態數據變化檢測任務中的一種或多種；
8、圖像處理模塊，用于將待處理圖像輸入至訓練好的多任務解譯網絡中，按照待處理圖像的任務要求，得到待處理圖像執行任務要求后的結果；
9、其中，訓練好的多任務解譯網絡以預設類別的數據作為訓練數據集，以自監督學習的方式，對初始的多任務解譯網絡進行訓練得到。
10、本專利技術的有益效果：
11、本專利技術提供的一種跨知識交互學習與自監督輔助學習的遙感多任務解譯方法及裝置，針對當前遙感視覺多任務技術中存在的數據集模態的多樣性對性能產生影響以及多任務擴展不足的問題，本專利技術旨在通過將多個任務的數據集合并輸入自監督學習網絡，利用自監督輔助學習來減小數據集模態的差異帶來的影響，并且創新性地提出編碼器部分參數共享和七個任務的聯合損失函數，實現多任務之間的跨知識交互學習。
12、以下將結合附圖及實施例對本專利技術做進一步詳細說明。
本文檔來自技高網...【技術保護點】
1.一種跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，包括：
2.根據權利要求1所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，在對初始的多任務解譯網絡進行訓練之前，還包括：
3.根據權利要求2所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，所述分類融合模塊包括多個分類器；所述第一頸部網絡和所述第二頸部網絡包括特征金字塔網絡。
4.根據權利要求2所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，所述訓練好的多任務解譯網絡以預設類別的數據作為訓練數據集，以自監督學習的方式，對初始的多任務解譯網絡進行訓練得到，包括：
5.根據權利要求4所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，將所述訓練數據集和所述訓練數據集中訓練樣本對應的真實標簽輸入至初始的多任務解譯網絡中進行迭代訓練，包括：
6.根據權利要求4所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，將所述訓練數據集和所述訓練數據集中訓練樣本對應的真
7.根據權利要求5所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，所述編碼器處理過程包括：
8.根據權利要求5所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，所述第一共享解碼器與所述第二共享解碼器共享網絡參數，所述第三共享解碼器與所述第四共享解碼器共享網絡參數。
9.根據權利要求4所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，所述損失函數包括單模態數據分類任務的損失L1、單模態數據分割任務的損失L2、單模態數據變化檢測任務的損失L3、多模態數據分類任務的損失L4、多模態數據分割任務的損失L5、多模態數據變化檢測任務的損失L6和自監督損失Lm，所述損失函數L表達式為：
10.一種跨知識交互學習與自監督輔助學習的遙感多任務解譯裝置，其特征在于，包括：
...【技術特征摘要】
1.一種跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，包括：
2.根據權利要求1所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，在對初始的多任務解譯網絡進行訓練之前，還包括：
3.根據權利要求2所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，所述分類融合模塊包括多個分類器；所述第一頸部網絡和所述第二頸部網絡包括特征金字塔網絡。
4.根據權利要求2所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，所述訓練好的多任務解譯網絡以預設類別的數據作為訓練數據集，以自監督學習的方式，對初始的多任務解譯網絡進行訓練得到，包括：
5.根據權利要求4所述的跨知識交互學習與自監督輔助學習的遙感多任務解譯方法，其特征在于，將所述訓練數據集和所述訓練數據集中訓練樣本對應的真實標簽輸入至初始的多任務解譯網絡中進行迭代訓練，包括：
6.根據權利要求4所述的跨知識交互學習與自監督輔助學習...
【專利技術屬性】
技術研發人員：焦李成，孫龍，車晨悅，劉欣雨，楊育婷，馮志璽，郭雨薇，劉芳，
申請(專利權)人：西安電子科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。