【技術實現步驟摘要】
本專利技術涉及遙感圖像智能解譯領域，尤其涉及一種基于提示學習的遙感圖像分類方法。
技術介紹
1、遙感圖像分類是遙感技術應用的一項關鍵任務，其對農業和環境監測、城市規劃、搶險救災和軍事偵察等領域的發展具有重要意義。由于遙感成像技術的快速發展和遙感衛星的增加，遙感圖像數據的數量和質量不斷提升，研究人員基于此開發了大量表現出色的遙感圖像分類方法。其中，基于卷積神經網絡和基于注意力的深度學習方法獲得了驚人的表現。基于卷積神經網絡的遙感圖像分類方法利用局部和全局空間特征學習遙感圖像的特征表示，提高遙感圖像的分類性能。卷積神經網絡由輸入層、卷積層、池化層、全連接層和輸出層構成，在卷積神經網絡最后通過一個全連接層獲得圖像的抽象特征，然后輸入到分類器中進行分類。如vgg、resnet等?；谧⒁饬C制的遙感圖像分類方法使得模型關注圖像的特定區域來提高遙感圖像的分類性能，如vit等。雖然這些方法獲得了性能的提升，但是這些方法都只關注視覺上的表示，忽略了圖像語義的理解，從而阻礙了遙感圖像分類方法的性能提升。
技術實現思路
1、為解決上述現有技術中存在的技術問題，本專利技術提供一種基于提示學習的遙感圖像分類方法，包括以下步驟：
2、步驟s1、獲取遙感圖像樣本及其真實類別標簽，并進行預處理，形成遙感圖像數據集；
3、步驟s2、根據遙感圖像數據集，通過圖像編碼器和文本編碼器，獲得遙感圖像樣本的圖像特征向量和文本特征向量；
4、步驟s3、計算遙感圖像樣本的圖像特征向量和文本
5、步驟s4、計算分類損失和對比損失，重復執行所述步驟s1至s4，訓練并輸出分類模型；
6、步驟s5、利用所述分類模型進行遙感圖像分類。
7、根據本專利技術的一個技術方案，在所述步驟s1中，所述數據預處理包括：
8、步驟s11、根據所述真實類別標簽，確定所述遙感圖像數據集所包含的類別的類別信息描述及類別數量；
9、步驟s12、設置提示模板，所述提示模板的結構為”this?is?aphoto?ofthe{pro}{cls}used?forthe?classificationtask”，pro為遙感圖像樣本的屬性信息描述，cls為遙感圖像樣本的類別信息描述；
10、步驟s13、根據所述真實類別標簽和所述提示模板，為所述遙感圖像數據集中的每個遙感圖像樣本生成一個提示。
11、根據本專利技術的一個技術方案，在所述步驟s13中，具體包括：
12、步驟s131、定義類別信息描述列表和屬性信息描述列表，所述類別信息描述列表的元素分別為與所述遙感圖像數據集所包含的類別對應的類別信息描述，所述屬性信息描述列表的元素分別為與所述類別信息描述一一對應的屬性信息描述，所述類別信息描述列表和所述屬性信息描述列表的長度與所述遙感圖像數據集的類別數量相等；
13、步驟s122、根據所述真實類別標簽，查找所述類別信息描述列表和所述屬性信息描述列表，獲取與所述真實類別標簽對應的類別信息描述和屬性信息描述，并分別放入所述提示模板的pro和cls位置，形成遙感圖像樣本的提示。
14、根據本專利技術的一個技術方案，在所述步驟s2中，具體包括：
15、步驟s21、通過所述圖像編碼器獲得遙感圖像的圖像特征向量，所述圖像編碼器的網絡結構為clip圖像分支的vision?transformer結構；
16、步驟s22、通過所述文本編碼器獲得遙感圖像樣本的提示的文本特征向量，所述文本編碼器的網絡結構為clip文本分支的transformer結構。
17、根據本專利技術的一個技術方案，在步驟s3中，計算所述圖像特征向量與所述文本特征向量的相似性，得到遙感圖像樣本屬于每一類別的概率，取概率值最大的類別為預測類別標簽，遙感圖像樣本屬于類別k的概率的計算公式如下：
18、
19、其中，＜·＞為余弦相似度，f(·)為圖像編碼器，g(·)為文本編碼器，f(xi)表示第i張遙感圖像標簽xi的圖像特征向量，g(tj)表示標簽為j的對應提示tj的文本特征向量，k和j的范圍為[1,k]，k為所述遙感圖像數據集的類別數量，τ為溫度超參。
20、根據本專利技術的一個技術方案，在所述步驟s4中，具體包括：
21、步驟s41、根據步驟s3得到的類別概率，計算分類損失lcls；
22、步驟s42、根據步驟s2得到的圖像特征向量和文本特征向量，計算對比損失lcon；
23、步驟s43、構建總損失ltotal＝lcls+λlcon，其中λ為平衡系數，用于調節損失之間的權重，lcls為分類損失，lcon為對比損失。
24、根據本專利技術的一個技術方案，在所述步驟s41中，使用遙感圖像樣本的真實類別標簽yi和在所述步驟s3中得到的預測類別標簽是真實類別標簽yi的概率計算分類損失lcls，表示為：
25、
26、其中，b為batch的大小。
27、根據本專利技術的一個技術方案，在所述步驟s422中，具體包括：
28、步驟s4221、根據遙感圖像樣本的真實類別標簽構建監督矩陣gt，gt形狀為b×b,b為batch的大小，其元素為：
29、
30、其中，yp和yq分別表示該batch圖像中序號為p和q的圖像的標簽，p和q的范圍為[0,b-1]；
31、步驟s4222、根據所述步驟s2得到的圖像特征向量和文本特征向量，計算圖像文本相似度矩陣i2t_logit和文本圖像相似度矩陣t2i_logit，利用所述步驟s4221得到的監督矩陣gt，計算對比損失lcon＝(li2t+lt2i)/2，其中，li2t和lt2i都是bcewithlogitsloss損失函數，表示為：
32、bcewithlogitsloss＝{l1,...,ln},ln＝-[yn·log(σ(xn))+(1-yn)·log(1-σ(xn))]
33、其中，n代表batch的數量，n代表每個batch預測的標簽數量，σ(·)代表sigmoid函數，表示為：
34、
35、根據本專利技術的一個技術方案，在所述步驟s422中，具體包括：
36、步驟s4221、計算遙感圖像樣本的圖像文本相似度矩陣i2t_logit，表示為：
37、i2t_logit＝i·tτ
38、其中，表示矩陣乘法，i為一組batch遙感圖像樣本的圖像特征矩陣，t為一組batch遙感圖像樣本對應的提示的文本特征矩陣；
39、步驟s4222、計算文本圖像相似度矩陣t2i_logit：
40、t2i_logit＝t·iτ；
41、步驟s4223、根據所述步驟s421得到的監督矩陣gt和所述步驟s4221得到的圖像文本相似度矩陣i2t_logit計算對本文檔來自技高網...
【技術保護點】
1.一種基于提示學習的遙感圖像分類方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟S1中，所述數據預處理包括：
3.根據權利要求2所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟S13中，具體包括：
4.根據權利要求3所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟S2中，具體包括：
5.根據權利要求4所述的基于提示學習的遙感圖像分類方法，其特征在于，在步驟S3中，計算所述圖像特征向量與所述文本特征向量的相似性，得到遙感圖像樣本屬于每一類別的概率，取概率值最大的類別為預測類別標簽，遙感圖像樣本屬于類別k的概率的計算公式如下：
6.根據權利要求5所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟S4中，具體包括：
7.根據權利要求6所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟S41中，使用遙感圖像樣本的真實類別標簽yi和在所述步驟S3中得到的預測類別標簽是真實類別標簽yi的概率計算分類損失Lcls，
8.根據權利要求6所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟S42中，具體包括：
9.根據權利要求8所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟S422中，具體包括：
...【技術特征摘要】
1.一種基于提示學習的遙感圖像分類方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟s1中，所述數據預處理包括：
3.根據權利要求2所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟s13中，具體包括：
4.根據權利要求3所述的基于提示學習的遙感圖像分類方法，其特征在于，在所述步驟s2中，具體包括：
5.根據權利要求4所述的基于提示學習的遙感圖像分類方法，其特征在于，在步驟s3中，計算所述圖像特征向量與所述文本特征向量的相似性，得到遙感圖像樣本屬于每一類別的概率，取概率值最大的類別為預測類...
【專利技術屬性】
技術研發人員：馮鵬銘，李淑君，劉揚，蘭海燕，關鍵，陳元偉，賀廣均，金世超，梁穎，上官博屹，
申請(專利權)人：北京衛星信息工程研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。