【技術實現(xiàn)步驟摘要】
本申請涉及遙感數(shù)據(jù)處理領域，具體涉及一種基于深度學習的遙感圖文檢索方法、系統(tǒng)、設備及介質(zhì)。
技術介紹
1、隨著航空航天技術和計算機技術的快速發(fā)展，遙感數(shù)據(jù)及其應用呈現(xiàn)爆炸增長，合理的利用遙感數(shù)據(jù)可以更好地幫助和改善人們的生活及生產(chǎn)方式。遙感圖文檢索指從海量的遙感數(shù)據(jù)(圖像或文本)中獲取更感興趣且價值更大的數(shù)據(jù)(文本或圖像)，其在資源調(diào)查、災害檢測、農(nóng)業(yè)生產(chǎn)等領域發(fā)揮著重大作用。現(xiàn)有的遙感圖文檢索方法不可避免地會存在匹配精度低、匹配錯誤率高等問題。
技術實現(xiàn)思路
1、本申請要解決的技術問題在于克服現(xiàn)有技術的不足，提供一種基于深度學習的遙感圖文檢索方法、系統(tǒng)、設備及介質(zhì)，可以提高遙感圖文檢索中匹配精度，降低遙感圖文檢索的匹配錯誤率。
2、為實現(xiàn)上述目的，本申請第一方面提供基于深度學習的遙感圖文檢索方法，所述方法包括如下步驟：
3、步驟s1，構建跨模態(tài)多尺度提取網(wǎng)絡；
4、所述跨模態(tài)多尺度提取網(wǎng)絡中至少包括大核卷積多尺度圖像特征提取模塊和多尺度文本特征提取模塊，兩個所述模塊同時對圖像的多尺度圖像特征和文本的多尺度文本特征進行提取；
5、步驟s2，構建跨模態(tài)多尺度對齊網(wǎng)絡；
6、所述跨模態(tài)多尺度對齊網(wǎng)絡中至少包括子空間構建模塊，所述子空間構建模塊通過多尺度圖像特征對多尺度文本特征級聯(lián)得到的聯(lián)合文本特征進行指導，得到不同模態(tài)間尺度對齊后的文本特征，并利用多尺度圖像特征和文本特征構建多個尺度對齊后的子空間；
7、步驟s3，
8、所述子空間和全局空間更新網(wǎng)絡中至少包括基于不相關性的子空間映射模塊和全局空間的映射模塊，兩個所述映射模塊分別在全局空間和構建的多個子空間中對圖像特征和文本特征進行更新；
9、步驟s4，構建相似性匹配網(wǎng)絡；
10、所述相似性匹配網(wǎng)絡中至少包括多粒度相似性匹配模塊，所述多粒度相似性匹配模塊在全局及和多個尺度級對更新后的圖像特征和文本特征進行相似性匹配；
11、步驟s5，組合上述步驟建立的各網(wǎng)絡，輸入待檢索的遙感圖像或遙感文本數(shù)據(jù)，根據(jù)相似性匹配度，生成檢索結(jié)果。
12、進一步的，步驟s1中，所述大核卷積多尺度圖像特征提取模塊通過卷積神經(jīng)網(wǎng)絡提取圖像特征，采用多個不同大小的卷積操作進一步提取多尺度圖像特征；將多尺度圖像特征和圖像特征聚合為全局圖像特征；
13、獲得全局圖像特征表示為：
14、；
15、其中，表示3×3卷積操作，表示矩陣點乘操作，表示卷積神經(jīng)網(wǎng)絡提取的圖像特征。
16、進一步的，步驟s1中，所述多尺度文本特征提取模塊通過雙向門控循環(huán)單元gru提取全局文本特征，在得到全局文本特征之后，采用多個不同長度的一維卷積提取不同尺度的文本特征，得到多尺度文本特征。
17、進一步的，步驟s2中，所述子空間構建模塊將多尺度文本特征級聯(lián)為聯(lián)合文本特征，所述子空間構建模塊利用多尺度圖像特征對聯(lián)合文本特征進行指導，得到兩個模態(tài)間尺度對齊后的文本特征，利用尺度對齊后的文本特征與多尺度圖像特征，構造多個所述子空間；
18、獲得尺度對齊后的文本特征表示為：
19、;
20、構造所述子空間表示為：
21、；
22、其中，cat表示級聯(lián)操作，σ表示sigmoid函數(shù)，表示函數(shù)，表示矩陣點乘。
23、進一步的，步驟s3中，所述子空間映射模塊利用子空間對多尺度圖像特征和多尺度文本特征進行更新，得到最終輸出的多尺度圖像特征和多尺度文本特征；
24、對多尺度圖像特征更新表示為：
25、；
26、對多尺度圖像特征更新表示為：
27、?；
28、其中，和表示經(jīng)過不同線性層之后的sigmoid操作，和表示經(jīng)過不同線性層之后的tanh操作，表示矩陣點乘操作。
29、進一步的，步驟s3中，所述全局空間映射模塊利用全局圖像特征和全局文本特征構建聯(lián)合特征，所述全局空間映射模塊利用融合了圖像和文本的全局特征的聯(lián)合特征對全局圖像特征和全局文本特征分別進行更新，得到最終輸出的全局圖像特征和全局文本特征；
30、對全局圖像特征更新表示為：
31、；
32、對全局文本特征更新表示為：
33、；
34、其中，和表示經(jīng)過不同線性層之后的sigmoid操作，和表示經(jīng)過不同線性層之后的tanh操作，表示矩陣點乘操作。
35、進一步的，步驟s3中，所述全局空間映射模塊利用全局圖像特征和全局文本特征構建聯(lián)合特征；
36、構建聯(lián)合特征表示為：
37、?；
38、其中，linear表示線性層操作，cat表示級聯(lián)操作。
39、為實現(xiàn)上述目的，本申請第二方面提供基于深度學習的跨模態(tài)遙感圖文檢索系統(tǒng)，所述系統(tǒng)包括：
40、跨模態(tài)多尺度提取模塊，包括大核卷積多尺度圖像特征提取模塊和多尺度文本特征提取模塊，兩個所述特征提取模塊分別對圖像的多尺度圖像特征和文本的多尺度圖像特征進行提取；
41、跨模態(tài)多尺度對齊模塊，至少包括子空間構建模塊，所述子空間構建模塊通過多尺度圖像特征對多尺度文本特征級聯(lián)得到的聯(lián)合文本特征進行指導，得到不同模態(tài)間尺度對齊后的文本特征，并利用多尺度圖像特征和文本特征構建多個尺度對齊后的子空間；
42、子空間和全局空間更新模塊，所述更新模塊中至少包括基于相關性和不相關性的子空間映射模塊和全局空間映射模塊，兩個所述映射模塊分別在全局空間和構建的多個子空間中對圖像特征和文本特征進行更新；
43、相似性匹配模塊，所述模塊中至少包括多粒度相似性匹配模塊，所述多粒度相似性匹配模塊在全局及和多個尺度級對更新后的圖像特征和文本特征進行相似性匹配。
44、為實現(xiàn)上述目的，本申請第三方面提供基于深度學習的遙感圖文檢索設備，包括處理器以及存儲器，所述存儲器上存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時，實現(xiàn)如前所述的基于深度學習的遙感圖文檢索方法。
45、為實現(xiàn)上述目的，本申請第四方面提供計算機可讀存儲介質(zhì)，存儲有計算機程序，所述計算機程序由處理器執(zhí)行時，實現(xiàn)如前所述的基于深度學習的遙感圖文檢索方法。
46、采用上述技術方案后，本申請與現(xiàn)有技術相比具有以下有益效果：
47、本申請中，通過跨模態(tài)多尺度提取網(wǎng)絡進一步提取圖像的多尺度特征同時提取遙感圖像和遙感文本的多尺度特征，保證了遙感數(shù)據(jù)特征提取的全面性；通過跨模態(tài)多尺度對齊網(wǎng)絡采用多尺度圖像特征指導文本特征的方式，進行不同模態(tài)間的尺度對齊，考慮了遙感數(shù)據(jù)的多尺度特征，實現(xiàn)了不同模態(tài)間的尺度對齊；通過子空間和全局空間更新網(wǎng)絡在多個特征空間上進行特征更新，更新后的特征考慮了不同模態(tài)間的不相關性，為圖像-文本匹配增加了一個“不相關性”的視角，有效提升檢索精度；通本文檔來自技高網(wǎng)...
【技術保護點】
1.基于深度學習的遙感圖文檢索方法，其特征在于，所述方法包括如下步驟：
2.根據(jù)權利要求1所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟S1中，所述大核卷積多尺度圖像特征提取模塊通過卷積神經(jīng)網(wǎng)絡提取圖像特征，采用多個不同大小的卷積操作進一步提取多尺度圖像特征；將多尺度圖像特征和圖像特征聚合為全局圖像特征；
3.根據(jù)權利要求2所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟S1中，所述多尺度文本特征提取模塊通過雙向門控循環(huán)單元GRU提取全局文本特征，在得到全局文本特征之后，采用多個不同長度的一維卷積提取不同尺度的文本特征，得到多尺度文本特征。
4.根據(jù)權利要求3所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟S2中，所述子空間構建模塊將多尺度文本特征級聯(lián)為聯(lián)合文本特征，所述子空間構建模塊利用多尺度圖像特征對聯(lián)合文本特征進行指導，得到兩個模態(tài)間尺度對齊后的文本特征，利用尺度對齊后的文本特征與多尺度圖像特征，構造多個所述子空間；
5.根據(jù)權利要求4所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟S3中，所述子空間
6.根據(jù)權利要求5所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟S3中，所述全局空間映射模塊利用全局圖像特征和全局文本特征構建聯(lián)合特征，所述全局空間映射模塊利用融合了圖像和文本的全局特征的聯(lián)合特征對全局圖像特征和全局文本特征分別進行更新，得到最終輸出的全局圖像特征和全局文本特征；
7.根據(jù)權利要求6所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟S3中，所述全局空間映射模塊利用全局圖像特征和全局文本特征構建聯(lián)合特征表示為：
8.基于深度學習的遙感圖文檢索系統(tǒng)，其特征在于，所述系統(tǒng)包括：
9.基于深度學習的遙感圖文檢索設備，其特征在于，包括處理器以及存儲器，所述存儲器上存儲有計算機程序，所述計算機程序被所述處理器執(zhí)行時，實現(xiàn)如權利要求1-7任一項所述的基于深度學習的遙感圖文檢索方法。
10.計算機可讀存儲介質(zhì)，存儲有計算機程序，其特征在于，所述計算機程序由處理器執(zhí)行時，實現(xiàn)如權利要求1至7任一項所述的基于深度學習的遙感圖文檢索方法。
...【技術特征摘要】
1.基于深度學習的遙感圖文檢索方法，其特征在于，所述方法包括如下步驟：
2.根據(jù)權利要求1所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟s1中，所述大核卷積多尺度圖像特征提取模塊通過卷積神經(jīng)網(wǎng)絡提取圖像特征，采用多個不同大小的卷積操作進一步提取多尺度圖像特征；將多尺度圖像特征和圖像特征聚合為全局圖像特征；
3.根據(jù)權利要求2所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟s1中，所述多尺度文本特征提取模塊通過雙向門控循環(huán)單元gru提取全局文本特征，在得到全局文本特征之后，采用多個不同長度的一維卷積提取不同尺度的文本特征，得到多尺度文本特征。
4.根據(jù)權利要求3所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟s2中，所述子空間構建模塊將多尺度文本特征級聯(lián)為聯(lián)合文本特征，所述子空間構建模塊利用多尺度圖像特征對聯(lián)合文本特征進行指導，得到兩個模態(tài)間尺度對齊后的文本特征，利用尺度對齊后的文本特征與多尺度圖像特征，構造多個所述子空間；
5.根據(jù)權利要求4所述的基于深度學習的遙感圖文檢索方法，其特征在于，步驟s3中，所述子空間映射模塊利用子空...
【專利技術屬性】
技術研發(fā)人員：聶婕，李秀，左子杰，陳敬健，張若愚，尹佩哲，
申請(專利權)人：中國海洋大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。