【技術實現步驟摘要】
本專利技術屬于位置定位，涉及一種多尺度跨視角地理位置定位方法、系統、設備和介質。
技術介紹
1、跨視角地理位置定位(cross-view?geo-localization)是計算機視覺領域中的一個研究熱點方向，其旨在通過在具有gps標記的遙感圖像數據集中檢索與待檢索街景圖像最相似的圖像，確定街景圖像的位置，該任務可以視為一個圖像檢索任務。隨著深度學習技術的發展，多個跨視角地理位置定位方法被提出，但基于深度學習的跨視角地理位置定位仍然存在困難和挑戰。
2、一方面，街景圖像與遙感圖像具有巨大的視角與視野差異。街景圖像是以拍攝位置為中心的全景圖像，而遙感圖像是正射的，具有更廣闊的視野范圍，如圖1所示，其中(a)為街景圖像，(b)為遙感圖像。這導致同一物體在街景圖像與遙感圖像中具有不同的特征與位置，因此如何實現這些特征的有效對齊成為一個具有挑戰性的問題。另一方面，街景圖像與遙感圖像可能是在不同的時間、地點和季節拍攝的。這使得它們之間存在視覺上的差異和環境變化，增加了跨視圖地理定位任務的難度。模型需要能夠適應這些差異，以確保在不同條件下準確地確定街景圖像的地理位置，這涉及到解決時間、天氣和季節變化引起的視覺特征不一致性的問題。另外，跨視角地理定位的目的是在全球范圍內定位街景圖像，需要在大規模數據集上進行應用和測試。因此，如何降低這一過程相關的計算成本和檢索時間是也是重要的。
技術實現思路
1、基于此，有必要針對上述技術問題，本專利技術提出了一種多尺度跨視角地理位置定位方法、一種多
2、為了實現上述目的，本專利技術實施例采用以下技術方案：
3、一方面，一種多尺度跨視角地理位置定位方法，該方法包括：
4、獲取同一地點跨視角的待處理遙感圖像與街景圖像。
5、構建多尺度跨視角地理位置定位模型，多尺度跨視角地理位置定位模型包括遙感圖像和街景圖像的特征提取分支、輸出網絡；兩個特征提取分支包括結構相同的特征提取器；特征提取器用于采用基于swin-transformer的多階段的模型提取輸入圖像的多尺度特征；輸出網絡用于根據兩個特征提取分支輸出的多尺度特征，確定地理位置定位結果。
6、根據預先準備的圖像樣本采用對比學習的方式對多尺度跨視角地理位置定位模型進行訓練，得到訓練好的多尺度跨視角地理位置定位模型；
7、將待處理遙感圖像與街景圖像輸入到訓練好的多尺度跨視角地理位置定位模型中，得到地理位置定位結果。
8、在其中一個實施例中，圖像樣本包括多組跨視角的遙感圖像與街景圖像；在訓練過程中，在遙感圖像的特征提取分支中增加一個與特征提取器共享權重的特征提取器，在兩個特征提取器分別增加強增強模塊和弱增強模塊，在兩個特征提取器后各增加一個映射頭。
9、測試過程中的多尺度跨視角地理位置定位模型是在訓練過程中的模型中去掉增加的增加強增強、弱增強模塊、特征提取器以及兩個映射頭得到的。
10、根據預先準備的圖像樣本采用對比學習的方式對多尺度跨視角地理位置定位模型進行訓練，得到訓練好的多尺度跨視角地理位置定位模型，包括：
11、將預先準備的圖像樣本劃分為訓練樣本和測試樣本。
12、將訓練樣本中的遙感圖像分別采用強增強模塊和弱增強模塊進行處理，得到強增強圖像和弱增強圖像。
13、將強增強圖像和弱增強圖像分別輸入到遙感圖像的特征提取分支的兩個特征提取器中，得到強增強遙感圖像和弱增強遙感圖像的多尺度特征。
14、將強增強遙感圖像和弱增強遙感圖像的多尺度特征分別輸入到兩個共享參數的映射頭中，得到強增強映射特征和弱增強映射特征。
15、將訓練樣本中的街景圖像輸入到街景圖像的特征提取分支的特征提取器中，得到街景圖像多尺度特征。
16、構建總損失函數；總損失函數包括兩個檢索損失和一個對比損失。
17、根據強增強映射特征、弱增強映射特征、街景圖像多尺度特征以及總損失函數，確定總損失；
18、根據總損失對多尺度跨視角地理位置定位模型進行方向訓練，得到訓練后的多尺度跨視角地理位置定位模型。
19、采用測試樣本對輸入到測試過程的多尺度跨視角地理位置定位模型進行測試，得到訓練好的多尺度跨視角地理位置定位模型。
20、在其中一個實施例中，特征提取器包括4階段模塊、兩個最大池化層以及兩個多層感知機，其中每個階段模塊包括若干個swin?transformer模塊。
21、將強增強圖像和弱增強圖像分別輸入到遙感圖像的特征提取分支的兩個特征提取器中，得到強增強遙感圖像和弱增強遙感圖像的多尺度特征，包括：
22、將強增強圖像輸入到遙感圖像的特征提取分支的第一個特征提取器中的4階段模塊，得到維度不同的4個特征。
23、將第三維度的特征先后經過第一個最大池化層和第一個多層感知機處理和與第三維度的特征進行矩陣內積操作，得到第一內積特征。
24、將第四維度的特征先后經過第二個最大池化層和第二個多層感知機處理和與第四維度的特征進行矩陣內積操作，得到第二內積特征。
25、將第一內積特征和第二內積特征進行拼接，得到強增強遙感圖像的多尺度特征。
26、將弱增強圖像輸入到遙感圖像的特征提取分支的第二個特征提取器中，得到弱增強遙感圖像的多尺度特征。
27、在其中一個實施例中，多層感知機包括：兩層全連接層。
28、在其中一個實施例中，映射頭包括：第一線性化層、relu激活函數、批標準化層以及第二線性化層。
29、將強增強遙感圖像和弱增強遙感圖像的多尺度特征分別輸入到兩個共享參數的映射頭中，得到強增強映射特征和弱增強映射特征，包括：
30、將強增強遙感圖像的多尺度特征輸入到第一個映射頭中，依次經過第一線性化層、relu激活函數、批標準化層以及第二線性化層處理后，得到強增強映射特征。
31、將強增強遙感圖像的多尺度特征輸入到第二個映射頭中，得到弱增強映射特征。
32、在其中一個實施例中，構建總損失函數，包括：
33、根據同一張遙感圖像的強增強與弱增強圖片得到的強增強映射特征和弱增強映射特征，構建對比損失函數為：
34、
35、其中，為對比損失，dpos-con與dneg-con分別代表第一匹配對與第一不匹配對的歐式距離，其中第一匹配對為來自同一遙感圖像的強增強與弱增強圖片，第一不匹配對為來自不同遙感圖像的強增強與弱增強圖像。
36、根據強增強映射特征和弱增強映射特征，以及街景圖像多尺度特征，構建兩個索損失函數為：
37、
38、
39、其中，為第一檢索損失，為第二檢索損失，dpos-ret1與dneg-ret1分別代表第二匹配對與第二不匹配對的歐式距離，其中第二匹配對本文檔來自技高網...
【技術保護點】
1.一種多尺度跨視角地理位置定位方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述圖像樣本包括多組跨視角的遙感圖像與街景圖像；
3.根據權利要求2所述的方法，其特征在于，所述特征提取器包括4階段模塊、兩個最大池化層以及兩個多層感知機，其中每個階段模塊包括若干個Swin?Transformer模塊；
4.根據權利要求3所述的方法，其特征在于，所述多層感知機包括：兩層全連接層。
5.根據權利要求3所述的方法，其特征在于，所述映射頭包括：第一線性化層、RELU激活函數、批標準化層以及第二線性化層；
6.根據權利要求2所述的方法，其特征在于，構建總損失函數，包括：
7.根據權利要求1所述的方法，其特征在于，將待處理遙感圖像與街景圖像輸入到訓練好的多尺度跨視角地理位置定位模型中，得到地理位置定位結果，包括：
8.一種多尺度跨視角地理位置定位裝置，其特征在于，所述裝置包括：
9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法。
...【技術特征摘要】
1.一種多尺度跨視角地理位置定位方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述圖像樣本包括多組跨視角的遙感圖像與街景圖像；
3.根據權利要求2所述的方法，其特征在于，所述特征提取器包括4階段模塊、兩個最大池化層以及兩個多層感知機，其中每個階段模塊包括若干個swin?transformer模塊；
4.根據權利要求3所述的方法，其特征在于，所述多層感知機包括：兩層全連接層。
5.根據權利要求3所述的方法，其特征在于，所述映射頭包括：第一線性化層、relu激活函數、批標準化層以及第二線性化層；
6.根據...
【專利技術屬性】
技術研發人員：陳浩，張文輝，楊亮喆，鐘志農，李沛秦，伍江江，彭雙，李軍，杜春，楊岸然，賈慶仁，
申請(專利權)人：中國人民解放軍國防科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。