【技術實現步驟摘要】
本申請涉及目標檢測領域，特別是涉及一種基于交叉注意力多尺度融合的目標檢測方法、設備及介質。
技術介紹
1、由于在自動駕駛、搜索救援、巡邏監視等領域的廣泛應用，目標檢測一直以來都是計算機視覺任務中的一項核心技術。然而，受限于傳感器的感知性能和自適應能力，基于單一模態的工作往往難以應對傳感器自身故障和環境中的動態擾動，并缺乏魯棒性。
2、為了緩解單一模態在成像方面所存在的局限性并實現全天候的監測，越來越多的研究人員開始關注多光譜目標檢測，通過融合不同模態的視覺信息，達到更優的檢測精度，然而，現有方法大多采用簡單的融合機制，無法學習模態間互補信息的同時也缺乏先驗知識的指導，進而導致目標檢測結果的精度較低。
技術實現思路
1、本申請的目的是提供一種基于交叉注意力多尺度融合的目標檢測方法、設備及介質，可提高目標檢測的準確度。
2、為實現上述目的，本申請提供了如下方案：
3、第一方面，本申請提供了一種基于交叉注意力多尺度融合的目標檢測方法，包括：
4、獲取待檢測目標的可見光圖像及紅外圖像；
5、根據所述可見光圖像及所述紅外圖像，采用訓練好的交叉注意力多尺度融合檢測網絡進行目標檢測，以確定待檢測目標的位置及類別；
6、其中，所述交叉注意力多尺度融合檢測網絡包括骨干網絡、背景感知模塊、交叉注意力融合模塊及檢測頭；所述骨干網絡用于提取所述可見光圖像及所述紅外圖像不同尺度的特征；所述背景感知模塊用于對所述可見光圖像及所述紅外圖像進
7、第二方面，本申請提供了一種計算機設備，包括：存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述計算機程序以實現上述的基于交叉注意力多尺度融合的目標檢測方法。
8、第三方面，本申請提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現上述的基于交叉注意力多尺度融合的目標檢測方法。
9、根據本申請提供的具體實施例，本申請具有了以下技術效果：
10、本申請提供了一種基于交叉注意力多尺度融合的目標檢測方法、設備及介質，采用交叉注意力多尺度融合檢測網絡實現可見光和紅外特征的自適應融合，利用背景感知模塊進行光照和對比度預測，將骨干網絡提取的特征圖輸入由差分注意力和同質注意力組成的交叉注意力融合模塊，同質注意力關注模態內共享特征，避免引入大量的冗余特征，差分注意力增強模態間差異特征以促進互補信息的融合，以增強模態內和模態間的固有和辨別性特征，采用背景感知模塊預測的光照及對比度將增強后的特征進行交叉融合，根據多模態融合特征圖確定待檢測目標的位置及類別，提高了目標檢測的準確度。
本文檔來自技高網...【技術保護點】
1.一種基于交叉注意力多尺度融合的目標檢測方法，其特征在于，所述基于交叉注意力多尺度融合的目標檢測方法包括：
2.根據權利要求1所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，根據所述可見光圖像及所述紅外圖像，采用訓練好的交叉注意力多尺度融合檢測網絡進行目標檢測，以確定待檢測目標的位置及類別，具體包括：
3.根據權利要求2所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，采用背景感知模塊對所述可見光圖像及所述紅外圖像進行光照及對比度預測，確定可見光光照權重、紅外光照權重、可見光對比度權重及紅外對比度權重，具體包括：
4.根據權利要求3所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，所述門函數為：
5.根據權利要求2所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，所述骨干網絡采用由Darknet53和CSP結構組成的雙分支網絡提取所述可見光圖像及所述紅外圖像不同尺度的特征。
6.根據權利要求2所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，采用交叉注意力融合模塊根據所述可見光
7.根據權利要求6所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，采用以下公式確定差分注意力特征圖：
8.根據權利要求1所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，所述交叉注意力多尺度融合檢測網絡訓練時的損失函數包括檢測損失及光照條件損失；所述檢測損失包括分類損失、邊框回歸損失和置信度損失。
9.一種計算機設備，包括：存儲器、處理器以及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序以實現權利要求1-8中任一項所述的基于交叉注意力多尺度融合的目標檢測方法。
10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1-8中任一項所述的基于交叉注意力多尺度融合的目標檢測方法。
...【技術特征摘要】
1.一種基于交叉注意力多尺度融合的目標檢測方法，其特征在于，所述基于交叉注意力多尺度融合的目標檢測方法包括：
2.根據權利要求1所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，根據所述可見光圖像及所述紅外圖像，采用訓練好的交叉注意力多尺度融合檢測網絡進行目標檢測，以確定待檢測目標的位置及類別，具體包括：
3.根據權利要求2所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，采用背景感知模塊對所述可見光圖像及所述紅外圖像進行光照及對比度預測，確定可見光光照權重、紅外光照權重、可見光對比度權重及紅外對比度權重，具體包括：
4.根據權利要求3所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，所述門函數為：
5.根據權利要求2所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，所述骨干網絡采用由darknet53和csp結構組成的雙分支網絡提取所述可見光圖像及所述紅外圖像不同尺度的特征。
6.根據權利要求2所述的基于交叉注意力多尺度融合的目標檢測方法，其特征在于，采...
【專利技術屬性】
技術研發人員：郭潤澤，孫備，孫曉永，蘇紹璟，左震，吳鵬，童小鐘，錢翰翔，黃泓赫，黨昭洋，
申請(專利權)人：中國人民解放軍國防科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。