【技術實現步驟摘要】
本申請涉及檢測，尤其涉及一種基于無線感知與圖像融合的目標檢測方法及裝置。
技術介紹
1、在大雨或光照不足等不利環境條件下，基于圖像的檢測器容易受到圖像質量下降的影響。在極端環境下，傳統的基于圖像的檢測模塊失靈，而基于感知的探測器仍可以產生相應的檢測候選框。然而，無線感知無法得到清晰圖像，必須從技術復用互補和數據融合方面尋求解決方案。基于無線感知和圖像數據融合，設計基于感知和圖像融合的目標檢測器，可以提升檢測精度。例如，傳統攝像頭在惡劣環境下會出現誤報、漏報等問題，傳統無線感知在惡劣環境下可適用但無法看到清晰的圖像，也無法識別出車輛的車牌、車型、車標和車身顏色等信息。因此可將無線感知技術與圖像檢測集成，打造出在信號處理、目標識別、事件檢測算法有重要突破的無線感知與圖像融合全息道路感知系統。
2、大多數現有的無線感知和圖像融合方法可分為三類：數據融合、特征融合和結果融合。1、數據融合方法傾向于遵循利用無線感知數據引導圖像空間中目標檢測的核心思想。無線感知數據的檢測被轉換為圖像中的感興趣區域(region?of?interest，roi)，然后用于進一步的圖像處理。其核心思想是由一種無線感知數據生成目標物體的候選框，然后在另外一種數據上進行驗證。數據融合的一個主要缺點是檢測流水線完全忽略沒有無線感知數據的區域，從而導致漏檢的可能性。2、特征融合是最近流行的融合概念，它使檢測系統能夠學習具有不同特征表示的交叉感知模式。隨著用于圖像分類和回歸的高級深度學習網絡的出現，大多數特征融合方法利用復雜的基于圖像的檢測網絡并對其進行修改
3、由于數據融合中，數據來源、數據結構、數據特征均不同，因此融合效果差；特征融合中，特征層的融合更加底層一些，也更有利于神經網絡也學習不同傳感器之間的互補性，但是算法設計的復雜程度也相對較高，融合方式需進一步研究；結果融合中，沒有充分考慮特征層面的互補性，對系統性能的提升有限。
4、因此有必要提供一種新的目標檢測方法。
技術實現思路
1、本申請公開了一種基于無線感知與圖像融合的目標檢測方法及裝置，可以提高目標檢測的準確率。
2、第一方面，本申請實施例提供一種基于無線感知與圖像融合的目標檢測方法，包括：
3、獲取圖像和感知數據，并對所述圖像和所述感知數據分別進行處理，得到至少一個檢測目標對應的第一邊界框和第二邊界框，以及所述圖像對應的全局特征、所述感知數據對應的全局特征，所述第一邊界框與所述圖像對應，所述第二邊界框與所述感知數據對應；
4、基于所述圖像對應的全局特征、所述感知數據對應的全局特征，得到候選框集合中所述至少一個檢測目標的局部圖像特征和局部感知特征，所述候選框集合是基于所述第一邊界框和所述第二邊界框進行融合處理得到的；
5、對所述候選框集合中所述至少一個檢測目標的局部圖像特征和局部感知特征進行處理，得到所述目標。
6、本申請實施例，通過對圖像和感知數據分別進行處理，得到至少一個檢測目標對應的第一邊界框和第二邊界框，以及所述圖像對應的全局特征、所述感知數據對應的全局特征；進而基于圖像對應的全局特征、感知數據對應的全局特征，得到候選框集合中至少一個檢測目標的局部圖像特征和局部感知特征；進而基于至少一個檢測目標的局部圖像特征和局部感知特征進行處理，得到目標。采用該手段，基于圖像和感知數據得到的候選框集合進行處理，有效提高了基于感知和圖像融合的目標檢測的準確率。
7、在一種可能的實現方式中，所述對所述候選框集合中所述至少一個檢測目標的局部圖像特征和局部感知特征進行處理，得到所述目標，包括：
8、對所述候選框集合中所述至少一個檢測目標中每個檢測目標的局部圖像特征和局部感知特征分別進行特征提取處理，得到所述每個檢測目標的第一置信度和第二置信度，所述第一置信度與所述局部圖像特征對應，所述第二置信度與所述局部感知特征對應；
9、對所述每個檢測目標的所述第一置信度和所述第二置信度進行融合處理，得到所述候選框集合中所述至少一個檢測目標的融合的置信度，其中，所述目標的融合的置信度大于第一閾值。
10、該示例，基于候選框得到置信分數并融合，可以有效提升檢測準確度。
11、在一種可能的實現方式中，所述對所述每個檢測目標的所述第一置信度和所述第二置信度進行融合處理，得到所述候選框集合中所述至少一個檢測目標的融合的置信度，包括：
12、分別將所述每個檢測目標的所述第一置信度和所述第二置信度相加，得到所述每個檢測目標的置信度之和；
13、分別對所述至少一個檢測目標的置信度之和進行預設處理，得到所述至少一個檢測目標的融合的置信度。
14、在一種可能的實現方式中，所述方法還包括：
15、確認所述第一邊界框的置信度不小于第二閾值。
16、該示例先對圖像對應的邊界框進行置信度篩選，以確保其置信度的可靠性，進一步提高了目標檢測的準確性。
17、在一種可能的實現方式中，所述圖像至少依次包括第一幀圖像、第二幀圖像和第三幀圖像，所述第一幀圖像、第二幀圖像中所述檢測目標的個數均大于所述第三幀圖像中所述檢測目標的個數，所述方法還包括：
18、基于缺失的檢測目標在所述第一幀圖像中的位置和第二幀圖像中位置以及預設圖像采樣周期，得到所述缺失的檢測目標在第三幀圖像中的預測位置；
19、若所述缺失的檢測目標在第三幀圖像中的預測位置與所述第三幀圖像中檢測到的檢測目標的位置一致，確認所述缺失的檢測目標在所述第三幀圖像中被遮擋。
20、該示例的多幀檢測算法能夠有效地解決遮擋問題，提高多目標檢測的精確性和魯棒性，更加準確地檢測到人體等目標位置。
21、第二方面，本申請實施例提供一種基于無線感知與圖像融合的目標檢測裝置，包括：
22、第一處理模塊，用于獲取圖像和感知數據，并對所述圖像和所述感知數據分別進行處理，得到至少一個檢測目標對應的第一邊界框和第二邊界框，以及所述圖像對應的全局特征、所述感知數據對應的全局特征，所述第一邊界框與所述圖像對應，所述第二邊界框與所述感知數據對應；
23、第二處理模塊，用于基于所述圖像對應的全局特征、所述感知數據對應的全局特征，得到候選框集合中所述至少一個檢測目標的局部圖像特征和局部感知特征，所述候選框集合是基于所述第一邊界框和所述第二邊界框進行融合處理得到的；
24、確定模塊本文檔來自技高網...
【技術保護點】
1.一種基于無線感知與圖像融合的目標檢測方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述對所述候選框集合中所述至少一個檢測目標的局部圖像特征和局部感知特征進行處理，得到所述目標，包括：
3.根據權利要求2所述的方法，其特征在于，所述對所述每個檢測目標的所述第一置信度和所述第二置信度進行融合處理，得到所述候選框集合中所述至少一個檢測目標的融合的置信度，包括：
4.根據權利要求1至3任一項所述的方法，其特征在于，所述方法還包括：
5.根據權利要求1至4任一項所述的方法，其特征在于，所述圖像至少依次包括第一幀圖像、第二幀圖像和第三幀圖像，所述第一幀圖像、第二幀圖像中所述檢測目標的個數均大于所述第三幀圖像中所述檢測目標的個數，所述方法還包括：
6.一種基于無線感知與圖像融合的目標檢測裝置，其特征在于，包括：
7.根據權利要求6所述的裝置，其特征在于，所述確定模塊，用于：
8.根據權利要求7所述的裝置，其特征在于，所述確定模塊，還用于：
9.根據權利要求6至8任一項所述的
10.根據權利要求6至9任一項所述的裝置，其特征在于，所述圖像至少依次包括第一幀圖像、第二幀圖像和第三幀圖像，所述確定模塊，還用于：
11.一種基于無線感知與圖像融合的目標檢測裝置，其特征在于，包括處理器和存儲器；其中，所述存儲器用于存儲程序代碼，所述處理器用于調用所述程序代碼，以執行如權利要求1至5任意一項所述的方法。
12.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行以實現權利要求1至5任意一項所述的方法。
13.一種計算機程序產品，其特征在于，當計算機程序產品在計算機上運行時，使得所述計算機執行如權利要求1至5任意一項所述的方法。
...【技術特征摘要】
1.一種基于無線感知與圖像融合的目標檢測方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述對所述候選框集合中所述至少一個檢測目標的局部圖像特征和局部感知特征進行處理，得到所述目標，包括：
3.根據權利要求2所述的方法，其特征在于，所述對所述每個檢測目標的所述第一置信度和所述第二置信度進行融合處理，得到所述候選框集合中所述至少一個檢測目標的融合的置信度，包括：
4.根據權利要求1至3任一項所述的方法，其特征在于，所述方法還包括：
5.根據權利要求1至4任一項所述的方法，其特征在于，所述圖像至少依次包括第一幀圖像、第二幀圖像和第三幀圖像，所述第一幀圖像、第二幀圖像中所述檢測目標的個數均大于所述第三幀圖像中所述檢測目標的個數，所述方法還包括：
6.一種基于無線感知與圖像融合的目標檢測裝置，其特征在于，包括：
7.根據權利要求6所述的裝置，其特征...
【專利技術屬性】
技術研發人員：楊照輝，張朝陽，黃崇文，楊倩倩，金日成，李榕，戴勝辰，
申請(專利權)人：華為技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。