【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及計算機視覺、模式識別和人工智能，具體而言，涉及一種三模態(tài)圖像特征融合目標(biāo)檢測方法及裝置。
技術(shù)介紹
1、目標(biāo)檢測的目的是搜尋圖片或視頻中感興趣的物體，并標(biāo)識出所在位置及大小。已經(jīng)廣泛應(yīng)用于自動駕駛、民用安防等領(lǐng)域，其技術(shù)路線又分為單階段和雙階段。兩階段目標(biāo)檢測的代表算法主要有r-cnn(region?based?convolutional?neural?network)系列，目前較為成熟的單階段檢測算法分別是ssd(single?shot?multi-box?detector)系列算法和yolo(you?only?look?once)系列算法。單階段目標(biāo)檢測算法精度略低于兩階段目標(biāo)檢測算法，但檢測速度快，可實時檢測。yolov5是一個高性能的實時目標(biāo)檢測模型，具有n/s/m/l/x五種不同大小的模型，可根據(jù)不同的應(yīng)用場景靈活選擇，已經(jīng)廣泛的應(yīng)用于可見光圖像檢測方面。
2、隨著全天時應(yīng)用的要求的提出，單一視覺傳感器難以滿足要求，適時的出現(xiàn)了多光譜目標(biāo)檢測技術(shù)，主要以可見光和紅外傳感器聯(lián)合檢測為主，可見光圖像具有豐富的紋理細(xì)節(jié)信息，但是受光照影響大；紅外圖像適合在夜間和惡劣天線下全天候工作，探測距離遠(yuǎn)，但是對比度低，邊緣模糊。這里面又涉及到可見光和紅外的融合技術(shù)，包括前融合、特征融合和決策級融合。王昱婷等人采用先融合后檢測的策略，提出了一種可見光圖像和紅外圖像融合模型dapr-net，該模型主要由編碼器和解碼器構(gòu)成，同時還設(shè)計了跨層殘差連接，提高了可見光與紅外圖像融合的效果，增強了網(wǎng)絡(luò)弱光條件下目標(biāo)檢測的性
3、綜上所述，現(xiàn)有技術(shù)的缺點是：可見光圖像用于弱光、黑暗、遮擋等條件下的目標(biāo)檢測其性能較差；紅外圖像因?qū)Ρ榷鹊汀⑦吘壞：⒕植考y理細(xì)節(jié)少不利于目標(biāo)檢測；微光成像是捕獲場景內(nèi)的反射光進(jìn)行成像，它在弱光條件下具有較高的紋理細(xì)節(jié)表征能力，但是探測距離有限。前融合和后融合方法得到的目標(biāo)檢測模型檢測性能不佳。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)旨在提供一種三模態(tài)圖像特征融合目標(biāo)檢測方法及裝置，以解決單一視覺傳感器在全天時應(yīng)用場景下成像條件受限、成像清晰度低、圖像特征單一、目標(biāo)識別困難等問題。
2、本專利技術(shù)提供的一種三模態(tài)圖像特征融合目標(biāo)檢測方法，包括：
3、s100：搭建可見光-紅外-微光三模態(tài)數(shù)據(jù)采集平臺，利用所述數(shù)據(jù)采集平臺獲取三模態(tài)數(shù)據(jù)，并基于獲取的三模態(tài)數(shù)據(jù)構(gòu)建三模態(tài)數(shù)據(jù)集；
4、s200：構(gòu)建基于yolov5模型的三模態(tài)圖像特征融合目標(biāo)檢測模型，利用所述三模態(tài)數(shù)據(jù)集訓(xùn)練所述三模態(tài)圖像特征融合目標(biāo)檢測模型，利用訓(xùn)練好的所述三模態(tài)圖像特征融合目標(biāo)檢測模型進(jìn)行目標(biāo)檢測。
5、在一些實施例中，步驟s100包括如下子步驟：
6、s101：搭建可見光-紅外-微光三模態(tài)數(shù)據(jù)采集平臺，搭建時需要考慮三種相機的焦距、視場以及三種相機的相對位置，用于后續(xù)圖像配準(zhǔn)；
7、s102：利用所述可見光-紅外-微光三模態(tài)數(shù)據(jù)采集平臺采集三模態(tài)數(shù)據(jù)；
8、s103：對采集到的數(shù)據(jù)進(jìn)行圖像配準(zhǔn)，并用標(biāo)注軟件打標(biāo)簽，得到三模態(tài)數(shù)據(jù)集。
9、在一些實施例中，步驟s200中，所述構(gòu)建基于yolov5模型的三模態(tài)圖像特征融合目標(biāo)檢測模型，包括：
10、(1)將yolov5模型的backbone替換為mobilenetv3-large特征提取層；
11、(2)在yolov5模型中引入跨模態(tài)融合模塊，用于三模態(tài)的特征融合；
12、(3)將yolov5模型中的head的耦合頭替換為解耦頭。
13、在一些實施例中，所述mobilenetv3-large特征提取層包括多個標(biāo)準(zhǔn)卷積層和逆殘差模塊。
14、在一些實施例中，所述mobilenetv3-large特征提取層包括17層，其中，第1層和第17層是標(biāo)準(zhǔn)卷積層，第2層至第16層是逆殘差模塊。
15、在一些實施例中，mobilenetv3-large特征提取層劃分為三部分，其中：
16、第1～7層為第一部分；
17、第8～13層為第二部分；
18、第14～17層為第三部分；
19、所述跨模態(tài)融合模塊接在第一部分和第二部分之間。
20、在一些實施例中，所述三模態(tài)圖像特征融合目標(biāo)檢測模型中的處理過程如下：
21、s201，將可見光、紅外和微光三種模態(tài)圖像數(shù)據(jù)同時并行輸入yolov5模型的的backbone中的mobilenetv3-large特征提取層的第1～7層進(jìn)行特征提取；
22、s202：經(jīng)過mobilenetv3-large特征提取層的第1～7層特征提取后的淺層特征輸入到跨模態(tài)融合模塊中；
23、s203：經(jīng)過跨模態(tài)融合模塊處理后的特征分別和原模態(tài)支路的淺層特征分別相加后，一路繼續(xù)分別輸入mobilenetv3-large特征提取層的第8～13層進(jìn)行特征提取，另一路輸入neck；
24、s204：三路并行mobilenetv3-large特征提取層的第8～13層輸出的特征圖，一方面繼續(xù)分別輸入mobilenetv3-large特征提取層的第14～17層進(jìn)行特征提取；另一方面，它們在相加后輸入neck；
25、s205：經(jīng)過三路并行mobilenetv3-large特征提取層的第14～17層特征提取后得到的高級特征映射在相加后輸入neck；
26、s206：從backbone提取到的特征輸入neck和head進(jìn)行后續(xù)處理。
27、在一些實施例中，步驟s202中，所述跨模態(tài)融合模塊的處理包括：
28、s2021：給定可見光特征映射、紅外卷積特征映射和微光特征映射，通過將每個特征映射展平并排列矩陣的順序，分別得到對應(yīng)的模態(tài)序列；
29、s2022：將每種模態(tài)序列進(jìn)行拼接，并添加一個可學(xué)習(xí)的位置嵌入，得到跨模態(tài)融合模塊的輸入序列；
30、s2023：進(jìn)行位置編碼；
31、s2024：將輸入序列投影到三個權(quán)重矩陣上，以計算一組查詢、鍵和值；
32、s2025：根據(jù)查詢、鍵本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，步驟S100包括如下子步驟：
3.根據(jù)權(quán)利要求1所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，步驟S200中，所述構(gòu)建基于YOLOv5模型的三模態(tài)圖像特征融合目標(biāo)檢測模型，包括：
4.根據(jù)權(quán)利要求3所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，所述MobileNetV3-large特征提取層包括多個標(biāo)準(zhǔn)卷積層和逆殘差模塊。
5.根據(jù)權(quán)利要求4所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，所述MobileNetV3-large特征提取層包括17層，其中，第1層和第17層是標(biāo)準(zhǔn)卷積層，第2層至第16層是逆殘差模塊。
6.根據(jù)權(quán)利要求5所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，MobileNetV3-large特征提取層劃分為三部分，其中：
7.根據(jù)權(quán)利要求6所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，所述三模態(tài)圖像特征融合目標(biāo)檢測模型中的處理過程如下：
<...【技術(shù)特征摘要】
1.一種三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，步驟s100包括如下子步驟：
3.根據(jù)權(quán)利要求1所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，步驟s200中，所述構(gòu)建基于yolov5模型的三模態(tài)圖像特征融合目標(biāo)檢測模型，包括：
4.根據(jù)權(quán)利要求3所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，所述mobilenetv3-large特征提取層包括多個標(biāo)準(zhǔn)卷積層和逆殘差模塊。
5.根據(jù)權(quán)利要求4所述的三模態(tài)圖像特征融合目標(biāo)檢測方法，其特征在于，所述mobilenetv3-large特征提取層包括17層，其中，第1層和第1...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：許青山，程鈴皓，鄧堯，閆超，羅亞玲，
申請(專利權(quán))人：四川九洲電器集團有限責(zé)任公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。