【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及空中目標(biāo)成像及探測(cè)，具體涉及一種融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法。
技術(shù)介紹
1、空中目標(biāo)的準(zhǔn)確檢測(cè)是目標(biāo)識(shí)別與威脅度分析以及態(tài)勢(shì)感知的重要基礎(chǔ)。目前現(xiàn)有技術(shù)中，空中目標(biāo)精準(zhǔn)探測(cè)主要面臨兩方面的挑戰(zhàn)：一方面，現(xiàn)有基于傳統(tǒng)相機(jī)的光學(xué)成像空中目標(biāo)探測(cè)技術(shù)手段，存在成像速率慢、動(dòng)態(tài)范圍有限、功耗較高、占用帶寬高等問(wèn)題，難以實(shí)現(xiàn)高實(shí)時(shí)性目標(biāo)成像以及逆光條件下的長(zhǎng)時(shí)間工作需求。而空中目標(biāo)在逆光條件下，由于太陽(yáng)光的干擾，導(dǎo)致成像傳感器產(chǎn)生過(guò)曝現(xiàn)象，無(wú)法實(shí)現(xiàn)對(duì)空中目標(biāo)的實(shí)時(shí)成像，從而給目標(biāo)精準(zhǔn)探測(cè)帶來(lái)挑戰(zhàn)。另一方面，空中目標(biāo)往往相對(duì)尺寸小或尺度變化極大，且目標(biāo)速度快、動(dòng)態(tài)性強(qiáng)，存在背景干擾、快速移動(dòng)的目標(biāo)和目標(biāo)尺度變化從而影響空中目標(biāo)的準(zhǔn)確檢測(cè)的問(wèn)題。同時(shí)，由于這些目標(biāo)通常是在遠(yuǎn)距離或高空下進(jìn)行檢測(cè)，所以還需要考慮光照、氣象等因素的影響。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的是為了提供一種融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法。此方法旨在解決現(xiàn)有技術(shù)中存在的成像速率慢、動(dòng)態(tài)范圍有限、功耗較高、占用帶寬高、以及存在背景干擾、快速移動(dòng)的目標(biāo)和目標(biāo)尺度變化影響空中目標(biāo)檢測(cè)的問(wèn)題。
2、為達(dá)到上述目的，本專利技術(shù)通過(guò)以下技術(shù)方案實(shí)現(xiàn)：
3、本專利技術(shù)提供一種融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，包括：
4、步驟s1：利用高速成像事件相機(jī)完成目標(biāo)信息采集，得到時(shí)空事件流數(shù)據(jù)；
5、步驟s2：采用離散點(diǎn)去噪方法，對(duì)所述時(shí)空事件流數(shù)據(jù)進(jìn)
6、步驟s3：對(duì)所述去噪后的時(shí)空事件流數(shù)據(jù)進(jìn)行圖像重構(gòu)，并對(duì)圖像進(jìn)行標(biāo)注，劃分訓(xùn)練集和測(cè)試集；
7、步驟s4：構(gòu)建單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型；
8、步驟s5：通過(guò)所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型對(duì)重構(gòu)后的事件圖像進(jìn)行目標(biāo)識(shí)別，實(shí)現(xiàn)空中目標(biāo)的高速探測(cè)識(shí)別任務(wù)。
9、優(yōu)選的，所述高速成像事件相機(jī)的動(dòng)態(tài)范圍大于120db、空間分辨率大于2k且平均功耗小于1w。
10、優(yōu)選的，每一所述時(shí)空事件流數(shù)據(jù)中均包括：?jiǎn)晤惸繕?biāo)和多類目標(biāo)。
11、優(yōu)選的，所述步驟s2中，所述的采用離散點(diǎn)去噪方法，對(duì)所述時(shí)空事件流數(shù)據(jù)進(jìn)行去噪處理，其具體包括：
12、步驟s2.1：采用離散點(diǎn)去噪方法，對(duì)所述時(shí)空事件流數(shù)據(jù)進(jìn)行去噪處理，具體為：
13、將時(shí)空事件流數(shù)據(jù)中的每個(gè)事件視為點(diǎn)，采用歐式距離計(jì)算方法，計(jì)算點(diǎn)與點(diǎn)之間的距離，具體為：
14、
15、其中，deuc(x,y)表示x點(diǎn)和y點(diǎn)之間的歐式距離，下標(biāo)euc是euclidean的縮寫(xiě)，表示歐式，xi為i維度上的x點(diǎn)坐標(biāo)值，yi為i維度上的y點(diǎn)坐標(biāo)值，k表示歐式空間維度；
16、步驟s2.2：將所述歐式距離小于半徑閾值的點(diǎn)連接起來(lái)，構(gòu)成一個(gè)簇；若所述簇中的事件點(diǎn)的個(gè)數(shù)少于噪聲識(shí)別閾值，則將所述簇中的事件點(diǎn)的點(diǎn)位視為噪聲并剔除所述簇中的事件點(diǎn)，得到去噪后的時(shí)空事件流數(shù)據(jù)。
17、優(yōu)選的，所述步驟s3具體包括：
18、步驟s3.1：事件相機(jī)的輸出形式為事件流，所述事件流由下述公式表示：
19、evj＝[xj,tj,pj]t,j∈{1,2,...,n}
20、其中，evj表示第j個(gè)事件，其坐標(biāo)為xj＝[xj,yj]t，tj表示時(shí)間戳，極性pi∈[-1,1]，標(biāo)志著事件光強(qiáng)的改變，-1表示off事件，1表示on事件；
21、步驟s3.2：將所述事件流的事件信息轉(zhuǎn)換為空間信息，將所述事件流的時(shí)間戳tk轉(zhuǎn)換為像素的灰度，從而將所述事件流轉(zhuǎn)換為圖像幀，其具體為：
22、以xk＝[xk,yk]t為中心的一個(gè)(2r+1)×(2r+1)的窗口，則時(shí)間上下文表示為：
23、tk(u,p)＝maxl＜ktl|xl＝(xk+u),pl＝p
24、其中，tk(u,p)是時(shí)間上下文，u＝[ux,uy]t是窗口中的像素，ux∈[-r,...,r]，uy∈[-r,...,r]，極性pl∈[-1,1]；
25、步驟s3.3：采用標(biāo)注軟件對(duì)重構(gòu)后的事件圖像進(jìn)行標(biāo)注，得到標(biāo)注后的數(shù)據(jù)集，所述標(biāo)注后的數(shù)據(jù)集包括(c,h,w,x,y)，其中，c表示目標(biāo)類別的索引，h表示目標(biāo)區(qū)域標(biāo)注框的高，w表示目標(biāo)區(qū)域標(biāo)注框的寬，x、y分別表示目標(biāo)區(qū)域標(biāo)注框的中心坐標(biāo)；
26、步驟s3.4：將所述標(biāo)注后的數(shù)據(jù)集按照預(yù)定比例，劃分為所述訓(xùn)練集和所述測(cè)試集。
27、優(yōu)選的，所述標(biāo)注后的數(shù)據(jù)集按照8:2的比例，劃分為所述訓(xùn)練集和所述測(cè)試集。
28、優(yōu)選的，所述步驟s4中，構(gòu)建單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型，具體包括：
29、步驟s4.1：構(gòu)建骨干網(wǎng)絡(luò)模塊，所述骨干網(wǎng)絡(luò)模塊包括：卷積層、池化層和空間金字塔池化層，每一個(gè)卷積層后跟隨非線性激活函數(shù)和正則化層；
30、步驟s4.2：構(gòu)建頸部網(wǎng)絡(luò)模塊，所述頸部網(wǎng)絡(luò)模型中采用自頂向下的方式將所述骨干網(wǎng)絡(luò)模型輸出的特征逐層融合；
31、步驟s4.3：構(gòu)建預(yù)測(cè)頭網(wǎng)絡(luò)模塊，用于輸出目標(biāo)的預(yù)測(cè)結(jié)果，在所述預(yù)測(cè)頭網(wǎng)絡(luò)模塊中，采用1×1大小的卷積核對(duì)所述預(yù)測(cè)頭網(wǎng)絡(luò)模塊每層輸出的特征通道數(shù)進(jìn)行調(diào)整；
32、步驟s4.4：所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型通過(guò)應(yīng)用錨框和非極大值抑制，對(duì)所述目標(biāo)的預(yù)測(cè)結(jié)果進(jìn)行解析和篩選；
33、步驟s4.5：設(shè)定損失函數(shù)以及優(yōu)化策略，完成對(duì)識(shí)別模型的訓(xùn)練；
34、步驟s4.6：根據(jù)所述設(shè)計(jì)損失函數(shù)，采用隨機(jī)梯度下降算法優(yōu)化所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型。
35、優(yōu)選的，所述步驟s4.5中，所述的設(shè)定損失函數(shù)以及優(yōu)化策略包括：通過(guò)計(jì)算最小化空中目標(biāo)預(yù)測(cè)邊界框和真實(shí)邊界框的左上點(diǎn)和右下點(diǎn)距離，以得到重疊或不重疊區(qū)域、中心點(diǎn)距離、寬度和高度偏差，同時(shí)簡(jiǎn)化了計(jì)算過(guò)程，具體為：
36、
37、lmpdiou＝1-mpdiou
38、其中，a和b分別表示預(yù)測(cè)邊界框和實(shí)際邊界框，mpdiou表示預(yù)測(cè)邊界框和實(shí)際邊界框的交并比，分別表示預(yù)測(cè)邊界框的左上和右下點(diǎn)坐標(biāo)，分別表示真實(shí)邊界框左上和右下點(diǎn)坐標(biāo)，w和h表示輸入圖像的寬度和高度，lmpdiou表示損失函數(shù)。
39、優(yōu)選的，所述步驟s5具體包括：
40、步驟s5.1：將待檢測(cè)的事件圖像輸入到所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型中，所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型輸出目標(biāo)的類型、檢測(cè)準(zhǔn)確率及目標(biāo)框位置；
41、步驟s5.2：對(duì)所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型進(jìn)行定性和/或定量分析。
42、優(yōu)選的，所述步驟s5.2具體包括：根據(jù)所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型輸出的目標(biāo)的類型、檢測(cè)準(zhǔn)確率及目標(biāo)框位置，采用準(zhǔn)確率p、召回率r和平均精度map來(lái)作為評(píng)估網(wǎng)絡(luò)性能的關(guān)鍵指標(biāo)，正樣本指預(yù)測(cè)為正的樣本，準(zhǔn)確率指預(yù)測(cè)為正的樣本中實(shí)際本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，包括：
2.如權(quán)利要求1所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述高速成像事件相機(jī)的動(dòng)態(tài)范圍大于120dB、空間分辨率大于2K且平均功耗小于1W。
3.如權(quán)利要求1所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，每一所述時(shí)空事件流數(shù)據(jù)中均包括：?jiǎn)晤惸繕?biāo)和多類目標(biāo)。
4.如權(quán)利要求3所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述步驟S2具體包括：
5.如權(quán)利要求4所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述步驟S3具體包括：
6.如權(quán)利要求5所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述標(biāo)注后的數(shù)據(jù)集按照8:2的比例，劃分為所述訓(xùn)練集和所述測(cè)試集。
7.如權(quán)利要求5所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述步驟S4中，構(gòu)建單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型，具體包括：
8.如權(quán)利要求7所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，
9.如權(quán)利要求8所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述步驟S5具體包括：
10.如權(quán)利要求9所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述步驟S5.2具體包括：根據(jù)所述單階段卷積神經(jīng)網(wǎng)絡(luò)目標(biāo)識(shí)別模型輸出的目標(biāo)的類型、檢測(cè)準(zhǔn)確率及目標(biāo)框位置，采用準(zhǔn)確率P、召回率R和平均精度mAP來(lái)作為評(píng)估網(wǎng)絡(luò)性能的關(guān)鍵指標(biāo)，正樣本指預(yù)測(cè)為正的樣本，準(zhǔn)確率指預(yù)測(cè)為正的樣本中實(shí)際為正的比例，召回率指正樣本中被正確預(yù)測(cè)的比例，AP表示某一類別的平均準(zhǔn)確率，各參數(shù)的具體表達(dá)式分別為：
...【技術(shù)特征摘要】
1.一種融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，包括：
2.如權(quán)利要求1所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述高速成像事件相機(jī)的動(dòng)態(tài)范圍大于120db、空間分辨率大于2k且平均功耗小于1w。
3.如權(quán)利要求1所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，每一所述時(shí)空事件流數(shù)據(jù)中均包括：?jiǎn)晤惸繕?biāo)和多類目標(biāo)。
4.如權(quán)利要求3所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述步驟s2具體包括：
5.如權(quán)利要求4所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述步驟s3具體包括：
6.如權(quán)利要求5所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述標(biāo)注后的數(shù)據(jù)集按照8:2的比例，劃分為所述訓(xùn)練集和所述測(cè)試集。
7.如權(quán)利要求5所述的融合事件相機(jī)和深度學(xué)習(xí)的空中目標(biāo)檢測(cè)方法，其特征在于，所述步驟s4中，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：董洪文，王志誠(chéng)，孫高，盛佳戀，王天琪，陳必武，方磊，
申請(qǐng)(專利權(quán))人：上海無(wú)線電設(shè)備研究所，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。