【技術實現步驟摘要】
本專利技術屬于圖像處理增強領域，具體涉及一種基于深度學習語義信息提取的小目標檢測增強方法及系統。
技術介紹
1、在過去的十年中，目標檢測被廣泛應用于自然場景。隨著航空技術的進步，航空圖像中的目標檢測因其在交通監測、監控和救援等應用中的重要應用而受到廣泛關注。與自然圖像相比，航空圖像通常是在更大的視場中拍攝的，物體通常很小，通常小于16×16像素。這使得航空圖像中的目標檢測容易受到復雜背景、模糊外觀的干擾，導致小目標和背景之間的混淆。因此，誤報和漏檢成為小目標檢測的主要問題。
2、考慮到流行的檢測器如yolov5以及faster?r-cnn的強大性能，解決小目標檢測最直接的方法是在小目標數據集上訓練這些現有的檢測器。然而，目前主流的探測器專注于一般尺寸的物體。直接采用現有流行的檢測器，在解決誤報和漏檢方面都不能產生令人滿意的性能。
3、為了解決這個問題，目前的大多數工作都基于微小物體的特征改進現有的探測器。許多基于yolov5以及faster?r-cnn改進的方法注重解決小目標檢測誤報的問題，并取得了良好的效果。
4、然而，漏檢依舊是小目標檢測的主要問題。小目標檢測的漏檢問題主要由語義信息的缺失造成。在特征提取過程中，降采樣等操作逐漸增加了接受域，提高了高級特征在失去物體分辨率時區分物體和背景的能力。然而，在高級特征中的目標信息表現為高亮但沒有結構細節，也就是缺少語義信息。語義信息的缺乏導致了對象定位的丟失，并導致了漏檢。先前的一些工作的重點是增強特征中現有的語義信息，并未能恢復網絡丟失的語義信
技術實現思路
1、為了解決
技術介紹
中存在的問題，本專利技術提供一種基于深度學習語義信息提取的小目標檢測增強方法及系統，整合了全局接受域，并設計了一個語義信息提取模塊，以減少語義信息的丟失，以此來解決小目標檢測的漏檢問題。
2、實現本專利技術目的的技術解決方案為：
3、一種基于深度學習語義信息提取的小目標檢測增強方法，包括步驟：
4、s1，整合全局接受域，構建語義信息提取模塊；
5、s2，采集若干待目標檢測的圖像并進行目標標注，構建訓練集，將訓練集輸入到目標檢測網絡中進行訓練，通過語義信息提取模塊提取輸入圖像全局接受域的語義信息，語義信息提取模塊輸出的特征圖輸入到骨干網絡中訓練，并依次通過特征金字塔和檢測頭進行輸出，直至網絡損失函數收斂訓練完成，獲得訓練完成的目標檢測網絡；
6、s3，采集待目標檢測的圖像并輸入至訓練完成的目標檢測網絡中進行小目標檢測。
7、進一步地，所述語義信息提取模塊的提取過程包括：輸入圖像通過卷積層得到特征圖，特征圖分別輸入到多頭交叉注意力模塊和多頭自注意力模塊，兩個模塊的輸出通過連接層連接并依次通過卷積層、上采樣操作、卷積層以及se模塊輸出語義信息。
8、進一步地，所述輸入圖像通過6×6卷積層得到特征圖f。
9、進一步地，所述多頭交叉注意力模塊進行特征圖處理的過程為：通過步長為2的特征切分操作將特征圖f切分為fi，其中i∈[1l2,3,4]，通過四個卷積層分別對fi進行處理，再通過多頭交叉注意力機制對特征fi進行處理得到輸出特征f″，即：
10、f″＝mhca(mhca(conv(f1)，conv(f2))，mhca(conv(f3)，conv(f4)))，
11、其中，mhca(·)表示多頭交叉注意力機制，conv(·)表示卷積層。
12、進一步地，所述多頭自注意力模塊進行特征圖處理的過程為：依次通過兩個卷積層和多頭自注意力機制對特征f進行處理，f′＝mhsa(conv(conv(f)))，其中，conv(·)表示卷積層，mhsa(·)表示多頭自注意力機制。
13、進一步地，所述多頭交叉注意力模塊和多頭自注意力模塊的輸出通過連接層連接并依次通過卷積層、上采樣操作得到尺寸與特征圖f尺寸相同的特征f″′，f″′＝f+upsample(conv(concat(f′，f″)))，其中，upsample(·)表示上采樣操作，conv(·)表示卷積層，concat(·)表示連接層。
14、進一步地，所述特征f″′通過卷積層和se模塊，得到最終輸出的特征f″″，f″″＝se(conv(f″′))，其中，conv(·)表示卷積層，se(·)表示壓縮和激勵注意力模塊。
15、進一步地，所述骨干網絡為resnet、vgg或cspdarknet53，所述特征金字塔采用fpn、pan或bifpn。
16、進一步地，所述檢測頭由一個1×1卷積層構成。
17、一種基于深度學習語義信息提取的小目標檢測增強系統，包括：
18、語義信息提取模塊構建單元，整合全局接受域，構建語義信息提取模塊；
19、目標檢測網絡訓練單元，采集若干待目標檢測的圖像并進行目標標注，構建訓練集，將訓練集輸入到目標檢測網絡中進行訓練，通過語義信息提取模塊提取輸入圖像全局接受域的語義信息，語義信息提取模塊輸出的特征圖輸入到骨干網絡中訓練，并依次通過特征金字塔和檢測頭進行輸出，直至網絡損失函數收斂訓練完成，獲得訓練完成的目標檢測網絡；
20、目標檢測單元，采集待目標檢測的圖像并輸入至訓練完成的目標檢測網絡中進行小目標檢測。
21、與現有技術相比，本專利技術的有益效果為：
22、本專利技術方法考慮小目標檢測的漏檢問題，從減少小目標檢測過程中語義信息丟失出發，將小目標檢測輸入圖像進行全局接受域的整合并進行語義信息的提取，以減少語義信息的丟失，并結合深度學習進行求解與優化，完成小目標的檢測；本方法的應用可以有效提升現有的基于深度學習的小目標檢測方法的檢測效果，使現有的其他小目標檢測方法在應用本方法后，能夠有效解決小目標檢測漏檢的問題。
本文檔來自技高網...【技術保護點】
1.一種基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，包括步驟：
2.根據權利要求1所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述語義信息提取模塊的提取過程包括：輸入圖像通過卷積層得到特征圖，特征圖分別輸入到多頭交叉注意力模塊和多頭自注意力模塊，兩個模塊的輸出通過連接層連接并依次通過卷積層、上采樣操作、卷積層以及SE模塊輸出語義信息。
3.根據權利要求1所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述輸入圖像通過6×6卷積層得到特征圖F。
4.根據權利要求2所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述多頭交叉注意力模塊進行特征圖處理的過程為：通過步長為2的特征切分操作將特征圖F切分為Fi，其中i∈[1,2,3,4]，通過四個卷積層分別對Fi進行處理，再通過多頭交叉注意力機制對特征Fi進行處理得到輸出特征F”，即：
5.根據權利要求4所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述多頭自注意力模塊進行特征圖處理的過程為：依次通過兩個卷積層
6.根據權利要求5所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述多頭交叉注意力模塊和多頭自注意力模塊的輸出通過連接層連接并依次通過卷積層、上采樣操作得到尺寸與特征圖F尺寸相同的特征F”',F”'＝F+Upsample(Conv(Concat(F',F”)))，其中，Upsample(·)表示上采樣操作，Conv(·)表示卷積層，Concat(·)表示連接層。
7.根據權利要求6所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述特征F”'通過卷積層和SE模塊，得到最終輸出的特征F””,F””＝SE(Conv(F”'))，其中，Conv(·)表示卷積層，SE(·)表示壓縮和激勵注意力模塊。
8.根據權利要求1所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述骨干網絡為ResNet、VGG或CSPDarkNet53，所述特征金字塔采用FPN、PAN或BiFPN。
9.根據權利要求1所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述檢測頭由一個1×1卷積層構成。
10.一種實現權利要求1-9任一所述方法的基于深度學習語義信息提取的小目標檢測增強系統，其特征在于，包括：
...【技術特征摘要】
1.一種基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，包括步驟：
2.根據權利要求1所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述語義信息提取模塊的提取過程包括：輸入圖像通過卷積層得到特征圖，特征圖分別輸入到多頭交叉注意力模塊和多頭自注意力模塊，兩個模塊的輸出通過連接層連接并依次通過卷積層、上采樣操作、卷積層以及se模塊輸出語義信息。
3.根據權利要求1所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述輸入圖像通過6×6卷積層得到特征圖f。
4.根據權利要求2所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述多頭交叉注意力模塊進行特征圖處理的過程為：通過步長為2的特征切分操作將特征圖f切分為fi，其中i∈[1,2,3,4]，通過四個卷積層分別對fi進行處理，再通過多頭交叉注意力機制對特征fi進行處理得到輸出特征f”，即：
5.根據權利要求4所述的基于深度學習語義信息提取的小目標檢測增強方法，其特征在于，所述多頭自注意力模塊進行特征圖處理的過程為：依次通過兩個卷積層和多頭自注意力機制對特征f進行處理，f'＝mhsa(conv(conv(f)))，其中，conv(·)表示卷積層，mhsa(·)表示多...
【專利技術屬性】
技術研發人員：田聰玲，童奕澄，樂觀，呂國森，游峰，翁樂安，劉琰，朱得亞，顧珈企，馮璐，
申請(專利權)人：杭州智元研究院有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。