【技術實現步驟摘要】
本專利技術涉及目標檢測，具體涉及一種基于掩模自動生成與混合特征增強的遮擋目標檢測方法。
技術介紹
1、目標檢測是計算機視覺領域一個備受關注的研究問題，在無人系統、安防監控、軍用裝備等各類系統中具有廣泛的應用前景。然而，在實際場景中，目標檢測系統會受到各種因素的影響，導致檢測精度下降。其中遮擋的存在是影響精度的一個重要因素，它會導致目標部分信息包括外觀，紋理等的丟失，使得目標檢測系統難以識別該類物體，造成漏檢或誤檢。
2、現有方法可以通過在原始圖像上添加噪聲來模擬遮擋情形，防止卷積神經網絡過擬合，增強模型對遮擋的魯棒性。例如隨機擦除，即通過概率矩陣來覆蓋原圖像并對覆蓋區域進行隨機像素賦值。另外還有在訓練圖像之間隨機裁剪和粘貼遮擋塊進行圖像增強的方法以及直接將遮擋物圖像添加在待識別目標的檢測框中的方法。現有方法還通過利用目標的結構信息將目標劃分，并利用可見部分進行檢測，通過投票機制根據整體得分來推斷被遮擋的目標。
3、但是，這些方法存在以下問題：隨機生成的遮擋區域與現實場景中發生的遮擋情況差異較大，影響模型的泛化性能。在訓練前直接構建包含遮擋的數據集丟失了原始數據集部分信息，損害模型性能。直接在目標檢測框中添加遮擋物的方法，忽略了遮擋物與被遮擋物之間可能存在的語義信息，會在訓練中對模型產生一定程度的誤導。
技術實現思路
1、(一)專利技術目的
2、本專利技術的目的是提供一種能提高目標檢測的準確性，考慮遮擋物與被遮擋物之間的語義信息的遮擋目標檢測方法。
3、(二)技術方案
4、為解決上述問題，本專利技術提供了一種基于掩模自動生成與混合特征增強的遮擋目標檢測方法，包括：
5、s100：構建遮擋樣板庫，所述遮擋樣板庫中的樣本包括語義信息；
6、s200：對數據集進行標注，獲得標注后的數據集，將所述標注后的數據集分成訓練集、驗證集和測試集；
7、s300：利用所述遮擋樣板庫和掩模自動生成算法，對所述訓練集中的圖片進行數據預處理，獲得預處理后的訓練集，所述訓練集包括多個第一圖片，所述預處理后的訓練集包括多個第二圖片；所述第一圖片與第二圖片一一對應；
8、s400：構建基于混合特征增強的第一目標檢測模型；
9、s500：將所述第一圖片和第二圖片輸入所述第一目標檢測模型進行訓練，獲得第二目標檢測模型；
10、s600：利用所述測試集，對所述第二目標檢測模型進行檢測，利用檢測后的第二目標檢測模型進行目標檢測。
11、本專利技術的另一方面，優選地，所述語義信息包括目標類別與遮擋物和被遮擋物的位置關系；
12、所述遮擋物和被遮擋物的位置關系包括強語義遮擋關系和弱語義遮擋關系；
13、所述強語義遮擋關系表示遮擋物和被遮擋物的位置關系固定；
14、所述弱語義遮擋關系表示遮擋物和被遮擋物的位置關系不固定；
15、所述標注包括目標檢測框和目標類別。
16、本專利技術的另一方面，優選地，
17、所述第一目標檢測模型包括主干網絡、不可見特征恢復模塊和可見特征提取與增強模塊；
18、所述步驟s400中構建基于混合特征增強的第一目標檢測模型包括：
19、s401：將所述第一圖片輸入所述主干網絡進行特征提取，獲取第一特征；
20、s402：將所述第二圖片輸入所述主干網絡和不可見特征恢復模塊進行特征提取，獲取第二特征；
21、s403：對所述第一特征和第二特征進行融合處理，獲得第三特征；
22、s404：將所述第三特征輸入可見特征提取與增強模塊進行特征提取，獲得第四特征；
23、s405：根據所述第四特征進行目標檢測。
24、本專利技術的另一方面，優選地，所述步驟s300：利用所述遮擋樣板庫和掩模自動生成算法，對所述訓練集中的圖片進行數據預處理，獲得預處理后的訓練集包括：
25、s301：獲取第一圖片中每個圖片預定比例的目標檢測框；
26、s302：在所述遮擋樣板庫中選取遮擋樣板，并根據遮擋樣板的最小包圍矩形框對遮擋樣板進行裁剪；
27、s303：根據獲取的目標檢測框的目標類別和裁剪后的遮擋樣板的目標類別，確定兩者間的遮擋物和被遮擋物的位置關系；
28、s304：根據確定的遮擋物和被遮擋物的位置關系，基于掩模自動生成算法，生成相對應的第二圖片；
29、s305：并將所述遮擋樣板的標簽補充到第一圖片中相對應的圖片中。
30、本專利技術的另一方面，優選地，所述步驟s500中將所述第一圖片和第二圖片輸入所述第一目標檢測模型進行訓練，獲得第二目標檢測模型包括：
31、s501：配置第一目標檢測模型的訓練環境；
32、s502：配置第一目標檢測模型訓練參數；
33、s503：構建損失函數，進行反向傳播；
34、s504：利用訓練中的第一目標檢測模型對驗證集進行測試，當損失函數趨于不變時結束訓練。
35、本專利技術的另一方面，優選地，所述可見特征提取與增強模塊依次包括多尺度感受野可變形卷積子模塊、漸進式特征融合網絡子模塊和上下文語義增強子模塊；
36、所述多尺度感受野可變形卷積子模塊包括：一個全局注意力層、若干個不同尺寸的卷積核和一個自適應加權的動態可變形卷積。
37、本專利技術的另一方面，優選地，所述自適應加權的動態可變形卷積利用以下公式表示：
38、
39、其中，x和y分別表示輸入特征和輸出特征，o表示學習到的偏移方向，t表示學習到的偏移權重，m為卷積核的位置，m0表示特征圖中的點，w表示卷積核的權重。
40、本專利技術的另一方面，優選地，所述漸進式特征融合網絡子模塊利用以下公式表示：
41、
42、其中，表示經過多尺度自適應空間融合后的特征，xijn-＞l表示由leveln到levell的特征向量，表示level?l的自適應空間融合系數。
43、本專利技術的另一方面，優選地，所述上下文語義增強子模塊利用以下公式表示：
44、
45、其中，adaptiveconv1d表示自適應一維卷積，卷積核大小為k；gap表示全局平均池化，c表示輸入特征圖的通道數，||odd表示k向下取奇數，fin表示上下文語義增強子模塊的輸入特征,fout表示上下文語義增強子模塊的輸出特征,sigmoid表示激活函數。
46、本專利技術的另一方面，優選地，所述損失函數包括目標置信度和分類損失函數、預測框回歸損失函數和特征對比損失函數；
47、其中目標置信度和分類損失函數包括交叉熵損失函數；預測框回歸損失函數包括wise-iou損失函數；特征對比損失函數包括余弦相似度損失函數。
48、(三)有益效果
49、本專利技術的上述技術方案具有如下有益的技術效果：<本文檔來自技高網...
【技術保護點】
1.一種基于掩模自動生成與混合特征增強的遮擋目標檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，
3.根據權利要求1所述的方法，其特征在于，
4.根據權利要求2所述的方法，其特征在于，所述步驟S300：利用所述遮擋樣板庫和掩模自動生成算法，對所述訓練集中的圖片進行數據預處理，獲得預處理后的訓練集，包括：
5.根據權利要求1所述的方法，其特征在于，所述步驟S500中將所述第一圖片和第二圖片輸入所述第一目標檢測模型進行訓練，獲得第二目標檢測模型包括：
6.根據權利要求3所述的方法，其特征在于，所述可見特征提取與增強模塊依次包括多尺度感受野可變形卷積子模塊、漸進式特征融合網絡子模塊和上下文語義增強子模塊；
7.根據權利要求6所述的方法，其特征在于，所述自適應加權的動態可變形卷積利用以下公式表示：
8.根據權利要求6所述的方法，其特征在于，所述漸進式特征融合網絡子模塊利用以下公式表示：
9.根據權利要求6所述的方法，其特征在于，所述上下文語義增強子模塊利用以下公
10.根據權利要求5所述的方法，其特征在于，
...【技術特征摘要】
1.一種基于掩模自動生成與混合特征增強的遮擋目標檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，
3.根據權利要求1所述的方法，其特征在于，
4.根據權利要求2所述的方法，其特征在于，所述步驟s300：利用所述遮擋樣板庫和掩模自動生成算法，對所述訓練集中的圖片進行數據預處理，獲得預處理后的訓練集，包括：
5.根據權利要求1所述的方法，其特征在于，所述步驟s500中將所述第一圖片和第二圖片輸入所述第一目標檢測模型進行訓練，獲得第二目標檢測模型包括：...
【專利技術屬性】
技術研發人員：孫宏濱，李秉帥，汪航，張旭翀，
申請(專利權)人：西安交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。