【技術實現步驟摘要】
本專利技術涉及計算機視覺中的目標檢測算法領域，具體涉及一種多尺度顯著性混合增強的車輛檢測方法和系統。
技術介紹
1、基于深度學習的目標檢測依據檢測方式一般被分為兩類：兩階段檢測和單階段檢測。前者先生成預測框，預測框中可能包含待檢測的目標，然后對預測框分析并微調，從而得到理想的檢測結果，其代表性算法如區域卷積神經網絡r-cnn、fast?r-cnn、faster?r-cnn、mask?r-cnn等。后者直接在網絡中對圖像特征進行提取，并直接在特征圖上對預設錨框中的潛在目標進行分類和位置回歸，從而檢測出所有目標，代表算法如ssd，yolo系列等。
2、卷積神經網絡(convolutional?neural?network，cnn)是在深度學習任務(諸如語義分割和三維對象檢測)中使用的主流深度神經網絡。cnn可以有效地提取輸入數據的特征張量(feature?tensor)。然而，在每個卷積步驟處，cnn只能夠捕獲一個局部塊(patch)的特征張量。為了擴大深度神經網絡的感受野，cnn需要數輪卷積操作。但是，分級卷積操作仍然影響全局尺度(global?scale)特征張量提取。不同于cnn，transformer利用自注意(selfattention)模塊來進行特征張量提取。transformer首先將輸入數據分成一系列較小的張量，然后運行數輪自注意模塊以提取輸入的特征。以此方式，transformer擁有大得多的感受野，并且可以更好地捕獲輸入數據的空間信息。此外，transformer可以更好地用公式表示輸入數據的不同塊之
3、在目標檢測領域，有效地表示和處理不同尺度的對象始終是核心挑戰之一。傳統基于cnn的檢測器廣泛采用多尺度特征提取技術，例如fpn、bifpn、panet和nas-fpn，這些技術已被證實能夠顯著提升模型的效率和效果。相比之下，detr模型(基于transformer的端到端目標檢測模型)在處理多尺度特征時的效率問題尚未得到充分解決。針對現有技術的局限性，需要一種基于detr的城市交通車輛檢測模塊，可以在基于transformer的目標檢測器中有效使用多尺度特征。
技術實現思路
1、為了解決現有技術中存在的問題，本專利技術提出了一種多尺度顯著性混合增強的車輛檢測方法，可以在基于transformer的目標檢測器中有效使用多尺度特征，其包括以下步驟：
2、步驟1，獲取路測相機的真實掃描圖像數據；
3、步驟2，利用前置卷積神經網絡獲得數據對應的多尺度特征圖片；
4、步驟3，通過顯著性得分計算，篩選多尺度顯著性特征；
5、步驟4，通過多尺度混合建議模塊，從最高層即低分辨率層篩選有效特征，向低層特征圖片映射，獲得多尺度混合特征群；
6、步驟5，將多尺度混合特征群送入基于transformer結構的編碼器，獲得加強多尺度混合特征群，利用解碼器預測并輸出檢測目標的類別和概率。
7、進一步的，步驟2中，輸入的圖像數據經過前置的卷積神經網絡resnet卷積處理后，得到一系列的特征圖fl，每個特征圖代表不同分辨率的尺度層級，其中，c是每個特征圖的通道數，hl和wl分別是第l層特征圖的高度和寬度。
8、進一步的，步驟3的具體實現方式如下：
9、使用與尺度無關的顯著性得分作為監督目標提取顯著性前景特征，第，個特征圖中位置(i，j)處的每個特征對應于原始圖像中的坐標c＝(x，y)，特征的顯著性得分根據以下規則確定：
10、
11、其中表示真實框，w，h分別對應真實框的寬和高，顯著性得分是通過到真實框中心的相對距離計算的：
12、
13、其中δx和δy表示c＝(x，y)與相應真實框中心之間的距離。
14、進一步的，步驟4中多尺度混合建議模塊的具體實現方式如下：
15、步驟3中獲得所有特征對應的顯著性得分，然后通過動態閾值來確認有效特征，即調整顯著性得分的閾值，使有效區域占據整個圖面面積的一個特定百分比；接下來從最高層的有效特征開始，逐層向下構建一個特征群，定義一個半徑為r的圓形鄰域n(p，r)，在該圓形鄰域內選取顯著性特征；
16、n(p，r)＝{q|||q-p||≤r}
17、其中，p是在上一層映射得到的位置，即當前層圓形鄰域對應的圓心，q是在當前層的顯著性特征位置；為了確保高層信息準確地傳輸到較低層，通過圓形卷積來模擬這個圓形鄰域的構建過程，r則對應一個圓形卷積核的大小，將第，層的顯著性特征的位置編碼上采樣映射到第，-1層，其在第，-1層位置記為pl-1，在pl-1的圓形鄰域n(p，r)內，如果存在第l-1層的顯著性特征，則記其為有效，并選擇進入步驟5提到的編碼器編碼，依次類推，直到第1層：
18、sl＝{fl(q)|q∈n(p，r)，p∈pl-1}
19、其中fl(q)表示在第，層中的特征；q是在鄰域n(p，r)內的顯著性特征位置，s?l對應第，層符合映射關系的有效顯著性特征集合。
20、進一步的，步驟5中編碼器的具體實現方式如下：
21、在多尺度混合特征群的局部鄰域內，將多尺度混合特征群送入基于transformer結構的編碼器進行編碼：首先，對顯著性混合特征群執行自注意力操作，經過普通自注意力處理捕捉全局長距離聯系之后，再放入可變形注意力中加強局部聚焦處理，從而得到加強的多尺度混合特征。
22、進一步的，自注意力操作的具體實現方式如下：
23、對于一個特征，存在一個查詢向量qi指向其本身，其他特征向量則相對其稱為鍵向量而對所有特征，各存在一個值向量指代本身；首先選取一個特征對應的查詢向量qi，與其多尺度混合特征群范圍中的鍵向量進行相似度計算，并利用softmax函數進行歸一化，生成注意力權重，其指代當前兩個特征之間的相關度，最終，使用這些權重對鄰域內的值向量進行加權求和，生成增強后的特征表示；
24、
25、其中qi，通過原始特征x經過三種不同的線性變換實現；dk是查詢和鍵向量的維度，用于防止點積結果過大。
26、進一步的，為了表示順序關系，在原始特征中嵌入添加維度為dmodel的位置編碼，具體等式如下：
27、
28、
29、其中，pe表示編碼位置，pos表示輸入序列中特征的位置，i表示輸入序列特征向量的維度索引，dmodel表示每個輸入向量的維度。
30、進一步的，可變形注意力的具體實現方式如下：
31、給定輸入特征圖，可變形注意力的計算公式為：
32、
33、其中，qi看作查詢向量，由原始特征x經過線性變換生成，q是對應的索引，pq代表qi的位置，為二維向量，稱其為參考點，δpmqk是一個偏移量，表示從查詢位置qi偏移的某個采樣位置；δamqk是注意力權重，它表示查詢qi與特定采樣位置之間的相關性；權重本文檔來自技高網...
【技術保護點】
1.一種多尺度顯著性混合增強的車輛檢測方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：步驟2中，輸入的圖像數據經過前置的卷積神經網絡ResNet卷積處理后，得到一系列的特征圖Fl，每個特征圖代表不同分辨率的尺度層級，其中，C是每個特征圖的通道數，Hl和Wl分別是第l層特征圖的高度和寬度。
3.如權利要求1所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：步驟3的具體實現方式如下：
4.如權利要求1所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：步驟4中多尺度混合建議模塊的具體實現方式如下：
5.如權利要求1所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：步驟5中編碼器的具體實現方式如下：
6.如權利要求5所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：自注意力操作的具體實現方式如下：
7.如權利要求6所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：為了表示順序關系，在原始特征中嵌入添加維度為dmodel
8.如權利要求1所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：可變形注意力的具體實現方式如下：
9.一種多尺度顯著性混合增強的車輛檢測系統，其特征在于，包括：
...【技術特征摘要】
1.一種多尺度顯著性混合增強的車輛檢測方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：步驟2中，輸入的圖像數據經過前置的卷積神經網絡resnet卷積處理后，得到一系列的特征圖fl，每個特征圖代表不同分辨率的尺度層級，其中，c是每個特征圖的通道數，hl和wl分別是第l層特征圖的高度和寬度。
3.如權利要求1所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：步驟3的具體實現方式如下：
4.如權利要求1所述的一種多尺度顯著性混合增強的車輛檢測方法，其特征在于：步驟4中多尺度混合建議模塊的具體實現方式如下：...
【專利技術屬性】
技術研發人員：卞浩邈，周劍，李必軍，謝富鑫，黃左，
申請(專利權)人：武漢大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。