【技術實現步驟摘要】
本專利技術涉及目標檢測和深度學習技術，具體涉及一種改進點云稀疏卷積的三維道路目標檢測方法。
技術介紹
1、隨著城市交通的不斷發展和智能化水平的提升，車輛檢測技術作為自動駕駛、交通監控、智能交通管理等領域的基礎性任務之一，發揮著越來越重要的作用。面對復雜的交通環境，激光雷達逐漸運用在目標檢測領域。
2、圖像數據在處理車輛遮擋、光照變化和天氣影響等方面容易受到限制，點云數據可以很好的彌補這些缺點。因此設計一個以雷達點云為對象的特征提取網絡是有必要的，學術界和工業界開始探索點云的特征提取方法。然而，由于點云具有非結構化與稀疏的三維幾何數據特征，無法將為結構化數據設計的2d特征提取范式直接遷移到3d任務中。
3、現有的方法主要將點云體素化并利用稀疏卷積進行特征提取。體素化的點云能夠減少直接處理點云帶來的龐大的數據量，并賦予一定的結構化特征，但同時產生的空體素會帶來計算冗余。稀疏卷積使用哈希表在特征，特征的位置編碼，卷積層，與結果間建立連接，使得網絡可以通過控制輸入來在確定的位置進行計算，達到跳過部分體素的目的。這種方法在自動駕駛點云目標檢測任務中得到廣泛運用，并啟發了一系列改進的出現。
4、對有值特征進行擴展卷積的目的在于尋求對特征在卷積過程中空間結構有良好作用的空值特征。子流稀疏卷積總是以有值點云作為中心進行卷積計算，由于對于點云體素來說，卷積總是覆蓋3*3*3的體素特征，在以空值特征為中心的卷積中，任然可能覆蓋多個有值特征，子流形稀疏卷積忽略了部分空體素能夠起到對相鄰非空特征的連接作用，破壞了體素
5、這些對于特征提取能力的限制源自于對所有特征的平等對待。但對于在空間上具有不同的稀疏度和重要性的三維稀疏特征來說，用統一的處理方法來處理不統一的數據并不是最優的。為解決這一問題，通過修改輸入特征采樣來專注重要特征的擴展，使核形狀能夠適應網絡的有效感受野是有必要的。
6、最新的方法，如焦點系數卷積，采用自學習的方式判斷在何處進行擴展卷積，即利用卷積訓練擬合的特性讓它自主判斷前景特征和前景特征需要擴展的位置。這種方法在避免了在所有位置進行擴展帶來的大量計算負擔的同時，能夠獲得良好的空間結構。但是，卷積是現有可解釋的數學方法無法滿足時的選擇，僅僅依賴單層卷積無法很好的擬合，容易造成誤判，卷積非線性的特性也會造成大量的計算量。
7、與此同時，大卷積核在三維稀疏卷積中已經有了許多成功的應用。有一個共識是，一個大的感受野對許多下游視覺任務有積極的貢獻，但如果只是簡單的將卷積核擴大，時間和空間消耗將隨著核的增大呈立方體增長。現有的方法一般在n×n區塊內預融合特征,這樣可以近似的模擬將卷積核的大小擴大n倍而不會增加計算量。然而，這通常會犧牲模型對于細節的理解。
技術實現思路
1、專利技術目的：本專利技術的目的在于解決現有技術中存在的不足，提供一種改進點云稀疏卷積的三維道路目標檢測方法，涉及大感受野卷積層和改進焦點稀疏卷積層構成，改進焦點稀疏卷積層通過需要被擴展卷積的空值點云與有值點云的位置關系構建偏移量來獲得所有可擴展卷積的位置，避免只在非空特征進行卷積造成的空間結構的破壞和在所有空值特征進行擴展卷積造成的計算冗余；大感受野卷積將一定范圍內的特征集中以達到不增大卷積核而擴大感受野的目的。本專利技術的兩個模塊在特征提取中彼此互補，提高在復雜路況中的檢測精度與魯棒性。
2、技術方案：本專利技術的一種改進點云稀疏卷積的三維道路目標檢測方法，包括以下步驟：
3、步驟1、構建由點云構成的數據集并進行預處理操作，將點云按三維空間布局進行裁剪，去除規定范圍之外的點云；此處數據集可以采用nuscenes三維目標檢測數據集，三維道路目標場景的目標為汽車、行人和騎行者；地面真實值為位置、尺寸和偏航角；
4、步驟2、點云劃分與分組，即將裁剪后三維點云空間劃分為均勻大小的3d體素；對于多于n個點的3d體素，從中隨機采樣n個點，對于少于n個點的3d體素，使用0進行填充；
5、步驟3、使用vfe模塊對分組后的每個體素進行特征提取，獲得新的體素特征編碼，體素特征編碼包括體素特征張量和體素位置張量；
6、步驟4、構建基于點云稀疏卷積的三維道路目標檢測模型，三維道路目標檢測模型采用子流形稀疏卷積層作為輸入層，三維道路目標檢測模型的主干網絡涉及改進焦點稀疏卷積模塊和大感受野卷積模塊；主干網絡一共五層，第一層為改進焦點稀疏卷積模塊，后四層的每一層均包括子流形稀疏卷積模塊和大感受野卷積模塊，且第二層至第五層相鄰兩層之間設置一個下采樣卷積層；
7、將步驟s2所得體素特征張量送入點云稀疏卷積主干網絡后，先經過第一層改進焦點稀疏卷積模塊獲得細粒度特征，分別饋送入第二層的子流形稀疏卷積模塊和大感受野卷積模塊，子流形稀疏卷積模塊和大感受野卷積模塊分別提取，兩個特征相加后送入第一個下采樣卷積層，直至完成第五層的特征提取；
8、步驟5、將步驟4三維道路目標檢測模型輸出的特征送入區域生成模塊rpn，進行下采樣、上采樣和通道聯結操作，提取更深層次語義特征和目標邊界框；
9、步驟6、將步驟s5所得語義特征和目標邊界框送入目標檢測網絡centerhead進行最終預測，預測分類為檢測出的目標類型（十分類）和目標的三維邊界框。
10、進一步地，所述三維道路目標檢測模型中，體素特征張量進入第一層的改進焦點稀疏卷積模塊后的具體操作如下：
11、步驟1）、構建兩張以體素在x和y維度上的個數為長和寬的0值二維張量，以體素位置張量為基礎分別填充高度和1值，獲得高度填充張量和有值掩碼；
12、步驟2）、將有值掩碼在的3*3平面范圍內按16種可能的情況進行平移（此處平移操作僅為判斷有值特征在這一平移過程中是否重合，即判斷一有值特征位置的在指定的偏移后的位置是否有值），并對平移前后的掩碼進行零值擴充；
13、步驟3）、將步驟2）所得平移前后的擴充有值掩碼相加，取相加張量中所有值為2的位置編碼，去除平移和擴充帶來的影響后，得到平移前的產生擴展特征的有值特征位置張量和平移后的對應有值特征位置張量；
14、步驟4）、獲得16種可能的平移情況每一種情況下的擴展特征偏移量（通過擴展特征偏移量對需要進行擴展卷積的空值特征的位置偏移量的進行判斷），與有值特征位置張量相加，獲得擴展特征平面位置張量；
15、步驟5）、用步驟3）所得兩個有值特征位置張量分別對高度填充張量獲得高度張量，得到平移前的高度張量和平移后的高度張量，二者相減除以二取余，獲得高度差張量并將相減值判斷是否在（-2，2）范圍內，獲得擴展特征高度掩碼；
16、步驟6）、將平移前的高度張量與擴展特征平面本文檔來自技高網...
【技術保護點】
1.一種改進點云稀疏卷積的三維道路目標檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的改進點云稀疏卷積的三維道路目標檢測方法，其特征在于，所述三維道路目標檢測模型中，體素特征張量進入第一層的改進焦點稀疏卷積模塊后的具體操作如下：
3.根據權利要求1所述的改進點云稀疏卷積的三維道路目標檢測方法，其特征在于，所述三維道路目標檢測模型的主干網絡中，大感受野稀疏卷積模塊對輸入的特征進行如下操作：
4.根據權利要求1所述的改進點云稀疏卷積的三維道路目標檢測方法，其特征在于，所述三維道路目標檢測模型的主干網絡中，每個子流形稀疏卷積模塊均包括兩層子流形稀疏卷積和歸一化層，通過對輸入的特征進行兩層子流形稀疏卷積和歸一化，輸出空間特征。
5.根據權利要求1所述的改進點云稀疏卷積的三維道路目標檢測方法，其特征在于，所述三維道路目標檢測模型的主干網絡中，輸入通道數為16，三個下采樣卷積層的通道數依次為32、64和128。
【技術特征摘要】
1.一種改進點云稀疏卷積的三維道路目標檢測方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的改進點云稀疏卷積的三維道路目標檢測方法，其特征在于，所述三維道路目標檢測模型中，體素特征張量進入第一層的改進焦點稀疏卷積模塊后的具體操作如下：
3.根據權利要求1所述的改進點云稀疏卷積的三維道路目標檢測方法，其特征在于，所述三維道路目標檢測模型的主干網絡中，大感受野稀疏卷積模塊對輸入的特征進行如下操作：
...【專利技術屬性】
技術研發人員：繆小冬，左朝杰，王曉夫，孫學俊，
申請(專利權)人：南京工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。