【技術實現步驟摘要】
本專利技術涉及點云3d目標檢測，具體為一種基于inception模塊和aspp模塊的點云3d目標檢測方法。
技術介紹
1、隨著自動駕駛技術的發展，對環境的精確感知需求日益增長。3d目標檢測技術能夠提供比傳統2d目標檢測更豐富的信息，它不僅可以識別物體是什么，還能確定物體在三維空間中的具體位置和姿態。這對于確保自動駕駛汽車的安全性至關重要，因為它們必須實時理解周圍環境以做出迅速準確的決策。
2、為了提高檢測精度，基于體素的3d目標檢測方法通過將點云數據劃分成三維網格(體素)，每個體素匯總了其空間區域內的點云信息。這種方法利用3d稀疏卷積網絡來提取特征，并將這些特征映射到鳥瞰圖(bev)偽圖像上，最后應用2d檢測技術來識別目標。
3、然而，當前的基于體素的檢測方法通常使用固定大小的卷積核提取特征，這種設計不僅限制了模型對不同尺度物體的檢測能力，同時也妨礙了遠距離特征信息的有效整合。尤其是在處理諸如自行車和行人這類體積小、點云數據分布稀疏的目標時，目標檢測精度較低。因此我們提出了基于一種基于inception模塊和aspp模塊的點云3d目標檢測方法。
技術實現思路
1、(一)解決的技術問題
2、針對現有技術的不足，本專利技術提供了一種基于inception模塊和aspp模塊的點云3d目標檢測方法，解決了上述
技術介紹
中所提出的問題。
3、(二)技術方案
4、本專利技術為了實現上述目的具體采用以下技術方案：
5、一種基于
6、步驟1：點云數據預處理，裁剪點云，提取感興趣區域內的目標點云，使用數據增強技術增強點云數據，獲得預處理后的高質量點云數據；
7、步驟2：對預處理后的點云數據體素特征編碼，生成體素的3d稀疏特征圖；
8、步驟3：采用3d稀疏卷積神經網絡作為主干網絡，在網絡中插入3d稀疏inception模塊，融合多尺度特征，輸出3d稀疏張量；
9、步驟4：將3d稀疏張量投影到二維平面上，生成鳥瞰圖(bird's?eye?view，bev)特征；
10、步驟5：使用包含aspp模塊的2d卷積神經網絡作為主干網絡，進一步學習bev特征，輸出2d稠密特征張量；
11、步驟6：將2d稠密特征張量輸入到目標檢測網絡中，得到目標檢測結果。
12、進一步地，所述步驟1對三維點云數據進行預處理，將原始點云數據按照(z,y,x)范圍進行裁剪，得到包含目標的前景點云，將裁剪后的前景點云使用仿射變換、gt-sampling(地面實況采樣)數據增強技術增強點云數據。
13、進一步地，所述步驟2中進行體素特征編碼步驟包括：
14、步驟2.1：空間劃分，設置體素尺寸為(vd,vh,vw)，將整個點云空間劃分為規則的體素網格，則點云深度方向的網格數量d＝z/vd，點云高度方向的網格數量h＝y/vh，點云寬度方向的網格數量w＝x/vw，包含點云的體素記為非空體素，不包含點云的體素記為空體素；
15、步驟2.2：體素編碼，設定每個體素的最大點數為n；對于點數超過n的非空體素，通過隨機采樣保留n點；而對于點數少于n的體素，則用零向量填充至n點；計算體素內點云的局部均值作為體素的質心；對體素內點云特征編碼，包括點的坐標、反射強度、點云和體素質心的相對位置，編碼后的長度記為l；每個體素的特征張量可以記為(n,l)，編碼后每個點特征p如公式所示：
16、
17、步驟2.3：特征提取，使用全連接網絡(fcn)層將點的特征映射到新的特征空間；使用最大池化層聚合體素內點云特征，設置體素的特征通道數為c，生成體素特征向量；點云特征可以用(d,h,w,c)維的張量表示，體素特征v可以表示為：
18、p′＝fcn(p)
19、v＝maxpooling(p′)。
20、進一步地，所述步驟3的3d稀疏主干網絡為：
21、通過使用2個3d稀疏殘差塊變換特征通道數為c1，得到(d,h,w,c1)維張量記為f1；使用2個3d稀疏殘差塊對f1下采樣，得到維張量記為f2；對f2下采樣并使用2個3d稀疏inception模塊融合多尺度特征得到維張量記為f3；對f3下采樣并使用2個3d稀疏inception模塊融合多尺度特征得到維張量記為f4。
22、進一步地，所述步驟4將點云3d稀疏張量投影為二維鳥瞰特征，具體步驟為：
23、首先將輸入的3d特征張量的深度特征向量轉置，將轉置的結果和通道特征向量做矩陣乘法，得到尺寸為的張量；將張量拼接長度為的通道向量；替換原來的通道向量生成的bev張量。
24、進一步地，所述步驟5使用包含aspp模塊的2d卷積神經網絡作為主干網絡提取更深層次的bev特征，具體包括：
25、對于輸入的維bev張量，使用1個fcn層變換特征通道數，變換后的特征通道數記為c2，得到維張量；接著使用3個殘差塊提取通道特征，得到維張量；使用包含4個并行分支的空洞空間金字塔(aspp)融合多尺度特征；生成維bev張量。
26、進一步地，所述步驟6中，所采用的檢測網絡包含三個檢測頭，分別負責不同的預測任務：分類預測頭，用于識別目標的類別；檢測框預測頭，負責預測目標的邊界框；方向角預測頭，旨在估計目標的方向角度；檢測框預測損失記為lreg；分類預測損失記為lcls；方向角預測損失記為ldir；總損失記為ltotal；
27、對于檢測框預測損失lreg，將3d真實框參數化為(xg,yg,zg,lg,hg,wg,θg)，將預測的錨框參數化為(xa,ya,za,la,ha,wa,θa)，將目標回歸的殘差向量u∈r7記為(xt,yt,zt,lt,ht,wt,θt)，
28、
29、其中x，y，z是中心坐標；w、l、h分別為寬度、長度和高度；θ是繞z軸的偏航旋轉；下標t、a、g分別表示編碼值、錨值和真實值；并且是錨框底部的對角線，α表示權重參數，i表示目標序號，檢測框預測損失lreg可以表示為：
30、
31、分類損失lcls用公式表示為：
32、lcls＝-αt(1-pt)γlog(pt)
33、式中，pt是模型的估計概率，α和γ是焦點損失的參數；
34、方向角預測損失記為ldir用公式表示為：
35、ldir＝smoothl1(sin(θp-θt))
36、式中，下標p表示預測值；
37、β1、β2、β3表示權重參數，總損失ltotal記為：
38、ltotal＝β1lcls+β2lreg+β3ldir。
39、進一步地，所述步驟3中的3d稀疏主干網絡所用3d稀疏inception模塊具體為：通過四個并行的3d子流形卷積分支提取不同大小的感受野特征，其大小本文檔來自技高網...
【技術保護點】
1.一種基于Inception模塊和ASPP模塊的點云3D目標檢測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于Inception模塊和ASPP模塊的點云3D目標檢測方法，其特征在于：所述步驟1對三維點云數據進行預處理，將原始點云數據按照(Z,Y,X)范圍進行裁剪，得到包含目標的前景點云，將裁剪后的前景點云使用仿射變換、GT-sampling(地面實況采樣)數據增強技術增強點云數據。
3.根據權利要求2所述的一種基于Inception模塊和ASPP模塊的點云3D目標檢測方法，其特征在于：所述步驟2中進行體素特征編碼步驟包括：
4.根據權利要求3所述的一種基于Inception模塊和ASPP模塊的點云3D目標檢測方法，其特征在于：所述步驟3的3D稀疏主干網絡為：
5.根據權利要求4所述的一種基于Inception模塊和ASPP模塊的點云3D目標檢測方法，其特征在于：所述步驟4將點云3D稀疏張量投影為二維鳥瞰特征，具體步驟為：
6.根據權利要求5所述的一種基于Inception模塊和ASPP模塊的點云3D
7.根據權利要求6所述的一種基于Inception模塊和ASPP模塊的點云3D目標檢測方法，其特征在于：所述步驟6中所采用的檢測網絡包含三個檢測頭，分別負責不同的預測任務：分類預測頭，用于識別目標的類別；檢測框預測頭，負責預測目標的邊界框；方向角預測頭，旨在估計目標的方向角度；檢測框預測損失記為Lreg；分類預測損失記為Lcls；方向角預測損失記為Ldir；總損失記為Ltotal；
8.根據權利要求1所述的一種基于Inception模塊和ASPP模塊的點云3D目標檢測方法，其特征在于：所述步驟3中的3D稀疏主干網絡所用3D稀疏Inception模塊具體為：通過四個并行的3D子流形卷積分支提取不同大小的感受野特征，其大小分別為1×1×1、3×3×3、5×5×5、7×7×7；其中，5×5×5和7×7×7的感受野分別通過組合5×1×5與1×5×1、7×1×7與1×7×1的子流形稀疏卷積核來實現；將這四個分支的特征沿通道維度拼接，使通道數變為原始輸入的4倍；利用1×1×1的卷積核進行多尺度信息融合并恢復至原始輸入的通道數。
...【技術特征摘要】
1.一種基于inception模塊和aspp模塊的點云3d目標檢測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于inception模塊和aspp模塊的點云3d目標檢測方法，其特征在于：所述步驟1對三維點云數據進行預處理，將原始點云數據按照(z,y,x)范圍進行裁剪，得到包含目標的前景點云，將裁剪后的前景點云使用仿射變換、gt-sampling(地面實況采樣)數據增強技術增強點云數據。
3.根據權利要求2所述的一種基于inception模塊和aspp模塊的點云3d目標檢測方法，其特征在于：所述步驟2中進行體素特征編碼步驟包括：
4.根據權利要求3所述的一種基于inception模塊和aspp模塊的點云3d目標檢測方法，其特征在于：所述步驟3的3d稀疏主干網絡為：
5.根據權利要求4所述的一種基于inception模塊和aspp模塊的點云3d目標檢測方法，其特征在于：所述步驟4將點云3d稀疏張量投影為二維鳥瞰特征，具體步驟為：
6.根據權利要求5所述的一種基于inception模塊和aspp模塊的點云3d目標檢測方法，其特征在于：所述步驟5使用包...
【專利技術屬性】
技術研發人員：趙海麗，姚凱，景文博，趙東杰，梁美慧，孟家合，
申請(專利權)人：長春理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。