【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于3d目標(biāo)檢測，尤其涉及一種基于多幀時序信息的3d目標(biāo)檢測方法。
技術(shù)介紹
1、目前，大多數(shù)的3d目標(biāo)檢測研究集中在單幀圖像，在基于單幀圖像的3d目標(biāo)檢測方法中，其關(guān)注重點(diǎn)在于如何更好的對圖像中的空間信息進(jìn)行建模。然而除了空間信息外，時間信息對于3d目標(biāo)檢測任務(wù)也很重要。例如，在沒有時間線索的情況下，從靜態(tài)圖像特征中難以準(zhǔn)確推斷出運(yùn)動目標(biāo)物體的速度或被遮擋的目標(biāo)物體的尺寸，而通過對多幀圖像時空信息的建模可以彌補(bǔ)這些缺陷。
2、另外，對于圖像中被遮擋目標(biāo)物體的檢測問題，單幀圖像的信息不夠全面，不能獲取到被遮擋部分的信息，這使得檢測頭難以對其尺寸和位置進(jìn)行準(zhǔn)確的預(yù)測。而在多幀圖像中，可以利用被遮擋目標(biāo)物體在歷史幀中的特征信息對當(dāng)前幀的特征信息進(jìn)行補(bǔ)全來提升檢測效果。現(xiàn)有模型針對時序信息的融合可以分為特征級的融合方法和查詢級的融合方法兩種。
3、綜上，在bev3d目標(biāo)檢測領(lǐng)域，由于目標(biāo)物體常被遮擋以及自我車輛運(yùn)動(egomotion)和目標(biāo)物體的運(yùn)動等因素，使得目標(biāo)檢測任務(wù)難以準(zhǔn)確，高效的進(jìn)行。現(xiàn)有的研究利用了時序信息對檢測精度和性能進(jìn)行優(yōu)化補(bǔ)充，但由于多幀圖像具有復(fù)雜的動態(tài)特性，時間信息建模的難度巨大，傳統(tǒng)方案對于檢測精度的彌補(bǔ)有限，且復(fù)雜的融合計(jì)算模塊帶來的性能損失不利于實(shí)際應(yīng)用。
技術(shù)實(shí)現(xiàn)思路
1、為解決上述技術(shù)問題，本專利技術(shù)提出了一種基于多幀時序信息的3d目標(biāo)檢測方法，解決傳統(tǒng)時序融合方法存在的長期記憶失效和未利用查詢級時序信息導(dǎo)致的檢測精度
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供了一種基于多幀時序信息的3d目標(biāo)檢測方法，包括：
3、獲取待檢測3d圖像；
4、將所述待檢測3d圖像輸入至tsif3d模型，獲取3d目標(biāo)檢測結(jié)果，其中，所述tsif3d模型通過訓(xùn)練集訓(xùn)練而成，所述訓(xùn)練集為采集的歷史3d圖像，所述tsif3d模型由特征金字塔模塊、多尺度空間交叉注意力編碼器模塊、長短期特征編碼器模塊和歷史查詢?nèi)诤辖獯a器模塊組成。
5、可選的，將所述待檢測3d圖像輸入至tsif3d模型，獲取3d目標(biāo)檢測結(jié)果包括：
6、基于所述特征金字塔模塊，獲取多視角特征圖；
7、將所述多視角特征圖輸入至所述多尺度空間交叉注意力編碼器模塊，獲取當(dāng)前幀特征圖；
8、將歷史幀特征和所述當(dāng)前幀特征圖輸入至長短期特征編碼器模塊，獲取融合特征圖；
9、基于所述融合特征圖和歷史查詢?nèi)诤辖獯a器模塊，獲取3d目標(biāo)檢測結(jié)果。
10、可選的，將歷史特征和所述當(dāng)前幀特征圖輸入至長短期特征編碼器模塊，獲取融合特征圖包括：
11、利用短期特征編碼器對相鄰的歷史幀特征進(jìn)行融合，獲取融合后的空間信息特征；
12、利用長期特征編碼器對所述歷史幀特征進(jìn)行融合，獲取融合后的時間信息特征；
13、將所述空間信息特征和時間信息特征進(jìn)行特征堆疊，并利用卷積層進(jìn)行特征融合，獲取融合特征圖。
14、可選的，獲取融合后的空間信息特征的方法為：
15、
16、其中，為融合后的空間信息特征，pos為bev平面上的位置索引，為短期查詢，為當(dāng)前幀的特征，為歷史幀特征。
17、可選的，獲取融合后的時間信息特征的方法為：
18、
19、其中，為融合后的時間信息特征，為長期bev特征查詢，wr為通道縮減網(wǎng)絡(luò)，r表示縮減率并且默認(rèn)值設(shè)置為4，為所有歷史幀特征集合，t為當(dāng)前幀時刻，n為歷史幀特征數(shù)量。
20、可選的，基于所述融合特征圖和歷史查詢?nèi)诤辖獯a器模塊，獲取3d目標(biāo)檢測結(jié)果包括：
21、獲取歷史查詢結(jié)果和預(yù)定義查詢，并對所述歷史查詢結(jié)果和預(yù)定義查詢進(jìn)行融合，獲取融合時序信息查詢；
22、將所述融合時序信息查詢和融合特征圖輸入至歷史查詢?nèi)诤辖獯a器模塊，獲取3d目標(biāo)檢測結(jié)果。
23、可選的，對所述歷史查詢結(jié)果和預(yù)定義查詢進(jìn)行融合包括：
24、將所述歷史查詢結(jié)果輸入至運(yùn)動感知層歸一化網(wǎng)絡(luò)，獲取對齊后的歷史查詢結(jié)果；
25、將對齊后的歷史查詢結(jié)果與所述預(yù)定義查詢進(jìn)行按位加操作，獲取所述融合時序信息查詢。
26、可選的，將所述歷史查詢結(jié)果輸入至運(yùn)動感知層歸一化網(wǎng)絡(luò)，獲取對齊后的歷史查詢結(jié)果包括：
27、輸入位姿變換矩陣、時間信息和速度信息，對所述位姿變換矩陣、時間信息和速度信息進(jìn)行展平操作，將展平操作后的位姿變換矩陣、時間信息和速度信息輸入到線性層，獲取第一仿射變換向量和第二仿射變換向量；
28、對所述歷史查詢結(jié)果進(jìn)行層歸一化后與第一仿射變換向量和第二仿射變換向量進(jìn)行計(jì)算得到對齊后的歷史查詢結(jié)果。
29、可選的，所述第一仿射變換向量為：
30、
31、其中，γ為第一仿射變換向量，為從t-1時刻到t時刻的位姿變換矩陣，v為速度信息，δt為兩幀之間的時間間隔，linear1為線性層網(wǎng)絡(luò)；
32、所述第二仿射變換向量為：
33、
34、其中，β為第二仿射變換向量，linear2為線性層網(wǎng)絡(luò)；
35、所述對齊后的歷史查詢結(jié)果為：
36、
37、其中，為對齊后的歷史查詢結(jié)果，ln表示層歸一化，為歷史查詢結(jié)果。
38、與現(xiàn)有技術(shù)相比，本專利技術(shù)具有如下優(yōu)點(diǎn)和技術(shù)效果：
39、1.在bev3d目標(biāo)檢測領(lǐng)域，由于目標(biāo)物體常被遮擋以及自我車輛運(yùn)動(egomotion)和目標(biāo)物體的運(yùn)動等因素，使得目標(biāo)檢測任務(wù)難以準(zhǔn)確，高效的進(jìn)行。現(xiàn)有的研究利用了時序信息對檢測精度和性能進(jìn)行優(yōu)化補(bǔ)充，但由于多幀圖像具有復(fù)雜的動態(tài)特性，時間信息建模的難度巨大，傳統(tǒng)方案對于檢測精度的彌補(bǔ)有限，且復(fù)雜的融合計(jì)算模塊帶來的性能損失不利于實(shí)際應(yīng)用。本專利技術(shù)提出的方法針對這一問題設(shè)計(jì)兩個模塊對其進(jìn)行建模以提升檢測性能和精度。
40、2.傳統(tǒng)方法為了利用更多歷史幀的信息來應(yīng)對目標(biāo)遮擋和運(yùn)動等問題，往往循環(huán)的對歷史幀特征兩兩進(jìn)行融合或者將所有特征沿通道進(jìn)行堆疊，會導(dǎo)致長期記憶失效或者計(jì)算成本問題，計(jì)算效率低且并不能高效提升模型的檢測精度。本專利技術(shù)提出的方法使用長短期時間記憶特征編碼器模塊能夠在不降低模型性能的前提下對更長時間跨度的歷史幀特征進(jìn)行利用，實(shí)現(xiàn)了被遮擋目標(biāo)物體和運(yùn)動目標(biāo)物體檢測精度的提升。
41、3.傳統(tǒng)方法很少在解碼階段關(guān)注時序信息，解碼器中僅使用預(yù)定義查詢來對bev特征進(jìn)行目標(biāo)查詢，難以解決運(yùn)動目標(biāo)物體的檢測問題。本專利技術(shù)提出歷史查詢?nèi)诤辖獯a器模塊(hqfd)，通過將歷史對象查詢?nèi)诤系疆?dāng)前查詢中來探索查詢級的時序融合方法。
42、4.本專利技術(shù)實(shí)現(xiàn)了模型對時序特征的有效建模以及解耦自我車輛和運(yùn)動目標(biāo)物體的運(yùn)動信息，實(shí)現(xiàn)了被遮擋目標(biāo)物體和運(yùn)動目標(biāo)物體檢測精度的提升。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于多幀時序信息的3D目標(biāo)檢測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于多幀時序信息的3D目標(biāo)檢測方法，其特征在于，將所述待檢測3D圖像輸入至TSIF3D模型，獲取3D目標(biāo)檢測結(jié)果包括：
3.根據(jù)權(quán)利要求2所述的一種基于多幀時序信息的3D目標(biāo)檢測方法，其特征在于，將歷史特征和所述當(dāng)前幀特征圖輸入至長短期特征編碼器模塊，獲取融合特征圖包括：
4.根據(jù)權(quán)利要求3所述的一種基于多幀時序信息的3D目標(biāo)檢測方法，其特征在于，獲取融合后的空間信息特征的方法為：
5.根據(jù)權(quán)利要求4所述的一種基于多幀時序信息的3D目標(biāo)檢測方法，其特征在于，獲取融合后的時間信息特征的方法為：
6.根據(jù)權(quán)利要求2所述的一種基于多幀時序信息的3D目標(biāo)檢測方法，其特征在于，基于所述融合特征圖和歷史查詢?nèi)诤辖獯a器模塊，獲取3D目標(biāo)檢測結(jié)果包括：
7.根據(jù)權(quán)利要求6所述的一種基于多幀時序信息的3D目標(biāo)檢測方法，其特征在于，對所述歷史查詢結(jié)果和預(yù)定義查詢進(jìn)行融合包括：
8.根據(jù)權(quán)利要求7所述的一種基于多幀時序信息的3D
9.根據(jù)權(quán)利要求8所述的一種基于多幀時序信息的3D目標(biāo)檢測方法，其特征在于，所述第一仿射變換向量為：
...【技術(shù)特征摘要】
1.一種基于多幀時序信息的3d目標(biāo)檢測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于多幀時序信息的3d目標(biāo)檢測方法，其特征在于，將所述待檢測3d圖像輸入至tsif3d模型，獲取3d目標(biāo)檢測結(jié)果包括：
3.根據(jù)權(quán)利要求2所述的一種基于多幀時序信息的3d目標(biāo)檢測方法，其特征在于，將歷史特征和所述當(dāng)前幀特征圖輸入至長短期特征編碼器模塊，獲取融合特征圖包括：
4.根據(jù)權(quán)利要求3所述的一種基于多幀時序信息的3d目標(biāo)檢測方法，其特征在于，獲取融合后的空間信息特征的方法為：
5.根據(jù)權(quán)利要求4所述的一種基于多幀時序信息的3d目標(biāo)檢測方法，其特征在于，獲取...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：龐善民，李寧，
申請(專利權(quán))人：西安交通大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。