【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及自動(dòng)駕駛，具體涉及一種減速帶檢測(cè)方法、通過方法、網(wǎng)絡(luò)訓(xùn)練方法及相關(guān)裝置。
技術(shù)介紹
1、在自動(dòng)駕駛
中，減速帶檢測(cè)是一種用于識(shí)別和定位道路上的減速帶的技術(shù)，它可以為車輛的自動(dòng)駕駛或輔助駕駛系統(tǒng)提供減速帶相關(guān)的信息，以便車輛及時(shí)調(diào)整速度和行駛路線以順利地通過減速帶，從而提高行駛安全性和駕駛舒適性。
2、現(xiàn)有的減速帶檢測(cè)方法主要有基于激光雷達(dá)點(diǎn)云的方法和基于視覺的方法。基于激光雷達(dá)點(diǎn)云的方法利用激光雷達(dá)傳感器獲取道路表面的點(diǎn)云數(shù)據(jù)，然后通過點(diǎn)云處理和分析來檢測(cè)減速帶，但在減速帶高度低、激光雷達(dá)無法達(dá)到、檢測(cè)距離近等情況下，激光雷達(dá)點(diǎn)云無法準(zhǔn)確地檢測(cè)出減速帶；基于視覺的方法采用計(jì)算機(jī)視覺技術(shù)來處理車輛攝像頭捕捉的圖像數(shù)據(jù)，從中提取特征并判斷減速帶的存在和位置，但在光照和天氣變化、背景復(fù)雜、視野遮擋等情況下，基于視覺的方法容易受到干擾，而發(fā)生誤檢。此外，現(xiàn)有技術(shù)中也存在一些使用視覺特征增強(qiáng)點(diǎn)云特征的方案，如基于點(diǎn)級(jí)融合用視覺特征增強(qiáng)激光雷達(dá)點(diǎn)云，從而獲取減速帶特征，然而視覺特征到點(diǎn)云特征的投影丟棄了視覺特征的語義密度，阻礙了這一融合方法的有效性。因此，上述的現(xiàn)有減速帶檢測(cè)方法獲取的檢測(cè)結(jié)果往往缺乏準(zhǔn)確性、魯棒性和可靠性，無法準(zhǔn)確、直觀、全面地獲取到減速帶信息，從而降低了影響自動(dòng)駕駛的安全性和舒適性。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┮环N減速帶檢測(cè)方法、通過方法、網(wǎng)絡(luò)訓(xùn)練方法及相關(guān)裝置，以解決現(xiàn)有減速帶檢測(cè)方法缺乏準(zhǔn)確性、魯棒性和可靠性，無法準(zhǔn)確、直觀、全面地獲取到減
2、為解決上述技術(shù)問題，本申請(qǐng)采用的技術(shù)方案是：提供一種減速帶檢測(cè)方法。該減速帶檢測(cè)方法包括：采集車輛的車輛位姿數(shù)據(jù)和多模態(tài)輸入數(shù)據(jù)，所述多模態(tài)輸入數(shù)據(jù)包括多類傳感器下獲取的減速帶數(shù)據(jù)；基于所述車輛位姿數(shù)據(jù)和鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)，將所述多模態(tài)輸入數(shù)據(jù)進(jìn)行堆疊，以獲得鳥瞰特征數(shù)據(jù)，并從所述鳥瞰特征數(shù)據(jù)中提取出減速帶檢測(cè)框數(shù)據(jù)和減速帶分割數(shù)據(jù)；對(duì)所述減速帶檢測(cè)框數(shù)據(jù)和所述減速帶分割數(shù)據(jù)進(jìn)行融合，以得到帶時(shí)序信息的減速帶特征數(shù)據(jù)；基于所述時(shí)序信息對(duì)所述減速帶特征數(shù)據(jù)進(jìn)行時(shí)序跟蹤，以獲取減速帶檢測(cè)數(shù)據(jù)。
3、該減速帶檢測(cè)方法通過將多類傳感器獲取的減速帶數(shù)據(jù)，轉(zhuǎn)換到鳥瞰圖視角下進(jìn)行堆疊，并提取出減速帶檢測(cè)框數(shù)據(jù)和減速帶分割數(shù)，后續(xù)再進(jìn)行融合和時(shí)序跟蹤以獲取減速帶檢測(cè)數(shù)據(jù)。通過該方法可以使多傳感的進(jìn)行數(shù)據(jù)進(jìn)行互補(bǔ)，以減少遮擋、誤檢、漏檢等問題對(duì)數(shù)據(jù)的干擾，有利于提高數(shù)據(jù)的可靠性和有效性，從而提高了減速帶檢測(cè)的準(zhǔn)確性、魯棒性和可靠性，同時(shí)，通過鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)將數(shù)據(jù)轉(zhuǎn)換到鳥瞰圖視角下，提高了數(shù)據(jù)的一致性，避免了語義信息或空間信息的丟失，有利于準(zhǔn)確、直觀、全面地獲取到減速帶信息。
4、在一些實(shí)施例中，所述基于所述車輛位姿數(shù)據(jù)和鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)，將所述多模態(tài)輸入數(shù)據(jù)進(jìn)行堆疊，以獲得鳥瞰特征數(shù)據(jù)，并從所述鳥瞰特征數(shù)據(jù)中提取出減速帶檢測(cè)框數(shù)據(jù)和減速帶分割數(shù)據(jù)，包括：基于所述鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)提取所述多模態(tài)輸入數(shù)據(jù)中各模態(tài)下的原始特征；基于所述車輛位姿數(shù)據(jù)將各模態(tài)下的所述原始特征轉(zhuǎn)換到同一鳥瞰圖表示空間，以得到鳥瞰圖視角下的各模態(tài)特征數(shù)據(jù)；基于所述鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)所述各模態(tài)特征數(shù)據(jù)按同一時(shí)刻進(jìn)行堆疊，以獲取所述鳥瞰特征數(shù)據(jù)；基于所述鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)從所述鳥瞰特征數(shù)據(jù)中提取出所述減速帶檢測(cè)框數(shù)據(jù)和所述減速帶分割數(shù)據(jù)。
5、通過上述步驟先從多模態(tài)輸入數(shù)據(jù)中獲取多模態(tài)輸入數(shù)據(jù)各模態(tài)下的原始特征，保留了多模態(tài)輸入數(shù)據(jù)中的語義信息和空間信息，再將這些原始特征轉(zhuǎn)換到鳥瞰圖視角下進(jìn)行堆疊以獲取鳥瞰特征數(shù)據(jù)，實(shí)現(xiàn)了數(shù)據(jù)的統(tǒng)一，提高了數(shù)據(jù)的一致性，最后從中提取出的減速帶檢測(cè)框數(shù)據(jù)和減速帶分割數(shù)據(jù)也因此而具備準(zhǔn)確性、魯棒性和可靠性，有利于準(zhǔn)確、直觀、全面地獲取到減速帶信息。
6、在一些實(shí)施例中，所述多模態(tài)輸入數(shù)據(jù)包括視覺圖像和點(diǎn)云數(shù)據(jù)。
7、視覺圖像和點(diǎn)云數(shù)據(jù)是減速帶檢測(cè)中傳感器所能獲取到的最基礎(chǔ)的用來檢測(cè)減速帶的數(shù)據(jù)。當(dāng)所述多模態(tài)數(shù)據(jù)為視覺圖像和點(diǎn)云數(shù)據(jù)時(shí)，通過上述方法的步驟，可以保留視覺圖像的語義密度和點(diǎn)云數(shù)據(jù)的幾何結(jié)構(gòu)，有利于更全面地獲取到減速帶信息。視覺圖像和點(diǎn)云數(shù)據(jù)也能夠?qū)崿F(xiàn)信息上的互補(bǔ)，從而減少了遮擋、誤檢、漏檢等問題對(duì)數(shù)據(jù)的干擾，有利于提高數(shù)據(jù)的可靠性和有效性，從而有利于提高減速帶檢測(cè)的準(zhǔn)確性、魯棒性和可靠性。
8、在一些實(shí)施例中，所述視覺圖像包括周視視覺圖像和環(huán)視視覺圖像；所述采集車輛的車輛位姿數(shù)據(jù)和多模態(tài)輸入數(shù)據(jù)之后，還包括：對(duì)所述周視視覺圖像和所述環(huán)視視覺圖像進(jìn)行去噪、增強(qiáng)和透視校正；對(duì)所述點(diǎn)云數(shù)據(jù)進(jìn)行濾波、地面提取和點(diǎn)云分割。
9、通過上述步驟對(duì)多模態(tài)輸入數(shù)據(jù)進(jìn)行預(yù)處理，消除或減少了噪聲、數(shù)據(jù)失真、環(huán)境變化等因素對(duì)數(shù)據(jù)的干擾，從而提高了數(shù)據(jù)的可靠性和有效性，有利于提高減速帶檢測(cè)的準(zhǔn)確性、魯棒性和有效性。
10、在一些實(shí)施例中，所述視覺圖像包括周視視覺圖像和環(huán)視視覺圖像；基于所述鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)提取所述多模態(tài)輸入數(shù)據(jù)中各模態(tài)下的原始特征包括：從所述周視視覺圖像中提取周視視覺特征；從所述環(huán)視視覺圖像中提取環(huán)視視覺特征；從所述點(diǎn)云數(shù)據(jù)中提取點(diǎn)云特征；其中，所述從所述環(huán)視視覺圖像中提取環(huán)視視覺特征之后，還包括：對(duì)所述環(huán)視視覺特征進(jìn)行畸變處理。
11、通過上述步驟，提取周視視覺圖像、環(huán)視視覺圖像和點(diǎn)云數(shù)據(jù)不同的特征，并對(duì)環(huán)視視覺特征進(jìn)行畸變處理，從而獲取到這些數(shù)據(jù)的原始特征，消除了非特征因素和畸變問題對(duì)數(shù)據(jù)的影響，有利于后續(xù)的空間轉(zhuǎn)換和堆疊等步驟的進(jìn)行。
12、在一些實(shí)施例中，所述基于所述車輛位姿數(shù)據(jù)將各模態(tài)下的所述原始特征轉(zhuǎn)換到同一鳥瞰圖表示空間，以得到的各模態(tài)特征數(shù)據(jù)，包括：基于所述車輛位姿數(shù)據(jù)，將所述周視視覺特征轉(zhuǎn)換到鳥瞰圖表示空間，以獲取鳥瞰圖視角下的周視視覺特征；基于所述車輛位姿數(shù)據(jù)，將所述環(huán)視視覺特征轉(zhuǎn)換到鳥瞰圖表示空間，以獲取鳥瞰圖視角下的環(huán)視視覺特征；基于所述車輛位姿數(shù)據(jù)，將所述點(diǎn)云特征展平到鳥瞰圖表示空間，以獲取鳥瞰圖視角下的點(diǎn)云特征；所述基于所述鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)所述各模態(tài)特征數(shù)據(jù)按同一時(shí)刻進(jìn)行堆疊，以獲取所述鳥瞰特征數(shù)據(jù)，包括：將鳥瞰圖視角下的所述周視視覺特征、所述環(huán)視視覺特征和所述點(diǎn)云特征按同一時(shí)刻進(jìn)行堆疊，以獲取所述鳥瞰特征數(shù)據(jù)。
13、通過上述步驟將特征數(shù)據(jù)在鳥瞰圖視角下的對(duì)齊統(tǒng)一，提高了數(shù)據(jù)在空間和時(shí)間一致性，結(jié)合了視覺圖像和點(diǎn)云數(shù)據(jù)的優(yōu)勢(shì)，使數(shù)據(jù)更好地進(jìn)行互補(bǔ)，從而能夠更好地對(duì)特征數(shù)據(jù)進(jìn)行處理，有利于提高減速帶檢測(cè)的準(zhǔn)確性、魯棒性和可靠性，同時(shí)，通過鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)將數(shù)據(jù)轉(zhuǎn)換到鳥瞰圖視角下，提高了數(shù)據(jù)的一致性，避免了語義信息或空間信息的丟失，有利于準(zhǔn)確、直觀、全面地獲取到減速帶信息。
14、在一些實(shí)施例中，所述采集車輛的車輛位姿數(shù)據(jù)和多模態(tài)輸入數(shù)據(jù)之后，還包括：基于所述車輛位姿本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種減速帶檢測(cè)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的減速帶檢測(cè)方法，其特征在于，所述基于所述車輛位姿數(shù)據(jù)和鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)，將所述多模態(tài)輸入數(shù)據(jù)進(jìn)行堆疊，以獲得鳥瞰特征數(shù)據(jù)，并從所述鳥瞰特征數(shù)據(jù)中提取出減速帶檢測(cè)框數(shù)據(jù)和減速帶分割數(shù)據(jù)，包括：
3.根據(jù)權(quán)利要求2所述的減速帶檢測(cè)方法，其特征在于，所述多模態(tài)輸入數(shù)據(jù)包括視覺圖像和點(diǎn)云數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的減速帶檢測(cè)方法，其特征在于，所述視覺圖像包括周視視覺圖像和環(huán)視視覺圖像；
5.根據(jù)權(quán)利要求3所述的減速帶檢測(cè)方法，其特征在于，所述視覺圖像包括周視視覺圖像和環(huán)視視覺圖像；
6.根據(jù)權(quán)利要求5所述的減速帶檢測(cè)方法，其特征在于，所述基于所述車輛位姿數(shù)據(jù)將各模態(tài)下的所述原始特征轉(zhuǎn)換到同一鳥瞰圖表示空間，以得到的各模態(tài)特征數(shù)據(jù)，包括：
7.根據(jù)權(quán)利要求2所述的減速帶檢測(cè)方法，其特征在于，所述采集車輛的車輛位姿數(shù)據(jù)和多模態(tài)輸入數(shù)據(jù)之后，還包括：
8.根據(jù)權(quán)利要求7所述的減速帶檢測(cè)方法，其特征在于，所述鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)
9.根據(jù)權(quán)利要求1所述的減速帶檢測(cè)方法，其特征在于，所述對(duì)所述減速帶檢測(cè)框數(shù)據(jù)和所述減速帶分割數(shù)據(jù)進(jìn)行融合，以得到帶時(shí)序信息的減速帶特征數(shù)據(jù)，包括：
10.根據(jù)權(quán)利要求1所述的減速帶檢測(cè)方法，其特征在于，所述根據(jù)所述減速帶特征數(shù)據(jù)對(duì)所述減速帶進(jìn)行時(shí)序跟蹤，以獲取減速帶檢測(cè)數(shù)據(jù)，包括：
11.一種減速帶通過方法，其特征在于，包括：
12.一種減速帶檢測(cè)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，包括：
13.一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有程序數(shù)據(jù)，其特征在于，所述程序數(shù)據(jù)被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-10任一項(xiàng)所述的減速帶檢測(cè)方法的步驟，或如權(quán)利要求11所述的減速帶通過方法的步驟，或如權(quán)利要求12所述的減速帶檢測(cè)網(wǎng)絡(luò)訓(xùn)練的步驟。
14.一種計(jì)算機(jī)設(shè)備，其特征在于，包括相互連接的處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)，實(shí)現(xiàn)如權(quán)利要求1-10任一項(xiàng)所述的減速帶檢測(cè)方法的步驟，或如權(quán)利要求11所述的減速帶通過方法的步驟，或如權(quán)利要求12所述的減速帶檢測(cè)網(wǎng)絡(luò)訓(xùn)練的步驟。
15.一種車輛，其特征在于，所述車輛包括如權(quán)利要求13所述的存儲(chǔ)介質(zhì)或如權(quán)利要求14所述的計(jì)算機(jī)設(shè)備。
...【技術(shù)特征摘要】
1.一種減速帶檢測(cè)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的減速帶檢測(cè)方法，其特征在于，所述基于所述車輛位姿數(shù)據(jù)和鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)，將所述多模態(tài)輸入數(shù)據(jù)進(jìn)行堆疊，以獲得鳥瞰特征數(shù)據(jù)，并從所述鳥瞰特征數(shù)據(jù)中提取出減速帶檢測(cè)框數(shù)據(jù)和減速帶分割數(shù)據(jù)，包括：
3.根據(jù)權(quán)利要求2所述的減速帶檢測(cè)方法，其特征在于，所述多模態(tài)輸入數(shù)據(jù)包括視覺圖像和點(diǎn)云數(shù)據(jù)。
4.根據(jù)權(quán)利要求3所述的減速帶檢測(cè)方法，其特征在于，所述視覺圖像包括周視視覺圖像和環(huán)視視覺圖像；
5.根據(jù)權(quán)利要求3所述的減速帶檢測(cè)方法，其特征在于，所述視覺圖像包括周視視覺圖像和環(huán)視視覺圖像；
6.根據(jù)權(quán)利要求5所述的減速帶檢測(cè)方法，其特征在于，所述基于所述車輛位姿數(shù)據(jù)將各模態(tài)下的所述原始特征轉(zhuǎn)換到同一鳥瞰圖表示空間，以得到的各模態(tài)特征數(shù)據(jù)，包括：
7.根據(jù)權(quán)利要求2所述的減速帶檢測(cè)方法，其特征在于，所述采集車輛的車輛位姿數(shù)據(jù)和多模態(tài)輸入數(shù)據(jù)之后，還包括：
8.根據(jù)權(quán)利要求7所述的減速帶檢測(cè)方法，其特征在于，所述鳥瞰圖視角融合深度學(xué)習(xí)網(wǎng)絡(luò)包括循環(huán)神經(jīng)網(wǎng)絡(luò)和/或融合層；
9.根據(jù)權(quán)利...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鐘澤宇，吳偉，
申請(qǐng)(專利權(quán))人：深圳元戎啟行科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。