【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于圖像處理，具體涉及一種基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法。
技術(shù)介紹
1、隨著自動(dòng)駕駛技術(shù)的發(fā)展，感知深度對(duì)于理解三維環(huán)境變得愈發(fā)重要。市面上常見(jiàn)的深度傳感器，如激光雷達(dá)和雷達(dá)，可以直接從環(huán)境中獲取測(cè)量深度。其中，激光雷達(dá)相比毫米波雷達(dá)能夠生成更高精度和更稠密的深度信息，但其成本較高、體積較大且對(duì)諸如雨、霧、雪等環(huán)境因素更為敏感。相較之下，毫米波雷達(dá)易于部署且對(duì)不利光線和天氣條件具有較強(qiáng)的魯棒性，近年來(lái)受到了越來(lái)越多的關(guān)注。然而，由于毫米波雷達(dá)成像機(jī)制的限制以及多路徑傳播效應(yīng)的影響，通過(guò)毫米波雷達(dá)獲得的深度數(shù)據(jù)面臨諸如稀疏性、檢測(cè)噪聲和較差的語(yǔ)義信息等固有挑戰(zhàn)。
2、為了克服上述問(wèn)題，許多研究集中于對(duì)低質(zhì)量的毫米波雷達(dá)深度數(shù)據(jù)進(jìn)行有效增強(qiáng)。一種常見(jiàn)的雷達(dá)數(shù)據(jù)增強(qiáng)策略是將相鄰幀的雷達(dá)點(diǎn)云合并到當(dāng)前幀中以對(duì)當(dāng)前幀的深度信息進(jìn)行稠密化。但是多幀融合操作會(huì)造成較大的時(shí)間延遲，而且現(xiàn)實(shí)場(chǎng)景中往往無(wú)法獲得未來(lái)幀。一些其他方法沿高度維度或在檢測(cè)框內(nèi)擴(kuò)散雷達(dá)點(diǎn)的深度，還有一些方法在預(yù)定義的區(qū)域內(nèi)學(xué)習(xí)雷達(dá)與攝像頭像素的關(guān)聯(lián)關(guān)系，以此來(lái)對(duì)雷達(dá)點(diǎn)的不確定性進(jìn)行建模，然后通過(guò)建模后的結(jié)果篩除潛在的噪聲雷達(dá)點(diǎn)。然而，所有這些方法都將雷達(dá)點(diǎn)的相關(guān)區(qū)域限制在預(yù)定義的規(guī)則形狀中，沒(méi)有考慮到場(chǎng)景中的先驗(yàn)信息。這可能引入額外的誤差測(cè)量，并干擾雷達(dá)與攝像頭像素關(guān)聯(lián)關(guān)系的學(xué)習(xí)。
3、隨著深度學(xué)習(xí)技術(shù)在單目深度估計(jì)任務(wù)上的廣泛引用，許多強(qiáng)大的單目深度估計(jì)模型被提出，他們?cè)谂c訓(xùn)練樣本同域的測(cè)試樣本上取得了較高的精度和豐
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)上述現(xiàn)有技術(shù)中的不足，本專利技術(shù)提供一種基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，取得了先進(jìn)的深度增強(qiáng)效果。給定一對(duì)可見(jiàn)光圖像和稀疏毫米波雷達(dá)深度圖，該方法首先通過(guò)零樣本單目深度估計(jì)模型充分提取可見(jiàn)光圖像中的結(jié)構(gòu)先驗(yàn)信息，接著利用單目深度估計(jì)結(jié)果的深度分布引導(dǎo)生成雷達(dá)深度點(diǎn)相關(guān)區(qū)域，然后將雷達(dá)深度點(diǎn)在這些雷達(dá)深度點(diǎn)相關(guān)區(qū)域內(nèi)進(jìn)行擴(kuò)散，最后將擴(kuò)散后的雷達(dá)深度和可見(jiàn)光圖像輸入深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)雷達(dá)點(diǎn)-像素關(guān)聯(lián)(radar-camera?pixel?association)以進(jìn)行噪聲濾除，得到增強(qiáng)的毫米波雷達(dá)深度。本專利技術(shù)通過(guò)零樣本單目深度估計(jì)模型的結(jié)構(gòu)信息提取能力引導(dǎo)生成雷達(dá)深度點(diǎn)相關(guān)區(qū)域，并通過(guò)深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)雷達(dá)點(diǎn)-像素關(guān)聯(lián)，能夠在合理的空間區(qū)域內(nèi)對(duì)毫米波雷達(dá)深度進(jìn)行稠密化和精細(xì)的噪聲濾除，從而得到高質(zhì)量的深度增強(qiáng)結(jié)果。
2、本專利技術(shù)采用以下技術(shù)方案實(shí)現(xiàn)：
3、一種基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，首先將可見(jiàn)光圖像輸入零樣本單目深度估計(jì)模型從而生成單目深度圖，接著利用單目深度圖引導(dǎo)生成雷達(dá)深度點(diǎn)相關(guān)區(qū)域，然后將雷達(dá)深度點(diǎn)在所述雷達(dá)深度點(diǎn)相關(guān)區(qū)域內(nèi)進(jìn)行擴(kuò)散得到擴(kuò)散后的雷達(dá)深度，最后利用擴(kuò)散后的雷達(dá)深度和可見(jiàn)光圖像估計(jì)雷達(dá)點(diǎn)-像素關(guān)聯(lián)以進(jìn)行噪聲濾除，得到增強(qiáng)的毫米波雷達(dá)深度。所述基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，具體步驟如下：
4、s1：使用零樣本單目深度估計(jì)模型從rgb圖像i∈r3×h×w中提取結(jié)構(gòu)先驗(yàn)信息，生成具有豐富結(jié)構(gòu)細(xì)節(jié)的單目深度圖dm∈rh×w；
5、s2：以dm(其深度分布信息)為引導(dǎo)，生成雷達(dá)深度點(diǎn)相關(guān)區(qū)域；
6、s21：對(duì)于毫米波雷達(dá)深度圖dr∈rh×w中的每個(gè)雷達(dá)深度點(diǎn)，以雷達(dá)深度點(diǎn)為中心，在dm的引導(dǎo)下，生成雷達(dá)深度點(diǎn)的子相關(guān)區(qū)域；
7、s22：整合dr中所有雷達(dá)深度點(diǎn)的子相關(guān)區(qū)域，得到dr的完整雷達(dá)深度點(diǎn)相關(guān)區(qū)域；
8、s3：在雷達(dá)深度點(diǎn)相關(guān)區(qū)域內(nèi)，對(duì)稀疏且含噪的毫米波雷達(dá)深度進(jìn)行增強(qiáng)；
9、s31：對(duì)于dr中的每個(gè)雷達(dá)深度點(diǎn)，將其深度在對(duì)應(yīng)的雷達(dá)深度點(diǎn)的子相關(guān)區(qū)域內(nèi)進(jìn)行擴(kuò)散，得到相對(duì)稠密的雷達(dá)深度圖ddr∈rh×w；
10、s32：基于i和ddr，利用深度神經(jīng)網(wǎng)絡(luò)估計(jì)雷達(dá)點(diǎn)-像素關(guān)聯(lián)，得到一張關(guān)聯(lián)置信度圖c∈rh×w；
11、s33：以c中的雷達(dá)點(diǎn)-像素關(guān)聯(lián)置信度為參考，篩除ddr潛在的噪聲，得到增強(qiáng)的毫米波雷達(dá)深度圖der∈rh×w。
12、上述技術(shù)方案中，進(jìn)一步地，所述步驟s1中使用的零樣本單目深度估計(jì)模型使用仿射不變損失，在包含多類場(chǎng)景和深度范圍的海量數(shù)據(jù)上進(jìn)行聯(lián)合訓(xùn)練。仿射不變損失消除了不同子數(shù)據(jù)集之間深度尺度和偏移的差異的影響，使得模型訓(xùn)練能夠充分利用到海量數(shù)據(jù)的信息。這種訓(xùn)練方式賦予模型充分提取未見(jiàn)場(chǎng)景結(jié)構(gòu)先驗(yàn)的能力，能夠從rgb圖像中得到結(jié)構(gòu)細(xì)節(jié)豐富、深度邊界清晰且相對(duì)幾何關(guān)系合理的單目深度。
13、進(jìn)一步地，所述步驟s21的具體步驟如下：
14、1)對(duì)于雷達(dá)深度圖dr中的一個(gè)雷達(dá)深度點(diǎn)dr(i,j)，設(shè)置其在單目深度圖dm中對(duì)應(yīng)位置的單目深度點(diǎn)dm(i,j)為種子點(diǎn)；
15、2)以dm(i,j)為中心，通過(guò)種子點(diǎn)生長(zhǎng)策略從四個(gè)方向上對(duì)雷達(dá)深度點(diǎn)進(jìn)行逐像素?cái)U(kuò)散得到雷達(dá)深度點(diǎn)的子相關(guān)區(qū)域，在膨脹過(guò)程中，以dm中的深度分布作為控制膨脹的連接關(guān)系；具體包括以下步驟：
16、21)計(jì)算dm(i,j)的相鄰像素與dm(i,j)的深度差異，若深度差異小于預(yù)設(shè)的深度差異閾值則將其納入dr(i,j)的子相關(guān)區(qū)域；
17、22)對(duì)于納入dr(i,j)的子相關(guān)區(qū)域的像素，計(jì)算這些像素與其相鄰像素的深度差異，若深度差異小于預(yù)設(shè)的深度差異閾值則將其納入子相關(guān)區(qū)域；具體
18、如公式(1)所示：
19、
20、其中，表示經(jīng)過(guò)膨脹得到的dr(i,j)的子相關(guān)區(qū)域；τ1是預(yù)設(shè)的深度差異閾值；(u,v)是dm中像素點(diǎn)的集合，它們的深度值服從dm中的深度分布；
21、23)對(duì)于新納入子相關(guān)區(qū)域的像素重復(fù)步驟22)的方法，直至子相關(guān)區(qū)域的相鄰像素中沒(méi)有深度差異小于預(yù)設(shè)的深度差異的閾值的像素時(shí)結(jié)束。
22、進(jìn)一步地，所述步驟s22中的具體操作是：針對(duì)dr中的每個(gè)深度雷達(dá)點(diǎn)dr(i,j)對(duì)應(yīng)的雷達(dá)深度點(diǎn)的子相關(guān)區(qū)域通過(guò)對(duì)所有子相關(guān)區(qū)域取并集，可得到雷達(dá)深度點(diǎn)相關(guān)區(qū)域如公式(2)所示：
23、
24、其中指的是dr中所有雷達(dá)深度點(diǎn)對(duì)應(yīng)位置的集合。
25、進(jìn)一步地，所述步驟s31的具體步驟是：在得到本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，首先將可見(jiàn)光圖像輸入零樣本單目深度估計(jì)模型從而生成單目深度圖，接著利用單目深度圖引導(dǎo)生成雷達(dá)深度點(diǎn)相關(guān)區(qū)域，然后將雷達(dá)深度點(diǎn)在所述雷達(dá)深度點(diǎn)相關(guān)區(qū)域內(nèi)進(jìn)行擴(kuò)散得到擴(kuò)散后的雷達(dá)深度，最后利用擴(kuò)散后的雷達(dá)深度和可見(jiàn)光圖像估計(jì)雷達(dá)點(diǎn)-像素關(guān)聯(lián)以進(jìn)行噪聲濾除，得到增強(qiáng)的毫米波雷達(dá)深度。
2.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，具體步驟如下：
3.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，所述步驟S21的具體步驟如下：
4.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，所述步驟S22中的具體操作是：針對(duì)dr中的每個(gè)深度雷達(dá)點(diǎn)dr(i,j)對(duì)應(yīng)的雷達(dá)深度點(diǎn)的子相關(guān)區(qū)域?qū)λ凶酉嚓P(guān)區(qū)域取并集，得到雷達(dá)深度點(diǎn)相關(guān)區(qū)域具體如公式(2)所示：
5.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，所述步驟S31的具體步驟為
6.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，步驟S32中，所述的深度神經(jīng)網(wǎng)絡(luò)具體為：
7.根據(jù)權(quán)利要求6所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，所述深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法如下：
8.根據(jù)權(quán)利要求6所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，所述基于自制力機(jī)制和交叉注意力機(jī)制的融合模塊用于對(duì)RGB圖像特征和雷達(dá)深度特征進(jìn)行融合，并輸出融合特征，具體方法為：
9.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，所述步驟S33的具體操作是：以步驟S32得到的關(guān)聯(lián)置信度圖為參考，將ddr中置信度小于閾值的位置的深度刪除；最終得到增強(qiáng)的雷達(dá)深度圖der。
...【技術(shù)特征摘要】
1.一種基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，首先將可見(jiàn)光圖像輸入零樣本單目深度估計(jì)模型從而生成單目深度圖，接著利用單目深度圖引導(dǎo)生成雷達(dá)深度點(diǎn)相關(guān)區(qū)域，然后將雷達(dá)深度點(diǎn)在所述雷達(dá)深度點(diǎn)相關(guān)區(qū)域內(nèi)進(jìn)行擴(kuò)散得到擴(kuò)散后的雷達(dá)深度，最后利用擴(kuò)散后的雷達(dá)深度和可見(jiàn)光圖像估計(jì)雷達(dá)點(diǎn)-像素關(guān)聯(lián)以進(jìn)行噪聲濾除，得到增強(qiáng)的毫米波雷達(dá)深度。
2.根據(jù)權(quán)利要求1所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，具體步驟如下：
3.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，所述步驟s21的具體步驟如下：
4.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引導(dǎo)毫米波雷達(dá)深度增強(qiáng)方法，其特征在于，所述步驟s22中的具體操作是：針對(duì)dr中的每個(gè)深度雷達(dá)點(diǎn)dr(i,j)對(duì)應(yīng)的雷達(dá)深度點(diǎn)的子相關(guān)區(qū)域?qū)λ凶酉嚓P(guān)區(qū)域取并集，得到雷達(dá)深度點(diǎn)相關(guān)區(qū)域具體如公式(2)所示：
5.根據(jù)權(quán)利要求2所述的基于結(jié)構(gòu)感知的可見(jiàn)光圖像引...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張富怡，沈會(huì)良，余柱，周子力，白驍凱，曹思源，
申請(qǐng)(專利權(quán))人：浙江大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。