【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及三維目標(biāo)檢測(cè)，具體是一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法。
技術(shù)介紹
1、隨著自動(dòng)駕駛技術(shù)、智能交通系統(tǒng)和智能安防領(lǐng)域的不斷發(fā)展，對(duì)于精準(zhǔn)、高效的三維目標(biāo)檢測(cè)技術(shù)的需求日益迫切。目前，已有的三維目標(biāo)的檢測(cè)方法，具體是通過獲取目標(biāo)物體所處環(huán)境的彩色圖像和點(diǎn)云信息，利用深度神經(jīng)網(wǎng)絡(luò)對(duì)彩色圖像進(jìn)行檢測(cè)，從而得到目標(biāo)物體在彩色圖像上的二維(2d)邊界框和三維(3d)邊界框。隨后，將點(diǎn)云信息映射到彩色圖像的圖像坐標(biāo)系下，通過這一映射關(guān)系，可以獲取點(diǎn)云信息在彩色圖像中的精確坐標(biāo)。在此基礎(chǔ)上，結(jié)合2d邊界框與3d邊界框的信息，獲取彩色圖像上2d與3d邊界框的深度信息。最終，根據(jù)這些深度信息以及點(diǎn)云信息的維度特征，可以準(zhǔn)確地推斷出目標(biāo)物體的類別、大小和位姿信息。然而，該檢測(cè)方法在獲取圖像中深度信息的時(shí)候，需要先獲取目標(biāo)物體所處環(huán)境的圖像和點(diǎn)云信息，然后獲取點(diǎn)云信息在圖像中的坐標(biāo)信息，再將這些坐標(biāo)信息與圖像中的2d與3d邊界框信息進(jìn)行結(jié)合。這一過程涉及大量的計(jì)算，不僅增加了計(jì)算的復(fù)雜度，還可能導(dǎo)致獲取深度信息的效率降低。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)上述缺陷，本專利技術(shù)提出了一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，目的在于解決現(xiàn)有的三維目標(biāo)的檢測(cè)方法中，在獲取圖像中深度信息的時(shí)候，需要先獲取目標(biāo)物體所處環(huán)境的圖像和點(diǎn)云信息，然后獲取點(diǎn)云信息在圖像中的坐標(biāo)信息，再將這些坐標(biāo)信息與圖像中的2d與3d邊界框信息進(jìn)行結(jié)合，這一過程涉及大量的計(jì)算，不僅增加了計(jì)算的復(fù)雜度，還可能導(dǎo)致獲取深度信息的效率
2、為達(dá)此目的，本專利技術(shù)采用以下技術(shù)方案：
3、一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，包括以下步驟：
4、步驟s1：獲取若干目標(biāo)圖像；
5、步驟s2：對(duì)若干目標(biāo)圖像均進(jìn)行標(biāo)注，得到帶標(biāo)簽的數(shù)據(jù)集；
6、步驟s3：建立卷積神經(jīng)網(wǎng)絡(luò)cnn模型；
7、步驟s4：使用帶標(biāo)簽的數(shù)據(jù)集對(duì)cnn模型進(jìn)行訓(xùn)練和優(yōu)化，得到優(yōu)化后的cnn模型；
8、步驟s5：獲取待檢測(cè)的目標(biāo)圖像，并對(duì)待檢測(cè)的目標(biāo)圖像進(jìn)行預(yù)處理，得到預(yù)處理后待檢測(cè)的目標(biāo)圖像；
9、步驟s6：采用雙目立體視覺技術(shù)獲取待檢測(cè)的目標(biāo)圖像的深度信息；
10、步驟s7：將預(yù)處理后待檢測(cè)的目標(biāo)圖像輸入優(yōu)化后的cnn模型進(jìn)行特征提取，輸出目標(biāo)特征；
11、步驟s8：將待檢測(cè)的目標(biāo)圖像的深度信息與目標(biāo)特征進(jìn)行融合，得到融合后的目標(biāo)特征；
12、步驟s9：采用基于區(qū)域提議網(wǎng)絡(luò)rpn算法對(duì)融合后的目標(biāo)特征進(jìn)行識(shí)別，識(shí)別出三維目標(biāo)物體。
13、優(yōu)選地，在步驟s3中，所述cnn模型包括輸入層、卷積層、池化層、全連接層和輸出層；
14、輸入層的數(shù)學(xué)公式具體如下：
15、input(h，w，c)；
16、其中，h表示圖像的高度，w表示圖像的寬度，c表示圖像的通道數(shù)；
17、卷積層的數(shù)學(xué)公式具體如下：
18、
19、其中，x(i，j)表示輸入特征圖，a(m，n)表示濾波器，m表示卷積核的高度，n表示卷積核的寬度，k表示濾波器的大小，b表示偏置項(xiàng)，y1(i，j)表示輸出特征圖；
20、池化層的數(shù)學(xué)公式具體如下：
21、
22、其中，y2(i，j)表示池化后的輸出特征圖，x(i，j)表示輸入特征圖，m表示卷積核的高度，n表示卷積核的寬度；
23、全連接層的數(shù)學(xué)公式如下：
24、y＝b·x+b
25、其中，y表示輸出向量，x表示輸入向量，b表示權(quán)重矩陣，b表示偏置項(xiàng)；
26、在輸出層中，使用softmax激活函數(shù)輸出類別的概率分布，其中，softmax激活函數(shù)的數(shù)學(xué)公式如下：
27、
28、其中，p(y＝ck|x)表示一類別的預(yù)測(cè)概率，zk表示輸出層的每個(gè)類別的原始得分，ck表示輸出層每個(gè)類別的值。
29、優(yōu)選地，在步驟s4中，使用帶標(biāo)簽的數(shù)據(jù)集對(duì)cnn模型進(jìn)行優(yōu)化，具體包括以下子步驟：使用l2正則化的方法對(duì)cnn模型的權(quán)重進(jìn)行約束，具體包括子步驟：
30、步驟s41：計(jì)算加入l2正則化項(xiàng)后的總損失函數(shù)ltotal，具體的計(jì)算公式如下：
31、
32、其中，l(θ)表示原始損失函數(shù)，用于衡量cnn模型對(duì)帶標(biāo)簽的數(shù)據(jù)集的擬合程度，表示所有模型權(quán)重的平方和，θi表示第i個(gè)權(quán)重，λ表示正則化強(qiáng)度超參數(shù)；d表示權(quán)重的數(shù)量，ltotal表示加入l2正則化項(xiàng)后的總損失函數(shù)；
33、步驟s42：計(jì)算損失函數(shù)對(duì)cnn模型的權(quán)重的總梯度，具體的計(jì)算公式如下：
34、
35、其中，表示加入l2正則化項(xiàng)后損失函數(shù)的總梯度，表示原始損失函數(shù)的梯度，2λθi表示l2正則化項(xiàng)的梯度；
36、步驟s43：使用梯度下降法對(duì)cnn模型的權(quán)重進(jìn)行更新，其中，更新后的權(quán)重的計(jì)算公式如下：
37、
38、其中，θi′表示第i個(gè)更新后的權(quán)重，η表示學(xué)習(xí)率，用于決定每次更新的步長(zhǎng)。
39、優(yōu)選地，在步驟s4中，使用帶標(biāo)簽的數(shù)據(jù)集對(duì)cnn模型進(jìn)行優(yōu)化，具體包括以下子步驟：采用早停策略對(duì)cnn模型的參數(shù)進(jìn)行優(yōu)化，具體包括以下子步驟：
40、步驟s44：設(shè)置迭代閾值，并將帶標(biāo)簽的數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集；
41、步驟s45：初始化cnn模型的參數(shù)，并使用訓(xùn)練集對(duì)cnn模型進(jìn)行若干次迭代訓(xùn)練；
42、步驟s46：計(jì)算cnn模型每次迭代訓(xùn)練后在驗(yàn)證集上的驗(yàn)證損失；
43、步驟s47：將cnn模型每次迭代訓(xùn)練后在驗(yàn)證集上的驗(yàn)證損失進(jìn)行記錄，并與歷史最佳的驗(yàn)證損失進(jìn)行比較，若cnn模型當(dāng)前迭代訓(xùn)練后在驗(yàn)證集上的驗(yàn)證損失小于歷史最佳的驗(yàn)證損失，則更新最佳的驗(yàn)證損失和最佳的cnn模型的參數(shù)，若cnn模型當(dāng)前迭代訓(xùn)練后在驗(yàn)證集上的驗(yàn)證損失大于歷史最佳的驗(yàn)證損失，則將該驗(yàn)證損失進(jìn)行記錄；
44、步驟s48：判斷cnn模型是否連續(xù)多次迭代訓(xùn)練后在驗(yàn)證集上的驗(yàn)證損失均小于歷史最佳的驗(yàn)證損失，且當(dāng)前累計(jì)迭代次數(shù)大于迭代閾值，若是，則停止cnn模型的迭代訓(xùn)練，并返回訓(xùn)練過程中驗(yàn)證損失最小的cnn模型的參數(shù)，若否，則繼續(xù)cnn模型的迭代訓(xùn)練。
45、優(yōu)選地，在步驟s4中，還包括以下步驟：在測(cè)試集上計(jì)算cnn模型的準(zhǔn)確率和召回率，以評(píng)估cnn模型的性能，并生成混淆矩陣，以評(píng)估cnn模型的分類效果；
46、其中，cnn模型的準(zhǔn)確率的計(jì)算公式如下：
47、
48、其中，accuracy表示cnn模型的準(zhǔn)確率，tp表示cnn模型正確地預(yù)測(cè)為正類的樣本數(shù)，tn表示cnn模型正確地預(yù)測(cè)為負(fù)類的樣本數(shù)，fp表示cnn模型錯(cuò)誤地預(yù)測(cè)為正類的樣本數(shù)，fn表示cnn模型錯(cuò)誤地預(yù)測(cè)為負(fù)類的樣本數(shù)；
49、cnn模型的召回率的計(jì)算公式如下本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：在步驟S3中，所述CNN模型包括輸入層、卷積層、池化層、全連接層和輸出層；
3.根據(jù)權(quán)利要求1所述的一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：在步驟S4中，使用帶標(biāo)簽的數(shù)據(jù)集對(duì)CNN模型進(jìn)行優(yōu)化，具體包括以下子步驟：使用L2正則化的方法對(duì)CNN模型的權(quán)重進(jìn)行約束，具體包括子步驟：
4.根據(jù)權(quán)利要求1所述的一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：在步驟S4中，使用帶標(biāo)簽的數(shù)據(jù)集對(duì)CNN模型進(jìn)行優(yōu)化，具體包括以下子步驟：采用早停策略對(duì)CNN模型的參數(shù)進(jìn)行優(yōu)化，具體包括以下子步驟：
5.根據(jù)權(quán)利要求4所述的一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：在步驟S4中，還包括以下步驟：在測(cè)試集上計(jì)算CNN模型的準(zhǔn)確率和召回率，以評(píng)估CNN模型的性能，并生成混淆矩陣，以評(píng)估CNN模型的分類效果；
6.根據(jù)權(quán)利要求1所述的一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，
7.根據(jù)權(quán)利要求1所述的一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：在步驟S9中，具體包括以下子步驟：
...【技術(shù)特征摘要】
1.一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：在步驟s3中，所述cnn模型包括輸入層、卷積層、池化層、全連接層和輸出層；
3.根據(jù)權(quán)利要求1所述的一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：在步驟s4中，使用帶標(biāo)簽的數(shù)據(jù)集對(duì)cnn模型進(jìn)行優(yōu)化，具體包括以下子步驟：使用l2正則化的方法對(duì)cnn模型的權(quán)重進(jìn)行約束，具體包括子步驟：
4.根據(jù)權(quán)利要求1所述的一種基于立體視覺技術(shù)的三維目標(biāo)檢測(cè)方法，其特征在于：在步驟s4中，使用帶標(biāo)簽的數(shù)據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：丁兢，丁克，李翔，馬潔，蔡劍鋒，王豐，葉闖，王凱，李鵬，黃珍，淳豪，趙明明，
申請(qǐng)(專利權(quán))人：蘇州顯揚(yáng)機(jī)器人有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。