【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及人工智能，具體為一種基于bev的道路病害面積比的精確計(jì)算方法。
技術(shù)介紹
1、在現(xiàn)代交通基礎(chǔ)設(shè)施的建設(shè)和維護(hù)中，道路的質(zhì)量和安全性至關(guān)重要，隨著時(shí)間推移與交通流量的增加，道路會(huì)遭受自然環(huán)境侵蝕和機(jī)械磨損，出現(xiàn)諸如裂縫、坑洼、剝落等病害，這不僅影響道路使用性能和壽命，還可能對(duì)行車安全構(gòu)成威脅，因此，準(zhǔn)確評(píng)估道路病害程度，對(duì)于制定有效的維護(hù)計(jì)劃和優(yōu)化資源分配具有重大意義，傳統(tǒng)道路病害檢測(cè)方法常依賴人工巡查和局部采樣，效率低且易受人為因素影響，導(dǎo)致評(píng)估準(zhǔn)確性和可靠性不足，近年來(lái)，隨著計(jì)算機(jī)視覺和圖像處理技術(shù)的進(jìn)步，特別是深度學(xué)習(xí)技術(shù)的應(yīng)用，目標(biāo)檢測(cè)和像素級(jí)分割算法已經(jīng)成為道路病害檢測(cè)的關(guān)鍵工具，目標(biāo)檢測(cè)算法能夠精確定位病害區(qū)域，而像素分割算法則能細(xì)致地區(qū)分病害與健康路面，提供精確的病害信息；
2、然而現(xiàn)有的檢測(cè)方法在病害檢測(cè)方面雖然取得了顯著進(jìn)步，但是在病害面積比的精確計(jì)算上仍面臨挑戰(zhàn)，主要包括病害邊緣跨越圖像邊界、圖像分辨率的限制、光照條件變化的影響、復(fù)雜病害形態(tài)的準(zhǔn)確勾勒的難題，以及在大規(guī)模道路檢測(cè)中算法的效率和魯棒性的問(wèn)題，限制了現(xiàn)有方法在實(shí)際應(yīng)用中的效能和適用范圍。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提供一種基于bev的道路病害面積比的精確計(jì)算方法，可以有效解決上述
技術(shù)介紹
中提出現(xiàn)有的檢測(cè)方法在病害檢測(cè)方面雖然取得了顯著進(jìn)步，但在病害面積比的精確計(jì)算上仍面臨挑戰(zhàn)，主要包括病害邊緣跨越圖像邊界、圖像分辨率的限制、光照條件變化的影響、復(fù)雜病害形態(tài)的準(zhǔn)確勾勒難題，以
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案：一種基于bev的道路病害面積比的精確計(jì)算方法，包括如下步驟：
3、s1、配置車載數(shù)據(jù)采集系統(tǒng)，對(duì)數(shù)據(jù)進(jìn)行標(biāo)注和預(yù)處理；
4、s2、構(gòu)建基于bev的病害檢測(cè)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練；
5、s3、使用基于bev的病害檢測(cè)網(wǎng)絡(luò)生成病害檢測(cè)結(jié)果，在固定計(jì)算單位內(nèi)將結(jié)果進(jìn)行拼接并計(jì)算病害面積比；
6、所述s1中，配置車載數(shù)據(jù)采集系統(tǒng)，是對(duì)數(shù)據(jù)進(jìn)行標(biāo)注和預(yù)處理，具體包括：安裝配置車載激光雷達(dá)和相機(jī)設(shè)備采集數(shù)據(jù)，獲取多視角和環(huán)視圖像，從不同角度捕捉道路病害的信息，對(duì)采集數(shù)據(jù)進(jìn)行配準(zhǔn)、校正、標(biāo)注和數(shù)據(jù)增強(qiáng)處理；
7、所述s2中，構(gòu)建基于bev的病害檢測(cè)網(wǎng)絡(luò)，網(wǎng)絡(luò)采用標(biāo)準(zhǔn)的編碼器-解碼器結(jié)構(gòu)，組件主要包括bev特征編碼器、bev掩碼感知查詢生成器、bev掩碼位置查詢生成器、bev掩碼感知混合查詢生成器和bev特征解碼器；
8、通過(guò)bev特征編碼器得到多尺度bev特征圖，bev掩碼感知查詢生成器通過(guò)多層更新查詢的transformer解碼器從多尺度bev特征中生成掩碼感知查詢向量和bev分割掩碼，bev掩碼位置生成器通過(guò)位置嵌入和池化操作生成包含位置信息和語(yǔ)義信息的查詢向量，bev掩碼感知混合查詢生成器結(jié)合位置查詢從bev分割掩碼中經(jīng)過(guò)采樣點(diǎn)特征mlp和交叉注意力形成掩碼感知混合查詢，使用掩碼感知混合查詢以及多尺度bev特征，通過(guò)bev特征解碼器生成分割實(shí)例類別和精確的點(diǎn)位坐標(biāo)；
9、所述s3中，使用基于bev的病害檢測(cè)網(wǎng)絡(luò)生成病害檢測(cè)結(jié)果，在固定計(jì)算單位內(nèi)將結(jié)果進(jìn)行拼接并計(jì)算病害面積比，具體過(guò)程包括：
10、確定全局坐標(biāo)系，將每張網(wǎng)絡(luò)輸出的bev結(jié)果圖的坐標(biāo)轉(zhuǎn)換到相同的全局坐標(biāo)系中，選擇一個(gè)錨點(diǎn)，基于錨點(diǎn)將設(shè)定計(jì)算單位內(nèi)的bev結(jié)果圖進(jìn)行拼接，避免區(qū)域重疊，按照定義的病害類型，計(jì)算拼接后bev圖像的面積，最后轉(zhuǎn)換為實(shí)際物理尺寸。
11、根據(jù)上述技術(shù)方案，所述s1中，具體的，數(shù)據(jù)采集系統(tǒng)使用128線高精度激光雷達(dá)獲取環(huán)境的三維點(diǎn)云信息，6個(gè)車載相機(jī)從正前方、正后方、左前方、左后方、右前方以及右后方覆蓋車輛周圍的全景視野，使用gps傳感器同步來(lái)自不同傳感器的數(shù)據(jù)，保存時(shí)間戳信息，確保所有傳感器數(shù)據(jù)被精確對(duì)齊；
12、數(shù)據(jù)采集要求在不同時(shí)間和光照條件，在病害多發(fā)的農(nóng)村公路區(qū)域進(jìn)行，數(shù)據(jù)標(biāo)注設(shè)定為裂縫、坑洞、破碎板和車道邊緣線幾個(gè)常見的道路病害類別。
13、根據(jù)上述技術(shù)方案，所述s2中，基于bev的病害檢測(cè)網(wǎng)絡(luò)的損失函數(shù)定義為lroad，其中l(wèi)mask表示bev掩碼感知查詢生成器中輸出的bev分割任務(wù)損失，使用雙邊匹配算法和匈牙利算法將生成的查詢與真實(shí)標(biāo)簽進(jìn)行匹配，基于匹配結(jié)果計(jì)算損失；
14、lbev表示矢量化圖構(gòu)建任務(wù)損失，使用l1損失計(jì)算回歸任務(wù)，focalloss計(jì)算類別損失，表達(dá)式如下：
15、
16、lroad＝lmask+lbev；
17、其中，matching是找到損失最小的匹配，c(qi,gσ(i))是查詢qi與真實(shí)實(shí)例gi之間的匹配成本，σ是查詢qi與gi匹配到的索引；
18、其中，gi是第i個(gè)像素的真實(shí)標(biāo)簽，pi是第i個(gè)像素預(yù)測(cè)的值，ce代表交叉熵?fù)p失，λ表示損失系數(shù)，l1表示預(yù)測(cè)值與真實(shí)值之間的絕對(duì)誤差之和，focal表示焦點(diǎn)損失，是一種改進(jìn)的交叉熵?fù)p失。
19、根據(jù)上述技術(shù)方案，所述bev特征編碼器，具體過(guò)程包括：將車載相機(jī)拍攝的多視角圖像，通過(guò)使用imagenet預(yù)訓(xùn)練的網(wǎng)絡(luò)提取特征，得到輸入圖像的2d特征，將2d圖像特征通過(guò)視角轉(zhuǎn)換模塊投影到bev特征空間，得到bev的特征表示；
20、上述bev特征通過(guò)fpn特征金字塔網(wǎng)絡(luò)，將高維和低維的特征進(jìn)行融合，得到多尺度bev特征，將多尺度bev特征使用可變形transformer編碼器對(duì)多尺度特征進(jìn)行聯(lián)合編碼，生成多尺度的bev特征，捕捉不同尺度特征之間的上下文信息，使生成的特征包含全局視野和局部細(xì)節(jié)；
21、所述bev掩碼感知查詢生成器，具體過(guò)程包括：輸入初始化的可學(xué)習(xí)查詢向量和上述的多尺度bev特征，多尺度bev特征循環(huán)通過(guò)多層的transformer解碼器進(jìn)行解碼，每層對(duì)bev掩碼感知查詢進(jìn)行更新；
22、上述的解碼過(guò)程中，會(huì)對(duì)上一層的bev分割掩碼進(jìn)行閾值篩選，保留概率高的像素，抑制不相關(guān)的背景區(qū)域，使感知查詢更好地捕捉實(shí)例的關(guān)鍵特征，通過(guò)線性變換生成查詢向量、鍵和值向量，利用注意力機(jī)制更新bev掩碼感知查詢向量，以便更好地捕捉每個(gè)實(shí)例的語(yǔ)義信息，在最大尺度的bev特征圖上，通過(guò)點(diǎn)積操作和激活函數(shù)生成bev分割掩碼；
23、所述bev掩碼位置查詢生成器，具體過(guò)程包括：通過(guò)閾值設(shè)置確定bev分割掩碼中被用于生成位置查詢的部分，生成稀疏化的bev掩碼，通過(guò)位置嵌入和稀疏化的bev掩碼進(jìn)行像素級(jí)乘積和池化操作，將位置信息融合到查詢中，生成有位置信息的查詢向量；
24、位置查詢向量與上述的bev感知查詢向量進(jìn)行拼接，進(jìn)一步通過(guò)可學(xué)習(xí)查詢進(jìn)行增強(qiáng)，生成包含豐富語(yǔ)義特征和空間信息的增強(qiáng)后的查詢向量，將增強(qiáng)后的查詢向量復(fù)制為到初始化的點(diǎn)查詢次并進(jìn)行相加，生成bev掩碼位置查詢向量，為查詢向量加入位置本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：所述S1中，具體的，數(shù)據(jù)采集系統(tǒng)使用128線高精度激光雷達(dá)獲取環(huán)境的三維點(diǎn)云信息，6個(gè)車載相機(jī)從正前方、正后方、左前方、左后方、右前方以及右后方覆蓋車輛周圍的全景視野，使用GPS傳感器同步來(lái)自不同傳感器的數(shù)據(jù)，保存時(shí)間戳信息，確保所有傳感器數(shù)據(jù)被精確對(duì)齊；
3.根據(jù)權(quán)利要求1所述的一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：所述S2中，基于BEV的病害檢測(cè)網(wǎng)絡(luò)的損失函數(shù)定義為L(zhǎng)road，其中Lmask表示BEV掩碼感知查詢生成器中輸出的BEV分割任務(wù)損失，使用雙邊匹配算法和匈牙利算法將生成的查詢與真實(shí)標(biāo)簽進(jìn)行匹配，基于匹配結(jié)果計(jì)算損失；
4.根據(jù)權(quán)利要求1所述的一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：所述BEV特征編碼器，具體過(guò)程包括：將車載相機(jī)拍攝的多視角圖像，通過(guò)使用ImageNet預(yù)訓(xùn)練的網(wǎng)絡(luò)提取特征，得到輸入圖像的2D特征，將2D圖像特征通過(guò)視角轉(zhuǎn)
5.根據(jù)權(quán)利要求4所述的一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：所述BEV特征編碼器，具體的，通過(guò)預(yù)訓(xùn)練的ResNeXt網(wǎng)絡(luò)對(duì)2D多視角圖像進(jìn)行圖像特征提取，LSS方法通過(guò)估計(jì)圖像的深度信息，結(jié)合相機(jī)的轉(zhuǎn)換矩陣將2D圖像特征投影到BEV特征空間生成BEV特征，BEV特征通過(guò)FPN特征金字塔網(wǎng)絡(luò)得到多尺度BEV特征，多尺度BEV特征圖利用3層可變形注意力編碼器對(duì)BEV特征之間的關(guān)系進(jìn)行編碼。
6.根據(jù)權(quán)利要求4所述的一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：所述BEV掩碼感知查詢生成器，具體的，初始化可學(xué)習(xí)的查詢向量，查詢向量將在整個(gè)Transformer解碼過(guò)程中不斷更新，在每一層Transformer解碼器中，先對(duì)前一層生成的分割掩碼進(jìn)行閾值判斷和更新，然后計(jì)算查詢向量Ql、鍵Kl和值Vl，表達(dá)式如下：
7.根據(jù)權(quán)利要求4所述的一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：所述BEV掩碼位置查詢生成器，具體的，從BEV分割掩碼中提取出大于閾值為0.3的部分，保留像素值，否則設(shè)置為0，從而生成稀疏化的BEV掩碼，決定位置查詢時(shí)被保留的像素點(diǎn)，為每個(gè)像素位置生成一個(gè)2D位置嵌入向量，將位置嵌入與稀疏化BEV掩碼進(jìn)行像素級(jí)相乘；
8.根據(jù)權(quán)利要求4所述的一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：所述BEV掩碼感知混合查詢生成器，具體的，從BEV分割掩碼中提取出大于閾值0.8的部分，保留高于閾值的像素，否則設(shè)置為0，從而生成稀疏化的BEV掩碼，決定幾何特征篩選時(shí)作為候選項(xiàng)的像素點(diǎn)，基于篩選的關(guān)鍵點(diǎn)位置，對(duì)不同尺度的BEV特征圖進(jìn)行最大池化，有效地捕捉到特征圖中的核心幾何信息，表達(dá)式如下：
9.根據(jù)權(quán)利要求4所述的一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：所述BEV特征解碼器，具體的，使用多尺度的BEV特征作為BEV解碼器的值，BEV感知混合查詢作為查詢向量，解碼器通過(guò)注意力機(jī)制聚合不同尺度的特征信息，最后分類預(yù)測(cè)頭對(duì)查詢特征進(jìn)行類別輸出，回歸預(yù)測(cè)頭對(duì)查詢特征輸出歸一化的坐標(biāo)。
10.根據(jù)權(quán)利要求1所述的一種基于BEV的道路病害面積比的精確計(jì)算方法，其特征在于：在S3中，具體的，使用基于BEV的病害檢測(cè)網(wǎng)絡(luò)生成病害檢測(cè)結(jié)果，在100m內(nèi)將結(jié)果進(jìn)行拼接并計(jì)算病害面積比，具體包括：
...【技術(shù)特征摘要】
1.一種基于bev的道路病害面積比的精確計(jì)算方法，其特征在于：包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于bev的道路病害面積比的精確計(jì)算方法，其特征在于：所述s1中，具體的，數(shù)據(jù)采集系統(tǒng)使用128線高精度激光雷達(dá)獲取環(huán)境的三維點(diǎn)云信息，6個(gè)車載相機(jī)從正前方、正后方、左前方、左后方、右前方以及右后方覆蓋車輛周圍的全景視野，使用gps傳感器同步來(lái)自不同傳感器的數(shù)據(jù)，保存時(shí)間戳信息，確保所有傳感器數(shù)據(jù)被精確對(duì)齊；
3.根據(jù)權(quán)利要求1所述的一種基于bev的道路病害面積比的精確計(jì)算方法，其特征在于：所述s2中，基于bev的病害檢測(cè)網(wǎng)絡(luò)的損失函數(shù)定義為lroad，其中l(wèi)mask表示bev掩碼感知查詢生成器中輸出的bev分割任務(wù)損失，使用雙邊匹配算法和匈牙利算法將生成的查詢與真實(shí)標(biāo)簽進(jìn)行匹配，基于匹配結(jié)果計(jì)算損失；
4.根據(jù)權(quán)利要求1所述的一種基于bev的道路病害面積比的精確計(jì)算方法，其特征在于：所述bev特征編碼器，具體過(guò)程包括：將車載相機(jī)拍攝的多視角圖像，通過(guò)使用imagenet預(yù)訓(xùn)練的網(wǎng)絡(luò)提取特征，得到輸入圖像的2d特征，將2d圖像特征通過(guò)視角轉(zhuǎn)換模塊投影到bev特征空間，得到bev的特征表示；
5.根據(jù)權(quán)利要求4所述的一種基于bev的道路病害面積比的精確計(jì)算方法，其特征在于：所述bev特征編碼器，具體的，通過(guò)預(yù)訓(xùn)練的resnext網(wǎng)絡(luò)對(duì)2d多視角圖像進(jìn)行圖像特征提取，lss方法通過(guò)估計(jì)圖像的深度信息，結(jié)合相機(jī)的轉(zhuǎn)換矩陣將2d圖像特征投影到bev特征空間生成bev特征，bev特征通過(guò)fpn特征金字塔網(wǎng)絡(luò)得到多尺度bev特征，多尺度bev特征圖利用3層可變形注意力編碼器對(duì)bev特征之間的關(guān)系進(jìn)行編碼。
6.根據(jù)權(quán)利要求4所述的一種基于bev的道路病害面積比的精確計(jì)算方法...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王家奎，魏星，熊益，
申請(qǐng)(專利權(quán))人：武漢唯理科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。