【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及偏振成像，具體涉及到一種偏振注意力引導(dǎo)機制的材質(zhì)識別方法。
技術(shù)介紹
1、不同類型的目標之間的區(qū)別主要通過不同形狀、不同材質(zhì)表現(xiàn)出來。在同樣光照條件下，不同材質(zhì)表面反射偏射光特征區(qū)別非常明顯。可見光的散射偏振特性能夠很好地反應(yīng)出空間目標的材質(zhì)、表面粗糙度信息，并且受到大氣散射光和背景輻射的干擾很小，可以增加目標物體的信息量，某種程度上能大大提高目標探測的識別準確度。
2、隨著科學(xué)技術(shù)的發(fā)展，偏振成像技術(shù)已經(jīng)廣泛應(yīng)用于在環(huán)境中對特定目標物的檢測中。但在這些研究中，偏振信息主要被用于探測目標物的物質(zhì)結(jié)構(gòu)或者被用于提高目標物與背景信息的對比度。與目標檢測技術(shù)的結(jié)合的相關(guān)研究更多是將偏振圖像替代光強圖像輸入目標檢測模型。然而，不考慮偏振原理，不構(gòu)建適用于偏振圖像進行材質(zhì)識別模型的數(shù)據(jù)集，直接將偏振圖像輸入檢測網(wǎng)絡(luò)，會導(dǎo)致目標檢測網(wǎng)絡(luò)無法充分利用偏振信息；在網(wǎng)絡(luò)輸入的過程中不加以物理先驗的注意力機制的引導(dǎo)，網(wǎng)絡(luò)就不能很好的學(xué)到反映折射率的材質(zhì)信息。
技術(shù)實現(xiàn)思路
1、為了克服上述現(xiàn)有技術(shù)中的缺陷，本專利技術(shù)提供了一種偏振注意力引導(dǎo)機制的材質(zhì)識別方法，建立偏振pbrdf模型，構(gòu)建網(wǎng)絡(luò)模塊提取偏振圖像的偏振特征，再通過注意力機制模塊進行引導(dǎo)，使模型更注重于偏振圖像中反應(yīng)材質(zhì)折射率變化的部分，提高模型的準確性和魯棒性。
2、技術(shù)方案
3、一種偏振注意力引導(dǎo)機制的材質(zhì)識別方法包括以下步驟：
4、步驟一、構(gòu)建偏振圖像的材質(zhì)識別數(shù)據(jù)集：首先對
5、步驟二、結(jié)合偏振雙向分布函數(shù)以及菲涅爾公式的物理模型進行推導(dǎo)目標表面的反射光偏振信息分布規(guī)律，得出目標表面物理特性分布和反射光偏振態(tài)信息的映射關(guān)系；
6、s0＝i0°+i90°
7、s1＝i0°-i90°
8、s2＝2i45°-(i0°+i90°)
9、
10、由微面元理論可知，目標物體的復(fù)雜表面由一系列微小光滑表面組成，且都滿足菲涅爾反射定律，進入相機的每一個方向角θ可以近似為已知恒定值，所以介質(zhì)的折射率只與反射光的偏振度相關(guān)；根據(jù)這一原理進行物理建模，通過輸入偏振度圖像進行分析有助于我們進行復(fù)雜物體的材質(zhì)識別工作；偏振角圖像能夠較好地描述不同表面取向，根據(jù)這一原理進行物理建模，通過輸入偏振圖像進行分析有助于我們進行復(fù)雜物體的材質(zhì)識別工作，根據(jù)不同材質(zhì)的折射率、表面特征等物理特性，通過偏振成像技術(shù)將其提取到網(wǎng)絡(luò)當中，結(jié)合yolov8進行偏振材質(zhì)識別網(wǎng)絡(luò)的構(gòu)建；
11、步驟三、將偏振分量圖像(0°，45°，90°線偏振)作為模型的輸入，通過偏振態(tài)計算層(pscl)，根據(jù)斯托克斯矢量對偏振分量圖像進行矩陣運算，計算斯托克斯參數(shù)，從而獲得aop與dolp圖像；再進入主干網(wǎng)絡(luò)后經(jīng)過基于注意力的材質(zhì)感知模塊(mam)提取出有利于材質(zhì)識別的偏振注意信息；最后進入下一層檢測頭模塊預(yù)測輸出；
12、步驟四、利用步驟一中所述材質(zhì)識別數(shù)據(jù)集輸入搭建的網(wǎng)絡(luò)進行訓(xùn)練，得到材質(zhì)識別模型的權(quán)重文件，利用該訓(xùn)練權(quán)重文件對復(fù)雜場景下的物體進行材質(zhì)識別，輸出模型預(yù)測結(jié)果包括目標物位置、置信度、類別信息。
13、進一步地，所述基于注意力的材質(zhì)感知模塊由兩個模塊組成，一個是通道注意力機制模塊，另一個是空間注意力機制模塊。
14、此模塊計算注意力權(quán)重，來確定哪些部分是重要的。通道注意力模塊有助于學(xué)習(xí)通道中由利于偏振提取的部分，而空間注意力有助于提取空間中不同位置的重要材質(zhì)信息。空間上對于輸入的偏振特征圖沿通道維度進行最大池化和平均池化，生成不同上下文尺度的特征，通過卷積層處理這個特征圖，最后生成空間注意力權(quán)重。對生成的注意力權(quán)重通過sigmoid進行輸出限制在0-1之間，最后將得到的權(quán)重應(yīng)用于原始的特征圖，對空間的每個位置加權(quán)，突出重點區(qū)域，最后輸入到一層的檢測模塊。該模塊通過自適應(yīng)地學(xué)習(xí)通道和空間注意力權(quán)重，以提高卷積神經(jīng)網(wǎng)絡(luò)的特征表達能力。之后，融合層將注意力權(quán)重和特征圖進行融合生成輸出圖像，在這個過程中注意力權(quán)重用于加權(quán)特征圖，突出材質(zhì)識別任務(wù)中重要的偏振成分，從而提升材質(zhì)識別任務(wù)的性能。
15、對于輸入的偏振度特征圖x，首先進行水平垂直編碼，
16、
17、再對特征圖進行拼接，得到變換后的特征圖
18、f＝δ(f1([zh,zw]))
19、隨后沿著之前原特征圖的高寬方向卷積，經(jīng)過sigmoid函數(shù)激活，得到特征圖注意力權(quán)重gh和gw,
20、gh＝σ(fh(fh))
21、gw＝σ(fh(fw))
22、最后得到帶有注意力權(quán)重輸出的特征圖
23、本專利技術(shù)的有益效果：
24、在復(fù)雜場景中尤其是在形狀信息干擾的情況下，基于偏振注意引導(dǎo)的材質(zhì)識別算法可以有效地關(guān)注目標物材質(zhì)中反應(yīng)材質(zhì)折射率變化的部分，而主流的目標檢測框架僅關(guān)注于rgb層的像素信息，沒有利用到偏振信息，與之相比本方法具有識別準確率高、運行速度快，且在物理先驗信息的指導(dǎo)下，模型的魯棒性與泛化性更好，能適用于更一般的工業(yè)場景。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種偏振注意力引導(dǎo)機制的材質(zhì)識別方法，其特征在于，所述方法包括如下步驟：
2.根據(jù)權(quán)利要求1所述方法，其特征在于，步驟一中所述材質(zhì)識別數(shù)據(jù)集的構(gòu)建：將不同材質(zhì)的物體放入該環(huán)境作為目標物，在主動光條件下用分焦平面相機(Dofp)拍攝圖像，獲取四個偏振方向的圖像，提取其中的偏振信息，獲取圖像中偏振角、偏振度等多維偏振信息，同時去除被噪聲干擾的數(shù)據(jù)，在數(shù)據(jù)篩選的基礎(chǔ)上進行數(shù)據(jù)裁剪、翻轉(zhuǎn)、移動、鏡像等數(shù)據(jù)增強手段擴充數(shù)據(jù)集，提高模型的泛化能力。
3.根據(jù)權(quán)利要求1所述方法，其特征在于，所述步驟三中材質(zhì)感知模塊由兩個模塊組成，一個是通道注意力機制模塊，另一個是空間注意力機制模塊；通道注意力模塊有助于學(xué)習(xí)通道中有利于偏振提取的部分，而空間注意力有助于提取空間中不同位置的重要材質(zhì)信息。
4.根據(jù)權(quán)利要求2所述方法，其特征在于，所述材質(zhì)識別模型的權(quán)重文件由空間上對于輸入的偏振特征圖沿通道維度進行最大池化和平均池化，生成不同上下文尺度的特征，通過卷積層處理這個特征圖，最后生成注意力權(quán)重。
5.根據(jù)權(quán)利要求4所述方法，其特征在于，所述注意力權(quán)重通過
...【技術(shù)特征摘要】
1.一種偏振注意力引導(dǎo)機制的材質(zhì)識別方法，其特征在于，所述方法包括如下步驟：
2.根據(jù)權(quán)利要求1所述方法，其特征在于，步驟一中所述材質(zhì)識別數(shù)據(jù)集的構(gòu)建：將不同材質(zhì)的物體放入該環(huán)境作為目標物，在主動光條件下用分焦平面相機(dofp)拍攝圖像，獲取四個偏振方向的圖像，提取其中的偏振信息，獲取圖像中偏振角、偏振度等多維偏振信息，同時去除被噪聲干擾的數(shù)據(jù)，在數(shù)據(jù)篩選的基礎(chǔ)上進行數(shù)據(jù)裁剪、翻轉(zhuǎn)、移動、鏡像等數(shù)據(jù)增強手段擴充數(shù)據(jù)集，提高模型的泛化能力。
3.根據(jù)權(quán)利要求1所述方法，其特征在于，所述步驟三中材質(zhì)感知模塊由兩個模塊組成，一個是通道注意力...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳瑞品，李江濤，王國臣，趙珮凱，
申請(專利權(quán))人：浙江理工大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。