【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及人工智能安全領(lǐng)域，特別是指一種針對車輛目標(biāo)檢測器的物理對抗涂裝生成方法及裝置。
技術(shù)介紹
1、深度神經(jīng)網(wǎng)絡(luò)在目標(biāo)檢測任務(wù)中達到了非常好的表現(xiàn)，然而存在一種針對人工智能系統(tǒng)的攻擊方式對其安全性提出挑戰(zhàn)——對抗攻擊。對抗攻擊指的是惡意攻擊者有意針對人工智能系統(tǒng)的弱點、缺陷或漏洞制造的攻擊行為，以誤導(dǎo)、破壞或欺騙人工智能系統(tǒng)。這些攻擊可能導(dǎo)致人工智能系統(tǒng)輸出錯誤的決策或結(jié)果。因此，研究對抗攻擊對于確保目標(biāo)檢測模型的安全性具有重要意義和迫切需要。
2、現(xiàn)有的基于神經(jīng)渲染器生成物理對抗涂裝有兩種主要的方法，一種是基于world-align投影的方法優(yōu)化一個2d正方形紋理圖案，并將其重復(fù)放大，從而得到可以覆蓋整車的涂裝；另一種基于uv紋理投影的方式直接精確優(yōu)化3d涂裝，是以uv映射的形式利用車輛對應(yīng)的uv貼圖對其進行涂裝投影。
3、然而，這兩種方法目前都存在一些問題。基于world-align投影方法無法在評估過程中以與優(yōu)化過程中相同的投影方式將紋理圖案投射到汽車上，從而導(dǎo)致產(chǎn)生的對抗性涂裝無法精確匹配到車輛上，使其在測試時對目標(biāo)檢測器的攻擊效果較差。后一種基于uv映射的渲染方法通常使用一個相對落后的神經(jīng)渲染器，無法渲染光線和天氣等復(fù)雜的環(huán)境特征，使得生成的檢測圖片存在與真實場景差異巨大的問題，導(dǎo)致偽裝生成效果不理想。除此以外，現(xiàn)有的基于uv映射的渲染方法使用的渲染器，無法保證uv圖到一種在渲染過程中使用的中間渲染張量的可導(dǎo)通路，使得目前的方法是優(yōu)化該中間渲染張量，最終再將該中間渲染張量后處理成可以進行
技術(shù)實現(xiàn)思路
1、為了解決現(xiàn)有生成物理對抗涂裝過程中通過渲染器得到的車輛圖片與真實世界中存在紋理差異或者環(huán)境差異的技術(shù)問題，本專利技術(shù)實施例提供了一種基于自主設(shè)計的可準(zhǔn)確紋理映射且效果逼真的端到端的先進神經(jīng)渲染器的針對車輛目標(biāo)檢測器的物理對抗涂裝生成方法及裝置。所述技術(shù)方案如下：
2、一方面，提供了一種基于自主設(shè)計的可準(zhǔn)確紋理映射且效果逼真的神經(jīng)渲染器的針對車輛目標(biāo)檢測器的物理對抗涂裝生成方法，該方法包括：
3、s1、從多天氣車輛數(shù)據(jù)集中獲取掩碼圖像、車輛圖像和拍攝相機視角數(shù)據(jù)；
4、s2、利用所述掩碼圖像對所述車輛圖像進行分割，得到所述車輛圖像的前景車輛圖像和背景圖像；
5、s3、將所述前景車輛圖像、預(yù)定的車輛模型數(shù)據(jù)、車輛uv圖和所述拍攝相機視角數(shù)據(jù)，輸入自主設(shè)計的可微分端到端先進神經(jīng)渲染器對特定場景和視角下的車輛圖像進行渲染；
6、s4、將渲染后車輛圖像結(jié)合所述背景圖像形成完整的圖像，將所述完整的圖像輸入隨機擾動模塊添加擾動，將擾動之后的圖像輸入目標(biāo)檢測器得到檢測結(jié)果；
7、s5、利用目標(biāo)檢測器的檢測結(jié)果，通過自主設(shè)計的損失函數(shù)計算損失并通過梯度反向傳播優(yōu)化車輛涂裝。
8、可選地，所述可微分端到端先進神經(jīng)渲染器，包括：
9、環(huán)境特征提取網(wǎng)絡(luò)，包括編碼模塊和解碼模塊，在所述編碼模塊中，采用對應(yīng)的深度可分離卷積算法對所述車輛圖像進行多次卷積處理，在所述解碼模塊中，采用對應(yīng)的上采樣操作轉(zhuǎn)置卷積或者雙線性插值，將編碼后的所述車輛圖像還原為原始尺寸以恢復(fù)空間分辨率；
10、采樣模塊，使用uv圖遍歷采樣方法，使uv圖上所有的點參與到中間渲染張量的賦值過程；
11、梯度可回傳模塊，在將uv圖轉(zhuǎn)化為所述中間渲染張量的過程中，根據(jù)將uv圖轉(zhuǎn)化為中間渲染張量的cuda前向代碼，通過編寫相應(yīng)的反向傳播代碼進行優(yōu)化梯度回傳，同時保留回傳梯度過程中所需要的全部信息，使得在梯度回傳過程中，可以將梯度從中間渲染張量回傳至車輛uv圖，實現(xiàn)端到端的uv圖優(yōu)化；
12、渲染器，將轉(zhuǎn)化后的所述中間渲染張量通過光柵化處理，渲染出帶有涂裝并且視角與輸入相機視角相同的2d圖片。
13、可選地，所述可微分端到端先進神經(jīng)渲染器的環(huán)境特征提取網(wǎng)絡(luò)的訓(xùn)練，包括：
14、將多顏色車輛數(shù)據(jù)集中的原始白色車輛圖像，作為所述環(huán)境特征提取網(wǎng)絡(luò)的輸入，輸出得到兩張環(huán)境特征圖；
15、將多顏色車輛數(shù)據(jù)集中的其他顏色車輛圖像，作為所述環(huán)境特征提取網(wǎng)絡(luò)的真實圖像；
16、將多顏色車輛數(shù)據(jù)集中的車輛圖像、預(yù)定的車輛模型數(shù)據(jù)、車輛uv圖和拍攝相機視角數(shù)據(jù)，輸入所述渲染器得到渲染結(jié)果；
17、將所述渲染結(jié)果和第一張環(huán)境特征圖相乘，并且與第二張環(huán)境特征圖相加，輸出得到與真實圖像類似的最終渲染圖像；
18、將所述最終渲染圖像和所述真實圖像計算損失，利用二進制交叉熵?fù)p失函數(shù)反向梯度傳播，優(yōu)化所述環(huán)境特征提取網(wǎng)絡(luò)。
19、可選地，所述可微分端到端先進神經(jīng)渲染器的采樣模塊，具體用于：
20、將所述中間渲染張量上所有點的rgb值初始化為全0；
21、遍歷uv圖上所有的點，投影至所述中間渲染張量的三維空間；
22、根據(jù)每一個點的投影位置，在所述中間渲染張量上找到所述投影位置周圍的8個鄰居點；
23、根據(jù)每一個點的投影位置與各個鄰居點的距離，進行權(quán)重計算，根據(jù)計算得到的權(quán)重，拆分uv圖上每一個點的rgb像素值，增加到周圍的8個鄰居點的rgb像素值；
24、最后遍歷完成后，進行標(biāo)準(zhǔn)化處理。
25、可選地，所述s3的將所述前景車輛圖像、預(yù)定的車輛模型數(shù)據(jù)、車輛uv圖和所述拍攝相機視角數(shù)據(jù)，輸入自主設(shè)計的可微分端到端先進神經(jīng)渲染器對特定場景和視角下的車輛圖像進行渲染，包括：
26、將所述前景車輛圖像輸入所述環(huán)境特征提取網(wǎng)絡(luò)，得到兩張環(huán)境特征圖；
27、將所述車輛uv圖輸入所述采樣模塊，使用uv圖遍歷采樣方法，使uv圖上所有的點參與到中間渲染張量的賦值過程；
28、將所述車輛uv圖輸入所述梯度可回傳模塊，在將uv圖轉(zhuǎn)化為所述中間渲染張量的過程中，根據(jù)將uv圖轉(zhuǎn)化為中間渲染張量的cuda前向代碼，通過編寫相應(yīng)的反向傳播代碼進行優(yōu)化梯度回傳，同時保留回傳梯度過程中所需要的全部信息，使得在梯度回傳過程中，可以將梯度從中間渲染張量回傳至車輛uv圖，實現(xiàn)端到端的uv圖優(yōu)化；
29、將預(yù)定的車輛模型數(shù)據(jù)、轉(zhuǎn)化后的中間渲染張量和所述拍攝相機視角數(shù)據(jù)，輸入所述渲染器，得到渲染結(jié)果；
30、將所述渲染結(jié)果和第一張環(huán)境特征圖相乘，并且與第二張環(huán)境特征圖相加，輸出得到最終渲染結(jié)果，并且使用一個剪切函數(shù)保證所述最終渲染結(jié)果不超過0-1的像素值范圍。
31、可選地，所述s4中將所述完整的圖像輸入隨機擾動模塊添加擾動，包括：
32、將所述完整的圖像整體添加隨機的亮度變化、旋轉(zhuǎn)變化、平移變化、放大縮小變化、對比度變化，用以提高生成的包含對抗樣本圖片的多樣性，從而加強最后生成的物理對抗涂裝的魯棒性。
33、可選地，所述s5中損本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種針對車輛目標(biāo)檢測器的物理對抗涂裝生成方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述可微分端到端先進神經(jīng)渲染器，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述可微分端到端先進神經(jīng)渲染器的環(huán)境特征提取網(wǎng)絡(luò)的訓(xùn)練，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述可微分端到端先進神經(jīng)渲染器的采樣模塊，具體用于：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述S3的將所述前景車輛圖像、預(yù)定的車輛模型數(shù)據(jù)、車輛UV圖和所述拍攝相機視角數(shù)據(jù)，輸入自主設(shè)計的可微分端到端先進神經(jīng)渲染器對特定場景和視角下的車輛圖像進行渲染，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S4中將所述完整的圖像輸入隨機擾動模塊添加擾動，包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述S5中損失函數(shù)計算方法為：利用擾動之后的圖像輸入所述目標(biāo)檢測器的檢測結(jié)果，計算光滑損失和對抗損失，得到所述損失函數(shù)的結(jié)果L：
8.一種針對車輛目標(biāo)檢測器的物理對抗涂裝生成裝置，所述裝置用于
9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：
10.一種計算機可讀取存儲介質(zhì)，其特征在于，所述計算機可讀取存儲介質(zhì)中存儲有程序代碼，所述程序代碼可被處理器調(diào)用執(zhí)行如權(quán)利要求1至7任一項所述的方法。
...【技術(shù)特征摘要】
1.一種針對車輛目標(biāo)檢測器的物理對抗涂裝生成方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述可微分端到端先進神經(jīng)渲染器，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述可微分端到端先進神經(jīng)渲染器的環(huán)境特征提取網(wǎng)絡(luò)的訓(xùn)練，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述可微分端到端先進神經(jīng)渲染器的采樣模塊，具體用于：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述s3的將所述前景車輛圖像、預(yù)定的車輛模型數(shù)據(jù)、車輛uv圖和所述拍攝相機視角數(shù)據(jù)，輸入自主設(shè)計的可微分端到端先進神經(jīng)渲染器對特定場景和視角下的車輛圖像進行渲染，包括：
6.根據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李渝，周家葳，呂林燁，何道敬，
申請(專利權(quán))人：哈爾濱工業(yè)大學(xué)深圳哈爾濱工業(yè)大學(xué)深圳科技創(chuàng)新研究院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。