【技術(shù)實現(xiàn)步驟摘要】
本申請涉及圖像處理，尤其涉及圖像特征融合方法、裝置、電子設(shè)備以及存儲介質(zhì)。
技術(shù)介紹
1、在語義分割、深度估計或者其他密集預(yù)測任務(wù)中，經(jīng)常需要融合不同分辨率的特征。對于不同分辨率特征，相關(guān)技術(shù)中是將低分辨率特征上采樣，后與高分辨率特征直接相加，或者直接在通道維度上拼接，這種方法忽略了兩種不同高分辨率特征包含的豐富的細(xì)節(jié)信息，低分辨率特征包含的豐富的語義信息；或是利用卷積設(shè)計融合模塊，這種方法一般會下采樣高分辨率特征，和低分辨率特征融合，也會上采樣低分辨率特征和高分辨率特征融合。
2、但是，簡單拼接或相加通常會忽略低分辨率特征與高分辨率特征之間的差異，基于卷積的融合方法會忽略特征內(nèi)部之間的關(guān)聯(lián)關(guān)系，影響了識別的精度。
技術(shù)實現(xiàn)思路
1、為解決或部分解決相關(guān)技術(shù)中存在的問題，本申請?zhí)峁┮环N圖像特征融合方法、裝置、電子設(shè)備以及存儲介質(zhì)，能夠?qū)⒋R別圖像的高分辨率特征與低分辨率特征進(jìn)行融合，提高圖像識別的精度。
2、本申請第一方面提供一種圖像特征融合方法，包括：
3、獲取待識別圖像的高分辨率特征和低分辨率特征；
4、對所述高分辨率特征和所述低分辨率特征分別進(jìn)行編碼，生成所述高分辨率特征的第一特征以及所述低分辨率特征的第二特征；所述第一特征包括：第一子特征、第二子特征；
5、基于多個預(yù)設(shè)transformer模塊，對所述第一子特征，所述第二子特征，所述第二特征進(jìn)行特征提取，分別生成第一特征的分量、第二特征的分量；
6、對
7、將所述第一特征的分量與所述歸一化特征進(jìn)行融合，并對融合結(jié)果進(jìn)行殘差連接；
8、基于殘差連接的結(jié)果計算融合特征，所述融合特征用于識別所述待識別圖像。
9、優(yōu)選地，所述對所述高分辨率特征和所述低分辨率特征分別進(jìn)行編碼，生成所述高分辨率特征的第一特征以及所述低分辨率特征的第二特征，包括：
10、基于第一步長的卷積模塊，對所述高分辨率特征和所述低分辨率特征分別進(jìn)行編碼，分別生成所述第一子特征與第二特征；
11、基于第二步長的卷積模塊，對所述高分辨率特征進(jìn)行編碼，生成所述第二子特征。
12、優(yōu)選地，所述第一特征的分量包括第一特征的第一分量、第一特征的第二分量，所述第二特征的分量包括：第二特征的第一分量、第二特征的第二分量；所述基于多個預(yù)設(shè)transformer模塊，對所述第一特征，所述第二特征進(jìn)行特征提取，分別生成第一特征的分量、第二特征的分量，包括：
13、基于預(yù)設(shè)transformer模塊中的第一編碼模塊對所述第一子特征，所述第二子特征，所述第二特征分別進(jìn)行特征提取，分別生成第一特征的第一分量、第一特征的第二分量以及第二特征的第二分量；
14、基于所述預(yù)設(shè)transformer中的第二編碼模塊，對所述第二特征進(jìn)行特征提取，生成第二特征的第一分量。
15、優(yōu)選地，所述歸一化特征包括：第二特征的第一中間分量以及第二特征的第二中間分量；所述對所述第二特征的分量進(jìn)行采樣，對采樣后的特征進(jìn)行歸一化處理，生成歸一化特征，包括：
16、對所述第二特征的第一分量進(jìn)行采樣，生成第二特征的中間分量；
17、對所述第二特征的第二分量以及所述第二特征的中間分量分別進(jìn)行歸一化，生成第二特征的第二中間分量以及第二特征的第一中間分量。
18、優(yōu)選地，所述將所述第一特征的分量與所述歸一化特征進(jìn)行融合，并對融合結(jié)果進(jìn)行殘差連接，包括：
19、將所述第一特征的第一分量與所述第二特征的第一中間分量進(jìn)行融合，生成第一特征的第一融合特征；
20、將所述第一特征的第二分量與所述第二特征的第二中間分量進(jìn)行融合，生成第二特征的第一融合特征；
21、將所述第一特征的第一融合特征與所述第一子特征，生成第一特征的第二融合特征；
22、將所述第二特征的第一融合特征與所述第二特征相加，生成第二特征的第二融合特征。
23、優(yōu)選地，所述基于殘差連接的結(jié)果計算融合特征之前的步驟包括：
24、對所述第二特征的第二融合特征進(jìn)行采樣，生成第二特征的第三融合特征。
25、優(yōu)選地，所述基于殘差連接的結(jié)果計算融合特征，包括：
26、將所述第二特征的第三融合特征與所述第一特征的第二融合特征相加，生成所述融合特征。
27、本申請第二方面提供一種圖像特征融合裝置，包括：
28、獲取模塊，用于獲取待識別圖像的高分辨率特征和低分辨率特征；
29、編碼模塊，用于對所述高分辨率特征和所述低分辨率特征分別進(jìn)行編碼，生成所述高分辨率特征的第一特征以及所述低分辨率特征的第二特征；所述第一特征包括：第一子特征、第二子特征；
30、提取模塊，用于基于多個預(yù)設(shè)transformer模塊，對所述第一子特征，所述第二子特征，所述第二特征進(jìn)行特征提取，分別生成第一特征的分量、第二特征的分量；
31、采樣模塊，用于對所述第二特征的分量進(jìn)行采樣，對采樣后的特征進(jìn)行歸一化處理，生成歸一化特征；
32、融合模塊，用于將所述第一特征與所述歸一化特征進(jìn)行融合，并對融合結(jié)果進(jìn)行殘差連接；
33、計算模塊，用于基于殘差連接的結(jié)果計算融合特征，所述融合特征用于識別所述待識別圖像。
34、本申請第三方面提供一種電子設(shè)備，包括：
35、處理器；以及
36、存儲器，其上存儲有可執(zhí)行代碼，當(dāng)所述可執(zhí)行代碼被所述處理器執(zhí)行時，使所述處理器執(zhí)行如上所述的方法。
37、本申請第四方面提供一種計算機(jī)可讀存儲介質(zhì)，其上存儲有可執(zhí)行代碼，當(dāng)所述可執(zhí)行代碼被電子設(shè)備的處理器執(zhí)行時，使所述處理器執(zhí)行如上所述的方法。
38、本申請?zhí)峁┑募夹g(shù)方案可以包括以下有益效果：通過獲取待識別圖像的高分辨率特征和低分辨率特征，對所述高分辨率特征和所述低分辨率特征分別進(jìn)行編碼，生成所述高分辨率特征的第一特征以及所述低分辨率特征的第二特征，所述第一特征包括：第一子特征、第二子特征，基于多個預(yù)設(shè)transformer模塊，對所述第一子特征，所述第二子特征，所述第二特征進(jìn)行特征提取，分別生成第一特征的分量、第二特征的分量對所述第二特征的分量進(jìn)行采樣，對采樣后的特征進(jìn)行歸一化處理，生成歸一化特征，將所述第一特征的分量與所述歸一化特征進(jìn)行融合，并對融合結(jié)果進(jìn)行殘差連接，基于殘差連接的結(jié)果計算融合特征，所述融合特征用于識別所述待識別圖像，能夠?qū)⒋R別圖像的高分辨率特征與低分辨率特征進(jìn)行融合，提高圖像識別的精度。
39、應(yīng)當(dāng)理解的是，以上的一般描述和后文的細(xì)節(jié)描述僅是示例性和解釋性的，并不能限制本申請。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.一種圖像特征融合方法，其特征在于：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述高分辨率特征和所述低分辨率特征分別進(jìn)行編碼，生成所述高分辨率特征的第一特征以及所述低分辨率特征的第二特征，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一特征的分量包括第一特征的第一分量、第一特征的第二分量，所述第二特征的分量包括：第二特征的第一分量、第二特征的第二分量；所述基于多個預(yù)設(shè)transformer模塊，對所述第一特征，所述第二特征進(jìn)行特征提取，分別生成第一特征的分量、第二特征的分量，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述歸一化特征包括：第二特征的第一中間分量以及第二特征的第二中間分量；所述對所述第二特征的分量進(jìn)行采樣，對采樣后的特征進(jìn)行歸一化處理，生成歸一化特征，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述第一特征的分量與所述歸一化特征進(jìn)行融合，并對融合結(jié)果進(jìn)行殘差連接，包括：
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于殘差連接的結(jié)果計算融合特征之前的步驟包括：
...【技術(shù)特征摘要】
1.一種圖像特征融合方法，其特征在于：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述高分辨率特征和所述低分辨率特征分別進(jìn)行編碼，生成所述高分辨率特征的第一特征以及所述低分辨率特征的第二特征，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一特征的分量包括第一特征的第一分量、第一特征的第二分量，所述第二特征的分量包括：第二特征的第一分量、第二特征的第二分量；所述基于多個預(yù)設(shè)transformer模塊，對所述第一特征，所述第二特征進(jìn)行特征提取，分別生成第一特征的分量、第二特征的分量，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述歸一化特征包括：第二特征的第一中間分量以及第二特征的第二中間分量；所述對所述第二特征...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：孟鵬飛，萬如，賈雙成，
申請(專利權(quán))人：蘑菇車聯(lián)信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。