【技術實現步驟摘要】
本專利技術涉及圖像數據處理領域，具體涉及一種顯著性目標檢測方法、系統(tǒng)、存儲介質和產品。
技術介紹
1、當前主流的rgb-d顯著性目標檢測方法均為直接使用骨干網絡提取的特征信息，不對這種提取后的粗糙特征做任何的處理，直接進行多模態(tài)信息之間的融合，忽略了低質量的rgb圖像和深度圖像對顯著性目標檢測的負面影響，影響檢測精度。
技術實現思路
1、本專利技術的目的在于提供一種提高檢測精度的顯著性目標檢測方法、系統(tǒng)、存儲介質和產品。
2、為了達到上述目的，本專利技術采用這樣的技術方案：
3、一種顯著性目標檢測方法，包括如下依次執(zhí)行的步驟：
4、s1：獲取用于訓練和測試的rgb-d數據集，rgb-d數據集包括各張圖像的rgb圖像、深度圖像和gt圖像；
5、s2：建立第一骨干網絡和第二骨干網絡，將rgb-d數據集中的訓練樣本的rgb圖像和深度圖像分別一一對應輸入到第一骨干網絡和第二骨干網絡進行多個維度的特征提取，提取到的特征圖像分別用和表示，其中表示維度，
6、s3：分別建立用于一一對應增強各個維度的特征圖像的特征細粒度的多個第一特征細粒度增強模塊（ffge1），分別建立用于一一對應增強特征圖像的特征細粒度的多個第二特征細粒度增強模塊（ffge2）；
7、采用表示各特征圖像，采用表示各特征圖像，各第一特征細粒度增強模塊對進行全局平均池化操作，生成一個向量，該向量包含了各通道全局的信息，采用一維卷積對該向量進行卷積操作，以計算每
8、（1）；
9、其中，為sigmoid激活函數，為全局平均池化操作，為卷積操作，為第一特征細粒度增強模塊的個數；
10、各第二特征細粒度增強模塊對做相同操作，得到增強后的特征，各第二特征細粒度增強模塊的操作采用如下公式（2）表示：
11、（2）；
12、s4：建立個用于編碼器階段跨模態(tài)特征增強和融合的跨模態(tài)雙注意力特征融合模塊(cmdaff)，將增強后的特征和增強后的特征分別一一對應輸入到各跨模態(tài)雙注意力特征融合模塊進行特征增強和特征融合；
13、跨模態(tài)雙注意力特征融合模塊的具體操作步驟如下：
14、s4-1：將增強后的特征和增強后的特征通過1×1卷積層進行特征縮減，獲得初步的特征表示和；
15、s4-2：采用具有sigmoid激活函數的卷積層對初步的特征表示進行處理，得到歸一化的特征映射：
16、；
17、其中，為sigmoid激活函數，為卷積層操作；
18、s4-3：通過逐元素相乘操作完成特征融合，將初步的特征表示與歸一化的特征映射相乘生成加權的特征，并采用殘差連接將加權的特征與初步的特征表示相加，生成融合后的特征和：
19、；
20、s4-4：對融合后的特征和使用通道注意力機制來確定要獲取哪些互補信息，突出關鍵的互補特征，抑制無關特征，再采用空間注意力機制來確定要關注特征圖的哪一部分，減輕特定領域特征中的歧義，獲得交叉增強的特征和該步驟的公式表示如下公式（3）所示：
21、（3）；
22、其中，為空間注意力，為通道注意力；
23、s4-5：將交叉增強的特征和輸入到連接層和卷積層中，形成共享表示，獲得具有更高的魯棒性和豐富信息的共享特征，該步驟由如下公式（4）所示：
24、（4）；
25、s5：在解碼器階段構建n個多尺度特征聚合模塊(msfa)高效融合跨模態(tài)特征，利用模態(tài)間的相關性增強特征表示，并對多級特征分別進行解碼；
26、多尺度特征聚合模塊的具體操作如下：
27、s5-1：通過特征融合模塊將共享特征分別與增強后的特征和增強后的特征進行特征融合：
28、；
29、s5-2：為了減少通道數，通過1×1的卷積模塊分別對融合后的特征和進行卷積操作，獲得特征和，將特征和與共享特征和對應的增強后的特征進行逐元素并將相乘結果相加，得到對應的融合特征：
30、；
31、s5-3：分別對融合特征和進行3×3卷積操作、批量歸一化操作和激活函數處理，并將處理后的特征與共享特征相加，通過卷積得到輸出特征，該步驟的公式表示如下：
32、；
33、s5-4：將輸出特征和在通道維度上進行連接，并通過卷積和批量歸一化處理，得到融合后的特征表示：
34、；
35、s5-5：將融合后的特征與共享特征通過殘差連接相加，并通過激活得到最終輸出特征：
36、。
37、優(yōu)選的，步驟s1中，rgb-d數據集總共包含2185個訓練樣本和2864個測試樣本，其中訓練樣本包含來自nju2k的1485個樣本和來自nlpr的700個樣本；測試樣本包含nju2k剩余的500個樣本、nlpr剩余的300個樣本、des的135個樣本、stere的1000個樣本和sip的929個樣本。
38、優(yōu)選的，步驟s2中，骨干網絡進行了五個維度的特征提取，采用在imagenet1k上進行了預訓練的res2net50網絡作為第一骨干網絡和第二骨干網絡。
39、優(yōu)選的，構建混合損失函數，對rgb圖像、深度圖像以及各融合分支的輸出進行有效監(jiān)督，生成最終的顯著圖，采用二元交叉熵（bce）損失進行像素級限制，并使用交并比（iou）損失進行全局級限制，構建如下損失函數：
40、；
41、其中，表示rgb圖像在處理過程中的損失，表示深度圖像在處理過程中的損失，表示rgb圖像和深度圖像在融合過程中的損失，
42、采用和分別表示輸出特征和，采用表示輸出特征，表示gt圖像，整體損失函數可以表示如下：
43、。
44、一種顯著性目標檢測系統(tǒng)，包括存儲器和處理器，所述存儲器上存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現上述任一項所述方法步驟。
45、一種存儲介質，包括存儲器，所述存儲器上存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現上述任一項所述方法步驟。
46、一種顯著性目標檢測產品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現上述任一項所述方法步驟。
47、通過采用前述設計方案，本專利技術的有益效果是：本專利技術設計了特征細粒度增強模塊來增強經骨干網絡提取的各級粗糙特征，有效解決先前方法在輸入低質量圖像情況下檢測效果不佳的問題，在特征融合方面，設計了跨模態(tài)雙注意力特征融合模塊和多尺度特征聚合模塊充分利用模態(tài)之間的互補信息，顯著提高了在復雜場景下的檢測精度，這些特性使得本專利技術在功能上具有顯著的優(yōu)勢，更符合實際應用需求。
本文檔來自技高網...【技術保護點】
1.一種顯著性目標檢測方法，其特征在于：包括如下依次執(zhí)行的步驟：
2.如權利要求1所述的顯著性目標檢測方法，其特征在于：步驟S1中，
3.如權利要求1所述的顯著性目標檢測方法，其特征在于：步驟S2中，骨干網絡進行了五個維度的特征提取，采用在ImageNet1K上進行了預訓練的Res2Net50網絡作為第一骨干網絡和第二骨干網絡。
4.如權利要求1所述的顯著性目標檢測方法，其特征在于：構建混合損失函數，對RGB圖像、深度圖像以及各融合分支的輸出進行有效監(jiān)督，生成最終的顯著圖，采用二元交叉熵（BCE）損失進行像素級限制，并使用交并比（IoU）損失進行全局級限制，構建如下損失函數：
5.一種顯著性目標檢測系統(tǒng)，包括存儲器和處理器，所述存儲器上存儲有計算機程序，其特征在于：所述處理器執(zhí)行所述計算機程序時實現上述權利要求1-4中的任一項所述方法步驟。
6.一種存儲介質，包括存儲器，所述存儲器上存儲有計算機程序，其特征在于：所述計算機程序被處理器執(zhí)行時實現上述權利要求1-4任一項所述方法步驟。
7.一種顯著性目標檢測產品
...【技術特征摘要】
1.一種顯著性目標檢測方法，其特征在于：包括如下依次執(zhí)行的步驟：
2.如權利要求1所述的顯著性目標檢測方法，其特征在于：步驟s1中，
3.如權利要求1所述的顯著性目標檢測方法，其特征在于：步驟s2中，骨干網絡進行了五個維度的特征提取，采用在imagenet1k上進行了預訓練的res2net50網絡作為第一骨干網絡和第二骨干網絡。
4.如權利要求1所述的顯著性目標檢測方法，其特征在于：構建混合損失函數，對rgb圖像、深度圖像以及各融合分支的輸出進行有效監(jiān)督，生成最終的顯著圖，采用二元交叉熵（bce）損失進行像...
【專利技術屬性】
技術研發(fā)人員：巢建樹，馬小強，方鴻清，張定華，劉家輝，
申請(專利權)人：泉州裝備制造研究所，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。