【技術實現步驟摘要】
本申請屬于計算機視覺和計算機圖形學領域，具體而言，涉及基于特征協同與多尺度特征融合的rgb-d語義分割方法。
技術介紹
1、圖像語義分割是計算機視覺領域中一項關鍵技術，它的目標是將圖像中的每個像素分配給一個類別標簽，從而理解圖像中每個像素的語義含義。室內語義分割則專注于解析室內環境，對室內場景圖像進行像素級的分析，為每個像素指定正確的類別標簽，實現對圖像中各個物體和表面的細致識別。在室內場景的語義分割過程中，研究人員常常需要應對一系列挑戰，如室內光照的不均勻性、繁多的物體類別、物體間的相互遮擋，以及相似的表面紋理等。這些因素都增加了實現高精度分割的難度。
2、深度圖像包含豐富的幾何信息，有利于解析空間結構和物體布局，將深度圖像整合到語義分割網絡中，與rgb圖像相結合，豐富了網絡的輸入維度，提升了網絡區分圖像中的混淆區域的能力。此外，深度圖像的引入還有助于克服rgb圖像在低光照或紋理稀疏環境下的性能下降問題。通過結合兩種模態的優勢，網絡能夠更加穩健地處理各種環境條件，提供更加精確可靠的分割結果。
3、注意力機制是目前融合rgb與深度圖像的常用方法。注意力機制的核心思想是模擬人類視覺注意力的功能，讓模型能夠關注到輸入數據中最重要的部分，從而提高處理效率和準確性。不同的注意力機制各自發揮其獨特的功能，通道注意力專注于特征通道之間的關系，空間注意力則強調圖像中的空間位置，自注意力關注于捕捉序列內部的長距離依賴關系，而交叉注意力則側重于不同序列之間的信息交互。這些注意力機制可以單獨使用，也可以組合使用，模型結合多種
技術實現思路
1、本專利技術主要解決的技術問題：針對rgb-d語義分割任務中多模態特征處理與網絡提取特征時細節信息丟失問題，本專利技術提供基于特征協同與多尺度特征融合的rgb-d語義分割方法。對雙分支網絡提取到的多模態特征進行校正與融合，并在解碼器中采用一種自頂向下的多尺度融合方法對各層網絡融合后的特征進行有效整合，提高特征表達能力，以增強語義分割效果。
2、本專利技術解決上述的技術問題采用的技術方案為：基于特征協同與多尺度特征融合的rgb-d語義分割方法，所述方法包括以下步驟：
3、步驟1、使用雙分支網絡提取rgb與深度特征，逐層實現特征交互，并在解碼器中進行多尺度特征融合，以獲得語義分割結果；
4、步驟2、對每個階段提取到的多模態特征利用模態差異與互補信息進行特征校正；
5、步驟3、使用交叉注意力機制對經過校正的多模態特征進行信息交換及跨模態聚合；
6、步驟4、在解碼器中采用一種自頂向下的多尺度融合策略對各階段網絡的融合特征進行整合，獲得最終的特征表達，并基于此進行預測。
7、進一步的，使用雙分支網絡提取rgb與深度特征，逐層實現特征交互，并在解碼器中進行多尺度特征融合，具體步驟如下：
8、利用兩個并行的segformer編碼器分別提取rgb和深度特征，逐層實現特征交互，將交互的結果傳遞到各自分支的后續網絡層中進行更深層處理，并在解碼器中采用自頂向下的方式進行多尺度特征融合，增強模型對不同層次信息的綜合處理能力。
9、進一步的，對每個階段提取到的多模態特征利用模態差異與互補信息進行特征校正，具體步驟如下：
10、步驟201、將每層網絡提取到的rgb與深度特征沿通道維度連接起來經通道注意力機制實現特征校正；
11、步驟202、使用cbam對連接的特征依次使用通道注意力機制和空間注意力機制進行校正，確保特征在通道和空間兩個維度上得到全面優化；
12、步驟203、初始特征與經過步驟201、步驟202處理的另一模態特征進行動態融合，得到最終校正特征。
13、進一步的，使用交叉注意力機制對經過校正的多模態特征進行信息交換及跨模態聚合：
14、步驟301、將校正后的特征分為殘差向量與交互向量，其中對兩種模態的交互向量使用一種高效的交叉注意力機制實現信息交換，實現跨模態全局推理；
15、步驟302、使用一種基于局部與全局信息的上下文融合模塊對兩種模態的特征進行整合，用于后續的多尺度特征融合。
16、進一步的，在解碼器中采用一種自頂向下的多尺度融合策略對各階段網絡的融合特征進行整合，獲得最終的特征表達，具體如下：
17、使用金字塔特征提取模塊對最后一層網絡得到的融合特征進行多尺度特征提取與整合，將得到的特征進行上采樣，與網絡前一層所得的融合特征相結合，并逐層迭代，直至網絡的第一層，得到最終融合特征，基于此進行語義分割預測。
18、本專利技術的有益效果如下：針對rgb和depth信息的差異性以及數據中的噪聲干擾，網絡利用多種注意力機制實現多模態特征校正與融合，克服優化并增強輸入數據的特征表示。同時，在解碼器中使用自頂向下多尺度特征融合策略，有效地解決了特征提取過程中細節信息丟失的問題。
本文檔來自技高網...【技術保護點】
1.基于特征協同與多尺度特征融合的RGB-D語義分割方法，其特征在于，包括：
2.根據權利要求1所述的基于特征協同與多尺度特征融合的RGB-D語義分割方法，其特征在于：所述使用雙分支網絡提取RGB與深度特征，逐層實現特征交互，并在解碼器中進行多尺度特征融合，具體如下：
3.根據權利要求1所述的基于特征協同與多尺度特征融合的RGB-D語義分割方法，其特征在于：所述對每個階段提取到的多模態特征利用模態差異與互補信息進行特征校正，具體如下：
4.根據權利要求1所述的基于特征協同與多尺度特征融合的RGB-D語義分割方法，其特征在于：所述使用交叉注意力機制對經過校正的多模態特征進行信息交換及跨模態聚合，具體如下：
5.根據權利要求1所述的基于特征協同與多尺度特征融合的RGB-D語義分割方法，其特征在于：所述在解碼器中采用一種自頂向下的多尺度融合策略對各階段網絡的融合特征進行整合，獲得最終的特征表達，具體如下：
【技術特征摘要】
1.基于特征協同與多尺度特征融合的rgb-d語義分割方法，其特征在于，包括：
2.根據權利要求1所述的基于特征協同與多尺度特征融合的rgb-d語義分割方法，其特征在于：所述使用雙分支網絡提取rgb與深度特征，逐層實現特征交互，并在解碼器中進行多尺度特征融合，具體如下：
3.根據權利要求1所述的基于特征協同與多尺度特征融合的rgb-d語義分割方法，其特征在于：所述對每個階段提取到的多模態特征利用模態差異與...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。