【技術實現步驟摘要】
本專利技術屬于計算機視覺，提供一種基于事件和脈沖神經網絡的語義分割方法。
技術介紹
1、語義分割旨在為圖像中的每個像素分配一個語義標簽，有助于理解和分析環境，在計算機視覺領域中具有重要意義。它在自動駕駛、機器人感知以及視頻監控等領域具有廣泛應用。全卷積網絡的提出為語義分割任務奠定了基本范式?；谠摲妒剑S多文獻提出了更高質量的方法。然而，這些研究主要聚焦于由基于幀的相機所捕獲的圖像。盡管基于幀的相機足以滿足日常使用的需求，但它們在應對實時需求、光照條件惡劣以及準確識別移動物體等方面存在現實困難。
2、近年來，由于其獨特的仿生特性，事件相機引起了越來越多的關注。與傳統相機以固定速率捕捉圖像不同，事件相機異步地測量每個像素的亮度變化，并在亮度變化超過預定義閾值時生成事件。事件相機相對于傳統相機有四個優勢：更高的時間分辨率、更低的時間延遲、更高的動態范圍以及更低的能耗。因此，基于事件的語義分割任務具有現實研究意義及應用前景。針對該研究，一些工作已經取得到初步進展。ev-segnet是首個將事件數據用于語義分割的工作。它提出了一個創新的事件表征方法6-channel并介紹了如何自動生成事件的語義標簽。evdistill通過知識蒸餾從一個經過大規模標記的圖像數據(源模態)訓練的教師網絡中學習，來處理未標記和不成對的事件數據(目標模態)。最近提出的ess，通過無監督領域自適應的方式，將語義分割任務直接從現有的已標記圖像數據集轉移到未標記的事件數據上。然而，這些工作仍然存在一些缺點：需要額外的圖像信息輔助、未充分利用事件數據的特性
3、現有的語義分割法存在下列一種或多種問題：1.需要通過知識蒸餾和遷移學習等技術從額外的視覺信息(灰度圖像或rgb圖像)中獲取紋理細節，以彌補事件數據的稀疏特征。2.依賴于傳統的人工神經網絡，這些網絡只能在空間維度上傳遞特征，丟棄了事件的時間維度信息。3.能耗高，這限制了其在資源和能源有限的平臺上的部署。
技術實現思路
1、有鑒于此，本專利技術的目的在于提供一種基于事件和脈沖神經網絡的語義分割方法，旨在解決現有的語義分割法需要依賴額外的視覺信息、丟棄了事件的時間維度信息、能耗高的問題。
2、為達到上述目的，本專利技術提供了如下技術方案：一種基于事件和脈沖神經網絡的語義分割方法，包括如下步驟：
3、步驟s1:將異步事件數據進行預處理；
4、步驟s2:將預處理后的事件輸入邊界感知的脈沖編碼器；
5、步驟s3:將經編碼器提取的高維語義特征輸入脈沖解碼器，最終進行語義預測。
6、進一步地，步驟s1包括：在事件預處理階段，異步事件流ei＝{(xi,yi,ti,pi)}i∈w首先進行體素網格編碼，接著進行適應時間維度的調整，其中，(xi,yi)是事件的像素坐標，ti是事件的時間戳，pi是事件的極性，pi＝±1；
7、最終表示為事件序列其中w是預設的時間窗口，t是時間步，e∈rx×y×c，x×y和c分別是空間分辨率和通道數。
8、進一步地，步驟s2包括：將經預處理的事件序列e輸入到脈沖編碼器進行多維度的特征提取，其中，脈沖編碼器包含三個分支：語義細節分支、上下文聚合分支和邊界警醒分支，將上下文聚合分支通過加法融入到語義細節分支，實現從高維視角指導低維特征學習；同時，脈沖編碼器結合脈沖神經元，將基本計算操作由耗能的浮點矩陣乘轉換為加法，并在時間和空間兩個維度上計算和傳遞事件數據。
9、進一步地，步驟s3包括：將經編碼器提取的高維語義特征輸入脈沖解碼器；脈沖解碼器首先經加操作融合三個分支的特征，然后通過上采樣恢復至原始大小，最后通過預測頭進行語義預測；脈沖解碼器結合了脈沖神經元。
10、本專利技術的顯著效果是：
11、本專利技術的一種基于事件和脈沖神經網絡的語義分割方法，不依賴額外的視覺信息；并在時間和空間兩個維度上計算和傳遞事件數據；并具有脈沖神經網絡的計算效率高、準確率高、能耗低的特點。
12、本專利技術的其他優點、目標和特征在某種程度上將在隨后的說明書中進行闡述，并且在某種程度上，基于對下文的考察研究對本領域技術人員而言將是顯而易見的，或者可以從本專利技術的實踐中得到教導。本專利技術的目標和其他優點可以通過下面的說明書來實現和獲得。
本文檔來自技高網...【技術保護點】
1.一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
3.根據權利要求2所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
4.根據權利要求3所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
5.根據權利要求2所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
6.根據權利要求4所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
7.根據權利要求6所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
8.根據權利要求7所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
9.根據權利要求8所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
【技術特征摘要】
1.一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
3.根據權利要求2所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
4.根據權利要求3所述的一種基于事件和脈沖神經網絡的語義分割方法，其特征在于，
5.根據權利要求2所述的一種基于事件和脈沖...
【專利技術屬性】
技術研發人員：古富強，朱夏欣，龍憲磊，郭方明，陳超，
申請(專利權)人：重慶大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。