【技術實現步驟摘要】
本專利技術涉及單目標跟蹤，具體涉及一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法。
技術介紹
1、在近幾年的智能駕駛、無人機導航、機器人技術等領域，三維點云數據作為一種高維、精確的空間信息表達形式，得到了廣泛關注。作為環境感知的重要手段，三維點云能夠精準地捕捉目標物體的空間位置、尺寸及形狀等信息，具備較強的環境適應性，尤其在弱光、復雜天氣等情況下，較傳統的圖像感知方法更具優勢。單目標跟蹤作為三維點云數據處理中關鍵且核心的一環，能夠幫助系統實時跟蹤特定目標的位置變化，為自主決策和行為控制提供可靠的數據信息。然而，現有的三維點云單目標跟蹤方法普遍依賴于傳統的人工神經網絡（artificial?neural?network,?ann），雖然它們在精度和性能上取得了顯著進展，但其高計算量和高功耗限制了在資源受限的嵌入式設備上的應用，尤其在低功耗、實時性要求較高的場景中仍面臨較大挑戰。
2、相比之下，脈沖神經網絡（snn,?spiking?neural?network）是一種模擬人腦神經元活動的神經網絡模型，其計算過程是基于事件驅動的，即僅在有信息傳遞時才進行運算，因此具有天然的低功耗特性。此外，snn通過使用脈沖信號進行信息傳遞，能夠有效降低模型的復雜度和能耗，具有顯著的實時性和高效性優勢。脈沖神經網絡近年來逐漸成為深度學習的前沿方向之一，但其在三維點云感知中的應用仍相對較少，三維點云數據存在稀疏性、高維性、非結構化等特性，如何結合snn的脈沖式處理模式對點云數據進行高效感知和處理，成為一項具有挑戰性的重要研究課題。本研
技術實現思路
1、針對現有技術中存在的單目標跟蹤效率低、能耗高的問題，本專利技術提出一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，該方法中是基于脈沖神經網絡，只需要在出現脈沖時，將突觸權重加到其神經元膜電位上，以避免傳統神經網絡中大量的浮點數高精度乘法運算，實現在跟蹤運行過程中，能量消耗極低。
2、為實現上述技術目的，本專利技術提供如下技術方案：
3、一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其具體包括：
4、s1、點云數據獲取和構建體素網格模塊；通過傳感器獲取三維點云數據，并基于網格的方法對獲取到的三維點云數據進行體素化，將其劃分為3d體素；所述3d體素包括體素化后的三維點云數據和體素坐標；
5、s2、構建特征提取模塊；以步驟s1得到的3d體素作為輸入，設計三階段的脈沖卷積塊作為特征提取器，構建脈沖神經網絡對體素化后的三維點云數據進行特征提?。徊⒃谒雒}沖神經網絡后添加一層transformer編碼器，通過自注意力機制捕捉點云數據的全局上下文信息，最終輸出連續點云特征；
6、s3、構建部分到部分運動建模模塊；將時間序列上的連續點云特征通過二維脈沖卷積塊進行逐部分建模，以捕捉點云在不同空間位置上的細粒度運動變化；并對每一對應空間部分的信息變化進行編碼；
7、s4、構建回歸預測模塊；基于部分到部分運動建模模塊得到的編碼信息來預測目標的四自由度相對運動，并根據前一幀的3d邊界框進行剛性變換得到當前幀的3d邊界框，實現對目標的跟蹤。
8、進一步地，步驟s1中的點云數據獲取具體為：
9、對于場景中的目標物體，已知第一幀3d邊界框的位置，確定好最初目標的位置信息；在跟蹤過程的任意時刻，基于lidar傳感器獲取前一幀和當前幀的三維點云數據，并根據前一幀3d邊界框的位置和定義的點云范圍對獲取到的三維點云數據進行適當的裁剪，以減少不相關環境信息的干擾。
10、進一步地，步驟s1中的構建體素網格模塊具體包括：
11、s11、將獲取到的三維點云數據按照預設的體素大小進行劃分；
12、s12、遍歷每個點，計算其在體素網格中的位置坐標，并為每個點分配一個對應的體素坐標；
13、s13、對點云數據按批次進行標記，將每個點的體素坐標存儲為批次坐標，并對點云數據進行批次處理；
14、s14、處理后輸出3d數據，其為一個包含體素化后的三維點云數據和體素坐標的矩陣，即為后續體素特征提取模塊的輸入。
15、進一步地，步驟s2中的脈沖神經網絡中的每層脈沖神經元基于電壓更新機制和脈沖發放機制工作，這兩種機制具體為：
16、電壓更新機制：脈沖神經元根據時間序列上的輸入脈沖對膜電壓進行累積更新；設在t時刻，本層脈沖神經元接收到來自前一層脈沖神經元的輸入信號，則將本層脈沖神經元的膜電壓v(t)更新為：
17、；
18、其中，為前一層脈沖神經元的膜電壓；
19、用前一層發放的脈沖經過突觸權重后的加權和表示：
20、；
21、其中，是從前一層第i個神經元傳來的突觸權重，是前一層第i個神經元在時刻t是否發放脈沖，0表示未發放，1表示發放，b是該神經元的偏置項；
22、脈沖發放機制包括發放機制和重置機制；
23、發放機制：設置膜電壓閾值；當時，神經元發放脈沖，并觸發重置機制；脈沖的公式表示為：
24、；
25、其中，為階躍函數，即；
26、重置機制：當發放脈沖后，膜電壓被重置為預設的重置電壓值，即。
27、進一步地，步驟s2中所述脈沖神經網絡的結構具體包括：
28、體素特征編碼模塊，用以對體素內的點特征進行編碼，將體素內點的特征平均，得到該體素的整體特征；
29、脈沖卷積特征提取，包括一個三維稀疏卷積層、批量歸一化層和脈沖發放神經元；所述三維稀疏卷積層采用3×3×3的卷積核；脈沖發放神經元通過設定觸發閾值來抑制低激活值，實現基于脈沖發放機制的特征篩選；
30、多層級脈沖卷積提取模塊，包括多個稀疏卷積編碼層，每個編碼層進一步劃分為多個子卷積單元，每個子卷積單元包含一個三維稀疏卷積層、批量歸一化層和脈沖發放神經元；通過逐層擴大感受野，提取不同尺度的特征信息，各編碼層逐步增加通道數以提升特征表達能力；
31、輸出特征聚合模塊，包括一個二維卷積層、批量歸一化層和脈沖發放神經元，所述二維卷積層將編碼特征的通道數降維，并通過脈沖發放神經元進一步抑制低激活值輸出，以提取壓縮后的特征表示，準備輸出給后續的transformer編碼器模塊。
32、更為具體的，所述transformer編碼器模塊的結構具體包括：多個transformer編碼器層；每個transformer編碼器層包含自注意力機制和前饋網絡，前饋網絡包括兩個線性層和一個激活函數，每個transformer編碼器層還包括歸一化層和dropout層，以防止過擬合。
33、進一步地，步驟s3中：
34、所述的部分到部分運動建模模塊具體包括：
35、特征融合單元本文檔來自技高網...
【技術保護點】
1.一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，具體包括以下步驟：
2.根據權利要求1所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟S1中的點云數據獲取具體為：
3.根據權利要求1所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟S1中的構建體素網格模塊具體包括：
4.根據權利要求1所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟S2中的脈沖神經網絡中的每層脈沖神經元基于電壓更新機制和脈沖發放機制工作，這兩種機制具體為：
5.根據權利要求4所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟S2中所述脈沖神經網絡的結構具體包括：
6.根據權利要求1所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟S2中所述Transformer編碼器模塊的結構具體包括：多個Transformer編碼器層；每個Transformer編碼器層包含自注意力機制和前饋網絡，前饋網絡包括兩個線性層和一個激
7.根據權利要求1所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟S3中：
8.根據權利要求1所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟S4中：以步驟S3的輸出作為回歸預測模塊的輸入，所述回歸預測模塊包括多個全連接層，每個全連接層均采用脈沖神經元激活；步驟S4具體包括：
...【技術特征摘要】
1.一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，具體包括以下步驟：
2.根據權利要求1所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟s1中的點云數據獲取具體為：
3.根據權利要求1所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟s1中的構建體素網格模塊具體包括：
4.根據權利要求1所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟s2中的脈沖神經網絡中的每層脈沖神經元基于電壓更新機制和脈沖發放機制工作，這兩種機制具體為：
5.根據權利要求4所述的一種基于脈沖神經網絡的低能耗三維點云單目標跟蹤方法，其特征在于，步驟s2中所述脈沖神經網絡的結構具體包括：
6....
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。