【技術實現步驟摘要】
本專利技術屬于觸覺感知和機器人控制，特別是基于脈沖圖神經網絡的事件驅動觸覺感知方法，涉及一種基于脈沖圖神經網絡的事件驅動觸覺感知方法及系統。
技術介紹
1、觸覺感知技術是機器人與外部環境交互的關鍵手段之一。傳統的觸覺傳感器通過同步輸出的方式，捕獲如壓力、溫度、振動等信息，幫助機器人完成物體識別、抓取、操控等任務。然而，這些傳感器的幀式數據輸出模式容易導致較高的能耗與數據處理延遲，難以滿足實時應用的需求。為了解決這一問題，近年來出現了事件驅動的觸覺傳感器，它能夠基于事件異步輸出數據，大幅降低延遲并提高能效。這類傳感器已經應用于物體識別、抓取穩定性檢測等任務中，相關研究表明，事件驅動觸覺傳感器在動態環境下表現出色。
2、當前，處理觸覺數據的主要方法基于卷積神經網絡(convolutional?neuralnetwork,cnn)，這些方法需要將觸覺數據轉換為規則的網格形式，才能進行特征提取。然而，觸覺傳感器中感知單元(稱為taxel)分布通常是不規則的，強行將其映射為網格會引入冗余計算與信息丟失。此外，事件驅動的觸覺數據是基于事件的離散數據，與傳統的幀數據處理方法不兼容。因此，現有的基于cnn的解決方案不僅計算資源消耗大，還難以充分利用事件驅動傳感器的優勢。
3、為此，研究者們開始將圖神經網絡(graphneural?networks,gnn)應用于觸覺感知領域，以更好地表示和處理不規則分布的taxel數據。tactilegcn是一種早期的圖卷積網絡模型，通過將觸覺傳感器的taxel構建為圖節點，并基于它們的
4、另一類神經網絡，即脈沖神經網絡(spikingneuralnetwork,snn)，通過模擬生物神經元的工作方式來處理時空數據。這類網絡在處理事件驅動數據時具有顯著的能效優勢，并且能夠實現低延遲的數據處理。slayer等模型在使用snn處理事件驅動的視覺數據方面取得了一定的成功。然而，snn在處理圖結構數據時仍面臨許多挑戰，例如如何融合脈沖動態與圖卷積操作，以及如何在深層網絡中保持訓練的穩定性。
5、綜合來看，現有技術在處理事件驅動觸覺數據時存在以下主要問題：1.傳統cnn方法難以有效處理不規則的taxel結構，2.基于gnn的方法能耗高且泛化能力差，3.snn雖然在處理時空數據上具備優勢，但尚未很好地與圖結構數據結合。為此，需要提出一種能夠結合脈沖神經網絡與圖神經網絡優勢，既能處理不規則的觸覺數據結構，又能高效處理事件驅動數據的新方法。
技術實現思路
1、有鑒于此，本專利技術的目的在于提供一種基于脈沖圖神經網絡的事件驅動觸覺感知方法及系統，能夠有效處理不規則的觸覺傳感單元數據，并提高事件驅動數據的處理效率。該方法和系統通過將觸覺數據組織為圖結構，利用脈沖神經網絡高效處理事件驅動數據的能力，解決了現有技術在處理不規則觸覺數據結構和事件驅動數據時的計算瓶頸問題。
2、為達到上述目的，本專利技術提供如下技術方案：
3、一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，該方法包括以下步驟：
4、s1、通過事件驅動觸覺傳感器收集數據，并從事件驅動觸覺傳感器收集的數據中提取主要特征；
5、s2、對觸覺傳感器數據中提取的主要特征進行編碼；
6、s3、采用脈沖神經網絡(spikingneural?network,snn)來進一步學習特征嵌入；
7、s4、通過圖神經網絡(graphneural?networks,gnn)對編碼后的特征進行處理；
8、s5、采用投票機制識別目標物體的類別或狀態。
9、進一步，在步驟s1中，在獲取觸覺傳感器數據時提取主要特征，總共從39個觸覺元件taxel中提取相關的特征，這些特征包括壓力、溫度以及每個taxel的震動數據；通過使用圖結構，將這些數據轉化為能夠描述觸覺元件之間空間關系的圖譜，從而保留數據的空間局部性和全局性。
10、進一步，在步驟s1中，使用圖g＝(v,e)來表示觸覺數據，v其中是圖的節點集合，表示每個taxel，e而表示節點之間的邊集合；構建圖的過程包括但不限于通過以下兩種方法實現：
11、手動方法：手動地通過taxel之間的物理距離來確定邊：設定一個閾值dth，當taxeli和taxel?j之間的物理距離滿足時d(ui,uj)<dth，在節點taxel?i和taxel?j之間建立一條邊，這可以表示為：
12、
13、其中d(ui,uj)使用歐幾里得距離來計算：
14、
15、這里，xi,yj表示taxel的二維坐標；
16、k-近鄰方法：為了提高自動化構建圖的效率，使用k-近鄰算法來自動構建邊；在此方法中，每個taxel與它在空間上最近的k個鄰居相連，即：
17、
18、這里knn(ui)表示taxel?ui的k個最近鄰；
19、通過這些構建方法，生成的圖能夠直接反映觸覺傳感器的空間分布以及各個觸覺元件之間的關系。
20、進一步，在步驟s2中，在獲取觸覺數據后進行脈沖編碼，為了提高計算效率，采用lif(泄露整合與發放)模型進行編碼，每個觸覺數據都通過這一模型進行時序處理，當膜電位達到設定閾值時會觸發脈沖；相較于傳統的卷積神經網絡方法，lif模型能夠有效處理事件驅動的非同步數據，顯著提升了推理速度。
21、進一步，在步驟s2中，采用了lif神經元模型，lif模型通過對輸入的脈沖進行累加，并在累加的電位超過某一閾值時觸發脈沖信號，所述lif神經元的動態方程為：
22、
23、其中，v(t)表示神經元的膜電位，i(t)是輸入電流，τ是膜電位的時間常數；
24、當膜電位v(t)超過設定的發放閾值vth時，神經元會發出一個脈沖，并將膜電位重置為vreset；表示為：
25、
26、通過這種機制，lif神經元能夠有效地處理時間序列信息并產生稀疏的脈沖輸出。
27、進一步，在步驟s3和s4中，采用snn和gnn結合的方式進行特征嵌入學習，通過snn在時間維度上捕獲脈沖事件的動態特征，通過gnn處理圖結構數據，使系統能夠提取觸覺圖譜中的復雜時空關系。
28、進一步，在步驟s5中，通過一個投票機制來決定每個類別的最終輸出，所述投票機制基于lif神經元的脈沖發放，累計時間窗口內每個神經元的脈沖次數，并選擇脈沖次數最多的類別作為最終的分類結果；分類結果表示為：
29、
30、其中，ok(t)表示時間步t時刻類別k的輸出脈沖數，t是時間窗口的長度。
31、本專利技術還提供了一種基于脈沖圖神經網絡的事件驅動觸覺感知系統。
32、本專利技術本文檔來自技高網...
【技術保護點】
1.一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：該方法包括以下步驟：
2.根據權利要求1所述的一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：在步驟S1中，在獲取觸覺傳感器數據時提取主要特征，總共從39個觸覺元件taxel中提取相關的特征，這些特征包括壓力、溫度以及每個taxel的震動數據；通過使用圖結構，將這些數據轉化為能夠描述觸覺元件之間空間關系的圖譜，從而保留數據的空間局部性和全局性。
3.根據權利要求2所述的一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：在步驟S1中，使用圖G＝(V,E)來表示觸覺數據，V其中是圖的節點集合，表示每個Taxel，E而表示節點之間的邊集合；構建圖的過程包括但不限于通過以下兩種方法實現：
4.根據權利要求3所述的一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：在步驟S2中，在獲取觸覺數據后進行脈沖編碼，采用LIF模型進行編碼，每個觸覺數據都通過這一模型進行時序處理，當膜電位達到設定閾值時會觸發脈沖。
5.根據權利要求4所述的一種基于脈沖圖神經網絡的事件
6.根據權利要求5所述的一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：在步驟S3和S4中，采用SNN和GNN結合的方式進行特征嵌入學習，通過SNN在時間維度上捕獲脈沖事件的動態特征，通過GNN處理圖結構數據，使系統能夠提取觸覺圖譜中的復雜時空關系。
7.根據權利要求6所述的一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：在步驟S5中，通過一個投票機制來決定每個類別的最終輸出，所述投票機制基于LIF神經元的脈沖發放，累計時間窗口內每個神經元的脈沖次數，并選擇脈沖次數最多的類別作為最終的分類結果；分類結果表示為：
8.一種基于脈沖圖神經網絡的事件驅動觸覺感知系統，其特征在于：該系統采用如權利要求1至7中任一項所述方法。
...【技術特征摘要】
1.一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：該方法包括以下步驟：
2.根據權利要求1所述的一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：在步驟s1中，在獲取觸覺傳感器數據時提取主要特征，總共從39個觸覺元件taxel中提取相關的特征，這些特征包括壓力、溫度以及每個taxel的震動數據；通過使用圖結構，將這些數據轉化為能夠描述觸覺元件之間空間關系的圖譜，從而保留數據的空間局部性和全局性。
3.根據權利要求2所述的一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：在步驟s1中，使用圖g＝(v,e)來表示觸覺數據，v其中是圖的節點集合，表示每個taxel，e而表示節點之間的邊集合；構建圖的過程包括但不限于通過以下兩種方法實現：
4.根據權利要求3所述的一種基于脈沖圖神經網絡的事件驅動觸覺感知方法，其特征在于：在步驟s2中，在獲取觸覺數據后進行脈沖編碼，采用lif模型進行編碼，每個觸覺數據都通過這一模型進行時序處理，當膜電位達到設定閾值時會觸發脈沖...
【專利技術屬性】
技術研發人員：古富強，郭方明，余芳文，龍憲磊，李明妍，閆金金，陳超，郭松濤，
申請(專利權)人：重慶大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。