骨架序列中基于局部關節點軌跡時空卷的行為識別方法技術

本發明專利技術屬于人工智能技術領域，公開了一種骨架序列中基于局部關節點軌跡時空卷的行為識別方法，自輸入的RGB視頻數據和骨架關節點數據中提取局部關節點軌跡時空卷；利用基于RGB視頻數據集的預訓練模型提取圖像特征；對訓練集中每個關節點的每一種不同的特征分別構建碼本并且分別進行編碼，將n個關節點的特征串聯為特征向量；利用SVM分類器進行行為分類與識別。本發明專利技術將手工特征以及深度學習特征融合，并使用深度學習方法提取局部特征，多種特征的融合可以達到一個穩定且準確的識別率；本發明專利技術使用姿態估計算法估計的2D人體骨架以及RGB視頻序列提取特征，成本較低，且精度較高，應用于真實場景有著重要的意義。

A method of behavior recognition based on local joint track space-time volume in skeleton sequence

The invention belongs to the field of artificial intelligence technology, and discloses a behavior recognition method based on the local joint point track space-time volume in the skeleton sequence, which extracts the local joint point track space-time volume from the input RGB video data and skeleton joint point data, extracts image features by using the pre training model based on the RGB video data set, and extracts each different characteristic of each joint point in the training set The features of N joint points are concatenated into feature vectors, and SVM classifier is used for behavior classification and recognition. In the invention, manual features and deep learning features are fused, and local features are extracted by deep learning method, and the fusion of multiple features can achieve a stable and accurate recognition rate; in the invention, 2D human skeleton and RGB video sequence estimated by attitude estimation algorithm are used to extract features, with low cost and high precision, so it is of great significance to apply them to real scenes.

【技術實現步驟摘要】
骨架序列中基于局部關節點軌跡時空卷的行為識別方法
本專利技術屬于人工智能
，尤其涉及一種骨架序列中基于局部關節點軌跡時空卷的行為識別方法。具體為一種RGB和2D骨架序列中基于局部關節點軌跡時空卷的行為識別方法。
技術介紹
目前，業內常用的現有技術是這樣的：隨著人工智能技術的發展，以及政府和產業界的投入增多，人工智能產業蓬勃發展，成為當今科學研究的熱點。人工智能應用的普及對社會的影響日益凸顯，在智能交通、智能家居、智能醫療等民生領域都有著積極的影響。人工智能作為新一輪科技革命的核心力量，推動著國家的進步。行為識別作為人工智能領域的一個分支，同樣起著重要的作用。由于監控設備的普及，產生了大量的視頻數據，依賴人工分析海量數據變得尤為困難，行為識別技術的出現，可以快速以及準確的分析視頻中人物動作以及突發事件，并快速反饋。因此，很大程度的節省了人力資源，避免緊急情況發生和事態惡化。行為識別關鍵技術在于如何準確定位目標區域，如何獲取魯棒的行為特征以及準確分類。目前已經提出許多方法，這些方法可以分為基于RGB視頻數據，基于深度數據方法，基于骨架數據以及基于多種數據融合的方法。基于骨架數據的方法可以實現目標的快速定位，免去目標定位的步驟，大大提高了算法的效率。并且，隨著深度傳感器的普及以及一些實時姿態估計算法的出現，基于骨架數據的方法引起了廣泛的關注。首先，在許多基于骨架的行為識別方法中，使用深度信息解決該問題是主流方法。這種方法將人體骨架關節點置于三維空間中，因此骨架具有水平，垂直和深度三個方向的坐標。在視頻的每一幀中，每一個關節點都有其對應的三維坐標。人體骨架關節點位置隨著時間的變化而變化。許多方法通過分析關節點之間的相對位置，幀間同一關節點的相對位置或者關節點夾角變化對行為進行建模。盡管使用深度數據取得了較好的識別精度，但是由于深度探測器成本較高，并且應用于場景復雜的真實戶外場景準確率較低，導致這些方法難以應用于真實場景。近來，實時人體姿態估計算法的出現，使得從RGB圖像序列中直接提取骨架信息變得可能，使用RGB圖像序列和2D骨架信息也可以構建緊湊高效的特征。這對行為識別技術應用于真實場景有著重要的意義。其次，大部分基于骨架的方法使用全局關節點軌跡計算特征，全局的關節點軌跡記錄了關節點位置在完整視頻中的變化。但是全局特征會受視角變化，動作執行速率變化等因素的影響嚴重，因此難以對時間信息進行建模。目前，improveddensetrajectory(iDT)方法與本專利技術較為相似，iDT方法首先在人體區域，通過劃分網格的方式在圖片的多個尺度上分別密集采樣興趣點并逐幀跟蹤點來獲取關鍵點軌跡，為了避免跟蹤時出現漂移現象，每隔L幀進行重新采樣和跟蹤。對于某個特征點在連續的L幀圖像上的位置即構成了一段軌跡，后續的特征提取沿著各個軌跡在各個尺度上分別進行。軌跡本身可以構成軌跡形狀特征描述子，因此軌跡的位置也作為特征之一。此外，還使用了表征運動信息和表觀信息的HOG,HOF,MBH特征，特征是由沿著每一個特征點長度為L的軌跡計算得到。對于一段視頻，存在著大量的軌跡，每段軌跡都對應著一組特征(trajectory,HOG,HOF,MBH)，之后再對所有關鍵點軌跡的特征進行編碼，得到編碼后的特征向量，最后進行的視頻分類。綜上所述，現有技術存在的問題是：(1)利用深度信息的基于骨架的行為識別方法由于深度探測器成本較高，并且應用于場景復雜的真實戶外場景準確率較低，難以應用于真實場景。(2)使用全局關節點軌跡計算特征的骨架識別方法難以對時間信息進行建模。(3)iDT方法需要密集采樣并且跟蹤人體區域的興趣點，大量的采樣使得軌跡冗余。不僅消耗內存，而且算法的時間復雜度急劇上升。(4)現有的技術對全部軌跡點的特征進行編碼，但事實上，同一類動作的相同關節點的分布應該一致，對關節點軌跡特征單獨編碼更加合理。解決上述技術問題的難度：(1)基于全局的關節點軌跡特征會受到行為執行的速率，視角變換以及交互物體的影響，能否判斷交互物體，對識別準確率也有較大的影響。(2)由于特征的維度取決于視頻的長度而且視頻長度各不相同，這就導致了每個視頻的關節點軌跡長度和其特征維度不相同。但是，后續的特征分類要求每個視頻樣本的特征維度相同。解決上述技術問題的意義：行為識別廣泛應用于智慧醫療，智能視頻監控，異常事件檢測，病人監護系統，虛擬現實，智能安防，運動員輔助訓練等多個領域。準確且高效的進行行為識別是以上應用的關鍵技術。本專利技術解決以上技術問題帶來以下意義：首先，RGB視頻數據方便獲取，骨架數據由于姿態估計算法的成熟也容易得到，因此本方法在數據獲取方面成本較低。其次，使用人體關節點作為關鍵點，降低了算法的時間復雜度。最后，使用分關節編碼特征的方式提高了準確率。對實現真實場景中的行為識別有著重要的意義。
技術實現思路
針對現有技術存在的問題，本專利技術提供了一種骨架序列中基于關節點軌跡時空卷的行為識別方法。本專利技術是這樣實現的，一種RGB和2D骨架序列中基于關節點軌跡時空卷的行為識別方法，所述RGB和2D骨架序列中基于關節點軌跡時空卷的行為識別方法包括以下步驟：步驟一，自輸入的RGB視頻數據和2D骨架序列中提取局部關節點軌跡時空卷。步驟二，利用基于RGB視頻數據集的預訓練模型提取圖像梯度直方圖特征(HOG)，光流直方圖特征(HOF)，運動邊界直方圖特征(MBH)，以及3D卷積神經網絡特征(C3D)四種特征。步驟三，對訓練集中每個關節點的每一種不同的特征分別構建碼本并且分別進行編碼，將n個關節點的四種特征串聯為骨架關節點的特征向量。關節點特征的維度是2*C*(Lhog+Lhof+Lmbh+Lc3d)*n，其中，n是骨架關節點的數量。步驟四，訓練線性SVM分類器，進行行為分類與識別。進一步，步驟一中，所述自輸入的RGB視頻數據和2D骨架序列中提取局部關節點軌跡時空卷具體包括：(1)將輸入的RGB視頻序列以及2D人體骨架序列數據表示為幀-關節點數據對：D＝{<f1,s1>,<f2,s2>,…,<fT,sT>}。其中，ft是視頻中的第t幀，在第t幀的人體骨架表示為st，T代表視頻的總幀數。將人體骨架視為關節點的集合其中，是骨架的第i個關節點，n是關節點的總數量(n＝20)。關節點位置可以表示為(2)將視頻中每個關節點Ji的軌跡定義為關節點位置在時間上變化的序列，在視頻的每一幀中，提取以關節點為中心的局部圖像區域。對于任一關節點i，都有一個局部圖像的時間序列，其中是第i個關節點在視頻的第t幀周圍的圖像區域，大小為64*64。(3)圖像時間序列Vi拆分為幾個相同長度的短片段，稱為LJTV。(4)輸入數據轉換為n個LJTV的集合，n個關節點對應于這n個集合，則輸入數據可以定義為：D＝{V1,V2,…,Vi,…,Vn}Vi＝{vi1,vi2,…,vi本文檔來自技高網...

【技術保護點】
1.一種RGB和2D骨架序列中基于局部關節點軌跡時空卷的行為識別方法，其特征在于，所述RGB和2D骨架序列中基于局部關節點軌跡時空卷的行為識別方法包括以下步驟：/n步驟一，自輸入的RGB視頻數據和2D的骨架序列中提取局部關節點軌跡時空卷；/n步驟二，利用基于RGB視頻數據集的預訓練模型提取圖像梯度直方圖特征，光流直方圖特征，運動邊界直方圖特征，以及3D卷積神經網絡特征；/n步驟三，對訓練集中每個關節點的每一種不同的特征分別構建碼本并且分別進行編碼，將n個關節點的四種特征串聯為骨架關節點的特征向量；關節點特征的維度是2*C*(L

【技術特征摘要】
1.一種RGB和2D骨架序列中基于局部關節點軌跡時空卷的行為識別方法，其特征在于，所述RGB和2D骨架序列中基于局部關節點軌跡時空卷的行為識別方法包括以下步驟：
步驟一，自輸入的RGB視頻數據和2D的骨架序列中提取局部關節點軌跡時空卷；
步驟二，利用基于RGB視頻數據集的預訓練模型提取圖像梯度直方圖特征，光流直方圖特征，運動邊界直方圖特征，以及3D卷積神經網絡特征；
步驟三，對訓練集中每個關節點的每一種不同的特征分別構建碼本并且分別進行編碼，將n個關節點的四種特征串聯為骨架關節點的特征向量；關節點特征的維度是2*C*(Lhog+Lhof+Lmbh+Lc3d)*n，其中，n是骨架關節點的數量；
步驟四，訓練線性SVM分類器，進行行為分類與識別。


2.如權利要求1所述RGB和2D骨架序列中基于局部關節點軌跡時空卷的行為識別方法，其特征在于，步驟一中，所述自輸入的RGB視頻數據和2D骨架序列中提取局部關節點軌跡時空卷具體包括：
(1)將輸入的RGB視頻序列以及2D人體骨架序列數據表示為幀-關節點數據對：D＝{<f1,s1>,<f2,s2>,…,<fT,sT>}；
其中，ft是視頻中的第t幀，在第t幀的人體骨架表示為st，T代表視頻的總幀數；將人體骨架視為關節點的集合其中，是骨架的第i個關節點，n是關節點的總數量，n＝20；關節點位置可以表示為
(2)將視頻中每個關節點Ji的軌跡定義為關節點位置在時間上變化的序列，在視頻的每一幀中，提取以關節點為中心的局部圖像區域；對于任一關節點i，都有一個局部圖像的時間序列，其中是第i個關節點在視頻的第t幀周圍的圖像區域，大小為64*64；
(3)圖像時間序列Vi拆分為幾個相同長度的短片段，稱為LJTV；
(4)輸入數據轉換為n個LJTV的集合，n個關節點對應于這n個集合，則輸入數據定義為：
D＝{V1,V2,…,Vi,…,Vn}
Vi＝{vi1,vi2,…,vi1,…,vim}
其中，m是每個關節點的LJTV數量，代表一個LJTV，k是LJTV的長度，m＝T/k，將k設置為15；在同一視頻中，n個關節點的LJTV數量都是相同的。


3.如權利要求1所述RGB和2D骨架序列中基于局部關節點軌跡時空卷的行為識別方法，其特征在于，步驟二中，所述特征提取具體包括：
將LJTV拆分為nt*nx*ny個單元體，nt是LJTV在...

【專利技術屬性】
技術研發人員：張洪博，張翼翔，杜吉祥，雷慶，
申請(專利權)人：華僑大學，
類型：發明
國別省市：福建;35