【技術實現(xiàn)步驟摘要】
本公開涉及視頻分析和行為理解領域，更具體地說，涉及一種人體行為識別方法及裝置。
技術介紹
1、人體行為識別是對運動的人體進行時空信息建模，通過處理視頻數(shù)據(jù)來獲得人體行為的特征表示，從而識別目標人物正在進行的運動（例如，走路、喝水等）或多個目標人物之間的互動行為（例如，握手、擁抱等）。運動的時空序列信息是人體行為的基本構成元素，如何建立底層視覺特征和高層行為類別之間的語義映射是人體行為識別任務的核心問題。人體行為識別技術廣泛應用于現(xiàn)實生活中的很多場景，例如，智能視頻監(jiān)控、人機交互、虛擬現(xiàn)實、運動仿真等。準確的行為識別對這些場景來說十分關鍵，由于骨架序列數(shù)據(jù)可專注于與動作最相關的運動信息，同時對視頻的復雜背景具有很好的魯棒性，因而得到充分重視。基于骨架序列數(shù)據(jù)的人體行為識別技術在視頻分析和行為理解領域得到廣泛的使用。
2、然而，在實際應用過程中，目前的人體行為識別技術對于相似的動作類別難以進行準確的區(qū)分。其中，人體的行為識別主要涉及兩個過程：首先識別運動所涉及的關鍵身體部位，然后辨別關鍵部位的復雜的運動模式。現(xiàn)有的方法可以很好地捕捉到運動涉及的關鍵部位，但在捕捉辨別運動細節(jié)方面仍面臨挑戰(zhàn)，而這些關鍵的細微信息對于區(qū)分相似動作來說是十分重要的。同時，動作類別的類內(nèi)差異（例如，運動幅度的變化）不可避免地會給獲取運動模式的過程帶來噪聲和干擾。這種類內(nèi)差異進一步增加了現(xiàn)有技術提取良好運動特征的難度，使得準確區(qū)分相似動作變得更加困難。上述運動細節(jié)的缺失和復雜的類內(nèi)差異使得當前的技術不能很準確地識別相似的行為，存在較高的錯誤率。p>
技術實現(xiàn)思路
1、為了解決上述問題，本公開提出一種人體行為識別方法及裝置、計算系統(tǒng)及計算機可讀存儲介質(zhì)。
2、根據(jù)本公開的一方面，提供一種人體行為識別方法，所述人體行為識別方法包括：基于人體骨架序列，確定關節(jié)差異拓撲表示和關節(jié)依賴拓撲表示，并且基于關節(jié)差異拓撲表示和關節(jié)依賴拓撲表示，確定圖拓撲特征，其中，所述人體骨架序列被表示為圖結構，所述圖結構包括關節(jié)的集合以及通過鄰接矩陣來表示的關節(jié)間的連接關系，所述圖拓撲特征為通用結構拓撲表示、關節(jié)差異拓撲表示和關節(jié)依賴拓撲表示之和；基于所述人體骨架序列和所述圖拓撲特征，確定人體骨架序列的動作特征；利用細粒度原型對所述圖拓撲特征進行重建，以獲得精細化的動作拓撲表示；基于人體骨架序列的動作特征以及精細化的動作拓撲表示，利用原型對比損失函數(shù)和交叉熵損失函數(shù)確定所述人體骨架序列的動作類別。
3、可選地，基于人體骨架序列，確定關節(jié)差異拓撲表示和關節(jié)依賴拓撲表示的步驟包括：利用多頭注意力機制，基于投影特征的內(nèi)積來確定所述關節(jié)依賴拓撲表示，并且基于不同關節(jié)間的特征差值來確定所述關節(jié)差異拓撲表示。
4、可選地，基于所述人體骨架序列和所述圖拓撲特征，確定人體骨架序列的動作特征的步驟包括：基于所述人體骨架序列、鄰接矩陣的規(guī)范化鄰接矩陣和用于特征投影的可學習權重矩陣，確定第一層的動作特征；基于前一層的動作特征、鄰接矩陣的規(guī)范化鄰接矩陣和用于特征投影的可學習權重矩陣，確定當前層的動作特征。
5、可選地，所述人體行為識別方法還包括：在確定最后一層的動作特征之后，使用全局平均池化操作來學習人體骨架序列的全局特征；通過softmax函數(shù)和全連接層組成的分類網(wǎng)絡，確定預測動作標簽；基于預測動作標簽和真實動作標簽，確定所述交叉熵損失函數(shù)。
6、可選地，所述人體行為識別方法還包括：使用映射網(wǎng)絡將精細化的動作拓撲表示嵌入共同特征的向量空間，以得到對比特征；基于所述對比特征、對比學習的溫度超參數(shù)、與所述對比特征相關的正樣本原型聚合和負樣本原型聚合，確定所述原型對比損失函數(shù)。
7、可選地，利用細粒度原型對所述圖拓撲特征進行重建，以獲得精細化的動作拓撲表示的步驟包括：基于原型索引矩陣、細節(jié)原型庫、采樣調(diào)節(jié)的超參數(shù)和所述圖拓撲特征，確定所述精細化的動作拓撲表示。
8、可選地，確定所述精細化的動作拓撲表示的步驟包括：利用原型索引矩陣和采樣調(diào)節(jié)的超參數(shù)對所述圖拓撲特征進行特征索引映射；基于映射的結果，利用softmax函數(shù)對細節(jié)原型庫進行采樣組合，以確定所述精細化的動作拓撲表示。
9、根據(jù)本公開的另一方面，提供一種人體行為識別裝置，所述人體行為識別裝置包括：運動細節(jié)增強模塊，被配置為基于人體骨架序列，確定關節(jié)差異拓撲表示和關節(jié)依賴拓撲表示，并且基于關節(jié)差異拓撲表示和關節(jié)依賴拓撲表示，確定圖拓撲特征，其中，所述人體骨架序列被表示為圖結構，所述圖結構包括關節(jié)的集合以及通過鄰接矩陣來表示的關節(jié)間的連接關系，所述圖拓撲特征為通用結構拓撲表示、關節(jié)差異拓撲表示和關節(jié)依賴拓撲表示之和；動作特征提取模塊，被配置為基于所述人體骨架序列和所述圖拓撲特征，確定人體骨架序列的動作特征；原型重建模塊，被配置為利用細粒度原型對所述圖拓撲特征進行重建，以獲得精細化的動作拓撲表示；動作特征分類模塊，被配置為基于人體骨架序列的動作特征以及精細化的動作拓撲表示，利用原型對比損失函數(shù)和交叉熵損失函數(shù)確定所述人體骨架序列的動作類別。
10、可選地，所述運動細節(jié)增強模塊被配置為：利用多頭注意力機制，基于投影特征的內(nèi)積來確定所述關節(jié)依賴拓撲表示，并且基于不同關節(jié)間的特征差值來確定所述關節(jié)差異拓撲表示。
11、可選地，所述動作特征提取模塊被配置為：基于所述人體骨架序列、鄰接矩陣的規(guī)范化鄰接矩陣和用于特征投影的可學習權重矩陣，確定第一層的動作特征；基于前一層的動作特征、鄰接矩陣的規(guī)范化鄰接矩陣和用于特征投影的可學習權重矩陣，確定當前層的動作特征。
12、可選地，所述動作特征分類模塊被配置為：在確定最后一層的動作特征之后，使用全局平均池化操作來學習人體骨架序列的全局特征；通過softmax函數(shù)和全連接層組成的分類網(wǎng)絡，確定預測動作標簽；基于預測動作標簽和真實動作標簽，確定所述交叉熵損失函數(shù)。
13、可選地，所述動作特征分類模塊被配置為：使用映射網(wǎng)絡將精細化的動作拓撲表示嵌入共同特征的向量空間，以得到對比特征；基于所述對比特征、對比學習的溫度超參數(shù)、與所述對比特征相關的正樣本原型聚合和負樣本原型聚合，確定所述原型對比損失函數(shù)。
14、可選地，所述原型重建模塊被配置為：基于原型索引矩陣、細節(jié)原型庫、采樣調(diào)節(jié)的超參數(shù)和所述圖拓撲特征，確定所述精細化的動作拓撲表示。
15、可選地，所述原型重建模塊被配置為：利用原型索引矩陣和采樣調(diào)節(jié)的超參數(shù)對所述圖拓撲特征進行特征索引映射；基于映射的結果，利用softmax函數(shù)對細節(jié)原型庫進行采樣組合，以確定所述精細化的動作拓撲表示。
16、根據(jù)本公開的另一方面，提供一種包括至少一個計算裝置和至少一個存儲指令的存儲裝置的計算系統(tǒng)，其中，所述指令在被所述至少一個計算裝置運行時，促使所述至少一個計算裝置執(zhí)行如上所述的人體行為識別方法。
17、根據(jù)本公開的再一方面，提供一種存儲指令的計算機可讀存儲介質(zhì)，其中，當所述指令被至少一個計算裝本文檔來自技高網(wǎng)...
【技術保護點】
1.一種人體行為識別方法，其特征在于，所述人體行為識別方法包括：
2.根據(jù)權利要求1所述的人體行為識別方法，其特征在于，基于人體骨架序列，確定關節(jié)差異拓撲表示和關節(jié)依賴拓撲表示的步驟包括：利用多頭注意力機制，基于投影特征的內(nèi)積來確定所述關節(jié)依賴拓撲表示，并且基于不同關節(jié)間的特征差值來確定所述關節(jié)差異拓撲表示。
3.根據(jù)權利要求1所述的人體行為識別方法，其特征在于，基于所述人體骨架序列和所述圖拓撲特征，確定人體骨架序列的動作特征的步驟包括：
4.根據(jù)權利要求3所述的人體行為識別方法，其特征在于，所述人體行為識別方法還包括：
5.根據(jù)權利要求1所述的人體行為識別方法，其特征在于，所述人體行為識別方法還包括：
6.根據(jù)權利要求1所述的人體行為識別方法，其特征在于，利用細粒度原型對所述圖拓撲特征進行重建，以獲得精細化的動作拓撲表示的步驟包括：基于原型索引矩陣、細節(jié)原型庫、采樣調(diào)節(jié)的超參數(shù)和所述圖拓撲特征，確定所述精細化的動作拓撲表示。
7.根據(jù)權利要求6所述的人體行為識別方法，其特征在于，確定所述精細化的動作拓撲表示
8.一種人體行為識別裝置，其特征在于，所述人體行為識別裝置包括：
9.一種包括至少一個計算裝置和至少一個存儲指令的存儲裝置的計算系統(tǒng)，其特征在于，所述指令在被所述至少一個計算裝置運行時，促使所述至少一個計算裝置執(zhí)行根據(jù)權利要求1-7中任一項所述的人體行為識別方法。
10.一種存儲指令的計算機可讀存儲介質(zhì)，其特征在于，當所述指令被至少一個計算裝置運行時，促使所述至少一個計算裝置執(zhí)行根據(jù)權利要求1-7中任一項所述的人體行為識別方法。
...【技術特征摘要】
1.一種人體行為識別方法，其特征在于，所述人體行為識別方法包括：
2.根據(jù)權利要求1所述的人體行為識別方法，其特征在于，基于人體骨架序列，確定關節(jié)差異拓撲表示和關節(jié)依賴拓撲表示的步驟包括：利用多頭注意力機制，基于投影特征的內(nèi)積來確定所述關節(jié)依賴拓撲表示，并且基于不同關節(jié)間的特征差值來確定所述關節(jié)差異拓撲表示。
3.根據(jù)權利要求1所述的人體行為識別方法，其特征在于，基于所述人體骨架序列和所述圖拓撲特征，確定人體骨架序列的動作特征的步驟包括：
4.根據(jù)權利要求3所述的人體行為識別方法，其特征在于，所述人體行為識別方法還包括：
5.根據(jù)權利要求1所述的人體行為識別方法，其特征在于，所述人體行為識別方法還包括：
6.根據(jù)權利要求1所述的人體行為識別方法，其特征在于，利用細粒度原型對所述圖拓撲特征進行重建，以獲得精細化的動作拓撲表示的步驟包括：基于原型索引矩陣...
【專利技術屬性】
技術研發(fā)人員：劉宏達，劉慧娟，陶山，黃偉，孫哲南，李學恩，王云龍，王昊，
申請(專利權)人：中國科學院自動化研究所，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。