【技術實現步驟摘要】
本公開實施例涉及一種多人動作識別方法、裝置、電子設備和可讀存儲介質。
技術介紹
1、動作識別作為深度學習發展的一個方向，近年來發展迅速，應用價值廣大。
2、相關技術中對多人動作識別主要是基于單個人的動作識別，且同時涉及多個模型串聯；如現有的動作識別方案就是先檢測每個人，接著對每個人進行跟蹤，最后通過獲取到的指定人的一段時序動作進行識別，這里的指定人可能是一個也可能是多個；但是該方案不會同時支持多組一個人或多個人的動作識別，針對動作是一個動作一個動作識別的。
3、可見，相關技術中的多人動作識別方法流程繁瑣，識別效率低。
技術實現思路
1、有鑒于此，本公開提供一種多人動作識別方法、裝置、電子設備和可讀存儲介質，能夠簡化多人動作識別流程，提高多人動作識別效率。
2、本公開的技術方案是這樣實現的：
3、在一個實施例中，提供一種多人動作識別方法，所述方法包括：
4、獲取視頻數據；
5、對所述視頻數據進行關鍵特征點檢測，獲得與所述視頻數據的每一圖像幀中的人物對象相關聯的人體關鍵特征點；
6、基于獲得的與所述人物對象關聯的所述人體關鍵特征點對相鄰圖像幀進行人物對象匹配；
7、根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點；
8、每間隔r個圖像幀，將連續k個處理后的圖像幀中的人物對象的人體關鍵特征點的特征點信息輸入預設多維時空圖卷積模型，得到所述視頻數據中的人物對象的動
9、進一步，所述根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點，包括：
10、響應于匹配結果為人物對象對應的人體關鍵特征點不匹配，且相鄰圖像幀中的前一圖像幀中對應位置檢測出人體關鍵特征點；
11、如果當前滿足預設特征點丟棄條件，將所述相鄰圖像幀中的后一圖像幀中對應的所述人物對象的所述人體關鍵特征點刪除；或者，
12、如果當前不滿足預設特征點丟棄條件，使用相鄰圖像幀中的前一圖像幀對應的所述人物對象的人體關鍵特征點的運動流光信息補齊相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點；
13、其中，所述預設特征點丟棄條件為：連續不匹配次數達到預設次數閾值，且當前相鄰圖像幀中的后一圖像幀針對所述人物對象檢出的人體關鍵特征點的個數小于預設點數門限閾值；所述預設點數門限閾值小于預設人體關鍵特征點的總個數。
14、進一步，所述根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點，包括：
15、響應于匹配結果為人物對象對應的人體關鍵特征點匹配，確定相鄰圖像幀中的后一圖像幀對應的人物對象與前一圖像幀對應的人物對象為同一人物對象。
16、進一步，所述根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點，包括：
17、響應于匹配結果為人物對象的人體關鍵特征點不匹配，且相鄰圖像幀中的前一圖像幀中對應位置未檢測出人體關鍵特征點，確定所述相鄰圖像幀中的后一圖像幀中的所述人物對象為新增人物對象。
18、進一步，所述預設多維時空圖卷積模型的訓練方法，包括：
19、建立初始多維時空圖卷積模型；其中，所述初始多維時空圖卷積模型的輸入是五維[n，m，t，v，c]；輸出是三維[n，m，s]；
20、獲取訓練樣本；
21、基于獲取的所述訓練樣本對所述初始多維時空圖卷積模型進行訓練，獲得預設多維時空圖卷積模型；
22、其中，n表示用于模型訓練的視頻數據個數，m表示預設多維時空圖卷積模型可識別的人物對象的最大數目，t表示一個動作的時間維度，v表示使用的人體關鍵特征點的總數；c表示對每個人體關鍵特征點預測的維度，s表示動作的類別。
23、進一步，
24、k的設置與要識別的動作相關；
25、r的設置與采集所述視頻數據的采集速度相關。
26、進一步，所述基于獲得的與所述人物對象關聯的所述人體關鍵特征點對相鄰圖像幀進行人物對象匹配，包括：
27、基于獲得的與所述人物對象關聯的所述人體關鍵特征點，采用關鍵點相似度算法對相鄰圖像幀進行人物對象匹配。
28、在一個實施例中，提供一種多人動作識別裝置，所述裝置包括：
29、獲取單元，被配置為執行獲取視頻數據；
30、檢測單元，被配置為執行對所述視頻數據進行關鍵特征點檢測，獲得與所述視頻數據的每一圖像幀中的人物對象相關聯的人體關鍵特征點；
31、匹配單元，被配置為執行基于獲得的與所述人物對象關聯的所述人體關鍵特征點對相鄰圖像幀進行人物對象匹配；
32、處理單元，被配置為執行根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點；
33、識別單元，被配置為執行每間隔r個圖像幀，將連續k個處理后的圖像幀中的人物對象的人體關鍵特征點的特征點信息輸入預設多維時空圖卷積模型，得到所述視頻數據中的人物對象的動作識別結果；其中，k大于r，所述人物對象為1個或多個。
34、在另一個實施例中，提供一種電子設備，包括：
35、處理器；
36、用于存儲所述處理器的可執行指令的存儲器；
37、其中，所述處理器被配置為執行所述可執行指令，以實現如上任一項所述的多人動作識別方法。
38、在另一個實施例中，一種計算機可讀存儲介質，當所述計算機可讀存儲介質中的至少一條指令被電子設備的處理器執行時，使得所述電子設備能夠實現如上任一項所述的多人動作識別方法。
39、由上面的技術方案可以看出，本公開實施例的多人動作識別方法、裝置、電子設備和可讀存儲介質，對視頻數據進行關鍵點進行檢測，獲得與視頻數據的每一圖像幀中的人物對象相關聯的人體關鍵特征點，并通過相鄰幀人物對象的人體關鍵特征點匹配，來處理相鄰圖像幀中后一圖像幀中對應的人物對象的人體關鍵特征點；每間隔r個圖像幀，將連續k個處理后的圖像幀中的人物對象的人體關鍵特征點的特征點信息一同輸入預設多維時空圖卷積模型，得到視頻數據中所有人物對象的動作識別結果。該方案能夠不需要拆分為一個一個人進行動作識別，能夠直接對多人進行動作識別，簡化了多人動作識別流程，提高多人動作識別效率。
本文檔來自技高網...【技術保護點】
1.一種多人動作識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點，包括：
3.根據權利要求1所述的方法，其特征在于，所述根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點，包括：
4.根據權利要求1所述的方法，其特征在于，所述根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點，包括：
5.根據權利要求1所述的方法，其特征在于，所述預設多維時空圖卷積模型的訓練方法，包括：
6.根據權利要求1-5任一項所述的方法，其特征在于，
7.根據權利要求1-5任一項所述的方法，其特征在于，所述基于獲得的與所述人物對象關聯的所述人體關鍵特征點對相鄰圖像幀進行人物對象匹配，包括：
8.一種多人動作識別裝置，其特征在于，所述裝置包括：
9.一種電子設備，其特征在于，包括：
10.一種計算機可讀存儲介質，其特征在于，當所述計算機可讀存儲介質中的至少一條指令被
...【技術特征摘要】
1.一種多人動作識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點，包括：
3.根據權利要求1所述的方法，其特征在于，所述根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點，包括：
4.根據權利要求1所述的方法，其特征在于，所述根據人物對象匹配結果處理相鄰圖像幀中的后一圖像幀對應的人體關鍵特征點，包括：
5.根據權利要求1所述的方法，其特征在于，所述預設多維時空圖卷積模型的...
【專利技術屬性】
技術研發人員：張存義，艾國，楊作興，
申請(專利權)人：深圳比特微電子科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。