【技術實現步驟摘要】
本公開涉及計算機視覺，尤其涉及一種姿勢識別方法、裝置、設備及存儲介質。
技術介紹
1、姿勢識別旨在將輸入視頻以一致的順序轉換成手語詞的序列。相關技術中的姿勢識別方法包括從輸入視頻中提取時空信息并轉化為具有判別性的特征，然后建立特征與手語詞標簽之間的對應關系。
2、然而，相關技術中的識別方法存在模型計算量大以及在復雜場景下魯棒性差等問題，導致識別方法的落地應用在很大程度上受到限制。
技術實現思路
1、為克服相關技術中存在的問題，本公開實施例提供一種姿勢識別方法、裝置、設備及存儲介質，用以解決相關技術中的缺陷。
2、根據本公開實施例的第一方面，提供一種姿勢識別方法，所述方法包括：
3、響應于接收到待識別的目標視頻，提取出所述目標視頻的每幀圖像中人物的目標骨架點，所述目標骨架點包括所述人物的預設人體部位的骨架點，所述預設人體部位至少包括手部；
4、將所述目標骨架點劃分為多組，每組骨架點對應于同一預設人體部位；
5、分別對所述每組骨架點進行中心化處理，得到中心化的多組骨架點；
6、基于所述中心化的多組骨架點和預先訓練的目標姿勢識別模型，得到所述目標視頻對應的目標識別結果。
7、在一些實施例中，所述目標姿勢識別模型包括以骨架點作為輸入的第一單流網絡，所述第一單流網絡包括第一組特定圖卷積網絡集合、第一上下文模塊以及第一互補正則化模塊；
8、所述基于所述中心化的多組骨架點和預先訓練的目標姿勢識別模型，
9、基于所述第一特定圖卷積網絡集合以及所述中心化的多組骨架點確定第一骨架點特征；
10、基于當前生成的兩個互補第一掩模以及所述第一骨架點特征確定兩個不同視角的第二骨架點特征；
11、基于所述第一上下文模塊和所述兩個不同視角的第二骨架點特征確定第一目標特征；
12、基于所述第一目標特征確定所述目標識別結果。
13、在一些實施例中，所述基于所述第一特定圖卷積網絡集合以及所述中心化的多組骨架點確定第一骨架點特征，包括：
14、通過預設的第一全連接層將所述中心化的多組骨架點映射至第一線性空間，得到映射的每組骨架點；
15、基于所述第一特定圖卷積網絡集合中的各個特定圖卷積網絡集合，從所述映射的每組骨架點中提取特征，得到每組骨架點特征；
16、對所述每組骨架點特征進行拼接，并通過預設的第二全連接層對拼接的骨架點特征進行融合，得到所述第一骨架點特征。
17、在一些實施例中，所述第一上下文模塊包括第一一維卷積神經網絡和第一雙向長短期記憶網絡層，所述第一一維卷積神經網絡的輸出作為所述第一雙向長短期記憶網絡層的輸入，所述第一目標特征包括第一建模特征和第二建模特征；
18、所述基于所述第一上下文模塊和所述兩個不同視角的第二骨架點特征確定第一目標特征，包括：
19、將所述第二骨架點特征依次通過所述第一一維卷積神經網絡和所述第一雙向長短期記憶網絡層，得到所述第一建模特征和所述第二建模特征。
20、在一些實施例中，所述目標姿勢識別模型還包括第一主分類器和第一連接主義時序分類器；
21、所述基于所述第一目標特征確定所述目標識別結果，包括：
22、基于所述第一目標特征和所述第一主分類器確定第一預測概率；
23、基于所述第一預測概率和所述第一連接主義時序分類器確定所述目標識別結果。
24、在一些實施例中，所述目標姿勢識別模型還包括以骨架點的運動信息作為輸入的第二單流網絡，所述第二單流網絡包括第二組特定圖卷積網絡集合、第二上下文模塊以及第二互補正則化模塊；
25、所述方法還包括：
26、提取出所述目標骨架點的目標運動信息；
27、基于所述第二組特定圖卷積網絡集合以及所述目標運動信息確定第一運動信息特征；
28、基于當前生成的兩個互補第二掩模以及所述第一運動信息特征確定兩個不同視角的第二運動信息特征；
29、基于所述第二上下文模塊和所述兩個不同視角的第二運動信息特征確定第二目標特征；
30、所述基于所述第一目標特征確定所述目標識別結果，包括：
31、基于所述第一目標特征和所述第二目標特征確定所述目標識別結果。
32、在一些實施例中，所述基于所述第二組特定圖卷積網絡集合以及所述目標運動信息確定第一運動信息特征，包括：
33、將所述目標運動信息劃分為多組，每組運動信息對應的骨架點屬于同一所述預設人體部位；
34、分別對所述每組運動信息進行中心化處理，得到中心化的每組運動信息；
35、基于所述第二組特定圖卷積網絡集合以及所述中心化的每組運動信息確定所述第一運動信息特征。
36、在一些實施例中，所述基于所述第二組特定圖卷積網絡集合以及所述中心化的每組運動信息確定所述第一運動信息特征，包括：
37、通過預設的第三全連接層將所述中心化的每組運動信息映射至第二線性空間，得到映射的每組運動信息；
38、基于所述第二組特定圖卷積網絡集合中的各個組特定圖卷積網絡，從所述映射的每組運動信息中提取特征，得到每組運動信息特征；
39、對所述每組運動信息特征進行拼接，并通過預設的第四全連接層對拼接的運動信息進行融合，得到所述第一運動信息特征。
40、在一些實施例中，所述第二上下文模塊包括第二一維卷積神經網絡和第二雙向長短期記憶網絡層，所述第二一維卷積神經網絡的輸出作為所述第二雙向長短期記憶網絡層的輸入，所述第二目標特征包括第三建模特征和第四建模特征；
41、所述基于所述第二上下文模塊和所述兩個不同視角的第二運動信息特征確定第二目標特征，包括：
42、將所述第二運動信息特征依次通過所述第二一維卷積神經網絡和所述第二雙向長短期記憶網絡層，得到所述第三建模特征和所述第四建模特征。
43、在一些實施例中，所述基于所述第一目標特征和所述第二目標特征確定所述目標識別結果，包括：
44、將所述第一骨架點特征、所述第一建模特征以及所述第二建模特征，與所述第一運動信息特征、所述第三建模特征以及所述第四建模特征進行逐步融合，得到逐步融合特征；
45、基于隨機生成的兩個互補第三掩模對所述逐步融合特征進行處理，得到兩個不同視角的目標融合特征；
46、基于第三上下文模塊和所述目標融合特征確定第三目標特征；
47、基于所述第三目標特征確定所述目標識別結果。
48、在一些實施例中，所述將所述第一骨架點特征、所述第一建模特征以及所述第二建模特征，與所述第一運動信息特征、所述第三建模特征以及所述第四建模特征進行逐步融合，得到逐步融合特征，包括：
49、基于第一預設融合方式，將所述第一骨架點特征和所述第一運本文檔來自技高網...
【技術保護點】
1.一種姿勢識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述目標姿勢識別模型包括以骨架點作為輸入的第一單流網絡，所述第一單流網絡包括第一組特定圖卷積網絡集合、第一上下文模塊以及第一互補正則化模塊；
3.根據權利要求2所述的方法，其特征在于，所述基于所述第一特定圖卷積網絡集合以及所述中心化的多組骨架點確定第一骨架點特征，包括：
4.根據權利要求2所述的方法，其特征在于，所述第一上下文模塊包括第一一維卷積神經網絡和第一雙向長短期記憶網絡層，所述第一一維卷積神經網絡的輸出作為所述第一雙向長短期記憶網絡層的輸入，所述第一目標特征包括第一建模特征和第二建模特征；
5.根據權利要求2所述的方法，其特征在于，所述目標姿勢識別模型還包括第一主分類器和第一連接主義時序分類器；
6.根據權利要求2所述的方法，其特征在于，所述目標姿勢識別模型還包括以骨架點的運動信息作為輸入的第二單流網絡，所述第二單流網絡包括第二組特定圖卷積網絡集合、第二上下文模塊以及第二互補正則化模塊；
7.根據權利要求6所述
8.根據權利要求7所述的方法，其特征在于，所述基于所述第二組特定圖卷積網絡集合以及所述中心化的每組運動信息確定所述第一運動信息特征，包括：
9.根據權利要求6所述的方法，其特征在于，所述第二上下文模塊包括第二一維卷積神經網絡和第二雙向長短期記憶網絡層，所述第二一維卷積神經網絡的輸出作為所述第二雙向長短期記憶網絡層的輸入，所述第二目標特征包括第三建模特征和第四建模特征；
10.根據權利要求9所述的方法，其特征在于，所述基于所述第一目標特征和所述第二目標特征確定所述目標識別結果，包括：
11.根據權利要求10所述的方法，其特征在于，所述將所述第一骨架點特征、所述第一建模特征以及所述第二建模特征，與所述第一運動信息特征、所述第三建模特征以及所述第四建模特征進行逐步融合，得到逐步融合特征，包括：
12.根據權利要求10所述的方法，其特征在于，所述第三上下文模塊包括第三一維卷積神經網絡和第三雙向長短期記憶網絡層，所述第三一維卷積神經網絡的輸出作為所述第三雙向長短期記憶網絡層的輸入，所述第三目標特征包括第五建模特征和第六建模特征；
13.根據權利要求10所述的方法，其特征在于，所述目標姿勢識別模型還包括第二主分類器和第二連接主義時序分類器；
14.根據權利要求1所述的方法，其特征在于，所述方法還包括基于以下方式訓練所述目標姿勢識別模型：
15.一種姿勢識別裝置，其特征在于，所述裝置包括：
16.一種電子設備，其特征在于，所述設備包括：
17.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現：
...【技術特征摘要】
1.一種姿勢識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述目標姿勢識別模型包括以骨架點作為輸入的第一單流網絡，所述第一單流網絡包括第一組特定圖卷積網絡集合、第一上下文模塊以及第一互補正則化模塊；
3.根據權利要求2所述的方法，其特征在于，所述基于所述第一特定圖卷積網絡集合以及所述中心化的多組骨架點確定第一骨架點特征，包括：
4.根據權利要求2所述的方法，其特征在于，所述第一上下文模塊包括第一一維卷積神經網絡和第一雙向長短期記憶網絡層，所述第一一維卷積神經網絡的輸出作為所述第一雙向長短期記憶網絡層的輸入，所述第一目標特征包括第一建模特征和第二建模特征；
5.根據權利要求2所述的方法，其特征在于，所述目標姿勢識別模型還包括第一主分類器和第一連接主義時序分類器；
6.根據權利要求2所述的方法，其特征在于，所述目標姿勢識別模型還包括以骨架點的運動信息作為輸入的第二單流網絡，所述第二單流網絡包括第二組特定圖卷積網絡集合、第二上下文模塊以及第二互補正則化模塊；
7.根據權利要求6所述的方法，其特征在于，所述基于所述第二組特定圖卷積網絡集合以及所述目標運動信息確定第一運動信息特征，包括：
8.根據權利要求7所述的方法，其特征在于，所述基于所述第二組特定圖卷積網絡集合以及所述中心化的每組運動信息確定所述第一運動信息特征，包括：
9.根據權利要...
【專利技術屬性】
技術研發人員：李雅楠，麻慧鑫，王曉濤，請求不公布姓名，請求不公布姓名，
申請(專利權)人：北京小米移動軟件有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。