【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及數(shù)據(jù)處理，尤其涉及一種姿勢識別方法和裝置、電子設(shè)備、存儲介質(zhì)。
技術(shù)介紹
1、手語識別是通過計(jì)算機(jī)視覺的技術(shù)按順序識別手語視頻中出現(xiàn)的手語詞，為聾啞人和健全人的交流提供便捷的交流工具。
2、實(shí)際應(yīng)用中，相關(guān)技術(shù)的方案會出現(xiàn)對背景關(guān)注不夠魯棒，當(dāng)視頻中出現(xiàn)非特定用戶采用手語交流時(shí)模型對該非特定用戶手語的識別能力下降，降低使用體驗(yàn)。
技術(shù)實(shí)現(xiàn)思路
1、本公開提供一種姿勢識別方法和裝置、電子設(shè)備、存儲介質(zhì)，以解決上述技術(shù)問題。
2、根據(jù)本公開的第一方面，提供一種姿勢識別方法，包括：
3、獲取待識別的視頻片段，所述視頻片段的各圖像幀包括目標(biāo)對象的手部信息；
4、對所述各圖像幀進(jìn)行特征識別處理，得到所述各圖像幀的手部特征圖；所述手部特征圖包括強(qiáng)化后的運(yùn)動(dòng)空間特征和運(yùn)動(dòng)時(shí)序特征；所述運(yùn)動(dòng)空間特征所述運(yùn)動(dòng)空間特征包括所述圖像幀中手部的手型信息特征；所述運(yùn)動(dòng)時(shí)序特征包括手部在多幀圖像幀中手部運(yùn)動(dòng)特征；
5、根據(jù)所述各圖像幀的手部特征圖進(jìn)行分類預(yù)測處理，得到所述視頻片段中手部動(dòng)作所傳遞信息對應(yīng)的手語文本信息。
6、可選地，對所述各圖像幀進(jìn)行特征識別處理，得到所述各圖像幀的手部特征圖，包括：
7、將所述各圖像幀依次輸入到預(yù)設(shè)的圖像特征識別模型，獲得所述各圖像幀的圖像特征圖；
8、將所述各圖像幀的圖像特征圖輸入到預(yù)設(shè)的手勢特征識別模型，獲得所述各圖像幀的手部特征圖。
9、可選地，所述手勢
10、提取各圖像幀對應(yīng)的第一滑動(dòng)窗口內(nèi)的圖像特征圖的運(yùn)動(dòng)空間特征；
11、提取各圖像幀對應(yīng)的第二滑動(dòng)窗口內(nèi)的圖像特征圖中的運(yùn)動(dòng)時(shí)序特征；
12、根據(jù)所述各圖像幀的圖像特征圖、所述運(yùn)動(dòng)空間特征和所述運(yùn)動(dòng)時(shí)序特征進(jìn)行時(shí)序建模，得到所述各圖像幀的手部特征圖。
13、可選地，提取各圖像幀對應(yīng)的第一滑動(dòng)窗口內(nèi)的圖像特征圖的運(yùn)動(dòng)空間特征，包括：
14、對各圖像幀的圖像特征圖進(jìn)行降維處理，得到降維特征圖；
15、將各圖像幀對應(yīng)第一滑動(dòng)窗口內(nèi)的第一預(yù)設(shè)數(shù)量幀圖像幀進(jìn)行疊加并求各像素的平均值，得到各圖像幀的第一平均特征圖；所述第一預(yù)設(shè)數(shù)量小于或等于第一數(shù)量閾值；
16、獲取各圖像幀的所述降維特征圖和所述第一平均特征圖中同一位置像素的差分值，得到各圖像幀的運(yùn)動(dòng)空間特征。
17、可選地，提取各圖像幀對應(yīng)的第二滑動(dòng)窗口內(nèi)的圖像特征圖中的運(yùn)動(dòng)時(shí)序特征，包括：
18、對各圖像幀的圖像特征圖進(jìn)行降維處理，得到降維特征圖；
19、將各圖像幀對應(yīng)第二滑動(dòng)窗口內(nèi)的第二預(yù)設(shè)數(shù)量幀圖像幀進(jìn)行疊加并求各像素的平均值，得到各圖像幀的第二平均特征圖；所述第二預(yù)設(shè)數(shù)量大于或等于第二數(shù)量閾值；所述第二數(shù)量閾值大于第一數(shù)量閾值；
20、獲取各圖像幀的所述降維特征圖和所述第二平均特征圖中同一位置像素的差分值，得到各圖像幀的運(yùn)動(dòng)時(shí)序特征。
21、可選地，根據(jù)所述各圖像幀的圖像特征圖、所述運(yùn)動(dòng)空間特征和所述運(yùn)動(dòng)時(shí)序特征進(jìn)行時(shí)序建模，得到所述各圖像幀的手部特征圖，包括：
22、獲取所述運(yùn)動(dòng)空間特征和第一權(quán)重值的乘積，得到加權(quán)運(yùn)動(dòng)空間特征；
23、獲取所述運(yùn)動(dòng)時(shí)序特征和第二權(quán)重值的乘積，得到加權(quán)運(yùn)動(dòng)時(shí)序特征；
24、獲取所述運(yùn)動(dòng)空間特征和所述運(yùn)動(dòng)時(shí)序特征同一位置像素的和值，得到動(dòng)靜融合特征；
25、對所述動(dòng)靜融合特征進(jìn)行升維處理，得到升維特征；
26、獲取所述升維特征和第三權(quán)重值的乘積，得到加權(quán)升維特征；
27、獲取所述圖像特征圖和第四權(quán)重值的乘積，得到加權(quán)圖像特征圖；
28、獲取所述加權(quán)升維特征和所述加權(quán)圖像特征圖中同一位置像素的和值，得到手部特征圖。
29、可選地，所述手勢特征識別模型中獲取升維特征的升維單元包括至少一個(gè)時(shí)域卷積層；所述時(shí)域卷積層包括一維cnn卷積層和池化層；所述至少一個(gè)時(shí)域卷積層用于對動(dòng)靜融合特征進(jìn)行時(shí)序建模，得到包含手部動(dòng)作特征的升維特征。
30、可選地，所述圖像特征識別模型包括以下至少一種：resnet模型、vggnet模型和googlenet模型。
31、可選地，所述手勢特征識別模型的訓(xùn)練步驟包括：
32、獲取預(yù)設(shè)訓(xùn)練集合中各視頻片段的各圖像幀；所述預(yù)設(shè)訓(xùn)練集合包括若干個(gè)視頻片段，各視頻片段包括手語內(nèi)容和標(biāo)簽序列；
33、將所述各圖像幀依次輸入到預(yù)設(shè)的圖像特征識別模型，獲得所述各圖像幀的圖像特征圖；
34、響應(yīng)于損失值小于預(yù)設(shè)損失閾值，將所述各圖像幀的圖像特征圖輸入到手勢特征識別模型，獲得所述各圖像幀的手部特征圖；
35、根據(jù)所述各圖像幀的手部特征圖進(jìn)行分類預(yù)測處理，得到所述視頻片段中手部動(dòng)作所傳遞信息對應(yīng)的手語文本信息；
36、根據(jù)各視頻片段的所述手語文本信息和所述標(biāo)簽序列計(jì)算損失函數(shù)的損失值；
37、響應(yīng)于所述損失值大于或等于所述預(yù)設(shè)損失閾值，停止訓(xùn)練所述手勢特征識別模型，得到所述預(yù)設(shè)的手勢特征識別模型。
38、可選地，所述損失函數(shù)用于在模型參數(shù)確定時(shí)計(jì)算所述手勢文本信息對應(yīng)的標(biāo)簽序列在所述視頻片段對應(yīng)的標(biāo)簽序列中出現(xiàn)的概率。
39、可選地，根據(jù)所述各圖像幀的手部特征圖進(jìn)行分類預(yù)測處理，得到所述視頻片段中手部動(dòng)作所傳遞信息對應(yīng)的手語文本信息，包括：
40、將所述各圖像幀手部特征圖像依次輸入預(yù)設(shè)的上下文信息處理模型，得到所述各圖像幀的上下文信息；
41、將所述各圖像幀的上下文信息依次輸入預(yù)設(shè)的信息分類模型，得到所述上下文信息的分類預(yù)測概率；
42、根據(jù)所述各圖像幀的上下文信息的分類預(yù)測概率進(jìn)行解碼，得到所述視頻片段中手部動(dòng)作所傳遞信息對應(yīng)的手語文本信息。
43、可選地，所述上下文信息處理模型包括以下至少一種模型：cnn模型、transformer模型和bilstm模型。
44、可選地，所述上下文信息處理模型和所述信息分類模型的訓(xùn)練過程與手勢特征識別模型的訓(xùn)練過程同步，并在所述手勢特征識別模型完成訓(xùn)練時(shí)結(jié)束所述上下文信息處理模型的訓(xùn)練。
45、根據(jù)本公開的第二方面，提供一種姿勢識別裝置，包括：
46、視頻片段獲取模塊，用于獲取待識別的視頻片段，所述視頻片段的各圖像幀包括目標(biāo)對象的手部信息；
47、手部特征圖獲取模塊，用于對所述各圖像幀進(jìn)行特征識別處理，得到所述各圖像幀的手部特征圖；所述手部特征圖包括強(qiáng)化后的運(yùn)動(dòng)空間特征和運(yùn)動(dòng)時(shí)序特征；所述運(yùn)動(dòng)空間特征所述運(yùn)動(dòng)空間特征包括所述圖像幀中手部的手型信息特征；所述運(yùn)動(dòng)時(shí)序特征包括手部在多幀圖像幀中手部運(yùn)動(dòng)特征；
48、手語文本信息獲取模塊，用于根據(jù)所述各圖像幀的手部特征圖進(jìn)行分類預(yù)測處理，得到所述視頻片段中手本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種姿勢識別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述各圖像幀進(jìn)行特征識別處理，得到所述各圖像幀的手部特征圖，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述手勢特征識別模型通過以下步驟獲取各圖像幀的手部特征圖，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，提取各圖像幀對應(yīng)的第一滑動(dòng)窗口內(nèi)的圖像特征圖的運(yùn)動(dòng)空間特征，包括：
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，提取各圖像幀對應(yīng)的第二滑動(dòng)窗口內(nèi)的圖像特征圖中的運(yùn)動(dòng)時(shí)序特征，包括：
6.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述各圖像幀的圖像特征圖、所述運(yùn)動(dòng)空間特征和所述運(yùn)動(dòng)時(shí)序特征進(jìn)行時(shí)序建模，得到所述各圖像幀的手部特征圖，包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述手勢特征識別模型中獲取升維特征的升維單元包括至少一個(gè)時(shí)域卷積層；所述時(shí)域卷積層包括一維CNN卷積層和池化層；所述至少一個(gè)時(shí)域卷積層用于對動(dòng)靜融合特征進(jìn)行時(shí)序建模，得到包含手部動(dòng)作特征的升維特征。
8.根據(jù)權(quán)利要求2所述的方
9.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述手勢特征識別模型的訓(xùn)練步驟包括：
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述損失函數(shù)用于在模型參數(shù)確定時(shí)計(jì)算所述手勢文本信息對應(yīng)的標(biāo)簽序列在所述視頻片段對應(yīng)的標(biāo)簽序列中出現(xiàn)的概率。
11.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述各圖像幀的手部特征圖進(jìn)行分類預(yù)測處理，得到所述視頻片段中手部動(dòng)作所傳遞信息對應(yīng)的手語文本信息，包括：
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述上下文信息處理模型包括以下至少一種模型：CNN模型、Transformer模型和BiLSTM模型。
13.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述上下文信息處理模型和所述信息分類模型的訓(xùn)練過程與手勢特征識別模型的訓(xùn)練過程同步，并在所述手勢特征識別模型完成訓(xùn)練時(shí)結(jié)束所述上下文信息處理模型的訓(xùn)練。
14.一種姿勢識別裝置，其特征在于，包括：
15.一種電子設(shè)備，其特征在于，包括：
16.一種非暫態(tài)計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，當(dāng)所述存儲介質(zhì)中的可執(zhí)行的計(jì)算機(jī)程序由處理器執(zhí)行時(shí)，能夠?qū)崿F(xiàn)如權(quán)利要求1～13任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種姿勢識別方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述各圖像幀進(jìn)行特征識別處理，得到所述各圖像幀的手部特征圖，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述手勢特征識別模型通過以下步驟獲取各圖像幀的手部特征圖，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，提取各圖像幀對應(yīng)的第一滑動(dòng)窗口內(nèi)的圖像特征圖的運(yùn)動(dòng)空間特征，包括：
5.根據(jù)權(quán)利要求3所述的方法，其特征在于，提取各圖像幀對應(yīng)的第二滑動(dòng)窗口內(nèi)的圖像特征圖中的運(yùn)動(dòng)時(shí)序特征，包括：
6.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述各圖像幀的圖像特征圖、所述運(yùn)動(dòng)空間特征和所述運(yùn)動(dòng)時(shí)序特征進(jìn)行時(shí)序建模，得到所述各圖像幀的手部特征圖，包括：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述手勢特征識別模型中獲取升維特征的升維單元包括至少一個(gè)時(shí)域卷積層；所述時(shí)域卷積層包括一維cnn卷積層和池化層；所述至少一個(gè)時(shí)域卷積層用于對動(dòng)靜融合特征進(jìn)行時(shí)序建模，得到包含手部動(dòng)作特征的升維特征。
8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述圖像特征識別模型包括以下至少一種：resnet模型、vggnet模型和g...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李雅楠，麻慧鑫，王曉濤，請求不公布姓名，請求不公布姓名，
申請(專利權(quán))人：北京小米移動(dòng)軟件有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。