【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及手勢識別。具體地，本申請涉及一種樣本集構(gòu)建方法、手勢識別方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)。
技術(shù)介紹
1、基于肌電信號的手勢識別技術(shù)是一種通過分析人體肌肉的電信號來識別和理解手部動作的技術(shù)。這一技術(shù)可以應(yīng)用于虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)游戲、康復(fù)和生理監(jiān)測、手勢交互界面等多個領(lǐng)域。在基于肌電信號的手勢識別和手勢控制技術(shù)中，準(zhǔn)確地識別和標(biāo)注肌電信號與手勢之間的關(guān)系具有重要意義。
2、傳統(tǒng)技術(shù)中，通常需要依賴于人工對肌電信號與手勢之間的關(guān)系進(jìn)行標(biāo)注。然而，人工標(biāo)注需要耗費(fèi)大量的時間和人力資源。同時，人工標(biāo)注容易受到主觀因素和人為錯誤的影響，導(dǎo)致標(biāo)注出現(xiàn)偏差，最終影響手勢識別的準(zhǔn)確性和性能。
技術(shù)實(shí)現(xiàn)思路
1、基于此，有必要針對上述技術(shù)問題，提供一種樣本集構(gòu)建方法、裝置、計算機(jī)設(shè)備和存儲介質(zhì)。
2、第一方面，本申請?zhí)峁┝艘环N樣本集構(gòu)建方法。所述樣本集包括帶有手勢標(biāo)簽的肌電信號；所述方法包括：
3、以第一預(yù)設(shè)頻率采集肌電信號，并按照采集的時間順序依次將所述肌電信號以及所述肌電信號的時間戳存入肌電信號數(shù)組中；其中，所述肌電信號的時間戳為采集所述肌電信號的時間點(diǎn)；
4、以第二預(yù)設(shè)頻率采集手部圖像，并將所述手部圖像輸入至訓(xùn)練好的手部骨骼點(diǎn)提取模型中，得到手部骨骼點(diǎn)數(shù)據(jù)，按照采集的時間順序依次將所述手部骨骼點(diǎn)數(shù)據(jù)以及所述手部骨骼點(diǎn)數(shù)據(jù)的時間戳存入手勢標(biāo)簽數(shù)組中；其中，所述手部骨骼點(diǎn)數(shù)據(jù)的時間戳為采集所述手部圖像的時間點(diǎn)；
5、對所述手勢標(biāo)
6、對所述平滑后的手部骨骼點(diǎn)數(shù)據(jù)進(jìn)行歸一化，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)；
7、將所述歸一化后的手部骨骼點(diǎn)數(shù)據(jù)與所述肌電信號數(shù)組中存儲的肌電信號進(jìn)行時序?qū)R，得到對齊的手部骨骼點(diǎn)數(shù)據(jù)和肌電信號；
8、在所述對齊的手部骨骼點(diǎn)數(shù)據(jù)和肌電信號中，將手部骨骼點(diǎn)數(shù)據(jù)作為手勢標(biāo)簽，關(guān)聯(lián)至?xí)r間戳相同的肌電信號上，得到所述樣本集。
9、在其中一個實(shí)施例中，所述對所述手勢標(biāo)簽數(shù)組中存儲的手部骨骼點(diǎn)數(shù)據(jù)進(jìn)行時序平滑，得到平滑后的手部骨骼點(diǎn)數(shù)據(jù)，包括：
10、獲取設(shè)定的平滑濾波大小和平滑系數(shù)；
11、根據(jù)所述平滑濾波大小，確定平滑中心時間點(diǎn)；
12、根據(jù)所述平滑中心時間點(diǎn)和所述平滑系數(shù)，計算平滑時各時間點(diǎn)對應(yīng)的平滑算子；
13、在所述手勢標(biāo)簽數(shù)組中的首組手部骨骼點(diǎn)數(shù)據(jù)之前，填充k//2組所述首組手部骨骼點(diǎn)數(shù)據(jù)，并在所述手勢標(biāo)簽數(shù)組中的尾組手部骨骼點(diǎn)數(shù)據(jù)之后，填充(k-1)//2組所述尾組手部骨骼點(diǎn)數(shù)據(jù)，獲得填充后的手勢標(biāo)簽數(shù)組；其中，k表示所述平滑濾波大小；
14、循環(huán)執(zhí)行當(dāng)填充后的手勢標(biāo)簽數(shù)組中手部骨骼點(diǎn)數(shù)據(jù)的數(shù)量大于或等于k時，將所述填充后的手勢標(biāo)簽數(shù)組中前k組手部骨骼點(diǎn)數(shù)據(jù)，按照時間點(diǎn)先后關(guān)系，與相應(yīng)的平滑算子進(jìn)行加權(quán)求和，以獲得平滑后的手部骨骼點(diǎn)數(shù)據(jù)。
15、在其中一個實(shí)施例中，所述平滑后的手部骨骼點(diǎn)數(shù)據(jù)包括手部骨骼點(diǎn)三維坐標(biāo)；
16、所述對所述平滑后的手部骨骼點(diǎn)數(shù)據(jù)進(jìn)行歸一化，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)，包括：
17、在所述平滑后的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，根據(jù)所述手部骨骼點(diǎn)三維坐標(biāo)，獲取腕部縱深距離；
18、在所述平滑后的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，根據(jù)所述手部骨骼點(diǎn)三維坐標(biāo)和所述腕部縱深距離，得到縱深歸一化后的手部骨骼點(diǎn)數(shù)據(jù)；
19、在所述縱深歸一化后的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，將所有手部骨骼點(diǎn)三維坐標(biāo)減去手腕骨骼點(diǎn)三維坐標(biāo)，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)；其中，手腕骨骼點(diǎn)為處于手腕處的骨骼點(diǎn)。
20、在其中一個實(shí)施例中，所述在所述縱深歸一化后的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，將所有手部骨骼點(diǎn)三維坐標(biāo)減去手腕骨骼點(diǎn)三維坐標(biāo)，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)，包括：
21、在所述縱深歸一化后的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，將所有手部骨骼點(diǎn)三維坐標(biāo)減去手腕骨骼點(diǎn)三維坐標(biāo)，得到手腕原點(diǎn)歸一化后的手部骨骼點(diǎn)數(shù)據(jù)；
22、在所述手腕原點(diǎn)歸一化后的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，根據(jù)小指指根骨骼點(diǎn)三維坐標(biāo)與食指指根骨骼點(diǎn)三維坐標(biāo)確定的三維向量與水平面之間的角度，旋轉(zhuǎn)所述手部骨骼點(diǎn)數(shù)據(jù)與水平面對齊，得到水平對齊的手部骨骼點(diǎn)數(shù)據(jù)；
23、在所述水平對齊的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，根據(jù)中指指根骨骼點(diǎn)三維坐標(biāo)與手腕骨骼點(diǎn)三維坐標(biāo)確定的三維向量與水平面之間的角度，旋轉(zhuǎn)所述手部骨骼點(diǎn)數(shù)據(jù)與水平面垂直，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)。
24、在其中一個實(shí)施例中，所述在所述水平對齊的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，根據(jù)中指指根骨骼點(diǎn)三維坐標(biāo)與手腕骨骼點(diǎn)三維坐標(biāo)確定的三維向量與水平面之間的角度，旋轉(zhuǎn)所述手部骨骼點(diǎn)數(shù)據(jù)與水平面垂直，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)，包括：
25、在所述水平對齊的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，根據(jù)中指指根骨骼點(diǎn)三維坐標(biāo)與手腕骨骼點(diǎn)三維坐標(biāo)確定的三維向量與水平面之間的角度，旋轉(zhuǎn)所述手部骨骼點(diǎn)數(shù)據(jù)與水平面垂直，得到豎直對齊的手部骨骼點(diǎn)數(shù)據(jù)；
26、在所述豎直對齊的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，根據(jù)小指指根骨骼點(diǎn)三維坐標(biāo)與食指指根骨骼點(diǎn)三維坐標(biāo)確定的三維向量、食指指根骨骼點(diǎn)三維坐標(biāo)與手腕骨骼點(diǎn)三維坐標(biāo)確定的三維向量和手腕骨骼點(diǎn)三維坐標(biāo)與小指指根骨骼點(diǎn)三維坐標(biāo)確定的三維向量，確定三角形面積，并根據(jù)所述三角形面積和預(yù)設(shè)的手掌標(biāo)準(zhǔn)大小，對所述手部骨骼點(diǎn)數(shù)據(jù)進(jìn)行縮放，得到大小對齊的手部骨骼點(diǎn)數(shù)據(jù)；
27、在所述大小對齊的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，將所有手部骨骼點(diǎn)三維坐標(biāo)中的x坐標(biāo)和y坐標(biāo)以預(yù)設(shè)倍數(shù)進(jìn)行放大，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)；其中，所述x坐標(biāo)表示圖像橫向距離，所述y坐標(biāo)表示圖像縱向距離。
28、在其中一個實(shí)施例中，所述將所述歸一化后的手部骨骼點(diǎn)數(shù)據(jù)與所述肌電信號數(shù)組中存儲的肌電信號進(jìn)行時序?qū)R，得到對齊的手部骨骼點(diǎn)數(shù)據(jù)和肌電信號，包括：
29、在歸一化后的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，在所述肌電信號數(shù)組中，搜索離所述手部骨骼點(diǎn)數(shù)據(jù)的時間戳最近的肌電信號的時間戳，并采用所述肌電信號的時間戳替換所述手部骨骼點(diǎn)數(shù)據(jù)的時間戳，得到替換后的手部骨骼點(diǎn)數(shù)據(jù)；
30、在替換后的手部骨骼點(diǎn)數(shù)據(jù)中，根據(jù)相鄰的手部骨骼點(diǎn)數(shù)據(jù)以及所述相鄰的手部骨骼點(diǎn)數(shù)據(jù)的時間戳，采用插值法填充所述相鄰的手部骨骼點(diǎn)數(shù)據(jù)之間缺失的手部骨骼點(diǎn)數(shù)據(jù)，以獲得對齊的手部骨骼點(diǎn)數(shù)據(jù)和肌電信號。
31、第二方面，本申請?zhí)峁┝艘环N手勢識別方法。所述方法包括：
32、獲取肌電信號；
33、將所述肌電信號輸入至訓(xùn)練好的手勢識別模型中，確定手勢識別結(jié)果；其中，所本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種樣本集構(gòu)建方法，其特征在于，所述樣本集包括帶有手勢標(biāo)簽的肌電信號；所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述手勢標(biāo)簽數(shù)組中存儲的手部骨骼點(diǎn)數(shù)據(jù)進(jìn)行時序平滑，得到平滑后的手部骨骼點(diǎn)數(shù)據(jù)，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述平滑后的手部骨骼點(diǎn)數(shù)據(jù)包括手部骨骼點(diǎn)三維坐標(biāo)；
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述在所述縱深歸一化后的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，將所有手部骨骼點(diǎn)三維坐標(biāo)減去手腕骨骼點(diǎn)三維坐標(biāo)，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述在所述水平對齊的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，根據(jù)中指指根骨骼點(diǎn)三維坐標(biāo)與手腕骨骼點(diǎn)三維坐標(biāo)確定的三維向量與水平面之間的角度，旋轉(zhuǎn)所述手部骨骼點(diǎn)數(shù)據(jù)與水平面垂直，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述歸一化后的手部骨骼點(diǎn)數(shù)據(jù)與所述肌電信號數(shù)組中存儲的肌電信號進(jìn)行時序?qū)R，得到對齊的手部骨骼點(diǎn)數(shù)據(jù)和肌電信號，包
7.一種手勢識別方法，其特征在于，所述方法包括：
8.一種樣本集構(gòu)建裝置，其特征在于，所述樣本集包括帶有手勢標(biāo)簽的肌電信號；所述裝置包括：
9.一種計算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器存儲有計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)權(quán)利要求1至7中任一項所述的方法的步驟。
10.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，所述計算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1至7中任一項所述的方法的步驟。
...【技術(shù)特征摘要】
1.一種樣本集構(gòu)建方法，其特征在于，所述樣本集包括帶有手勢標(biāo)簽的肌電信號；所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述手勢標(biāo)簽數(shù)組中存儲的手部骨骼點(diǎn)數(shù)據(jù)進(jìn)行時序平滑，得到平滑后的手部骨骼點(diǎn)數(shù)據(jù)，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述平滑后的手部骨骼點(diǎn)數(shù)據(jù)包括手部骨骼點(diǎn)三維坐標(biāo)；
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述在所述縱深歸一化后的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，將所有手部骨骼點(diǎn)三維坐標(biāo)減去手腕骨骼點(diǎn)三維坐標(biāo)，得到歸一化后的手部骨骼點(diǎn)數(shù)據(jù)，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述在所述水平對齊的手部骨骼點(diǎn)數(shù)據(jù)中，針對每組手部骨骼點(diǎn)數(shù)據(jù)，根據(jù)中指指根骨骼點(diǎn)三維坐標(biāo)與手腕骨骼點(diǎn)三維坐標(biāo)確定的三維向量與水平面之間的...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：秦旭，王智林，路璐，張玉冰，陳燕紅，
申請(專利權(quán))人：北京雪夢未來科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。