基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法、設(shè)備及介質(zhì)技術(shù)

本發(fā)明專利技術(shù)涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體為一種基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法、系統(tǒng)、設(shè)備及介質(zhì)。包括：獲取模板動(dòng)作視頻數(shù)據(jù)和測(cè)試動(dòng)作視頻數(shù)據(jù)，分別對(duì)模板動(dòng)作視頻數(shù)據(jù)和測(cè)試動(dòng)作視頻數(shù)據(jù)進(jìn)行特征提取，生成模板動(dòng)作特征和測(cè)試動(dòng)作特征，將模板動(dòng)作特征和測(cè)試動(dòng)作特征進(jìn)行特征匹配，得到最小特征距離閾值、最大特征距離閾值以及特征權(quán)重，獲取實(shí)際動(dòng)作視頻流，并對(duì)實(shí)際動(dòng)作視頻流中的人體骨骼關(guān)鍵點(diǎn)信息進(jìn)行特征提取，生成實(shí)際動(dòng)作特征，將模板動(dòng)作特征和實(shí)際動(dòng)作特征進(jìn)行特征匹配，得到特征相似度，將特征相似度通過(guò)計(jì)算轉(zhuǎn)換成值，得到用戶動(dòng)作評(píng)分值。有效解決存在動(dòng)作識(shí)別精確度低，評(píng)分不準(zhǔn)確問(wèn)題，在提高識(shí)別精確度的同時(shí)，評(píng)分準(zhǔn)確。評(píng)分準(zhǔn)確。評(píng)分準(zhǔn)確。

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法、設(shè)備及介質(zhì)


[0001]本專利技術(shù)涉及計(jì)算機(jī)視覺
，具體為一種基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法、系統(tǒng)、設(shè)備及介質(zhì)。

技術(shù)介紹

[0002]動(dòng)作評(píng)分通過(guò)分析人體姿態(tài)、動(dòng)作角度、動(dòng)作幅度等，依據(jù)模板動(dòng)作評(píng)估人體實(shí)際動(dòng)作的完成情況，從而對(duì)人體動(dòng)作進(jìn)行評(píng)分。隨著全民健身國(guó)家戰(zhàn)略的深入推進(jìn)，公共體育服務(wù)體系建設(shè)速度加快，全民健身意識(shí)極大增強(qiáng)。各個(gè)學(xué)校對(duì)學(xué)生的體能訓(xùn)練越來(lái)越重視，各項(xiàng)體育運(yùn)動(dòng)被納入中考體能體育考試項(xiàng)目，包括立定跳遠(yuǎn)、坐位體前屈和仰臥起坐等。日常鍛煉中，運(yùn)動(dòng)愛好者也希望通過(guò)一些簡(jiǎn)單快捷的方法來(lái)規(guī)范自己的動(dòng)作，以更快地提高自身的運(yùn)動(dòng)技術(shù)水平。
[0003]目前動(dòng)作評(píng)分方法主要包括以下方向：a)基于傳感器的可穿戴設(shè)備，通過(guò)可穿戴的傳感器設(shè)備獲取動(dòng)作信息，對(duì)提取到動(dòng)作信息提取動(dòng)作特征，與事先提取好的模板動(dòng)作特征匹配，用得到相似度來(lái)計(jì)算動(dòng)作分?jǐn)?shù)；b)基于姿態(tài)識(shí)別技術(shù)，通過(guò)深度學(xué)習(xí)的方法提取動(dòng)作特征，與模板特征進(jìn)行匹配，得到用戶實(shí)際動(dòng)作與模板動(dòng)作的相似度來(lái)計(jì)算動(dòng)作分?jǐn)?shù)；其中，基于姿態(tài)識(shí)別技術(shù)的動(dòng)作評(píng)分方法，憑借以下優(yōu)勢(shì)受到了研究者們的青睞：首先，姿態(tài)識(shí)別采用深度學(xué)習(xí)方法，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，提取到了更高維的抽象特征，能夠更加準(zhǔn)確的表征動(dòng)作信息。其次，姿態(tài)識(shí)別依賴于人體關(guān)節(jié)點(diǎn)位置信息，對(duì)人體變化更有魯棒性。
[0004]基于傳感器可穿戴設(shè)備，具有以下問(wèn)題：a)需要穿戴測(cè)量傳感器，不夠方便快捷、干擾被測(cè)試者做動(dòng)作；b）不同方式選取的用于比較的數(shù)據(jù)，對(duì)評(píng)價(jià)結(jié)果影響較大；c）傳感器獲取的動(dòng)作數(shù)據(jù)，未必能準(zhǔn)確描述被測(cè)試者的動(dòng)作信息。
[0005]基于姿態(tài)識(shí)別技術(shù)的動(dòng)作評(píng)分方法，雖然取得了不錯(cuò)的效果，但是利用姿態(tài)識(shí)別模型識(shí)別出的人體關(guān)節(jié)點(diǎn)位置信息進(jìn)行單純的相似度計(jì)算，來(lái)對(duì)動(dòng)作進(jìn)行評(píng)分，雖有一定的評(píng)分效果，但實(shí)際應(yīng)用時(shí)會(huì)有很多問(wèn)題。首先，關(guān)節(jié)點(diǎn)數(shù)量不足，無(wú)法準(zhǔn)確表征人體的動(dòng)作信息，極大的影響評(píng)分效果。其次，單純的使用關(guān)節(jié)點(diǎn)位置信息，特征信息不夠充分，同樣會(huì)影響評(píng)分效果。另外，模板動(dòng)作視頻與實(shí)際動(dòng)作視頻起止時(shí)間無(wú)法一一對(duì)應(yīng)，也會(huì)導(dǎo)致評(píng)分不準(zhǔn)確。最后，逐幀匹配模板動(dòng)作與用戶實(shí)際動(dòng)作，沒有解決實(shí)際應(yīng)用場(chǎng)景中兩者速度不匹配的問(wèn)題，因此難以在實(shí)際應(yīng)用場(chǎng)景中推廣。
[0006]綜上所述，目前的動(dòng)作評(píng)分方法存在動(dòng)作識(shí)別精確度低，評(píng)分不準(zhǔn)確問(wèn)題。因此有必要對(duì)基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法進(jìn)行進(jìn)一步的改進(jìn)，以解決上述問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

[0007]本申請(qǐng)的目的：在于解決和克服現(xiàn)有技術(shù)和應(yīng)用的不足，提供一種基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法、系統(tǒng)、設(shè)備及介質(zhì)，有效解決存在動(dòng)作識(shí)別精確度低，評(píng)分不準(zhǔn)確問(wèn)題，在提高識(shí)別精確度的同時(shí)，評(píng)分準(zhǔn)確，適合推廣使用。
[0008]本申請(qǐng)的目的是通過(guò)如下技術(shù)方案來(lái)完成的，一種基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)
分方法，包括以下步驟：S1:獲取模板動(dòng)作視頻數(shù)據(jù)和測(cè)試動(dòng)作視頻數(shù)據(jù)；S2:分別對(duì)步驟S1中模板動(dòng)作視頻數(shù)據(jù)和測(cè)試動(dòng)作視頻數(shù)據(jù)中的人體進(jìn)行骨骼關(guān)鍵點(diǎn)提?。籗3:分別對(duì)步驟S2中模板動(dòng)作視頻數(shù)據(jù)和測(cè)試視頻數(shù)據(jù)中的人體骨骼關(guān)鍵點(diǎn)信息進(jìn)行特征提取，生成模板動(dòng)作特征和測(cè)試動(dòng)作特征；S4:將步驟S3中生成的模板動(dòng)作特征和測(cè)試動(dòng)作特征進(jìn)行特征匹配，得到最小特征距離閾值、最大特征距離閾值以及特征權(quán)重；其中，得到的兩個(gè)特征距離的閾值以及特征權(quán)重，分別作為打分過(guò)程的通用閾值和特征權(quán)重；S5:獲取實(shí)際動(dòng)作視頻流，并對(duì)實(shí)際動(dòng)作視頻流中的人體進(jìn)行骨骼關(guān)鍵點(diǎn)提取；S6:對(duì)步驟S5中實(shí)際動(dòng)作視頻流中的人體骨骼關(guān)鍵點(diǎn)信息進(jìn)行特征提取，生成實(shí)際動(dòng)作特征；并將得到的實(shí)際動(dòng)作特征和步驟S3中的模板特征進(jìn)行特征匹配，得到模板特征和實(shí)際動(dòng)作特征之間的特征距離；其中，進(jìn)行特征匹配之前，利用視頻時(shí)間戳，對(duì)齊模板動(dòng)作視頻與實(shí)際動(dòng)作視頻，并設(shè)置時(shí)間浮動(dòng)時(shí)間，特征匹配過(guò)程中利用步驟S4中的特征權(quán)重，對(duì)特征進(jìn)行加權(quán)；S7:將步驟S6中的特征距離通過(guò)特征相似度公式得到特征相似度，特征相似度通過(guò)分?jǐn)?shù)計(jì)算公式轉(zhuǎn)換成值，得到用戶動(dòng)作評(píng)分值。
[0009]優(yōu)選地，所述步驟S2具體包括：S21：采集不同場(chǎng)景下不同狀態(tài)人物的視頻數(shù)據(jù)；S22：對(duì)采集到視頻數(shù)據(jù)進(jìn)行骨骼關(guān)鍵點(diǎn)標(biāo)注；S23：對(duì)標(biāo)注完成的數(shù)據(jù)做預(yù)處理，包括圖像灰度化和圖像去噪等；S24：將預(yù)處理好的數(shù)據(jù)輸入到姿態(tài)提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練；S25：計(jì)算誤差，更新權(quán)重，優(yōu)化模型，直至誤差滿足要求終止訓(xùn)練；S25：得到姿態(tài)提取模型，并保存。
[0010]優(yōu)選地，所述步驟S3中具體為：通過(guò)人體運(yùn)動(dòng)過(guò)程中骨骼之間的相互關(guān)系以及骨骼關(guān)鍵點(diǎn)位置的變化情況，設(shè)計(jì)動(dòng)作特征列表；骨骼關(guān)鍵點(diǎn)位置信息采用不同骨骼關(guān)鍵點(diǎn)之間的歐式距離信息；特征提取器根據(jù)設(shè)計(jì)好的動(dòng)作特征列表構(gòu)建動(dòng)作特征庫(kù)，分別提取模板動(dòng)作特征和測(cè)試動(dòng)作特征，其中，模板動(dòng)作特征存儲(chǔ)模板視頻所有幀的動(dòng)作特征，作為打分過(guò)程的通用模板。
[0011]優(yōu)選地，所述步驟S3中兩個(gè)不同骨骼關(guān)鍵點(diǎn)之間的歐式距離公式為：其中，X，Y的含義為：n維空間的兩個(gè)點(diǎn)；n的含義為：空間維度；的含義為：點(diǎn)X的第i個(gè)坐標(biāo)；的含義為：點(diǎn)Y的第i個(gè)坐標(biāo)。
[0012]優(yōu)選地，所述步驟S4具體包括：S41：實(shí)時(shí)輸入測(cè)試動(dòng)作的骨骼關(guān)鍵點(diǎn)信息；S42：基于步驟S41的骨骼關(guān)鍵點(diǎn)信息，實(shí)時(shí)提取測(cè)試動(dòng)作特征；
S43：將步驟S42提取的測(cè)試動(dòng)作特征與提前提取完成的模板動(dòng)作特征進(jìn)行特征匹配，計(jì)算兩者之間的特征距離；S44：分析步驟S43特征匹配過(guò)程中，模板動(dòng)作特征和測(cè)試動(dòng)作特征之間距離的變化情況，調(diào)節(jié)最小特征距離閾值和最大特征距離閾值以及特征權(quán)重；S45：輸出最小特征距離閾值和最大特征距離閾值，以及特征權(quán)重。
[0013]優(yōu)選地，所訴步驟S6具體包括：S61：實(shí)時(shí)輸入用戶實(shí)際動(dòng)作的骨骼關(guān)鍵點(diǎn)信息；S62：基于步驟S61的骨骼關(guān)鍵點(diǎn)信息，實(shí)時(shí)提取用戶實(shí)際動(dòng)作特征；S63：利用視頻時(shí)間戳，對(duì)齊模板動(dòng)作視頻與用戶實(shí)際動(dòng)作視頻，并設(shè)置時(shí)間浮動(dòng)時(shí)間；S64：將步驟S62提取的用戶實(shí)際動(dòng)作特征與提前提取完成的模板動(dòng)作特征進(jìn)行特征匹配，得到模板動(dòng)作特征和用戶實(shí)際動(dòng)作特征之間的特征距離。特征匹配過(guò)程中利用提前調(diào)節(jié)好的特征權(quán)重，對(duì)特征進(jìn)行加權(quán)。
[0014]優(yōu)選地，所述步驟S7中特征相似度公式如下所示：其中，emb_dist表示特征距離，difference表示用戶實(shí)際動(dòng)作與模板動(dòng)作的差異，max_thres為最大特征距離閾值，min_thres為最小特征距離閾值，通過(guò)difference與max_thres和min_thres差的比值，得到0到1之間的浮點(diǎn)數(shù)similarity。
[0015]優(yōu)選地，所述步驟S7具體步驟為：S71：輸入模板動(dòng)作特征和實(shí)際動(dòng)作特征之間的特征距離；S72：判斷特征距離是否小于最小特征距離閾值，若是，則直接輸出滿分，若否，則進(jìn)入下一步驟；S73：判斷特征距離是否大于最大特征距離閾值，若是，則直接輸出最低分，若否，則進(jìn)入下一步驟；S74：當(dāng)特征距離大于或等于最小特征距離閾值且小于或等于最大特征距離閾值時(shí)，利用最小本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法，其特征在于，包括以下步驟：S1:獲取模板動(dòng)作視頻數(shù)據(jù)和測(cè)試動(dòng)作視頻數(shù)據(jù)；S2:分別對(duì)步驟S1中模板動(dòng)作視頻數(shù)據(jù)和測(cè)試動(dòng)作視頻數(shù)據(jù)中的人體進(jìn)行骨骼關(guān)鍵點(diǎn)提??；S3:分別對(duì)步驟S2中模板動(dòng)作視頻數(shù)據(jù)和測(cè)試視頻數(shù)據(jù)中的人體骨骼關(guān)鍵點(diǎn)信息進(jìn)行特征提取，生成模板動(dòng)作特征和測(cè)試動(dòng)作特征；S4:將步驟S3中生成的模板動(dòng)作特征和測(cè)試動(dòng)作特征進(jìn)行特征匹配，得到最小特征距離閾值、最大特征距離閾值以及特征權(quán)重；其中，得到的兩個(gè)特征距離的閾值以及特征權(quán)重，分別作為打分過(guò)程的通用閾值和特征權(quán)重；S5:獲取實(shí)際動(dòng)作視頻流，并對(duì)實(shí)際動(dòng)作視頻流中的人體進(jìn)行骨骼關(guān)鍵點(diǎn)提??；S6:對(duì)步驟S5中實(shí)際動(dòng)作視頻流中的人體骨骼關(guān)鍵點(diǎn)信息進(jìn)行特征提取，生成實(shí)際動(dòng)作特征；并將得到的實(shí)際動(dòng)作特征和步驟S3中的模板特征進(jìn)行特征匹配，得到模板特征和實(shí)際動(dòng)作特征之間的特征距離；其中，進(jìn)行特征匹配之前，利用視頻時(shí)間戳，對(duì)齊模板動(dòng)作視頻與實(shí)際動(dòng)作視頻，并設(shè)置時(shí)間浮動(dòng)時(shí)間，特征匹配過(guò)程中利用步驟S4中的特征權(quán)重，對(duì)特征進(jìn)行加權(quán)；S7:將步驟S6中的特征距離通過(guò)特征相似度公式得到特征相似度，特征相似度通過(guò)分?jǐn)?shù)計(jì)算公式轉(zhuǎn)換成值，得到用戶動(dòng)作評(píng)分值。2.根據(jù)權(quán)利要求1所訴的一種基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法，其特征在于：所訴步驟S2具體包括：S21：采集不同場(chǎng)景下不同狀態(tài)人物的視頻數(shù)據(jù)；S22：對(duì)采集到視頻數(shù)據(jù)進(jìn)行骨骼關(guān)鍵點(diǎn)標(biāo)注；S23：對(duì)標(biāo)注完成的數(shù)據(jù)做預(yù)處理，包括圖像灰度化和圖像去噪等；S24：將預(yù)處理好的數(shù)據(jù)輸入到姿態(tài)提取網(wǎng)絡(luò)進(jìn)行訓(xùn)練；S25：計(jì)算誤差，更新權(quán)重，優(yōu)化模型，直至誤差滿足要求終止訓(xùn)練；S25：得到姿態(tài)提取模型，并保存。3.根據(jù)權(quán)利要求1所述的一種基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法，其特征在于：所述步驟S3中具體為：通過(guò)人體運(yùn)動(dòng)過(guò)程中骨骼之間的相互關(guān)系以及骨骼關(guān)鍵點(diǎn)位置的變化情況，設(shè)計(jì)動(dòng)作特征列表；骨骼關(guān)鍵點(diǎn)位置信息采用不同骨骼關(guān)鍵點(diǎn)之間的歐式距離信息；特征提取器根據(jù)設(shè)計(jì)好的動(dòng)作特征列表構(gòu)建動(dòng)作特征庫(kù)，分別提取模板動(dòng)作特征和測(cè)試動(dòng)作特征，其中，模板動(dòng)作特征存儲(chǔ)模板視頻所有幀的動(dòng)作特征，作為打分過(guò)程的通用模板。4.根據(jù)權(quán)利要求1所述的一種基于人體骨骼關(guān)鍵點(diǎn)的動(dòng)作評(píng)分方法，其特征在于：所述步驟S4具體包括：S41：實(shí)時(shí)輸入測(cè)試動(dòng)作的骨骼關(guān)鍵點(diǎn)信息；S42：基于步驟S41的骨骼關(guān)鍵點(diǎn)信息，實(shí)時(shí)提取測(cè)試動(dòng)作特征；S43：將步驟S42提取的測(cè)試動(dòng)作特征與提前提取完成的...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曹碧蓮，陳豪，洪剛，
申請(qǐng)(專利權(quán))人：浙江壹體科技有限公司，
類型：發(fā)明
國(guó)別省市：