【技術實現步驟摘要】
本專利技術涉及動作質量評估，尤其涉及一種基于概率不確定性引導的動作質量評估方法及系統。
技術介紹
1、動作質量評估的任務旨在對執行的動作進行評分，例如在體育比賽中、外科技能評估、鋼琴技能等級評估以及日常生活中的技能評分。通常會邀請多個裁判對同一個動作進行評分來確保公正和全面性。自動動作質量評估評分系統的研究由于其客觀性且節省人力而引起了越來越多的興趣。與涉及顯著不同動作類別的動作識別任務不同，動作質量評估任務中使用的視頻通常包含數百幀，其中動作和環境呈現微妙的變化。動作和環境之間的這種固有相似性使得在區分不同分數時面臨更大的挑戰，捕捉導致視頻之間得分差異的微妙變化非常必要。
2、為了從動作視頻中提取可區分的特征，一些方法通過3d卷積直接學習視頻級特征，另外一些方法首先通過2d卷積獲得幀級表示，然后使用1d卷積引入時間信息。還有一些研究引入基于姿勢的特征，它們首先識別視頻中的子動作，然后提取相關特征。生成關于動作的特征后，現有大多數方法使用三種學習策略來評估動作質量：分別為基于分類的、基于回歸的和基于對比學習的。
3、上述所有提到的方法都是確定性模型，即它們僅預測一個動作的最終得分。然而，這樣的確定性模型忽視了動作質量評估任務固有的模糊性。為了得到公正的結果，通常會邀請多個裁判對動作進行評分，因此自動動作質量評估模型具有模擬多個裁判評分的能力變得至關重要。然而，大多數當前方法直接忽視多個裁判評分這個有效信息，或者僅僅通過構建多頭模型來預測每個裁判評分。盡管這些方法取得了不錯的性能，但多頭網絡成本較高，且在處
技術實現思路
1、為解決上述現有技術中的問題，本專利技術提供了一種基于概率不確定性引導的動作質量評估方法及系統，該專利技術引入基于條件變分自動編碼器的不確定性估計模塊，有效地捕捉動作質量評估任務中固有的模糊性，并且可以從潛在空間多次采樣，模擬生成不同裁判評分過程的多樣化預測，增強了對所有的裁判評分的有效利用，有助于更加靈活和準確地預測最終分數。為實現上述目的，所述技術方案如下：
2、一方面，提供了一種基于概率不確定性引導的動作質量評估方法，該方法包括：
3、s1、獲取訓練視頻，將所述訓練視頻分割，得到多個訓練視頻片段；
4、s2、將所述多個訓練視頻片段輸入到視頻級特征提取模塊中進行訓練，得到訓練后的視頻級特征提取模塊；
5、s3、將所述訓練視頻輸入到基于條件變分自動編碼器的不確定性估計模塊中進行訓練，得到訓練后的基于條件變分自動編碼器的不確定性估計模塊；
6、s4、獲取待評價視頻，將所述待評價視頻分割，得到多個待評價視頻片段；
7、s5、將所述多個待評價視頻片段經過所述訓練后的視頻級特征提取模塊處理，得到視頻級特征；
8、s6、將所述待評價視頻經過所述訓練后的基于條件變分自動編碼器的不確定性估計模塊處理，得到不確定性相關的特征；
9、s7、將所述不確定性相關的特征與所述視頻級特征進行合并聯接，得到最終的特征表示；
10、s8、將所述特征表示送到一個多層感知器回歸器，得到預測分數。
11、可選地，所述s2中將所述多個訓練視頻片段輸入到視頻級特征提取模塊中進行訓練，得到訓練后的視頻級特征提取模塊，包括：
12、s21、將所述訓練視頻片段輸入到inflated?3d?convnets主干網絡，得到片段級特征；
13、s22、將所述片段級特征輸入到加權注意力模塊，得到所述片段級特征對視頻級特征的貢獻權重；
14、s23、將所述貢獻權重利用softmax函數沿著片段維度進行歸一化處理，得到歸一化后的貢獻權重；
15、s24、根據所述片段級特征和歸一化后的貢獻權重，通過式（1），得到所述視頻級特征，
16、?（1）
17、式中，是視頻級特征，是第k個片段的片段級特征，是第個片段歸一化后的貢獻權重，⊙表示逐元素相乘。
18、可選地，所述加權注意力模塊包括四個全連接層，所述四個全連接層中的前三個全連接層都有修正線性單元激活函數。
19、可選地，所述s3中將所述訓練視頻輸入到基于條件變分自動編碼器的不確定性估計模塊中進行訓練，得到訓練后的基于條件變分自動編碼器的不確定性估計模塊，包括：
20、s31、將所述訓練視頻通過特征提取器提取3d特征，得到基于條件變分自動編碼器的不確定性估計模塊的輸入數據；
21、s32、將所述輸入數據輸入到先驗網絡中，得到先驗網絡潛在空間的均值、對數方差和潛在變量z1；
22、s33、將所述輸入數據和所述訓練視頻的采樣標簽分數輸入到后驗網絡中，得到后驗網絡潛在空間的均值、對數方差和潛在變量z2；
23、s34、根據所述后驗網絡潛在空間的均值和對數方差以及驗網絡潛在空間的均值和對數方差，使用kullback–leibler散度計算方法，得到所述先驗網絡和所述后驗網絡分布的距離；
24、s35、根據所述先驗網絡潛在空間的潛在變量z1，通過兩個全連接層映射到一個標量，得到先驗網絡估計的不確定性；
25、s36、根據所述后驗網絡潛在空間的潛在變量z2，通過兩個全連接層映射到一個標量，得到后驗網絡估計的不確定性；
26、s37、根據所述先驗網絡估計的不確定性和所述后驗網絡估計的不確定性，根據公式（2），得到所述先驗網絡估計的不確定性和所述后驗網絡估計的不確定性之間的距離；
27、（2）
28、式中，是所述先驗網絡估計的不確定性和所述后驗網絡估計的不確定性之間的距離，是先驗網絡估計的不確定性，是后驗網絡估計的不確定性；
29、s38、根據所述訓練視頻的預測分數和所述采樣標簽分數，得到重加權自動動作質量評估損失；
30、s39、根據所述重加權自動動作質量評估損失、所述先驗網絡估計的不確定性和所述后驗網絡估計的不確定性之間的距離和所述先驗網絡和所述后驗網絡分布的距離，通過公式（3），得到損失函數，
31、（3）
32、式中，是損失函數,?是所述先驗網絡估計的不確定性和所述后驗網絡估計的不確定性之間的距離，是重加權自動動作質量評估損失，是所述先驗網絡和所述后驗網絡分布的距離，是的權重系數，是的權重系數；
33、s310、根據所述損失函數，分配各個所述訓練視頻在訓練學習中的權重，使得所述先驗網絡潛在空間的均值和所述后驗網絡潛在空間的均值一致以及所述先驗網絡潛在空間的對數方差和所述后驗網絡潛在空間的對數方差一致?，得到訓練后的基于條件變分自動編碼器的不確定性估計模塊。
34、可選地，所述特征提取器包括四層3d卷積層，所述3d卷積層的輸入通道分別為3、16、32和64，輸出通道分別為16、32、64和128。
35、可選地，所述先驗網絡是與輸入變量相關的可學習高斯分布，本文檔來自技高網...
【技術保護點】
1.一種基于概率不確定性引導的動作質量評估方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述S2中將所述多個訓練視頻片段輸入到視頻級特征提取模塊中進行訓練，得到訓練后的視頻級特征提取模塊，包括：
3.根據權利要求2所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述加權注意力模塊包括四個全連接層，所述四個全連接層中的前三個全連接層都有修正線性單元激活函數。
4.根據權利要求1所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述S3中將所述訓練視頻輸入到基于條件變分自動編碼器的不確定性估計模塊中進行訓練，得到訓練后的基于條件變分自動編碼器的不確定性估計模塊，包括：
5.根據權利要求4所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述特征提取器包括四層3D卷積層，所述3D卷積層的輸入通道分別為3、16、32和64，輸出通道分別為16、32、64和128。
6.根據權利要求4所述的基于概率不確定性引導的動作質量評估方法，其特征在于，
7.根據權利要求4所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述先驗網絡包括三個全連接層、兩個ReLU激活函數層和兩個dropout層。
8.根據權利要求4所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述S6中將所述待評價視頻經過所述訓練后的基于條件變分自動編碼器的不確定性估計模塊處理，得到不確定性相關的特征，包括：
9.根據權利要求4所述的基于概率不確定性引導的動作質量評估方法，其特征在于，S38中根據所述訓練視頻的預測分數和所述采樣標簽分數，得到重加權自動動作質量評估損失，包括：
10.一種基于概率不確定性引導的動作質量評估系統，用于實現權利要求1-9中任一項所述基于概率不確定性引導的動作質量評估方法，其特征在于，包括：
...【技術特征摘要】
1.一種基于概率不確定性引導的動作質量評估方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述s2中將所述多個訓練視頻片段輸入到視頻級特征提取模塊中進行訓練，得到訓練后的視頻級特征提取模塊，包括：
3.根據權利要求2所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述加權注意力模塊包括四個全連接層，所述四個全連接層中的前三個全連接層都有修正線性單元激活函數。
4.根據權利要求1所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述s3中將所述訓練視頻輸入到基于條件變分自動編碼器的不確定性估計模塊中進行訓練，得到訓練后的基于條件變分自動編碼器的不確定性估計模塊，包括：
5.根據權利要求4所述的基于概率不確定性引導的動作質量評估方法，其特征在于，所述特征提取器包括四層3d卷積層，所述3d卷積層的輸入通道分別為3、16、32和64，輸出通道分別為16、32、64和12...
【專利技術屬性】
技術研發人員：郭劍勇，周才霞，王秀妍，鄒琪，張振東，田媚，黃雅平，
申請(專利權)人：中國鐵路設計集團有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。