【技術實現步驟摘要】
本專利技術是關于一種環境適應和估計分類相結合的姿態識別方法及系統，涉及計算機圖像處理領域。
技術介紹
1、人體姿態識別在計算機視覺領域得到了廣泛的研究，通過對傳感器捕獲的輸入數據(圖像、視頻數據)中的人體部位的位置進行估計，并利用得出的不同部位位置信息綜合判斷當前人體正處于哪種姿態。利用人體的幾何信息和運動信息進行人體姿態識別技術，已廣泛應用于人機交互、運動分析、增強現實(ar)、虛擬現實及醫療保健等領域。
2、近年來，深度學習的各種解決方案快速發展，在圖像分類、語義分割及目標檢測等各個任務都被證明。同樣地，在人體姿態識別任務中深度學習技術也取得了重大進展和顯著表現。然而，基于深度學習的人體姿態識別方法仍然存在人體遮擋、訓練數據不足和模糊等困難需要克服。
3、目前，2d姿態估計對于簡單場景已經存在很多性能優良的實現方法。但是，基于不同的估計結果對不同姿態類別進行分類的研究還較少。特別是復雜場景下，估計算法可能無法提供完整的姿態關鍵點序列，即人體完整的骨架結構，如果對缺失的人體關鍵點補零做整體分類必然對姿態識別造成負面影響。綜上，在發生人體部位遮擋或模糊等復雜場景下，對不完整的姿態估計結果進行姿態分類是姿態識別面臨的難點。
技術實現思路
1、本專利技術旨在至少解決現有技術中存在的技術問題之一。為此，針對上述問題，本專利技術的目的是提供一種環境適應和估計分類相結合的姿態識別方法、系統及介質，能夠在復雜場景下根據圖片或視頻幀得出人體所處姿態。
2、為了
3、第一方面，本專利技術提供的環境適應和估計分類相結合的姿態識別方法，包括：
4、基于應用場景獲得人體姿態估計模型；
5、將待檢測的圖像數據輸入人體姿態估計模型輸出人體姿態關鍵點；
6、將人體姿態關鍵點進行數據增強和歸一化處理；
7、將數據增強和歸一化處理后的人體姿態關鍵點及高階姿態特征輸入姿態分類模型獲得姿態識別結果，其中，高階姿態特征包括骨骼向量、骨骼向量模值的均值、各骨骼的相對長度及人體姿態關鍵點與軀干中點連線和水平方向的夾角。
8、進一步地，基于應用場景獲得人體姿態估計模型，包括：
9、使用開源姿態數據集coco的keypoints部分對人體姿態估計模型進行預訓練，人體姿態估計模型采用openpose網絡模型，openpose網絡模型包括主干網絡和兩個分支構成，兩個分支分別為heatmap分支以及paf分支，用于對圖像進行特征提取、獲得關鍵點的位置信息以及各關鍵點對人體的歸屬關系；
10、將在開源姿態數據集上訓練的人體姿態估計預訓練模型作為起點，使用特定應用場景數據及姿態關鍵點人工標注對人體姿態估計模型重新訓練實現人體姿態估計模型微調。
11、進一步地，將人體姿態關鍵點進行數據增強和歸一化處理，包括：
12、將人體姿態關鍵點通過預設的完整度條件進行有效點篩選，將未滿足完整度條件的樣本采取人工標注，對滿足完整度條件未檢出的關鍵點進行補0處理；
13、將篩選后的每個關鍵點的橫縱坐標進行歸一化處理。
14、進一步地，人體姿態關鍵點包括13個關鍵點，分別為：頭部(head)關鍵點、脖子(neck)關鍵點、左肩(l_shoulder)關鍵點、右肩(r_shoulder)關鍵點、左肘(l_elbow)關鍵點、右肘(r_elbow)關鍵點、左腕(l_wrist)關鍵點、右腕(r_wrist)關鍵點、軀干(spine)關鍵點、左膝(l_knee)關鍵點、右膝(r_knee)關鍵點、左踝(l_ankle)關鍵點及右踝(r_ankle)關鍵點。
15、進一步地，將數據增強及歸一化后的人體姿態關鍵點及高階姿態特征輸入姿態分類模型獲得姿態識別結果，包括：
16、將數據增強及歸一化后的人體姿態關鍵點進行坐標差分，并基于人體骨架圖提取高階姿態特征；
17、將人體姿態坐標點差分及高階姿態特征統一padding補零形成矩陣，并在channel維concat輸入到訓練好的姿態分類模型中獲得姿態識別結果。
18、進一步地，姿態分類模型的輸入特征為：
19、
20、其中，padding代表補充矩陣操作，concat表示拼接，上述公式中的高階姿態特征的計算公式分別為：
21、
22、
23、
24、
25、
26、式中，joint為各姿態關鍵點坐標對軀干中心點坐標差分，wi、u分別為任意姿態關鍵點部分，center為spine關鍵點，x、y分別指代關鍵點的橫、縱坐標；代表骨骼向量；scale為骨骼向量模值的均值；bone代表歸一化后的骨頭特征即骨骼的相對長度；angle代表角度特征即姿態關鍵點與軀干中點連線和水平方向的夾角。
27、進一步地，姿態分類模型采用attention_resunet進行特征提取，在final_conv層后加分類頭，優化器選擇adam，損失函數為多分類交叉熵，且姿態分類模型選擇引入注意力機制resunet。
28、第二方面，本專利技術還提供一種環境適應和估計分類相結合的姿態識別系統，該系統包括：
29、模型獲取單元，被配置為基于應用場景獲得人體姿態估計模型；
30、姿態關鍵點獲取單元，被配置為將待檢測的圖像數據輸入人體姿態估計模型輸出人體姿態關鍵點；
31、數據處理單元，被配置為將人體姿態關鍵點進行數據增強和歸一化處理；
32、姿態分類單元，將數據增強和歸一化處理后的人體姿態關鍵點及高階姿態特征輸入姿態分類模型獲得姿態識別結果。
33、第三方面，本專利技術還提供一種電子設備，包括：一個或多個處理器、存儲器及一個或多個程序，其中一個或多個程序存儲在所述存儲器中并被配置為所述一個或多個處理器執行，所述一個或多個程序包括用于執行所述方法中的任一方法的指令。
34、第四方面，本專利技術還提供一種存儲一個或多個程序的計算機可讀存儲介質，其特征在于，所述一個或多個程序包括指令，所述指令當由計算設備執行時，使得所述計算設備執行所述方法中的任一方法。
35、本專利技術由于采取以上技術方案，其具有以下特點：
36、1、本專利技術對于姿態估計輸出的骨架結構沒有嚴格的完整性要求，使其對于遮擋等復雜場景下的識別適應性更強，也可以通過不同應用場景微調模型增強特定場景下的性能。
37、2、本專利技術將姿態識別拆分為姿態估計和姿態分類兩個過程，方便在有性能更好的估計、分類時做算法更新迭代，結構靈活。
38、3、由于本專利技術是針對姿態估計輸出的姿態特征進行識別分類，可以很好規避光影變化等復雜場景對rgb像素級算法所帶來的不利影響且姿態數據分布緊密沒有大量冗余，對算法計算能力和資源消耗更加友好，魯棒性強。
39、4、本專利技術的關鍵點坐標只本文檔來自技高網...
【技術保護點】
1.一種環境適應和估計分類相結合的姿態識別方法，其特征在于，包括：
2.根據權利要求1所述的一種環境適應和估計分類相結合的姿態識別方法，其特征在于，基于應用場景獲得人體姿態估計模型，包括：
3.根據權利要求1所述的一種環境適應和估計分類相結合的姿態識別方法，其特征在于，將人體姿態關鍵點進行數據增強和歸一化處理，包括：
4.根據權利要求1所述的一種環境適應和估計分類相結合的姿態識別方法，其特征在于，人體姿態關鍵點包括13個關鍵點，分別為：頭部關鍵點、脖子關鍵點、左肩關鍵點、右肩關鍵點、左肘關鍵點、右肘關鍵點、左腕關鍵點、右腕關鍵點、軀干關鍵點、左膝關鍵點、右膝關鍵點、左踝關鍵點及右踝關鍵點。
5.根據權利要求4所述的一種環境適應和估計分類相結合的姿態識別方法，其特征在于，將數據增強及歸一化后的人體姿態關鍵點及高階姿態特征輸入姿態分類模型獲得姿態識別結果，包括：
6.根據權利要求5所述的一種環境適應和估計分類相結合的姿態識別方法，其特征在于，姿態分類模型的輸入特征為：
7.根據權利要求1所述的一種環境適應和估計分
8.一種環境適應和估計分類相結合的姿態識別系統，其特征在于，該系統包括：
9.一種電子設備，其特征在于，包括：一個或多個處理器、存儲器及一個或多個程序，其中一個或多個程序存儲在所述存儲器中并被配置為所述一個或多個處理器執行，所述一個或多個程序包括用于執行如權利要求1至7所述方法中的任一方法的指令。
10.一種存儲一個或多個程序的計算機可讀存儲介質，其特征在于，所述一個或多個程序包括指令，所述指令當由計算設備執行時，使得所述計算設備執行如權利要求1至7所述方法中的任一方法。
...【技術特征摘要】
1.一種環境適應和估計分類相結合的姿態識別方法，其特征在于，包括：
2.根據權利要求1所述的一種環境適應和估計分類相結合的姿態識別方法，其特征在于，基于應用場景獲得人體姿態估計模型，包括：
3.根據權利要求1所述的一種環境適應和估計分類相結合的姿態識別方法，其特征在于，將人體姿態關鍵點進行數據增強和歸一化處理，包括：
4.根據權利要求1所述的一種環境適應和估計分類相結合的姿態識別方法，其特征在于，人體姿態關鍵點包括13個關鍵點，分別為：頭部關鍵點、脖子關鍵點、左肩關鍵點、右肩關鍵點、左肘關鍵點、右肘關鍵點、左腕關鍵點、右腕關鍵點、軀干關鍵點、左膝關鍵點、右膝關鍵點、左踝關鍵點及右踝關鍵點。
5.根據權利要求4所述的一種環境適應和估計分類相結合的姿態識別方法，其特征在于，將數據增強及歸一化后的人體姿態關鍵點及高階姿態特征輸入姿態分類模型獲得姿態識別結果，包括：
6.根據權利要求5所述的一種環境適應和...
【專利技術屬性】
技術研發人員：羅靜，費冬，周銘坤，劉陽，孔祥斌，李懿祖，陳哲，畢研珍，
申請(專利權)人：通號通信信息集團有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。