【技術實現步驟摘要】
本專利技術涉及人體行為識別，尤其涉及一種基于三維浮點關節矩陣的人體行為識別方法及系統。
技術介紹
1、近年來，基于深度學習技術的人類動作識別（har）在計算機視覺領域引起了廣泛關注，相關研究也取得了突飛猛進的進展，目前已廣泛應用于人機交互、視頻監控和智能醫療等領域。
2、人體骨架關節在人體行為識別領域中受到廣泛關注。為了存儲骨架序列數據和輸入，許多研究人員將骨架數據轉換為圖像。然而，受限于圖像的存儲范圍和只能存儲整數的特性，數據需要進行歸一化處理，這會導致更明顯的誤差和空間運動信息的丟失，從而影響人體行為的識別準確率。
技術實現思路
1、本專利技術的目的在于提供一種基于三維浮點關節矩陣的人體行為識別方法及系統，旨在解決傳統人體行為識別技術因存在數據誤差和丟失的情況而導致識別準確率較低的問題。
2、第一方面，本專利技術提供一種基于三維浮點關節矩陣的人體行為識別方法，所述方法包括：
3、獲取仿形人體的骨架序列模型，所述骨架序列模型包含多個關節點以及任意相鄰關節點之間的連接關系，并從所述骨架序列模型內的關節點中選取多個目標關節點，并根據所述任意相鄰關節點之間的連接關系構建與每一目標關節點分別對應的樹狀骨架模型，所述樹狀骨架模型包含多級關節點以及任意相鄰兩級關節點之間的連接關系，一級關節點為目標關節點；
4、以所述目標關節點為起始點，并根據所述任意相鄰兩級關節點之間的連接關系對所述樹狀骨架模型進行深度優先遍歷，得到與每一目標關節點對應的遍歷序
5、獲取關于目標人體的監測視頻，并對所述監測視頻進行逐幀信息提取，得到每一幀圖像下關于每個關節點的物理運動信息，并根據關節點的編號將物理運行信息關聯到所述遍歷序列中的每一個關節點中，按照幀序進行逐幀串聯，得到三維浮點關節矩陣；
6、將所述三維浮點關節矩陣輸入到雙分支長短級聯網絡中進行訓練，得到人體行為識別模型。
7、進一步地，所述從所述骨架序列模型內的關節點中選取多個目標關節點的步驟包括：
8、選取人體左肩、右肩、左髖、右髖、脊柱上端、脊柱下端以及頭部均作為目標關節點；
9、所述物理運動信息包括相對位置、瞬時位移、累計總位移、速度、瞬時加速度、累計加速度、關節夾角、幀間瞬時運動方向。
10、進一步地，根據以下公式獲取相對位置：
11、；
12、其中，表示第j幀圖像的第m個關節點與第一幀圖像的第m個關節點的相對位置，分別表示第j幀圖像的第m個關節點與第一幀圖像的第m個關節點的相對位置的x軸坐標、y軸坐標、z軸坐標，分別表示第j幀圖像的第m個關節點的x軸坐標、y軸坐標、z軸坐標，分別表示第一幀圖像的第m個關節點的x軸坐標、y軸坐標、z軸坐標；
13、根據以下公式計算得到瞬時位移：
14、；
15、其中，表示第j幀圖像的第m個關節點與第j-1幀圖像的第m個關節點之間的瞬時位移，分別表示第j-1幀圖像的第m個關節點的x軸坐標、y軸坐標、z軸坐標；
16、根據以下公式計算得到累計總位移：
17、；
18、其中，表示第j幀圖像中的第m個關節點的累計總位移；
19、根據以下公式計算得到速度：
20、；
21、其中，表示第j幀圖像中的第m個關節點的速度，表示相鄰幀圖像之間的時間間隔；
22、根據以下公式計算得到瞬時加速度：
23、；
24、根據以下公式計算得到累計加速度：
25、；
26、其中，表示第j幀圖像中的第m個關節點的瞬時加速度，表示第j-1幀圖像中的第m個關節點的速度，表示第一幀圖像中的第m個關節點的速度，表示第j幀圖像中的第m個關節點的累計加速度；
27、關節夾角通過相鄰三個關節點所形成的空間向量構成，根據以下公式計算得到關節夾角：
28、；
29、其中，表示以第j幀圖像中第m個關節點為頂點的關節夾角的余弦值，表示第j幀圖像中第m個關節點與第j幀圖像中第k個關節點構成的空間向量，表示第j幀圖像中第m個關節點與第j幀圖像中第n個關節點構成的空間向量；
30、在計算關節夾角時，第m個關節點分別與第j個關節點和第n個關節點存在連接關系；
31、根據以下公式計算得到幀間瞬時運動方向：
32、；
33、其中，表示第j幀圖像中的第m個關節點在xy平面上的瞬時運動方向的投影，表示第j幀圖像中的第m個關節點在xz平面上的瞬時運動方向的投影，表示第j幀圖像中的第m個關節點在xz平面上的瞬時運動方向的投影，第一幀圖像中的所有關節點的物理運動信息均為0。
34、進一步地，所述根據關節點的編號將物理運行信息關聯到所述遍歷序列中的每一個關節點中，按照幀序進行逐幀串聯，得到三維浮點關節矩陣的步驟包括：
35、以物理運動信息的特征數量為列數，以遍歷序列中關節點的總數量為行數，以物理運動信息的特征名稱為列名稱，以遍歷序列中關節點的編號為行名稱；
36、根據列名稱將與第a個目標關節點對應的遍歷序列中排序第c個的關節點在第b幀圖像下的所有物理運動信息分別填充在第b行，得到第b幀圖像下與第a個目標關節點對應的二維單元關節矩陣；
37、定義各個目標關節點的順序，將同一幀下的所有二維單元關節矩陣按照各個目標關節點的順序生成二維關節矩陣；
38、將二維關節矩陣按照幀序進行逐幀串聯，得到三維浮點關節矩陣。
39、進一步地，根據以下公式構建二維單元關節矩陣：
40、；
41、其中，表示第b幀圖像下與第a個目標關節點對應的二維單元關節矩陣，表示遍歷序列中排序第c個關節點的第k個物理運動信息；
42、根據以下公式構建二維關節矩陣：
43、；
44、其中，表示與第b幀圖像對應的二維關節矩陣，、分別表示第b幀圖像下與第1個、第2個、第三個、第4個、第5個、第6個、第7個、第8個目標關節點對應的二維單元關節矩陣。
45、進一步地，所述將所述三維浮點關節矩陣輸入到雙分支長短級聯網絡中進行訓練，得到人體行為識別模型的步驟包括：
46、以第一幀圖像對應的二維關節矩陣為采樣起點，每間隔第一預設幀數將所述三維浮點關節矩陣進行矩陣切片，得到第一目標二維關節矩陣；
47、將所述第一目標二維關節矩陣輸入至第一通道網絡，得到第一運動特征和各個人體行為的概率值，并從所有的概率值中篩選出最大概率值，并判斷所述最大概率值是否大于預設置信度閾值；
48、若所述最大概率值小于或等于預設置信度閾值，則以第二預設幀數重新進行矩陣切片，得到第二目標二維關節矩陣；
49、將所述第二目標二維關節矩陣輸入至第二通道網絡本文檔來自技高網...
【技術保護點】
1.一種基于三維浮點關節矩陣的人體行為識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，所述從所述骨架序列模型內的關節點中選取多個目標關節點的步驟包括：
3.根據權利要求2所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，根據以下公式獲取相對位置：
4.根據權利要求3所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，所述根據關節點的編號將物理運行信息關聯到所述遍歷序列中的每一個關節點中，按照幀序進行逐幀串聯，得到三維浮點關節矩陣的步驟包括：
5.根據權利要求4所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，根據以下公式構建二維單元關節矩陣：
6.根據權利要求4所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，所述將所述三維浮點關節矩陣輸入到雙分支長短級聯網絡中進行訓練，得到人體行為識別模型的步驟包括：
7.根據權利要求6所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，所述判斷所述最大概率值是否大于預設置
8.一種基于三維浮點關節矩陣的人體行為識別系統，其特征在于，所述系統包括：
9.一種存儲介質，其特征在于，所述存儲介質存儲一個或多個程序，該程序被處理器執行時實現如權利要求1-7任一項所述的基于三維浮點關節矩陣的人體行為識別方法。
10.一種電子設備，所述電子設備包括存儲器和處理器，其中：
...【技術特征摘要】
1.一種基于三維浮點關節矩陣的人體行為識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，所述從所述骨架序列模型內的關節點中選取多個目標關節點的步驟包括：
3.根據權利要求2所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，根據以下公式獲取相對位置：
4.根據權利要求3所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，所述根據關節點的編號將物理運行信息關聯到所述遍歷序列中的每一個關節點中，按照幀序進行逐幀串聯，得到三維浮點關節矩陣的步驟包括：
5.根據權利要求4所述的基于三維浮點關節矩陣的人體行為識別方法，其特征在于，根據以下公式構建二維單元...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。