【技術實現步驟摘要】
本申請涉及人體動作識別，特別是涉及一種基于點云數據的三維人體行為識別方法。
技術介紹
1、基于視頻數據的人體行為識別通常依賴于顏色、紋理和外觀等視覺信息，這使得它容易受到光照變化、遮擋、背景復雜性以及視角變化等因素的影響。此外，視頻數據的行為識別可能需要處理較高的數據維度，并且可能難以捕捉到細微的動作變化。而基于骨骼數據的行為識別，雖然在一定程度上減少了對復雜背景的依賴，提高了對動作的識別精度，但它也有自身的局限性。例如，骨骼數據可能難以處理人體部位的遮擋問題，且對于復雜動作的細微差別可能不夠敏感。此外，骨骼數據的獲取可能需要特定的硬件支持，如深度相機或紅外傳感器，這可能限制了其在某些場景下的應用。
2、點云（point?clouds）包含豐富的空間信息，為人體動作識別提供了重要的補充線索。然而，現有的基于點云序列的人體動作識別方法主要依賴于復雜的局部時空編碼，這不僅增加了計算量，還導致了空間信息的丟失。此外，局部區域特征的提取僅僅通過最大池化實現，沒有充分利用區域間的關系，存在動作識別的準確性低的問題。
技術實現思路
1、基于此，有必要針對上述技術問題，提供一種基于點云數據的三維人體行為識別方法。
2、第一方面，本申請提供了一種基于點云數據的三維人體行為識別方法，所述方法包括：
3、獲取目標對象在時間周期t的多幀原始點云序列，利用點關系引導網絡模型的卷積層對多幀原始點云序列進行動態卷積操作，得到多幀點云序列；其中，每幀點云序列包括n個空間坐標點
4、針對每幀點云序列，利用點關系引導網絡模型的空間特征操作層為每幀點云序列構建局部關聯，得到空間特征描述符，并利用點關系引導網絡模型的空間特征操作層將空間特征描述符劃分成組，且每一組均通過激活函數確定該組特征描述符的重要性，以指導空間特征的聚合操作；
5、針對每幀點云序列，利用點關系引導網絡模型的空間特征操作層將每幀點云序列分解為n個局部區域，將n個局部區域沿通道維度劃分為組，以匹配組特征描述符；
6、針對每幀點云序列，利用點關系引導網絡模型的空間特征操作層根據每個局部區域所對應的特征描述符，確定每個局部區域的聚合權重，基于每個局部區域的聚合權重完成空間特征聚合操作，得到每幀點云序列的幀聚合點云序列；
7、利用點關系引導網絡模型的特征連接層對多幀點云序列和多幀聚合點云序列進行拼接，得到多幀空間特征，利用點關系引導網絡模型的幀間運動編碼層對多幀空間特征進行幀間融合，確定目標對象在時間周期t的行為。
8、在其中一個實施例中，空間特征操作層包括空間特征描述符模塊；針對每幀點云序列，利用點關系引導網絡模型的空間特征操作層為每幀點云序列構建局部關聯，得到空間特征描述符，包括：
9、針對每幀點云序列，利用空間特征描述符模塊基于最近鄰算法為每幀點云序列構建局部關聯，確定人體局部特征；
10、針對每幀點云序列，利用空間特征描述符模塊在的集合內對人體局部特征進行最大池化操作，得到池化結果，并基于池化結果確定空間特征描述符。
11、在其中一個實施例中，針對每幀點云序列，利用空間特征描述符模塊基于最近鄰算法為每幀點云序列構建局部關聯，確定人體局部特征，包括：
12、針對每一幀點云序列，利用空間特征描述符模塊確定中心點特征與其最近的k個近鄰點特征的差值，以獲得邊緣特征，并將邊緣特征與中心點特征進行拼接，確定人體局部特征；其中，表示邊緣特征，代表中心點特征,,,為第幀點云序列，為每幀點云序列中n個點中的任一個點；和/或，
13、針對每幀點云序列，利用空間特征描述符模塊在的集合內對人體局部特征進行最大池化操作，得到池化結果，并基于池化結果確定空間特征描述符，包括：
14、針對每一幀點云序列，利用空間特征描述符模塊在的集合內對人體局部特征進行最大池化操作，得到池化結果，空間特征描述符,是指第t幀點云序列中每個通道更新后的特征向量,表示特征通道的長度。
15、在其中一個實施例中，空間特征操作層包括空間特征描述符模塊；利用空間特征描述符模塊將空間特征描述符劃分成組，其中，通過下列方式確定組特征描述符之間的重要性：
16、；
17、其中,代表每組包含的特征描述符數量,表示sigmoid激活函數，為第組特征描述符的重要因子。
18、在其中一個實施例中，空間特征操作層包括空間特征聚合模塊；針對每幀點云序列，利用點關系引導網絡模型的空間特征操作層將每幀點云序列分解為n個局部區域，將n個局部區域沿通道維度劃分為組，以匹配組特征描述符，包括：
19、針對每幀點云序列，利用空間特征聚合模塊選擇n個點作為中心點，獲得n個局部區域，并基于一重塑函數將n個局部區域沿通道維度劃分為組，以匹配組特征描述符；
20、其中，重塑函數為，，將局部區域沿通道維度劃分為組。
21、在其中一個實施例中，空間特征操作層包括空間特征聚合模塊；針對每幀點云序列，利用點關系引導網絡模型的空間特征操作層根據每個局部區域所對應的特征描述符，確定每個局部區域的聚合權重，包括：
22、針對每幀點云序列，利用空間特征聚合模塊將每組特征描述符與其對應的局部區域相乘，確定每個局部區域的聚合權重；
23、其中，，將每個描述符與其對應的局部區域相乘，以獲得不同局部區域的聚合權重。
24、在其中一個實施例中，基于每個局部區域的聚合權重完成空間特征聚合操作，得到每幀點云序列的幀聚合點云序列，包括：
25、利用空間特征聚合模塊基于每個局部區域的聚合權重進行初級聚合操作，得到每幀點云序列所對應的初級聚合結果；
26、利用空間特征聚合模塊，基于初級聚合結果采用區域洗牌方法執行次級聚合操作以增強人體的空間多樣性，并采用逆重塑函數對次級聚合操作結果進行轉換，得到每幀點云序列的幀聚合點云序列。
27、在其中一個實施例中，初級聚合操作采用如下方式：
28、；
29、為任一幀點云序列的初級聚合結果，的輸出維度為，其中和分別表示區域、鄰居和組的數量，表示每個組的通道數；和/或，
30、利用空間特征聚合模塊，基于初級聚合結果采用區域洗牌方法執行次級聚合操作以增強人體的空間多樣性，包括：利用空間特征聚合模塊將初級聚合結果轉置為，并進行平展得到平展結果，基于平展結果執行次級聚合操作。
31、在其中一個實施例中，利用點關系引導網絡模型的幀間運動編碼層對多幀空間特征進行幀間融合，包括：
32、利用幀間運動編碼層，針對每一幀空間特征進行池化，得到每一幀空間特征對應的特征向量；
33、利用幀間運動編碼層，將多幀空間特征對應的多個特征向量分成預設數量的時間分區，并對每個時間分區內的特征向量執行最大池化操作，得到預設數量的時空特征向量；
34、利用幀間運動編碼本文檔來自技高網...
【技術保護點】
1.一種基于點云數據的三維人體行為識別方法，其特征在于，
2.根據權利要求1所述的三維人體行為識別方法，其特征在于，所述空間特征操作層包括空間特征描述符模塊；針對每幀點云序列，利用所述點關系引導網絡模型的空間特征操作層為每幀點云序列構建局部關聯，得到空間特征描述符，包括：
3.根據權利要求2所述的三維人體行為識別方法，其特征在于，
4.根據權利要求1所述的三維人體行為識別方法，其特征在于，所述空間特征操作層包括空間特征描述符模塊；利用所述空間特征描述符模塊將所述空間特征描述符劃分成組，其中，通過下列方式確定組特征描述符之間的重要性：
5.根據權利要求1所述的三維人體行為識別方法，其特征在于，所述空間特征操作層包括空間特征聚合模塊；針對每幀點云序列，利用所述點關系引導網絡模型的空間特征操作層將每幀點云序列分解為N個局部區域，將N個局部區域沿通道維度劃分為組，以匹配組特征描述符，包括：
6.根據權利要求1所述的三維人體行為識別方法，其特征在于，所述空間特征操作層包括空間特征聚合模塊；針對每幀點云序列，利用所述點關系引導網絡模
7.根據權利要求6所述的三維人體行為識別方法，其特征在于，基于每個局部區域的聚合權重完成空間特征聚合操作，得到每幀點云序列的幀聚合點云序列，包括：
8.根據權利要求7所述的三維人體行為識別方法，其特征在于，
9.根據權利要求1至8任一項所述的三維人體行為識別方法，其特征在于，利用所述點關系引導網絡模型的幀間運動編碼層對所述多幀空間特征進行幀間融合，包括：
10.根據權利要求1所述的三維人體行為識別方法，其特征在于，
...【技術特征摘要】
1.一種基于點云數據的三維人體行為識別方法，其特征在于，
2.根據權利要求1所述的三維人體行為識別方法，其特征在于，所述空間特征操作層包括空間特征描述符模塊；針對每幀點云序列，利用所述點關系引導網絡模型的空間特征操作層為每幀點云序列構建局部關聯，得到空間特征描述符，包括：
3.根據權利要求2所述的三維人體行為識別方法，其特征在于，
4.根據權利要求1所述的三維人體行為識別方法，其特征在于，所述空間特征操作層包括空間特征描述符模塊；利用所述空間特征描述符模塊將所述空間特征描述符劃分成組，其中，通過下列方式確定組特征描述符之間的重要性：
5.根據權利要求1所述的三維人體行為識別方法，其特征在于，所述空間特征操作層包括空間特征聚合模塊；針對每幀點云序列，利用所述點關系引導網絡模型的空間特征操作層將每幀點云序列分解為n個局部區...
【專利技術屬性】
技術研發人員：張延武，林恩，鄭超，蔡少華，王超，
申請(專利權)人：易聯云計算杭州有限責任公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。