一種基于多視圖對比的人體交互行為識別方法及系統技術方案

本發明專利技術屬于計算機視覺領域，提供了一種基于多視圖對比的人體交互行為識別方法及系統，其通過獲取視頻數據每一幀中人體關節的位置信息；基于每一幀中人體關節的位置信息，構建骨架時空圖；基于骨架時空圖，通過圖卷積神經網絡，自適應刪除邊或節點，構建刪除節點或邊的增強視圖；可以很好的緩解分布不均問題；采用信息瓶頸原則，在每個視圖中為行為識別任務保留滿足最小的足夠信息，增大增強視圖與原始骨架時空圖之間的差異，同時最大化與行為識別任務相關的信息，得到多視圖表示；根據多視圖表示得到人體交互行為識別結果。以從不同的方面更好地學習交互行為的多視圖表示學習。面更好地學習交互行為的多視圖表示學習。面更好地學習交互行為的多視圖表示學習。

【技術實現步驟摘要】
一種基于多視圖對比的人體交互行為識別方法及系統


[0001]本專利技術屬于計算機視覺領域，尤其涉及一種基于多視圖對比的人體交互行為識別方法及系統。

技術介紹

[0002]本部分的陳述僅僅是提供了與本專利技術相關的
技術介紹
信息，不必然構成在先技術。
[0003]隨著高清視頻監控的逐步推廣和普及，監控視頻數據也越來越多。在安防領域，尤其在公共場所，需要對人們的行為實時監控，防止意外的發生。隨著計算機視覺技術的快速發展，個體行為識別的準確率得到了很大的提升，但對于多人之間關系復雜的人體活動問題還沒有得到充分的解決。而在現實生活中，常見的一些行為大都是一些交互行為，如握手，擁抱，打架等。相比于單人動作，交互動作復雜程度更高，在完成交互動作的過程中，肢體動作種類更多，肢體間的變化也更加多元化。因此，如何高效地提取交互行為的特征，并對交互行為進行建模和分析是一個具有挑戰性的問題。
[0004]根據人體運動數據的來源，可將人體行為識別方法分為三類：基于RGB視頻的人體行為識別方法、基于深度圖的人體行為識別方法、基于骨架序列的人體行為識別方法。RGB視頻數據為人體行為識別提供了所需的空間和時間信息，但沒有包含分布在三維空間中的人體動作結構信息(如：人體各個關節或身體部位的位置與角度，以及它們之間的相對關系)，只能提供人物的二維空間狀態，并且容易受背景復雜，光照和視角變化等因素的干擾，導致動作識別精度下降。與RGB視頻數據相比，深度圖可以提供視點與對象之間的距離、人體各個關節或人體的各個組成部分在三維空間中的坐標、人體在三維空間中的輪廓和紋理等信息，能夠將人物從背景中分離，但深度圖這類方法需要計算設備具備較大的內存空間和較強的計算能力。而骨架序列可以通過關節點的相對位置信息定義人體姿態，能更真實地表示人體運動模式的幾何結構。相比于圖像特征，骨架特征更加緊湊，對人體的運動描述也更加的具體，且不易受光照和背景變化的影響。
[0005]綜上所述，專利技術人發現現有技術存在以下技術問題：
[0006](1)交互噪聲。在交互行為中，由于傳感器的誤差或遮擋等問題，往往會存在噪聲的干擾，導致無法明確地模擬受試者相互作用的身體部位之間的關系，而這是交互識別的關鍵信息。而基于圖卷積的模型容易受到輸入圖質量的影響，這意味著聚合誤導性的鄰域信息可能會導致次優性能。
[0007](2)骨架數據具有多樣性和復雜性。不同的人可能有不同的身高、體型、姿態和動作方式，同一種行為可能具有不同的執行速度、幅度和角度。這種分布不一致的數據將使基于圖卷積的模型容易偏向具有某種或某幾種分布的數據，妨礙行為表示的學習。

技術實現思路

[0008]為了解決上述
技術介紹
中存在的至少一項技術問題，本專利技術提供一種基于多視圖
對比的人體交互行為識別方法及系統，其能夠學習是否刪除邊或節點，將原始的骨架圖轉化為相關視圖，然后將不同的視圖集成為下游行為識別任務的緊湊表示，同時與下游行為識別任務以端到端的方式共同優化，進一步提高模型的魯棒性。
[0009]為了實現上述目的，本專利技術采用如下技術方案：
[0010]本專利技術的第一個方面提供一種基于多視圖對比的人體交互行為識別方法，包括如下步驟：
[0011]獲取視頻數據每一幀中人體關節的位置信息；
[0012]基于每一幀中人體關節的位置信息，構建骨架時空圖；
[0013]基于骨架時空圖，通過圖卷積神經網絡，自適應刪除骨架時空圖的邊或節點，構建刪除節點或邊的增強視圖；
[0014]采用信息瓶頸原則，增大增強視圖與原始骨架時空圖之間的差異，同時最大化與行為識別任務相關的信息，在每個視圖中為行為識別任務保留滿足最小的足夠信息，得到多視圖表示；
[0015]基于得到的多視圖表示進行分類得到人體交互行為識別結果。
[0016]本專利技術的第二個方面提供一種基于多視圖對比的人體交互行為識別系統，包括：
[0017]關節信息獲取模塊，其用于獲取視頻數據每一幀中人體關節的位置信息；
[0018]骨架時空圖構建模塊，其用于基于每一幀中人體關節的位置信息，構建骨架時空圖；
[0019]增強視圖構建模塊，其用于基于骨架時空圖，通過圖卷積神經網絡，自適應刪除骨架時空圖的邊或節點，構建刪除節點或邊的增強視圖；
[0020]多視圖表示模塊，其用于采用信息瓶頸原則，增大增強視圖與原始骨架時空圖之間的差異，同時最大化與行為識別任務相關的信息，在每個視圖中為行為識別任務保留滿足最小的足夠信息，得到多視圖表示；
[0021]行為識別模塊，其用于基于得到的多視圖表示進行分類得到人體交互行為識別結果。
[0022]本專利技術的第三個方面提供一種計算機可讀存儲介質。
[0023]一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如上述所述的一種基于多視圖對比的人體交互行為識別方法中的步驟。
[0024]本專利技術的第四個方面提供一種計算機設備。
[0025]一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述所述的一種基于多視圖對比的人體交互行為識別方法中的步驟。
[0026]與現有技術相比，本專利技術的有益效果是：
[0027]1、本專利技術針對交互圖中存在噪聲和骨架數據具有多樣性和復雜性問題，使用一個有效的增廣方式，讓不同的視圖盡可能多的覆蓋最優區域，同時盡可能減少無用信息。通過自適應地刪除節點和邊來構造優化的圖結構，可以很好的緩解分布不均問題；并且在每個視圖中為下游行為識別任務保留最小的足夠信息，丟棄與行為識別無關的信息，來解決交互噪聲問題。這樣可以從不同的方面更好地學習交互行為的多視圖表示學習，進而更好地實現交互行為的識別。
[0028]2、本專利技術同時考慮到骨骼數據可以減少視點，背景的等不必要的因素帶來的影響，而且圖卷積神經網絡則能夠直接處理骨架數據這種拓撲圖，能夠有效地捕獲骨架數據中的時空關系和上下文信息。
[0029]本專利技術附加方面的優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本專利技術的實踐了解到。
附圖說明
[0030]構成本專利技術的一部分的說明書附圖用來提供對本專利技術的進一步理解，本專利技術的示意性實施例及其說明用于解釋本專利技術，并不構成對本專利技術的不當限定。
[0031]圖1是本專利技術實施例提供的基于多視圖對比的人體交互行為識別方法流程圖；
[0032]圖2是本專利技術實施例提供的建立的時空圖示例；
[0033]圖3是本專利技術實施例提供的多視圖對比網絡的整體結構。
具體實施方式
[0034]下面結合附圖與實施例對本專利技術作進一步說明。
[0035]應該指出，以下詳細說明都是例示性的，旨在對本專利技術提供進一步的說明。除非另有指明，本文使用的所有技術和科學術語具有與本專利技術所屬
的普通技術人員通常理解的相同含義。
[0036]需要注意的是，這里所使用的術語僅是為本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于多視圖對比的人體交互行為識別方法，其特征在于，包括如下步驟：獲取視頻數據每一幀中人體關節的位置信息；基于每一幀中人體關節的位置信息，構建骨架時空圖；基于骨架時空圖，通過圖卷積神經網絡，自適應刪除骨架時空圖的邊或節點，構建刪除節點或邊的增強視圖；采用信息瓶頸原則，增大增強視圖與原始骨架時空圖之間的差異，同時最大化與行為識別任務相關的信息，在每個視圖中為行為識別任務保留滿足最小的足夠信息，得到多視圖表示；基于得到的多視圖表示進行分類得到人體交互行為識別結果。2.如權利要求1所述的一種基于多視圖對比的人體交互行為識別方法，其特征在于，所述基于視頻每一幀中人體關節的位置坐標信息，構建骨架時空圖，具體包括：在空間維度上，根據每一幀中關節點的坐標信息確定關節點的空間位置，然后按照人體中的自然結構，繪制出相應的邊，得到骨架序列的空間拓撲圖；在完成對骨架序列的空間拓撲圖的構建以后，連接相鄰幀中表示同一個關節的節點，就可以構成骨架時空序列圖。3.如權利要求1所述的一種基于多視圖對比的人體交互行為識別方法，其特征在于，所述基于骨架時空圖，通過圖卷積神經網絡，自適應刪除骨架時空圖的邊或節點，構建刪除節點或邊的增強視圖，具體包括：學習圖卷積神經網絡的每一層可刪除的節點，將有影響的節點屏蔽后創建節點刪除視圖；同時，學習圖卷積神經網絡的每一層可刪除的邊，過濾掉噪聲邊后創建邊刪除視圖。4.如權利要求3所述的一種基于多視圖對比的人體交互行為識別方法，其特征在于，所述學習圖卷積神經網絡的每一層可刪除的節點，將有影響的節點屏蔽后創建節點刪除視圖的表達式為：式中，v
i
是指第l層網絡層中的第i個節點，來自一個參數化后的伯努利分布，它表示是否保留節點v
i
，ε為邊的集合。5.如權利要求1所述的一種基于多視圖對比的人體交互行為識別方法，其特征在于，所述采用信息瓶頸原則，增大增強視圖與原始骨架時空圖之間的差異，同時最大化與行為識別任務相關的信息，具體為：通過采用負對比學習損失來最小化增強視圖與原始圖之間的互信息去除每個視圖中的冗余信息，保留剩余的信息。6.如權利要求1所述的一種基于多視圖對比的人體交互行為識別方法，其特征在于，骨架時空圖輸入圖卷積神經網絡的形式是以鄰接矩陣的形式，該鄰接矩陣的大小是n...

【專利技術屬性】
技術研發人員：呂蕾，龐辰，耿佩，
申請(專利權)人：山東師范大學，
類型：發明
國別省市：