【技術實現步驟摘要】
本專利技術涉及圖像處理和視頻理解領域，尤其是涉及一種基于多路視頻流的人體行為識別方法和系統。
技術介紹
1、行為識別是人工智能為人類生產生活服務的重要基礎技術。基于計算機視覺的人員行為識別技術在安防、醫療、交通等領域都得到了廣泛的應用。近年來，基于深度學習的算法成為行為識別領域的主流，這類數據驅動的算法精度更高、適應場景更廣。人的行為一般有一定的持續時間，準確識別行為就需要輸入多幀連續圖像或視頻，對其時空特征進行同步提取與分析。出于魯棒性考慮，現有行為識別系統往往首先通過人員檢測和人體姿態估計獲得人體骨架信息，作為核心行為識別模塊的輸入。骨架信息是人體動作信息的抽象表示包括關節坐標、關節索引號和關節之間的連接關系。相比于rgb圖像信息，骨架信息更少地受光照、遮擋和復雜背景的影響；骨架信息是自然的拓撲圖數據，是對于人體運動的直觀的建模，更適合作為行為識別的輸入。這樣，一個大的行為識別系統就被分解為幾個子模塊，模塊化分解流程顯然使得系統的開發、調試與維護更簡便，但模塊過多也可能導致系統效率下降，需要開發人員在效率和魯棒性間尋找平衡。
2、基于深度學習的算法對設備算力的要求也更高。隨著實際場景中監控點位的數量增長與監控圖像質量的提升，傳統單線程視頻傳輸與處理流程或視頻離線處理方法已難以滿足實際需求。對于多路視頻輸入，簡單地將原本的單線程行為識別系統進行復制，或者將多路輸入直接合成一個大的批處理(batch)輸入，顯然無法充分利用計算資源，限制了系統的吞吐性能，更難以應對新的輸入流、算法和模型的擴展要求。
【技術保護點】
1.一種基于多路視頻流的人體行為識別方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述時空卷積圖模型包括關節點流和速度流，所述關節點流為關節點在單幀中的位置信息，所述速度流為同一關節點在相鄰兩幀圖像之間的差值，根據關節點流和速度流得到人體姿態和運動軌跡，進而得到人體行為識別結果。
3.根據權利要求2所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述關節點流和速度流的計算表達式分別為：
4.根據權利要求1所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述關節點包括鼻子、左肩、右肩、左腕、右腕、左肘、右肘、左膝、右膝、右胯、左胯、右腳踝、左腳踝和左肩與右肩的中點。
5.根據權利要求1所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述時空卷積圖模型依次包括輸入層、時空圖卷積層、批次標準化層、時空圖池化層、全局池化層和輸出層，所述時空卷積圖模型的輸入為關節點坐標，輸出為行為類別的概率值。
6.一種基于多路視頻流的人體行為識別系統，其特征在
7.根據權利要求6所述的一種基于多路視頻流的人體行為識別系統，其特征在于，所述客戶端包括攝像頭、圖像幀采集模塊、人體姿態推理請求模塊、人體追蹤模塊和行為識別推理請求模塊，所述服務端包括人體姿態推理響應請求模塊和行為識別推理響應請求模塊，所述攝像頭拍攝待識別目標，通過圖像幀采集模塊生成圖像幀，所述人體姿態推理請求模塊發送姿態推理請求和圖像幀到人體姿態推理響應請求模塊中，得到姿態推理結果后返回，所述人體追蹤模塊根據姿態推理結果進行追蹤，生成多流數據，所述行為識別推理請求模塊將多流數據發送到行為識別推理響應請求模塊，得到行為識別結果后返回。
8.根據權利要求7所述的一種基于多路視頻流的人體行為識別系統，其特征在于，所述客戶端還包括危險行為警報模塊，當行為識別結果為危險行為時，所述危險行為警報模塊發出警報。
9.根據權利要求6所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述客戶端的執行過程為：
10.根據權利要求9所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述服務端的執行過程為：
...【技術特征摘要】
1.一種基于多路視頻流的人體行為識別方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述時空卷積圖模型包括關節點流和速度流，所述關節點流為關節點在單幀中的位置信息，所述速度流為同一關節點在相鄰兩幀圖像之間的差值，根據關節點流和速度流得到人體姿態和運動軌跡，進而得到人體行為識別結果。
3.根據權利要求2所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述關節點流和速度流的計算表達式分別為：
4.根據權利要求1所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述關節點包括鼻子、左肩、右肩、左腕、右腕、左肘、右肘、左膝、右膝、右胯、左胯、右腳踝、左腳踝和左肩與右肩的中點。
5.根據權利要求1所述的一種基于多路視頻流的人體行為識別方法，其特征在于，所述時空卷積圖模型依次包括輸入層、時空圖卷積層、批次標準化層、時空圖池化層、全局池化層和輸出層，所述時空卷積圖模型的輸入為關節點坐標，輸出為行為類別的概率值。
6.一種基于多路視頻流的人體行為識別系統，其特征在于，包括客戶端和服務端，所述系統運行時，執行如權利要求1-5任一所述的...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。