基于方向性共同發生特征的人體行為分類識別方法及系統技術方案

本發明專利技術涉及一種基于方向性共同發生特征的人體行為分類識別方法及系統。該方法包括：在視頻序列中檢測人體目標并提取時空興趣點；提取HOG和HOF特征，對時空興趣點聚類；統計具有不同類別標簽的時空興趣點對出現在相同幀時的方向信息；統計方向性時空點對特征直方圖，得到針對輸入視頻的特征描述；將該詞袋模型中的直方圖特征換成方向性時空點對特征直方圖，針對不同類別行為進行訓練，得到對應的特征描述；提取得到輸入的測試視頻的特征描述，與不同類別行為的特征描述模板進行最近鄰匹配，匹配度最高的即為該視頻對應的行為類別。本發明專利技術通過描述局部特征點對之間的方向信息有效提升了人體行為分類和識別的準確率和魯棒性。

【技術實現步驟摘要】
基于方向性共同發生特征的人體行為分類識別方法及系統
本專利技術屬于機器視覺中的目標識別和智能人機交互
，具體涉及一種魯棒的基于方向性共同發生特征的人體行為分類識別方法。
技術介紹
人體行為分析早在二十世紀三十年代就開始了。但早期較成功的研究還主要是集中于對剛體運動的研究上。五十年代左右，對非剛體的研究逐漸興起。尤其是人體運動分析，其在智能視頻監控、機器人控制、人機交互等方面具有廣泛的應用前景，激發了世界范圍內的廣大工作者的研究興趣。在現實場景中，人體行為識別尤其是分類具有眾多難點：人體運動的執行者經常是處于不同的年齡階段、擁有不同的外表，同時，運動速度和時空變化程度都因人而異；不同的運動看上去有很大的相似性，即類間相似，這是與上面提到的類內多樣性相對的一種困難情況；同時人體行為分類面臨眾多圖像處理的經典難點問題，如人體遮擋，室外場景中存在陰影，光照變化以及人群擁擠等。面對這些困難，如何實現魯棒的人體行為分類，從而應用于真實場景中的智能監控，具有重要的研究意義。人體行為描述方法分為兩大類：全局特征和局部特征。全局特征即將人體行為視為一個整體提取得到運動描述，是一種自頂向下的過程。全局特征描述是一種很強的特征，能編碼運動的大部分信息。然而，全局特征對視角、遮擋、噪聲都極其敏感，并且，提取全局特征的前提是能很好的分割運動前景。這對復雜場景下的人體行為描述要求的預處理過程極為苛刻。考慮到全局特征的不足，針對復雜場景下的人體行為描述，局部特征被提出，作為全局特征的補充。局部特征的提取是一種自底向上的過程：首先檢測時空興趣點，然后在這些興趣點周圍提取局部紋理方塊，最后將對這些方塊的描述結合起來組成最終描述子。由于詞袋模型(bagofvisualwordsmodel)參見J.C.Niebles,H.Wang,andL.Fei-Fei,“Unsupervisedlearningofhumanactioncategoriesusingspatialtemporalwords,”inBMVC,vol.3,pp.1249-1258,2006。)的提出，使得利用局部特征進行人體行為分類的框架被廣泛采用。局部特征與全局特征不同，其對噪聲和部分遮擋的敏感性較低，并且局部特征的提取不需要前景分割和跟蹤的過程，因此能很好的適用于復雜場景中的人體行為分析。由于局部特征點忽略了點跟點之間的全局約束關系，因此需要更高一層的空間關系描述來提升現有的詞袋模型分類效果。
技術實現思路
本專利技術針對上述問題，提出一種基于方向性共同發生特征的人體行為分類識別方法，使用局部特征點并通過描述特征點之間的空間結構關系來建立人體行為模型，最終實現人體行為分類和識別。本專利技術通過描述局部特征點對之間的方向信息有效提升了傳統方法的準確率和魯棒性。本專利技術采用的技術方案如下：一種基于方向性共同發生特征的人體行為分類識別方法，其步驟如下：1)在視頻序列中檢測人體目標；2)對包含人體目標的時空域提取時空興趣點；3)提取時空興趣點的HOG和HOF特征，并將時空興趣點聚類成若干類別；4)對于具有不同類別標簽的時空興趣點對，統計其出現在相同幀時的方向信息；5)利用所述方向信息統計方向性時空點對特征直方圖，得到針對輸入視頻的特征描述；6)利用詞袋模型將局部特征的個數直方圖分布作為整體的特征表達，將該詞袋模型中的直方圖特征換成由步驟1)～5)得到的方向性時空點對特征直方圖，針對不同類別行為進行訓練，得到不同行為類別對應的特征描述；7)當輸入測試視頻時，根據步驟1)～5)提取得到該視頻的特征描述，然后與步驟6)得到的不同類別行為的特征描述模板進行最近鄰匹配，匹配度最高的即為該視頻對應的行為類別。更進一步，所述人體行為分類是針對視頻中能夠檢測出的人體行為進行的，提取的時空興趣點指的是時空域中灰度變換劇烈的點。更進一步，時空興趣點對的方向性指的是兩點在空間中的上下或左右關系，并且優先考慮點對間的上下關系，當兩點空間中的垂直距離小于一定閾值時，考慮左右關系；當兩點空間中的水平距離也小于一定閾值時，在統計方向性時空點對特征直方圖時舍棄該點對。更進一步，使用均值聚類或其他聚類方法對時空興趣點進行聚類，時空興趣點的聚類個數優選為400～1000。本專利技術還提出一種采用上述方法的基于方向性共同發生特征的人體行為分類識別系統，其包括：視頻輸入端，包括可獲取視頻序列的攝像設備；特征提取輸出端，提取視頻中人體行為對應的方向性時空點對特征描述；離線訓練分類器，在視頻輸入端獲取的視頻序列中檢測人體行為目標，利用特征提取輸出端輸出的人體行為的特征描述，針對每個行為類別，將對應的多個視頻的直方圖特征取平均，并將平均的直方圖特征作為該行為類別對應的特征；匹配輸出模塊，對于輸入的測試視頻，利用離線訓練分類器得到視頻中人體行為對應的特征，并將其與多個行為類別對應的特征分類匹配，將匹配度最高的作為測試視頻對應的行為類別，并輸出該類別標簽。更進一步，所述視頻輸入端獲取的視頻序列為RGB圖像序列。本專利技術實現了魯棒的基于方向性共同發生特征的人體行為分類識別方法和系統，即利用局部時空興趣點對之間上下或者左右的相對方位關系編碼局部時空興趣點的空間結構特征，從而增加了不同行為類別之間的區分度。本專利技術屬于對利用詞袋模型和局部特征點做行為分類的框架的拓展。本專利技術的效果圖如圖3所示，可以看出與現有技術相比，本專利技術的人體行為分類效果最好。附圖說明圖1是本專利技術的基于方向性共同發生特征的人體行為分類識別方法的步驟流程圖。圖2是本專利技術的視頻描述子(即方向性時空點對特征直方圖)提取流程圖；圖3是本專利技術使用的數據庫部分樣例；圖4～圖6是本專利技術的人體行為分類效果圖；其中圖3采用原始詞袋模型和直方圖特征，圖4采用詞袋模型和共同發生特征，圖5采用詞袋模型和本專利技術提出的方向性點對直方圖特征。具體實施方式下面通過具體實施例和附圖，對本專利技術做進一步說明。本專利技術的基于方向性共同發生特征的人體行為識別方法，使用局部特征點并通過描述特征點之間的空間結構關系來建立人體行為模型，最終實現人體行為分類和識別。局部特征點的提取和描述參照"Evaluationoflocalspatio-temporalfeaturesforactionrecognition"(2009),H.Wang,M.M.Ullah,A.I.LaptevandC.Schmid；inProc.BMVC'09。圖1所示為本專利技術方法的步驟流程圖，包括：1)在視頻序列中檢測人體目標；2)對包含人體目標的時空域提取時空興趣點；3)提取時空興趣點的HOG和HOF特征，并將時空興趣點聚類成若干類別；4)對于具有不同類別標簽的時空興趣點對，統計其出現在相同幀時的方向信息；5)利用所述方向信息統計方向性時空點對特征直方圖，得到針對輸入視頻的特征描述；6)利用詞袋模型將局部特征的個數直方圖分布作為整體的特征表達，將該詞袋模型中的直方圖特征換成由步驟1)～5)得到的方向性時空點對特征直方圖，針對不同類別行為進行訓練，得到不同行為類別對應的特征描述；7)當輸入測試視頻時，根據步驟1)～5)提取得到該視頻的特征描述，然后與步驟6)得到的不同類別行為的特征描述模板進行最近鄰匹配，匹配度最高的即為該視頻對應的行為類別。下面本文檔來自技高網...

【技術保護點】
一種基于方向性共同發生特征的人體行為分類識別方法，其步驟包括：1）在視頻序列中檢測人體目標；2）對包含人體目標的時空域提取時空興趣點；3）提取時空興趣點的HOG和HOF特征，并將時空興趣點聚類成若干類別；4）對于具有不同類別標簽的時空興趣點對，統計其出現在相同幀時的方向信息；5）利用所述方向信息統計方向性時空點對特征直方圖，得到針對輸入視頻的特征描述；6）利用詞袋模型將局部特征的個數直方圖分布作為整體的特征表達，將該詞袋模型中的直方圖特征換成由步驟1）～5）得到的方向性時空點對特征直方圖，針對不同類別行為進行訓練，得到不同行為類別對應的特征描述；7）當輸入測試視頻時，根據步驟1）～5）提取得到該視頻的特征描述，然后與步驟6）得到的不同類別行為的特征描述模板進行最近鄰匹配，匹配度最高的即為該視頻對應的行為類別。

【技術特征摘要】
1.一種基于方向性共同發生特征的人體行為分類識別方法，其步驟包括：1)在視頻序列中檢測人體目標；2)對包含人體目標的時空域提取時空興趣點；3)提取時空興趣點的HOG和HOF特征，并將時空興趣點聚類成若干類別；4)對于具有不同類別標簽的時空興趣點對，統計其出現在相同幀時的方向信息；5)利用所述方向信息統計方向性時空點對特征直方圖，得到針對輸入視頻的特征描述；提取所述方向性時空點對特征直方圖的方法是：a)對具有不同類別標簽的共發生點對，由公式(1)計算得到方向性點對特征，并由公式(2)計算得到閾值T；b)由公式(3)得到整個輸入視頻中方向性共同發生特征的統計量N；c)由公式(4)和(5)得到基于統計量N的概率分布P；d)由公式(6)得到最終特征描述H，H由P級聯組成；其中公式(1)～(6)如下所示：其中，Si代表標簽為i的所有時空興趣點的集合，Sj代表標簽為j的所有時空興趣點的集合；代表標簽為i的時空興趣點，且分別代表該點的橫縱坐標和所在的幀數；T為閾值，表征空間點對的平均距離；K為聚類個...

【專利技術屬性】
技術研發人員：劉宏，劉夢源，孫倩茹，
申請(專利權)人：北京大學深圳研究生院，
類型：發明
國別省市：廣東;44