一種基于HOG和MeanShift算法的室內行人檢測和跟蹤方法技術

本發明專利技術公開了一種基于HOG和MeanShift算法的室內行人檢測和跟蹤方法，涉及在室內復雜環境下行人檢測以及跟蹤的技術領域，該方法包括Nao機器人與人體之間的定位、HOG算法特征提取、行人檢測HOG+SVM的訓練和驗證、MeanShift算法目標跟蹤以及在Nao機器人平臺驗證。其主要采用HOG算法和MeanShift算法，能實時地檢測出行人，并對檢測出的行人進行跟蹤。本發明專利技術所述的室內行人檢測和跟蹤方法，與早期的通過Haar特征等進行行人檢測相比，檢測成功率更高。在背景比較復雜的INRIA行人圖像數據庫中，取得大約90％的檢測成功率。本發明專利技術的室內行人快速檢測和跟蹤方法，具有實時性、檢測準確的優點，而且具有良好的實用性。

【技術實現步驟摘要】
一種基于HOG和MeanShift算法的室內行人檢測和跟蹤方法
本專利技術屬于在室內復雜環境下人體檢測以及跟蹤的
，具體是以Nao機器人為平臺，采用檢測和跟蹤算法，實現智能、快速、實時的對人體進行檢測和跟蹤的目的。
技術介紹
隨著計算機視覺技術的快速發展，人們在日常生活中享受它所帶來的便利的同時，也在研究和探索嘗試人工智能領域給機器人賦予人類視覺的功能，使其更加的方便、實時、快捷，使機器人自身可以處理問題。近年來，隨著數字圖像處理、模式識別、人工智能、機器學習等技術飛速迅猛的發展，以及智能監控、智能汽車和智能安全領域的迫切需求，行人檢測和跟蹤技術，受到了越來越多人的關注，目前已經成為了研究的熱點，并且廣泛的應用于智能交通、智能監控和智能服務機器人等相關領域。而室內的復雜環境下的人體檢測與跟蹤技術則是其關鍵應用，行人是比較常見的而且也是比較重要的一種目標，行人的檢測和跟蹤是該領域中的一個研究難點和熱點。例如在室內復雜環境下，服務型機器人可以檢測出所要服務的目標人，然后進行人機交互，以此來完成所要完成的任務。目前比較常用于兒童、老年人、身體有殘疾的病人等。另一方面，本方法也常用于智能交通領域的車輛或者車牌的檢測以及監控等。目前，正在研究和應用于在機場幫助乘客推行李車并跟蹤所要服務的乘客。在超市，當消費者要購買物品時，也可以將購買的物品放入到檢測并跟蹤的服務機器人所推的購物車當中等。由此可以看出，這個領域有著極大的研究價值和商業價值。在計算機視覺領域技術中，行人檢測是一個重要的研究方向。這項技術，通過機器人的攝像頭標定和訓練圖像來確定所要檢測的人體目標，采用HOG+SVM算法實時的檢測出行人，并采用MeanShift算法對檢測出的行人進行跟蹤。行人檢測分為兩類，第一種是基于背景建模的方法，分割出背景，提取出目標，并提取特征，進行分類判別。但是，這個方法構建了非常復雜的模型，因此，這個系統很容易受到外界和自身所帶來的干擾。第二種是基于統計學習的方法，根據所要進行訓練的數據集，來訓練行人檢測所需要的分類器，提取出樣本的特征。一般常見的分類器主要包括支持向量機和AdaBoost方法。圖像描述的經典特征主要包括Haar、LBP、HOG等。近年來，隨著機器學習的急速發展，通過機器學習來進行行人檢測和跟蹤具有良好的實時性和魯棒性。將機器學習的技術引入到計算機視覺當中，具有非常廣泛的應用型。通過這些方法對正樣本和負樣本的特征進行學習，根據樣本的具體特征來進行分類，從圖像中檢測出人體目標，然后根據人體的某些特定的特征來進行匹配，可以判斷出所檢測的目標區域中是否有要檢測的行人。這種方法具有很好的自適應性，而且其檢測和跟蹤精度也有了很大的提高，同時也能夠滿足實時性的要求。但是，行人檢測和跟蹤技術也存在著許多難點問題。例如本專利技術所用的Nao機器人，雖然有上下兩個攝像頭，但所觀測的范圍沒有重疊，所以為單目攝像頭。因此，Nao機器人的視野范圍是有限的，如果人體離開機器人的視野范圍將無法進行檢測。并且人體屬于非剛體，姿態千差萬別，比較容易受到尺度、行人的外觀、光照、復雜場景等因素的影響，不可避免的對行人檢測和跟蹤技術帶來非常大的挑戰。如何將這些因素考慮進去，提高算法的檢測率、成功率和實時性，是重點研究的方面。基于上述分，本專利技術提出了一種基于HOG和MeanShift算法的室內行人檢測和跟蹤方法。
技術實現思路
針對目前正在飛速發展的計算機視覺與機器學習的方向，本專利技術提出了一種基于HOG和MeanShift算法的室內行人檢測和跟蹤方法。目的是在室內復雜環境下，在Nao機器人視野范圍內，利用相關算法和技術，實時的檢測出行人，并且機器人可以隨待檢測人的移動而進行移動，具有良好的檢測和跟蹤效果，實時性、檢測率和魯棒性都比較好。Monitor軟件可以檢測出機器人所看的視野范圍，通過Nao機器人攝像頭和Monitor軟件錄制視頻，執行MeanShift算法后，有相應的顏色直方圖，輸出機器人所檢測出的人體的位置信息。這個方法的架構圖如圖1所示。本方法實時檢測出行人，將行人從待檢樣本中提取出來。如果行人發生移動，使用MeanShift算法使機器人實時檢測并根據人體移動的方向來移動。在室內復雜環境下，根據具體的實驗條件主要解決了兩個技術問題：1、當Nao機器人處于剛硬狀態時，攝像頭和Monitor軟件只能觀測正前方的行人，無法確定人體是否處于室內環境中，上攝像頭才可以捕捉到具體的圖像和視頻信息，進行檢測。2、如果當檢測的是人體的側面時，此時的誤檢率很高，系統無法準確的檢測和跟蹤行人。為實現上述目的，本專利技術采用的技術方案為一種基于HOG和MeanShift算法的室內行人檢測和跟蹤方法，該方法包括包括Nao機器人與人體之間的定位、HOG算法特征提取、行人檢測HOG+SVM的訓練和驗證、MeanShift算法目標跟蹤以及在Nao機器人平臺驗證。該方法的具體工作過程：1)人體的初步檢測和定位在檢測人體之前，首先得確定人體是否出現在機器人的視野范圍內，然后在復雜環境圖像和視頻中進行行人檢測。使用循環分步的方法調整頭部關節角度，遍歷視野范圍，每次調用目標檢測算法判斷是否在視野中發現人體。如果發現則進入視野調整階段，將目標人體移至視野中央，以便能夠更好的進行檢測和跟蹤。具體的流程圖如圖2。然后計算待檢測人體與機器人之間的距離，由距離公式算出攝像頭與人體之間的距離。此時完成了人體的初步檢測和定位的任務；計算攝像頭與人體之間的距離時候，取人體中心處為基準點；2)行人檢測行人檢測采用HOG+SVM的方法，該方法具體實施步驟如下：2.1制作樣本數據庫選用經典的INRIA數據集來做行人檢測和跟蹤實驗，如圖3所示選取INRIA數據集中具有人體圖片進行裁剪，作為所要檢測的正樣本數據庫。選取INRIA數據集中沒有人體圖片的以及圖4所示的室內復雜環境下的圖片，進行裁剪，作為所要檢測的負樣本數據庫。2.2HOG特征提取算法的實現過程和參數選擇：采用HOG特征提取算法對人體圖片進行處理時，使用OpenCV自帶的函數進行HOG特征提取。采用灰度化、Gamma校正法、歸一化和HOG算法。為降低圖像的局部陰影、光照、噪聲干擾所帶來的影響，在Gamma空間標準化和顏色空間轉化成灰度圖時，選取的Gamma參數為1/2，閾值為0.2。在計算圖像梯度時，用[-1,0,1]梯度算子對原來的圖像做卷積運算。根據實驗，做行人檢測所采用的最佳參數設置是64*64的檢測窗口，8*8像素的cell，9個直方圖通道，其中每2*2個cell組成一個block，block由16*16像素組成。2.3訓練SVM分類器處理好樣本，設置參數后，根據HOG算法提取出所需要的正負樣本的HOG特征，并用文本批處理的方式，對圖片進行標注，正樣本標注為1，負樣本標注為0，然后訓練SVM分類器，得到所需要的Model。將hardexample的HOG特征和正負樣本的HOG特征綜合起來，再訓練SVM分類器，這樣就得到了最終的分類器。輸入待檢樣本，將行人從待檢樣本中提取出來。具體檢測結果如圖5所示。2.4MeanShift算法實現機器人頭部跟蹤人體MeanShift算法具有迭代收斂性，每次迭代會往概率密度大的方向移動，所以Mea本文檔來自技高網...

【技術保護點】
一種基于HOG和MeanShift算法的室內行人檢測和跟蹤方法，其特征在于：該方法包括包括Nao機器人與人體之間的定位、HOG算法特征提取、行人檢測HOG+SVM的訓練和驗證、MeanShift算法目標跟蹤以及在Nao機器人平臺驗證；該方法的具體工作過程：1)人體的初步檢測和定位在檢測人體之前，首先得確定人體是否出現在機器人的視野范圍內，然后在復雜環境圖像和視頻中進行行人檢測；使用循環分步的方法調整頭部關節角度，遍歷視野范圍，每次調用目標檢測算法判斷是否在視野中發現人體；如果發現則進入視野調整階段，將目標人體移至視野中央，以便能夠更好的進行檢測和跟蹤；然后計算待檢測人體與機器人之間的距離，由距離公式算出攝像頭與人體之間的距離；此時完成了人體的初步檢測和定位的任務；計算攝像頭與人體之間的距離時候，取人體中心處為基準點；2)行人檢測行人檢測采用HOG+SVM的方法，該方法具體實施步驟如下：2.1制作樣本數據庫選用經典的INRIA數據集來做行人檢測和跟蹤實驗，選取INRIA數據集中具有人體圖片進行裁剪，作為所要檢測的正樣本數據庫；選取INRIA數據集中沒有人體圖片的以及室內復雜環境下的圖片，進行裁剪，作為所要檢測的負樣本數據庫；2.2?HOG特征提取算法的實現過程和參數選擇：采用HOG特征提取算法對人體圖片進行處理時，使用OpenCV自帶的函數進行HOG特征提取；采用灰度化、Gamma校正法、歸一化和HOG算法；為降低圖像的局部陰影、光照、噪聲干擾所帶來的影響，在Gamma空間標準化和顏色空間轉化成灰度圖時，選取的Gamma參數為1/2，閾值為0.2；在計算圖像梯度時，用[?1,0,1]梯度算子對原來的圖像做卷積運算；根據實驗，做行人檢測所采用的最佳參數設置是64*64的檢測窗口，8*8像素的cell，9個直方圖通道，其中每2*2個cell組成一個block，block由16*16像素組成；2.3訓練SVM分類器處理好樣本，設置參數后，根據HOG算法提取出所需要的正負樣本的HOG特征，并用文本批處理的方式，對圖片進行標注，正樣本標注為1，負樣本標注為0，然后訓練SVM分類器，得到所需要的Model；將hardexample的HOG特征和正負樣本的HOG特征綜合起來，再訓練SVM分類器，這樣就得到了最終的分類器；輸入待檢樣本，將行人從待檢樣本中提取出來；2.4?MeanShift算法實現機器人頭部跟蹤人體MeanShift算法具有迭代收斂性，每次迭代會往概率密度大的方向移動，所以MeanShift算法得用在概率密度圖上；；通過Nao機器人平臺下的Choregraphe軟件，將機器人和計算機建立在同一個IP地址下，然后連接，選擇Nao機器人的上攝像頭，打開Monitor監控軟件，此時機器人處于剛硬狀態，通過Monitor軟件看到機器人通過攝像頭所看到的圖像和視頻序列；本方法將算法加入到Choregraphe軟件的腳本編輯器中，然后機器人進入到視野調整階段；當檢測到人體時，將圖像中的人體移動到中央便于檢測，將行人從待檢樣本中提取出來；通過在VS2010平臺下運行經過MeanShift算法，此時會產生目標直方圖和候選直方圖，通過算法檢測并跟蹤的視頻序列，一幀一幀的記錄下來，同時機器人會隨著人體的移動而一起移動；不斷調整圖像，將人體圖像移到所能看到的視野中央。...

【技術特征摘要】
1.一種基于HOG和MeanShift算法的室內行人檢測和跟蹤方法，其特征在于：該方法包括包括Nao機器人與人體之間的定位、HOG算法特征提取、行人檢測HOG+SVM的訓練和驗證、MeanShift算法目標跟蹤以及在Nao機器人平臺驗證；該方法的具體工作過程：1)人體的初步檢測和定位在檢測人體之前，首先得確定人體是否出現在機器人的視野范圍內，然后在復雜環境圖像和視頻中進行行人檢測；使用循環分步的方法調整頭部關節角度，遍歷視野范圍，每次調用目標檢測算法判斷是否在視野中發現人體；如果發現則進入視野調整階段，將目標人體移至視野中央，以便能夠更好的進行檢測和跟蹤；然后計算待檢測人體與機器人之間的距離，由距離公式算出攝像頭與人體之間的距離；此時完成了人體的初步檢測和定位的任務；計算攝像頭與人體之間的距離時候，取人體中心處為基準點；2)行人檢測行人檢測采用HOG+SVM的方法，該方法具體實施步驟如下：2.1制作樣本數據庫選用經典的INRIA數據集來做行人檢測和跟蹤實驗，選取INRIA數據集中具有人體圖片進行裁剪，作為所要檢測的正樣本數據庫；選取INRIA數據集中沒有人體圖片的以及室內復雜環境下的圖片，進行裁剪，作為所要檢測的負樣本數據庫；2.2HOG特征提取算法的實現過程和參數選擇：采用HOG特征提取算法對人體圖片進行處理時，使用OpenCV自帶的函數進行HOG特征提取；采用灰度化、Gamma校正法、歸一化和HOG算法；為降低圖像的局部陰影、光照、噪聲干擾所帶來的影響，在Gamma空間標準化和顏色空間轉化成灰度圖時，選取的Gamma參數為1/2，閾值為0.2；在計算圖像梯度時，用[-1,0,1]梯度算子對原來的圖像做卷積運算；根據實驗，做行人檢測所采用的最佳參數設置是64*64的檢測窗口，8*8像素的cell，9個直方圖通道，其中每2*2個cell組成一個block，block由16*16像素組成；2.3訓練SVM分類器處理好樣本，設置參數后，根據HOG算法提取出所需要的正負樣本的HOG特征，并用文本批處理的方式，對圖片進行標注，正樣本標注為1，負樣本標注為0，然后訓練SVM分類器，得到所需要的Model；將hardexample的HOG特征和正負樣本的HOG特征綜合起來，再訓練SVM分類器，這樣就得到了最終的分類器；輸入待檢樣本，將行人從待檢樣本中提取出來；2.4MeanShift算法實現機器人頭部跟蹤人體MeanShift算法具有迭代收斂性，每次迭代會往概率密度大的方向移動，所以MeanShift算法得用在概率密度圖上；；通過Nao機器人平臺下的Choregraphe軟件，將機器人和計算機建立在同一個IP地址下，然后連接，選擇Nao機器人的上攝像頭，打開Monitor監控軟件，此時機器人處于剛硬狀態，通過Monitor軟件看到機器人通過攝像頭所看到的圖像和視頻序列；本方法將算法加入到Choregraphe軟件的腳本編輯器中，然后機器人進入到視野調整階段；當檢測到人體時，將圖像中的人體移動到中央便于檢測，將行人從待檢樣本中提取出來；通過在VS2010平臺下運行經過MeanShift算法，此時會產生目標直方圖和候選直方圖，通過算法檢測并跟蹤的視頻序列，一幀一幀的記錄下來，同時機器人會隨著人體的移動而一起移動；不斷調整圖像，將人體圖像移到所能看到的視野中央。2.根據權利要求1所述的一種基于HOG和MeanShift算法的室內行人檢測和跟蹤方法，其特征在于：SVM+HOG算法的人體檢測：具體的算法是SVM+HOG，下面具體介紹下人體檢測的過程步驟：整個對人體進行檢測的過程可以說是提取HOG特征，然后將提取的特征訓練SVM分類器，整個提取和訓練的過程如下所述：使用經典的INRIA數據集，任務是收集所需要提取和檢測人體的圖像；正樣本的數據集中，因為INRIA數據集提供的數據是96*...

【專利技術屬性】
技術研發人員：李建更，張巖，左國玉，李立杰，王朋飛，
申請(專利權)人：北京工業大學，
類型：發明
國別省市：北京,11