一種基于時空數據融合的行人再識別方法技術

本發明專利技術公開了一種基于時空數據融合的行人再識別方法，涉及模式識別技術領域，技術方案為，構建神經網絡模型；提取攝像頭拍攝行人圖片拍攝的時間信息；然后對該圖片進行深度學習獲得其中行人的特征；在判斷出相似的行人之后根據兩張圖片的攝像頭信息得出兩個攝像頭的距離，根據該兩圖片的時間差信息，結合攝像頭的距離得到該行人在這段時間內的大致速度作為行人的一個標簽；基于該行人的本身的特征以及與該行人速度相近的圖片進行聯系，最終得到該行人在某段時間內的某個區域中的行動軌跡圖進而尋找該行人。本發明專利技術通過時間間隔得到的行人速度以及在空間中的有限移動性來界定行人。并且在識別的過程中通過攝像頭的位置獲得該行人的大致行動路線。

A pedestrian recognition method based on spatiotemporal data fusion

【技術實現步驟摘要】
一種基于時空數據融合的行人再識別方法
本專利技術涉及模式識別
，特別涉及一種基于時空數據融合的行人再識別方法。
技術介紹
行人識別技術是近些年來，在計算機視覺領域發展非常快速的一個方向，它的目的是通過不同的攝像頭拍攝的照片中能找到我們指定需要尋找的某一個行人，即判斷不同位置的攝像頭在不同的時間下捕捉到的是否為同一個行人。傳統的行人再識別是將檢測圖片直接通過CNN網絡提取特征值，然后再進行行人的重識別，這種方法使用起來在多方面的干擾下，識別效果準確率低下，識別效率低下，并且對于識別出來的行人沒有很好的跟蹤效果，給行人再識別的跟蹤工作帶來了較大的阻礙。行人再識別的主要目的不僅僅是為了識別出不同圖片上的行人是不是同一個人，而是更多是為了識別并追蹤定位行人以便更好的查找到特定行人。行人再識別在不斷從新的圖片中識別到同一個人的過程中，這個行人周圍的環境是會改變的，但是拍攝這個行人的是固定的攝像頭，因此可以通過拍攝到行人的攝像頭來對行人進行分類，但是一個區域中的攝像頭數目巨大且拍攝的圖片時間跨度大，數量多，不過行人識別也會在時間上有限制，行人一定時間內的移動距離不會太大，所以可以根據網絡來推測行人的行人方式來縮小識別的范圍。該方法的優點在于可以加快行人再識別的速度并且能推測出行人的行動路線。但是這個方法只能用于一定區域內，且區域內攝像頭的密度不能太小，行人的再識別到時間間隔會很大，則網絡對于最終的結果產生誤差。
技術實現思路
針對上述技術問題，本專利技術提供一種能對一個區域內的行人進行識別分類，。能有效快速的定位所需要查詢的人物。提高了識別的效率和準確性的基于時空數據融合的行人再識別方法。其技術方案為，一種基于時空數據融合的行人再識別方法，包括：S1、通過攝像頭進行行人圖像采集，并保存采集到的圖像，在保存圖片時，設置圖片命名格式為攝像頭編號及時間組合，作為這個攝像頭拍攝到的圖片的特征；S2、構建深度學習神經網絡模型；S3、將S1保存的圖片通過行人檢測的網絡獲取其中行人的部分，通過深度學習訓練使網絡學習能夠得到行人圖片的特征值，并添加這個行人圖像的時空信息；S4、輸入待檢索的目標行人圖像，將起始尋找目標行人的攝像頭定義為攝像頭A，通過攝像頭A進行目標行人圖片采集，在攝像頭A周圍的A相鄰攝像頭圖片庫中進行檢索，A相鄰攝像頭為所有與攝像頭A相鄰的攝像頭，檢索范圍為基于深度學習得到目標行人圖片的相似行人圖片，將檢索得到所述相似行人圖片的攝像頭定義為攝像頭B，通過該相似行人圖片的時空信息計算出目標行人移動速度；S5、將檢索范圍更新為攝像頭B的B相鄰攝像頭，B相鄰攝像頭為所有與攝像頭B相鄰的攝像頭，基于S4中得出的目標行人移動速度、該目標行人圖片采集的時間，以及所述攝像頭B和各個B相鄰攝像頭之間的距離，推算出目標行人由攝像頭B經過每個B相鄰攝像頭的時間范圍，然后優先檢索各個B相鄰攝像頭中的這個時間范圍中采集到的所有行人圖片，最后檢索得出與目標行人圖片對應的相似行人圖片，將檢索到相似行人圖片的攝像頭重新更新為新的攝像頭B；S6、通過S5檢索出的相似行人圖片，以S5獲取的相似行人圖片的特征值為標準繼續檢測，重復步驟S5；S7、在無法通過B相鄰攝像頭識別到與目標行人對應的相似行人圖片是，則視為識別結束，最后通過時間順序排序及通過攝像頭的位置推斷出該行人的行動路線，并輸出該行人的行動路線。優選為，所述步驟S1具體為，步驟S11，攝像頭拍攝并獲取監控視頻中的圖片，將獲取圖片上傳至服務器，在服務器中按每個攝像頭一個組別分開保存；從視頻中獲取圖片的方法為，從攝像頭拍攝的視頻中每隔0.5秒截取一張圖片保存。步驟S12，分別在單個攝像頭的組別中保存這個攝像頭拍的照片，并按照攝像頭編號和拍攝時間來命名。優選為，所述步驟S2具體為，步驟S21，構建一個深度學習網絡模型，其中包括行人檢測網絡，特征提取網絡，訓練層以及特征全連接層；步驟S22，確定區域內攝像頭的數量，并且輸入各個攝像頭之間的距離，通過兩個攝像頭的編號來獲取該兩個攝像頭之間的距離。優選為，所述步驟S3具體為，步驟S31，將所述S1保存的圖片輸入到深度學習網絡模型中，然后通過行人檢測網絡檢測出一張圖片上面不同的行人圖像，并將它們單獨提取出來；步驟S32，提取出來的行人圖像輸入后續的網絡模型中，得到行人圖像的特征向量；并在特征向量后面添加目標行人的拍攝時間和對應的拍攝攝像頭編號。優選為，所述步驟S4具體為，步驟S41，對采集到的目標行人圖片的時間和拍攝該照片的攝像頭A的地理位置信息進行識別，然后將檢索范圍限定在攝像頭A周圍的A相鄰攝像頭所上傳的照片；步驟S42，在A相鄰攝像頭上傳的照片中檢索出一系列相似行人圖像之后，將拍攝到相似行人圖片的時間和攝像頭位置識別出來；然后通過時空信息計算該行人在這段時間內的移動速度。優選為，所述步驟S6包括以下步驟：步驟S61，通過特征值對比得到相似行人圖片，然后識別出相似行人圖片的時空信息，確定對應該相似行人圖片的攝像頭和拍攝時間，并將這個攝像頭更新為攝像頭B，將相似行人圖片更新為目標行人圖片；步驟S62，根據行人移動速度確定B相鄰攝像頭可能拍攝到目標行人的時間范圍，并且以新的目標行人圖片的特征值為標準進行對比判斷，依據該時間范圍搜索目標行人的相似行人圖片。優選為，所述S7具體為，步驟S71，當最新得到的相似行人圖片的特征值與目標行人圖片的特征值對比相似度低于設定值時，或者所述S5得到的目標行人移動時間范圍不在設定的時間范圍內時，則停止搜索；步驟S72，將所有檢索到的目標行人的圖片，按照時間順序輸出，并且標明對應的攝像頭，按照時間、地點順序輸出該行人在這段時間的行動路線。優選為，所述S32提取出來的行人圖像輸入后續的網絡模型中，得到行人圖像的特征向量；并在特征向量后面添加目標行人的拍攝時間和對應的拍攝攝像頭編號，具體為，步驟S321，將提取出來的行人圖像輸入到特征提取網絡CNN，獲取這個行人圖像的特征H；步驟S322，在特征向量H后面添加拍攝該行人所在的這張圖片的攝像頭編號信息D以及拍攝這張圖片的時間信息T。在特征向量H后添加攝像頭編號信息及時間信息的方法為，在行人圖像的特征向量后再鏈接一個特征，也就是具備攝像頭編號信息和圖片拍攝時間信息的時間空間信息特征。優選為，所述S41中對目標行人圖片信息識別具體為，將目標行人圖片輸入至特征提取網絡中，提取出該行人的圖像特征H0，并確定該拍攝到目標行人的時間T0以及拍攝該照片的攝像頭D0；所述S42具體為，首先將檢索范圍確定為與攝像頭D0相鄰的攝像頭圖片庫，根據所述時間T0進一步縮小時間范圍，縮小至圖片庫中時間命名在：(T0-1)h～(T0+1)h這一時間范圍中，此處以小時為單位，即h，在這個范圍中，通過特征向量相似度的對比：待測圖像通過特征提取網絡得到的特征為H測，目標行本文檔來自技高網...

【技術保護點】
1.一種基于時空數據融合的行人再識別方法，其特征在于，包括：/nS1、通過攝像頭進行行人圖像采集，并保存采集到的圖像，在保存圖片時，設置圖片命名格式為攝像頭編號及時間組合，作為這個攝像頭拍攝到的圖片的特征；/nS2、構建深度學習神經網絡模型；/nS3、將S1保存的圖片通過行人檢測的網絡獲取其中行人的部分，通過深度學習訓練使網絡學習能夠得到行人圖片的特征值，并添加這個行人圖像的時空信息；/nS4、輸入待檢索的目標行人圖像，將起始尋找目標行人的攝像頭定義為攝像頭A，通過攝像頭A進行目標行人圖片采集，在攝像頭A周圍的A相鄰攝像頭圖片庫中進行檢索，檢索范圍為基于深度學習得到目標行人圖片的相似行人圖片，將檢索得到所述相似行人圖片的攝像頭定義為攝像頭B，通過該相似行人圖片的時空信息計算出目標行人移動速度；/nS5、將檢索范圍更新為攝像頭B的B相鄰攝像頭，基于S4中得出的目標行人移動速度、該目標行人圖片采集的時間，以及所述攝像頭B和各個B相鄰攝像頭之間的距離，推算出目標行人由攝像頭B經過每個B相鄰攝像頭的時間范圍，然后優先檢索各個B相鄰攝像頭中的這個時間范圍中采集到的所有行人圖片，最后檢索得出與目標行人圖片對應的相似行人圖片，將檢索到相似行人圖片的攝像頭重新更新為新的攝像頭B；/nS6、通過S5檢索出的相似行人圖片，以S5獲取的相似行人圖片的特征值為標準繼續檢測，重復步驟S5；/nS7、在無法通過B相鄰攝像頭識別到與目標行人對應的相似行人圖片是，則視為識別結束，最后通過時間順序排序及通過攝像頭的位置推斷出該行人的行動路線，并輸出該行人的行動路線。/n...

【技術特征摘要】
1.一種基于時空數據融合的行人再識別方法，其特征在于，包括：
S1、通過攝像頭進行行人圖像采集，并保存采集到的圖像，在保存圖片時，設置圖片命名格式為攝像頭編號及時間組合，作為這個攝像頭拍攝到的圖片的特征；
S2、構建深度學習神經網絡模型；
S3、將S1保存的圖片通過行人檢測的網絡獲取其中行人的部分，通過深度學習訓練使網絡學習能夠得到行人圖片的特征值，并添加這個行人圖像的時空信息；
S4、輸入待檢索的目標行人圖像，將起始尋找目標行人的攝像頭定義為攝像頭A，通過攝像頭A進行目標行人圖片采集，在攝像頭A周圍的A相鄰攝像頭圖片庫中進行檢索，檢索范圍為基于深度學習得到目標行人圖片的相似行人圖片，將檢索得到所述相似行人圖片的攝像頭定義為攝像頭B，通過該相似行人圖片的時空信息計算出目標行人移動速度；
S5、將檢索范圍更新為攝像頭B的B相鄰攝像頭，基于S4中得出的目標行人移動速度、該目標行人圖片采集的時間，以及所述攝像頭B和各個B相鄰攝像頭之間的距離，推算出目標行人由攝像頭B經過每個B相鄰攝像頭的時間范圍，然后優先檢索各個B相鄰攝像頭中的這個時間范圍中采集到的所有行人圖片，最后檢索得出與目標行人圖片對應的相似行人圖片，將檢索到相似行人圖片的攝像頭重新更新為新的攝像頭B；
S6、通過S5檢索出的相似行人圖片，以S5獲取的相似行人圖片的特征值為標準繼續檢測，重復步驟S5；
S7、在無法通過B相鄰攝像頭識別到與目標行人對應的相似行人圖片是，則視為識別結束，最后通過時間順序排序及通過攝像頭的位置推斷出該行人的行動路線，并輸出該行人的行動路線。


2.根據權利要求1所述的基于時空數據融合的行人再識別方法，其特征在于，所述步驟S1具體為，
步驟S11，攝像頭拍攝并獲取監控視頻中的圖片，將獲取圖片上傳至服務器，在服務器中按每個攝像頭一個組別分開保存；
步驟S12，分別在單個攝像頭的組別中保存這個攝像頭拍的照片，并按照攝像頭編號和拍攝時間來命名。


3.根據權利要求2所述的基于時空數據融合的行人再識別方法，其特征在于，所述步驟S2具體為，
步驟S21，構建一個深度學習網絡模型，其中包括行人檢測網絡，特征提取網絡，訓練層以及特征全連接層；
步驟S22，確定區域內攝像頭的數量，并且輸入各個攝像頭之間的距離，通過兩個攝像頭的編號來獲取該兩個攝像頭之間的距離。


4.根據權利要求3所述的基于時空數據融合的行人再識別方法，其特征在于，所述步驟S3具體為，
步驟S31，將所述S1保存的圖片輸入到深度學習網絡模型中，然后通過行人檢測網絡檢測出一張圖片上面不同的行人圖像，并將它們單獨提取出來；
步驟S32，提取出來的行人圖像輸入后續的網絡模型中，得到行人圖像的特征向量；并在特征向量后面添加目標行人的拍攝時間和對應的拍攝攝像頭編號。


5.根據權利要求3所述的基于時空數據融合的行人再識別方法，其特征在于，所述步驟S4具體為，
步驟S41，對采集到的目標行人圖片的時間和拍攝該照片的攝像頭A的地理位置信息進行識別，然后將檢索范圍限定在攝像頭A周圍的A相鄰攝像頭所上傳的照片；
步驟S42，在A相鄰攝像頭上傳的照片中檢索出一系列相似行人圖像之后，將拍攝到相似行人圖片的時間和攝像頭位置識別出來；然后通過時空信息計算該行人在這段時間內的移動速度。


6.根據權利要求1所述的基于時空數據融合...

【專利技術屬性】
技術研發人員：蔡曉東，韓宇，
申請(專利權)人：桂林電子科技大學，
類型：發明
國別省市：廣西;45