基于視頻流的滾石檢測跟蹤方法技術(shù)

本發(fā)明專利技術(shù)公開了基于視頻流的滾石檢測跟蹤方法，能夠?qū)崿F(xiàn)對視頻中滾石目標(biāo)的檢測跟蹤

【技術(shù)實(shí)現(xiàn)步驟摘要】
基于視頻流的滾石檢測跟蹤方法


[0001]本專利技術(shù)屬于計(jì)算機(jī)視覺
，具體涉及一種基于視頻流的滾石檢測跟蹤方法
。

技術(shù)介紹

[0002]滾石，是指個別石塊因某種原因從邊坡和陡崖表面失穩(wěn)后，經(jīng)下落
、
回彈
、
跳躍
、
滾動或滑動等運(yùn)動方式中的一種或幾種的組合沿著坡面向下快速運(yùn)動，最后在較平緩的地帶或障礙物附近靜止下來的一個動力學(xué)過程
。
常發(fā)于我國山區(qū)，特別是西部山區(qū)交通干線
、
輸油
(
氣
)
管線沿線
、
山區(qū)城鎮(zhèn)
、
輸變電線路
、
水電站場址等地隨處可見，分布范圍極廣，發(fā)生突然
、
頻率高
、
防不勝防，對其危害范圍內(nèi)的各種構(gòu)筑物
、
人類活動構(gòu)成了嚴(yán)重的威脅，因此滾石災(zāi)害的防治是一個亟待解決的難點(diǎn)問題，而對滾石的檢測與跟蹤是滾石災(zāi)害防治的前提
。
[0003]目前對滾石的檢測主要依靠攝像機(jī)
、
雷達(dá)或激光雷達(dá)
。
高清攝像頭可以獲得分辨率遠(yuǎn)高于雷達(dá)的圖像，在滾石檢測上有其獨(dú)特優(yōu)勢
。
近些年，隨著計(jì)算機(jī)視覺技術(shù)的快速發(fā)展，基于視頻流的目標(biāo)檢測跟蹤技術(shù)被廣泛運(yùn)用于自動駕駛
、
區(qū)域安防等領(lǐng)域，但在滾石災(zāi)害防護(hù)領(lǐng)域，依然缺乏一套成熟有效的基于視頻流的滾石檢測跟蹤方法
。
[0004]基于視頻流的在線多目標(biāo)跟蹤算法
(Multi Objects Tracking
，
MOT)
多基于深度學(xué)習(xí)實(shí)現(xiàn)，其包括檢測器和關(guān)聯(lián)器兩部分，分別用于目標(biāo)檢測以及表觀特征提取
、
目標(biāo)特征預(yù)測和數(shù)據(jù)關(guān)聯(lián)
。
其中檢測器除深度學(xué)習(xí)方法以外，還有動目標(biāo)檢測算法
(Moving Objects Detection
，
MOD)
可以用于視頻中運(yùn)動目標(biāo)的檢測，其常用方法有背景差分法
、
幀間差分法
、
光流法等等，但動目標(biāo)檢測算法不具備識別目標(biāo)類別的功能
。
目前，跟蹤算法框架可以分為基于檢測跟蹤
(Detection Based Tracking
，
DBT)
和聯(lián)合檢測跟蹤
(Joint Detection Tracking
，
JDT)
兩類
。
其中
DBT
是當(dāng)前基于深度學(xué)習(xí)的視覺多目標(biāo)跟蹤中的主流方法，但是從深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)來看，
DBT
中的子模塊如特征提取等可以融合在目標(biāo)檢測網(wǎng)絡(luò)中
。
基于
DBT
中子模塊的融合，聯(lián)合檢測跟蹤，即
JDT
模式，用一個深度網(wǎng)絡(luò)框架實(shí)現(xiàn)視覺多目標(biāo)跟蹤是近兩年發(fā)展的新趨勢
。
無論是哪一種框架，算法對目標(biāo)的跟蹤效果都與檢測器的檢測效果密切相關(guān)
。
[0005]針對滾石災(zāi)害的特定場景，絕大多數(shù)算法表現(xiàn)不盡人意，主要原因是：
(1)“雜波”影響大
。
滾石災(zāi)害多發(fā)于我國山區(qū)，場景復(fù)雜，使用深度神經(jīng)網(wǎng)絡(luò)對滾石目標(biāo)進(jìn)行檢測時，存在目標(biāo)與背景差異小，監(jiān)測場景中干擾目標(biāo)多等問題
。(2)
場景復(fù)雜多變
。
滾石災(zāi)害多發(fā)
。
不同地點(diǎn)，災(zāi)害場景差異巨大
。
即使構(gòu)建巖石數(shù)據(jù)集，對深度神經(jīng)網(wǎng)絡(luò)進(jìn)行離線訓(xùn)練獲得巖石檢測器，該檢測器也很難在不同場景下都有良好的檢測效果
。(3)
忽略了對運(yùn)動信息的使用
。
在對滾石進(jìn)行檢測跟蹤時，運(yùn)動信息是十分重要的
。
目前的檢測跟蹤方法多使用深度神經(jīng)網(wǎng)絡(luò)構(gòu)建目標(biāo)檢測器，再基于目標(biāo)檢測結(jié)果進(jìn)行跟蹤，這個過程中只在構(gòu)建代價矩陣時使用了目標(biāo)的運(yùn)動特征
。
這樣的算法流程沒有充分使用目標(biāo)的運(yùn)動信息，并不是滾石檢測跟蹤問題的最優(yōu)解
。
因此，亟需一種有效使用滾石的運(yùn)動信息，對不同場景魯棒性強(qiáng)的方
法，解決基于視頻流的滾石檢測跟蹤問題
。

技術(shù)實(shí)現(xiàn)思路

[0006]本專利技術(shù)提供一種基于視頻流的滾石檢測跟蹤方法，能夠?qū)崿F(xiàn)對視頻中滾石目標(biāo)的檢測跟蹤
。
方法可以在檢測階段就確定滾石目標(biāo)，從而降低跟蹤時的計(jì)算成本，同時方法對不同場景有較強(qiáng)的魯棒性
。
[0007]本專利技術(shù)的技術(shù)方案包括如下步驟：
[0008]S1、
利用幀間差分法與背景差分法對場景視頻進(jìn)行處理，獲得動目標(biāo)檢測結(jié)果；
[0009]S2、
利用巖石檢測器對場景視頻進(jìn)行處理，獲得巖石檢測結(jié)果；
[0010]S3、
根據(jù)動目標(biāo)檢測結(jié)果和巖石檢測結(jié)果之間的重疊程度確定滾石目標(biāo)；
[0011]S4、
對于當(dāng)前幀中檢出的滾石目標(biāo)，獲取其運(yùn)動特征，同時使用小型
CNN
網(wǎng)絡(luò)獲取其外觀特征，基于當(dāng)前幀中檢出目標(biāo)的狀態(tài)信息與已有跟蹤器產(chǎn)生的預(yù)測信息，對檢出目標(biāo)和已有軌跡進(jìn)行匹配，基于匹配結(jié)果對軌跡信息進(jìn)行更新；
[0012]S5、
對此時未匹配的已有軌跡，引入當(dāng)前幀的動目標(biāo)檢測結(jié)果，進(jìn)行再匹配，基于匹配結(jié)果對軌跡信息進(jìn)行更新，完成滾石目標(biāo)的跟蹤
。
[0013]進(jìn)一步的，
S1
中利用幀間差分法與背景差分法對場景視頻進(jìn)行處理，具體包括如下步驟：
[0014](1)
讀取視頻中的每一幀，進(jìn)行灰度處理和圖像濾波；
[0015](2)
對處理后的各幀進(jìn)行背景差分，設(shè)置初始化幀用于建立背景模型，根據(jù)待檢測幀與背景模型的差異分割前景與背景，獲得二值化圖像，并對背景模型進(jìn)行更新；
[0016](3)
對處理后的各幀做幀間差分，計(jì)算待檢測幀與待檢測幀的前一幀或前幾幀間的絕對值差，將差分結(jié)果相加，通過閾值對幀間差值圖像進(jìn)行二值化處理；
[0017](4)
對兩類差分方法獲得的二值化圖像進(jìn)行或運(yùn)算并進(jìn)行形態(tài)學(xué)處理；
[0018](5)
對獲得的圖像計(jì)算連通域，通過面積閾值篩除掉面積較小的陰影和面積；
[0019](6)
輸出連通域的外接邊框作為動目標(biāo)檢測結(jié)果
。
[0020]進(jìn)一步的，
S2
中使用的巖石檢測器的獲取方法為：通過網(wǎng)絡(luò)獲取和實(shí)地拍攝手段收集巖石圖像，對圖像中的巖石目標(biāo)標(biāo)注邊界框與類別標(biāo)簽，構(gòu)建巖石數(shù)據(jù)集，對構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型，以巖石圖像作為輸入，以圖像中巖石目標(biāo)的具體信息作為輸出，對卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得巖石檢測器
。
[0021]進(jìn)一步的，
S2
中利用巖石檢測器對場景視頻進(jìn)行處理的方法為：利用巖石檢測器對視頻中的每本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.
基于視頻流的滾石檢測跟蹤方法，其特征在于，包括如下步驟：
S1、
利用幀間差分法與背景差分法對場景視頻進(jìn)行處理，獲得動目標(biāo)檢測結(jié)果；
S2、
利用巖石檢測器對場景視頻進(jìn)行處理，獲得巖石檢測結(jié)果；
S3、
根據(jù)動目標(biāo)檢測結(jié)果和巖石檢測結(jié)果之間的重疊程度確定滾石目標(biāo)；
S4、
對于當(dāng)前幀中檢出的滾石目標(biāo)，獲取其運(yùn)動特征，同時使用小型
CNN
網(wǎng)絡(luò)獲取其外觀特征，基于當(dāng)前幀中檢出目標(biāo)的狀態(tài)信息與已有跟蹤器產(chǎn)生的預(yù)測信息，對檢出目標(biāo)和已有軌跡進(jìn)行匹配，基于匹配結(jié)果對軌跡信息進(jìn)行更新；
S5、
對此時未匹配的已有軌跡，引入當(dāng)前幀的動目標(biāo)檢測結(jié)果，進(jìn)行再匹配，基于匹配結(jié)果對軌跡信息進(jìn)行更新，完成滾石目標(biāo)的跟蹤
。2.
如權(quán)利要求1所述的方法，其特征在于，所述
S1
，具體包括如下步驟：
(1)
讀取視頻中的每一幀，進(jìn)行灰度處理和圖像濾波；
(2)
對處理后的各幀進(jìn)行背景差分，設(shè)置初始化幀用于建立背景模型，根據(jù)待檢測幀與背景模型的差異分割前景與背景，獲得二值化圖像，并對背景模型進(jìn)行更新；
(3)
對處理后的各幀做幀間差分，計(jì)算待檢測幀與待檢測幀的前一幀或前幾幀間的絕對值差，將差分結(jié)果相加，通過閾值對幀間差值圖像進(jìn)行二值化處理；
(4)
對兩類差分方法獲得的二值化圖像進(jìn)行或運(yùn)算并進(jìn)行形態(tài)學(xué)處理；
(5)
對獲得的圖像計(jì)算連通域，通過面積閾值篩除掉面積較小的陰影和面積；
(6)
輸出連通域的外接邊框作為動目標(biāo)檢測結(jié)果
。3.
如權(quán)利要求1所述的方法，其特征在于，所述
S2
中使用的巖石檢測器的獲取方法為：通過網(wǎng)絡(luò)獲取和實(shí)地拍攝手段收集巖石圖像，對圖像中的巖石目標(biāo)標(biāo)注邊界框與類別標(biāo)簽，構(gòu)建巖石數(shù)據(jù)集，對構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型，以巖石圖像作為輸入，以圖像中巖石目標(biāo)的具體信息作為輸出，對卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，獲得巖石檢測器
。4.
如權(quán)利要求1所述的方法，其特征在于，所述
S2
中利用巖石檢測器對場景視頻進(jìn)行處理的方法為：利用巖石檢測器對視頻中的每一幀進(jìn)行檢測，獲得視頻幀中巖石目標(biāo)的檢測結(jié)果，對檢測結(jié)果...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：田衛(wèi)明，王龍躍，鄧云開，
申請(專利權(quán))人：北京理工大學(xué)重慶創(chuàng)新中心，
類型：發(fā)明
國別省市：