【技術實現步驟摘要】
本專利技術涉及火災煙霧檢測、視頻顯著性目標檢測和弱監督學習領域，具體涉及一種基于弱監督學習的視頻煙霧顯著性目標檢測方法。
技術介紹
1、由于多數火災發生初期會呈現陰燃現象，此時煙霧將會先于火焰出現，并從大面積燃燒前的煙霧逐步發展至不易控制的火勢狀態，所以基于視頻的煙霧檢測方法逐漸成為視頻火災檢測領域的重點研究方向。中國專利申請cn201010136306.1（嵌入式視頻煙霧探測器及煙霧識別方法），提取圖像的邊緣特征、運動特征、紋理特征進行煙霧模式識別，但該方法主要基于幀間差分法進行煙霧區域監測，問題在于當煙霧運動速度不確定時，模型提取目標的能力有限；采用邊緣、運動、紋理等傳統特征描述目標其表示能力也較為有限。
2、視頻顯著性目標檢測旨在發現視頻中視覺上最顯著的目標，并識別覆蓋這些顯著目標的所有像素，可用于許多高級應用，如視頻對象分割、目標跟蹤和視頻理解。顯著性檢測大致可以分為兩類，第一類為眼球注視預測，專注于預測視頻中觀看者的眼睛注視，這有助于從生物學角度理解人類視覺和認知系統的內在機制，第二種為顯著性目標檢測，需要從潛在雜亂的背景中分割出最重要或視覺上突出的對象。
3、隨著深度學習技術的發展，已有研究工作探索了多種視頻顯著性目標檢測方法，這些方法大致可以分為兩類：一類是采用時域卷積或長短期記憶（lstm）的單流方法，另一類是使用光流技術的雙流方法。由于煙霧的運動信息尤為關鍵，利用光流技術的雙流方法更適合于煙霧檢查研究，然而現有的雙流方法存在以下問題：高度依賴高質量的光流數據，例如使用flownet2.0
4、因此，迫切需要一種創新的方法來有效地利用光流特征，減少對高質量標簽圖和光流數據的依賴，提高煙霧檢測的精度和魯棒性的同時更加具有現實意義。
技術實現思路
1、為了解決上述技術問題，本專利技術提出一種基于弱監督學習的視頻煙霧顯著性目標檢測方法，使用dual?tv-l1光流算法獲取光流數據，并添加針對火災煙霧視頻中大部分噪音設置光流和速度閾值進行過濾從而得到光流數據，設計的新模型使用兩個子網絡來完成兩個子任務，一個子網絡用于靜止圖像的顯著性目標檢測，另一個子網絡用于光流圖像的運動顯著性檢測，在多個階段將光流特征和外觀特征直接進行簡單的通道維度拼接，輸入控制外觀特征和運動特征重要性的門控注意力模塊，通過門控注意力模塊加權后的外觀特征和光流特征輸入具有殘差學習特性的注意力模塊，通過光流特征來關注和增強外觀特征。此外，考慮到通過前景檢測的算法得到的標簽大部分只會得到運動煙霧目標的邊緣輪廓以及運動顯著部分且目標較小，設計了一種針對標簽中煙霧輪廓內部缺失部分的損失函數，并且同時加權關注整體差異的損失函數。本專利技術對于火災煙霧視頻的顯著性目標檢測有著顯著效果。
2、為達到上述目的，本專利技術采用如下技術方案：
3、一種基于弱監督學習的視頻煙霧顯著性目標檢測方法，包括如下步驟：
4、步驟s1：收集不同場景下的火災煙霧視頻數據，得到樣本集；
5、步驟s2：對樣本集進行預處理，基于現有的前景檢測和光流估計技術，生成火災煙霧視頻的偽標簽和光流數據，其中，使用改進的混合高斯模型算法進行偽標簽制作；使用密集光流提取dual?tv-l1?光流算法獲得光流數據，利用正則化技術和l1范數來估計每一幀之間的光流，通過最小化圖像亮度的變化和流場的平滑度，精確地捕捉圖像序列中的運動信息；
6、步驟s3：設計含有兩個子網絡的視頻顯著性目標檢測網絡模型，將預處理后的樣本集輸入視頻煙霧顯著性目標檢測網絡模型，網絡模型中的兩個子網絡分別用于進行空域顯著性目標檢測及光流運動顯著性目標檢測，在兩個子網絡特征提取的不同階段通過門控注意力模塊利用光流特征對空域圖像進行特征增強，實現特征交互，以有效地處理目標的運動特征；
7、步驟s4：設計考慮上下文信息的損失函數，對鄰域內差異較大的部分分配更高的權重，同時兼顧全局差異，以優化網絡模型的訓練過程。
8、本專利技術與現有技術相比，具有以下有益效果：
9、（1）本專利技術提出了利用光流數據對煙霧外觀特征進行增強的顯著性目標檢測模型。通過對煙霧運動特性的充分利用，本專利技術的效果優于現有其他方法。
10、（2）本專利技術兼顧基于上下文和全局的損失函數設計，彌補偽標簽對于目標的缺漏。
11、（3）本專利技術提出了使用偽標簽和視頻幀、光流數據進行訓練，使用手動標注的真實標簽和視頻幀、光流數據和進行預測的弱監督方法。不需要昂貴的手動標注以及高質量的光流數據就可以對未經訓練的視頻煙霧數據進行準確檢測，具有極強的魯棒性和現實意義。
本文檔來自技高網...【技術保護點】
1.一種基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述步驟S2包括：使用改進的混合高斯模型算法進行偽標簽制作時，對于單個視頻中的每一個像素點，改進的混合高斯模型算法維護每個像素點的多個高斯分布，以體現可能出現的顏色變化范圍；對每個像素的背景模型進行實時更新，同時識別出那些不匹配背景模型的像素點，將其分類為前景；通過亮度閾值識別煙霧；結合連通閾面積閾值進一步消除由于環境噪聲或小干擾引起的誤檢測。
3.根據權利要求1所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述步驟S2中的使用密集光流提取Dual?TV-L1光流算法獲得光流數據包括：首先，將視頻分解成一系列的單獨幀，通過逐幀分析，從而詳細追蹤時間軸上的微小變化；從第二幀開始，計算每一幀相對于前一幀的像素運動，產生的光流向量反映了像素在兩幀之間的移動；計算出的光流向量包含兩個分量：水平分量和垂直分量的移動，再通過歸一化處理，將這些光流分量轉換為從視覺上能夠辨認的格式，即偽彩色圖像，表
4.根據權利要求1所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述步驟S3包括：
5.根據權利要求4所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述空間金字塔池化模塊通過五個并行層處理輸入特征，包括一個1×1的點卷積層，三個具有不同空洞率的3×3空洞卷積層，以及一個全局平均池化層；這五個并行層的輸出在深度維度上進行拼接，生成了最終的特征圖；三個不同空洞率分別為12、24和36。
6.根據權利要求4所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述解碼器通過融合高層和低層特征來恢復特征圖的空間尺寸，以準確預測具有清晰對象邊界的高分辨率顯著性圖；空間金字塔池化模塊的高層輸出特征通過解碼器中的一個1×1卷積縮減至256通道特征，來自殘差層-1的低層特征通過另一個1×1卷積減少至48通道特征；將低層特征與高層特征進行拼接后，緊接著執行兩個輸出通道為256的3×3卷積；隨后，通過一個1×1卷積，并接一個Sigmoid函數，預測出最終的單通道顯著性圖，運動分支的解碼器采用與卷積-{3-5}相同的三層結構。
7.根據權利要求4-6之一所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述步驟S3中，將外觀分支和運動分支與門控注意力模塊集成；6個門控注意力模塊分別表示為門控-i，i?∈?{0,?1,?2,?3,?4,5}；門控-0接收外觀子網絡和運動子網絡中兩個頭卷積層的輸出作為輸入；門控-{1-4}接受兩個分支中的殘差層-i輸出作為輸入；門控-5的運動輸入是解碼器輸出的單通道的運動顯著性圖，其結構與門控-{0-4}結構不同，具體為：直接將運動顯著性圖和外觀分支解碼器中外觀特征的每個通道切片進行元素乘法，再與外觀特征相加，最終門控-5的輸出傳入外觀子網絡的兩個輸出通道為256的3×3卷積之一中，公式如下：
8.根據權利要求7所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述所述門控注意力模塊中，對不同層級不同尺度的外觀特征和運動特征在通道維度進行簡單的拼接，拼接后的融合特征用表示；隨后將輸入門控注意力模塊中，門控注意力模塊用于控制外觀特征和運動特征的重要性，表示網絡模型獨立地調整對圖像特征和光流特征的依賴程度，如公式（3）所示，其中表示全局平均池化操作，表示激活函數，表示卷積操作，表示根據拼接后的融合特征生成的門控信號作為學習到的權重，用于調節后續處理階段中不同特征的重要性，表示門控注意力模塊的輸出特征；
9.根據權利要求1所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，所述步驟S4的損失函數的第一部分如公式（6）所示，其中表示偽標簽，表示預測結果，表示平均池化操作，表示二元交叉熵損失，和表示圖像的高度和寬度，表示訓練時的批次中的總樣本數，和表示圖像的高度和寬度方向上的像素索引，n表示索引值；
...【技術特征摘要】
1.一種基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述步驟s2包括：使用改進的混合高斯模型算法進行偽標簽制作時，對于單個視頻中的每一個像素點，改進的混合高斯模型算法維護每個像素點的多個高斯分布，以體現可能出現的顏色變化范圍；對每個像素的背景模型進行實時更新，同時識別出那些不匹配背景模型的像素點，將其分類為前景；通過亮度閾值識別煙霧；結合連通閾面積閾值進一步消除由于環境噪聲或小干擾引起的誤檢測。
3.根據權利要求1所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述步驟s2中的使用密集光流提取dual?tv-l1光流算法獲得光流數據包括：首先，將視頻分解成一系列的單獨幀，通過逐幀分析，從而詳細追蹤時間軸上的微小變化；從第二幀開始，計算每一幀相對于前一幀的像素運動，產生的光流向量反映了像素在兩幀之間的移動；計算出的光流向量包含兩個分量：水平分量和垂直分量的移動，再通過歸一化處理，將這些光流分量轉換為從視覺上能夠辨認的格式，即偽彩色圖像，表示出運動的強度和方向；最后，保留兩張圖像每個像素點的較大值，將兩個方向的偽彩色圖像合并成最終的光流rgb圖片；
4.根據權利要求1所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述步驟s3包括：
5.根據權利要求4所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述空間金字塔池化模塊通過五個并行層處理輸入特征，包括一個1×1的點卷積層，三個具有不同空洞率的3×3空洞卷積層，以及一個全局平均池化層；這五個并行層的輸出在深度維度上進行拼接，生成了最終的特征圖；三個不同空洞率分別為12、24和36。
6.根據權利要求4所述的基于弱監督學習的視頻煙霧顯著性目標檢測方法，其特征在于，所述解碼器通過融合高層和低層特征來恢復特征圖的空間尺寸，以準確預測具有清晰對象邊界的高分辨率顯著性圖；空間金字塔池化模塊的高層輸出特征通過解碼器中的一...
【專利技術屬性】
技術研發人員：賈陽，毛紫旭，崔棲瑞，姚瑩瑩，江煒玨，
申請(專利權)人：西安郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。