檢測圖像前景的方法及設備技術

提供了一種圖像前景檢測方法及設備，該圖像前景檢測方法，包括：提取所述圖像的亮度分量并獲得亮度參數；對所述圖像進行運動檢測以檢測出第一前景區域；從與所述圖像相關聯的深度圖像中檢測出第二前景區域；以及基于所述亮度參數，對所述第一前景區域與所述第二前景區域進行組合。通過基于輸入圖像的亮度參數將基于輸入圖像的運動檢測而獲得的前景檢測結果與基于深度圖像的前景檢測而獲得的前景檢測結果組合，可以在任何條件下提供良好的前景區域檢測結果。

【技術實現步驟摘要】

本專利技術涉及圖像處理方法及設備，并且更具體地涉及一種圖像前景檢測方法及設備。
技術介紹
目前，前景物體檢測方法在例如監控系統、視頻會議系統、人機交互系統等系統中存在廣泛應用。已知的前景物體檢測方法根據輸入信號的不同，大致可以被劃分為兩類第一類方法(也即主流的方式)是基于輸入圖像的運動檢測；第二類方法是基于通過紅外裝置、雷達裝置或者多攝像頭裝置獲取的3D信息的前景檢測。基于輸入圖像的運動檢測方法相對成熟并且處理速度相對較快，并且被廣泛應用、于網絡攝像頭中。典型的基于輸入圖像的運動檢測方法例如有基于幀間差的運動檢測方法或者基于混合高斯模型(GMM)的運動檢測方法。但是，該類運動檢測存在其自身的缺點對快速亮度變化敏感、在低光照條件下檢測精度惡化、以及很難區分物體在光下投射的影子。基于3D信息的前景檢測方法可以在低光照條件下工作，典型地為例如基于深度圖像的前景檢測方法，其可以包括利用深度檢測的前景檢測、以及利用運動檢測的前景檢測。隨著3D技術的不斷發展，用于獲得3D信息的裝置造價變得越來越便宜，該類前景檢測方法也越來越多地被用來檢測圖像前景。例如，在專利文獻US7308112B2中提出了一種用于人機交互系統的檢測并識別用戶指令的方法。其中，通過硬件傳感器以某一幀速率拍攝連續的深度圖像，并且利用所拍攝的連續深度圖像來進行人的檢測、人的身體組件的檢測、手的形狀分析、軌跡分析、身體方向確定、姿勢匹配等。但是，該類前景物體檢測方法也存在其自身的缺點有效工作距離的限制、以及較強光照也會影響檢測結果。鑒于基于輸入圖像的運動檢測方法與基于3D信息的前景檢測方法受環境影響的特性有所不同，因此希望將這兩種方法融合在一起以便獲得良好的前景檢測結果。在專利文獻US7317830B1中提出一種結合深度圖像的深度信息和輸入圖像的彩色信息進行前景和背景分割的方法。具體地，首先使用深度信息和彩色信息建立一個多維背景模型，然后將深度圖像中每一像素的深度值與背景模型中對應像素的深度值進行比較，如果比較結果表明這兩個深度值不相同，則將該像素標記為前景，并且將輸入圖像中每一像素的灰度值與背景模型中對應像素的灰度值進行比較，如果比較結果表明這兩個灰度值不相同，則將該像素標記為前景。其中，深度信息獨立于彩色圖像信息并不受陰影和相似顏色的影響。然而，該專利文獻中使用深度信息和彩色信息建立多維背景模型的算法相當復雜，并且在無背景模型的情況下前景分割精度較低。因此，存在對于一種簡單的在任何環境下都能獲得良好的前景檢測精度的前景檢測方法及設備的需要。
技術實現思路
考慮到上述問題而提出了本專利技術。本專利技術的一個目的是提供一種圖像前景檢測方法及設備，其通過基于輸入圖像的亮度參數將基于輸入圖像的運動檢測結果與基于深度圖像的前景檢測結果組合，有利地利用基于輸入圖像的運動檢測方法和基于深度圖像的前景檢測方法兩者各自的優點，從而在任何環境下都能提供良好的前景檢測精度。根據本專利技術的一方面，提供了一種圖像前景檢測方法，包括提取所述圖像的亮度分量并獲得亮度參數；對所述圖像進行運動檢測以檢測出第一前景區域；從與所述圖像相關聯的深度圖像中檢測出第二前景區域；以及基于所述亮度參數，對所述第一前景區域與所述第二前景區域進行組合。優選地，在該圖像前景檢測方法中，所述亮度參數 包括像素的亮度值和/或表示幀間亮度變化的像素的亮度差值。進一步，在該圖像前景檢測方法中，作為像素的亮度值和/或亮度差值的函數，來確定所述第一前景區域的置信度，使得其隨著亮度值降低而下降和/或隨著亮度差值增加而下降；作為像素的亮度值的函數，來確定所述第二前景區域的置信度，使得其隨著亮度值增加而下降；將所述第一前景區域和所述第二前景區域分別利用相應置信度加權并相加；以及對于每個像素，當相加后的置信度高于預定置信度閾值時，將該像素確定為最終前景區域。優選地，在該圖像前景檢測方法中，所述亮度參數包括像素的亮度值。進一步，在該圖像前景檢測方法中，對所述圖像進行運動檢測包括提取所述圖像的反射分量；以及利用混合高斯運動檢測方法對所述圖像的亮度分量進行運動檢測，以便獲得所述圖像的第一前景區域，其中，將混合高斯運動檢測模型中的決策參數T設置為亮度值的函數，在亮度值高于預定亮度值閾值時，將決策參數T設置為預定最大值，而在亮度值低于所述預定亮度值閾值時，將決策參數T設置為從所述預定值逐漸減小。進一步，在該圖像前景檢測方法中，從與所述圖像相關聯的深度圖像中檢測出第二前景區域包括基于深度圖像的分辨率以及用于測量深度圖像的深度傳感器的以下參數高度、水平角度范圍和垂直角度范圍，來計算水平面模板圖像；以及從所述深度圖像中提取與所述水平面模板圖像具有不同深度的圖像區域作為前景區域。進一步，在該圖像前景檢測方法中，從所述深度圖像中提取與所述水平面模板圖像具有不同深度的圖像區域作為前景區域包括對于每個像素，當所述深度圖像的深度值與所述水平面模板圖像的深度值之間的差值小于預定深度差閾值時，將該像素標記為處于水平平面位置；獲得所述深度圖像中的水平平面區域；以及從所述深度圖像中去除所檢測到的水平平面區域，以獲得前景區域。進一步，在該圖像前景檢測方法中，還包括在所述第二前景區域中，計算每個像素處的深度梯度值；當該深度梯度值大于預定梯度值閾值時，確定該像素處于前景對象的遮擋邊緣，并將該像素處的深度值設置為預定深度值；以及進行連通域分析，從所述第二前景區域中分離出前景對象。根據本專利技術的另一方面，提供了一種圖像前景檢測設備，包括亮度參數計算裝置，用于提取所述圖像的亮度分量并獲得亮度參數；第一前景區域檢測裝置，用于對所述圖像進行運動檢測以檢測出第一前景區域；第二前景區域檢測裝置，用于從與所述圖像相關聯的深度圖像中檢測出第二前景區域；以及前景區域組合裝置，用于基于所述亮度參數對所述第一前景區域與所述第二前景區域進行組合。優選地，在該圖像前景檢測設備中，所述亮度參數包括像素的亮度值和/或表示幀間亮度變化的像素的亮度差值。進一步，在該圖像前景檢測設備中，所述前景區域組合裝置包括第一置信度確定裝置，用于作為像素的亮度值和/或亮度差值的函數，來確定所述第一前景區域的置信度；第二置信度確定裝置，用于作為像素的亮度值的函數，來確定所述第二前景區域的置信度；最終前景區域確定裝置，用于將所述第一前景區域和所述第二前景區域分別利用相應置信度加權并相加，并且對于每個像素當相加后的置信度高于預定置信度閾值時，將該像素確定為最終前景區域。優選地，在該圖像前景檢測設備中，所述亮度參數包括像素的亮度值。進一步，在該圖像前景檢測設備中，所述對所述圖像進行運動檢測包括提取所述圖像的反射分量；以及利用混合高斯運動檢測方法對所述圖像的亮度分量進行運動檢測，以便獲得所述圖像的第一前景區域，其中，將混合高斯運動檢測模型中的決策參數T設置 為亮度值的函數，在亮度值高于預定亮度值閾值時，將決策參數T設置為預定最大值，而在亮度值低于所述預定亮度值閾值時，將決策參數T設置為從所述預定最大值逐漸減小。進一步，在該圖像前景檢測設備中，所述第二前景區域檢測裝置還包括水平面模板圖像計算裝置，用于基于深度圖像的分辨率以及用于測量深度圖像的深度傳感器的以下參數高度、水平角度范圍和垂直角度范圍，來計算水平面模板圖像；以及第本文檔來自技高網...

【技術保護點】
一種圖像前景檢測方法，包括：提取所述圖像的亮度分量并獲得亮度參數；對所述圖像進行運動檢測以檢測出第一前景區域；從與所述圖像相關聯的深度圖像中檢測出第二前景區域；以及基于所述亮度參數，對所述第一前景區域與所述第二前景區域進行組合。

【技術特征摘要】

【專利技術屬性】
技術研發人員：王鑫，范圣印，王曉萌，宮衛濤，
申請(專利權)人：株式會社理光，
類型：發明
國別省市：