基于立體視覺三維手指運動軌跡跟蹤方法技術

一種基于立體視覺三維手指運動軌跡跟蹤方法。為從復雜背景中分割運動目標，基于場景中任何可察覺目標運動都會體現在場景圖像序列變化中，建立自適應背景模型，采用背景差分法從復雜背景中提取運動對象，并基于手指在圖像空間中的位置關系，分割出手指或手臂區域。為解決手指尖特征點對應匹配，基于手指尖特征點、手指或手臂軸線及外極線等多幾何約束關系，確定手指尖特征對應點。采用求解反對應方法，確保手指尖匹配對應的正確性。基于手指尖對應特征點和攝像機投影矩陣，重建手指尖三維坐標。本發明專利技術通過視頻采集，獲取手指運動信息，實現自然、直觀的人機交互。

【技術實現步驟摘要】

本專利技術涉及一種，用于智能圖像分析與目標提取。屬于智能信息處理

技術介紹
隨著計算機技術的不斷發展，計算機能力得到了極大提高，利用計算機實現人類的視覺功能，成為必然。其中，視覺目標跟蹤，是實現對圖像序列中的運動目標檢測、提取、識別和跟蹤，獲取運動目標運動參數和運動軌跡，從而進一步處理與分析、實現對運動目標的行為理解，完成更高一級任務。視覺目標跟蹤在視頻監視、虛擬現實、增強現實、人機交互、動畫運動捕獲、視頻壓縮、視頻會議、智能交通、軍事制導等方面具有廣泛應用前景，也是行為識別等高級機器視覺的基礎。同時，人們一直尋求自然、直觀的人機交互方式，以擺脫鍵盤、鼠標、觸摸屏等人機交互方式的局限。而手指是人類最直接也是最有效的人機交互工具，通過視頻采集，獲取手指運動信息，實現自然、直觀的人機交互。目前手指跟蹤系統，需要使用者佩帶有顏色的手套，或基于使用者膚色，或借助于三維攝像機或紅外攝像機或激光筆等。
技術實現思路
本專利技術的目的在于針對現有手指跟蹤系統需要使用者佩帶有顏色的手套，或基于使用者膚色，或借助于三維攝像機或紅外攝像機或激光筆等，提供一種基于立體視覺三維手指跟蹤方法。它是基于場景中任何可察覺目標運動都會體現在場景圖像序列的變化中，通過建立自適應背景模型，從復雜背景中提取運動對象。并通過立體匹配，獲取手指三維坐標信息。從而實現對運動手指的行為理解及自然、直觀的人機交互。為達到上述目的，本專利技術的構思是(1)背景建模與運動手指目標分割基于場景中任何可察覺的目標運動都會體現在場景圖像序列的變化中，以及彩色圖像中紅、綠、藍三分量光強度在陰影區域存在差異，設時間間隔Δt內，分別獲得tn-1與tn兩時刻的兩幀圖像f(tn-1，x，y)，f(tn，x，y)，將兩幅圖像逐象素求差值，得差分圖像Diff(x，y)。DiffR(x，y)＝|fR(tn，x，y)-fR(tn-1，x，y)|DiffG(x，y)＝|fG(tn，x，y)-fG(tn-1，x，y)| (1)DiffB(x，y)＝|fB(tn，x，y)-fB(tn-1，x，y)|其中，DiffR，DiffG，DiffB分別對應差分圖像紅、綠、藍三分量，|f|為f的絕對值。Backf(x，y)＝DiffR(x，y)≤T|DiffG(x，y)≤T|DiffB(x，y)≤T+ΔT (2)其中，T為閾值，ΔT為消除陰影的補償閾值，|為或運算符。當時間間隔Δt內的兩序列圖像f(tn-1，x，y)，f(tn，x，y)滿足式(2)時，表明該時間間隔內沒有任何變化物體，從而可將tn/tn-1之間任意時刻圖像作為背景圖像。基于所得背景圖像，利用當前幀圖像減去背景圖像得差分圖像I，分割出運動目標區域。為消除光照及其它干擾噪聲影響，對差分圖像I進行數學形態學濾波，確定運動目標區域。具體方法如下對所得差分圖像I作二值處理，采用某個大小的濾波算子對該二值圖像進行濾波后，與初始二值圖像相加，得到一個封閉的二值圖像。對該二值圖像作閉運算，獲取二值運動目標分割區域。(2)手指點特征提取與三維手指尖坐標基于二值運動目標分割區域，采用自適應矩形形狀結構元素，作數學形態學開運算，分割出手指或手臂對象。基于手指在二維圖像空間中的位置關系，確定手指尖特征點位置。基于分割出的手指或手臂對象，確定手指或手臂軸線。基于手指尖、手指或手臂軸線及外極線關系，確定手指尖的對應匹配。采用求解出的手指尖對應點與相應手指尖點的距離小于某閾值Th，作為求解的手指尖匹配點為正確匹配對應指尖點判據。基于手指尖對應特征點和攝像機投影矩陣，重建手指尖三維坐標。根據上述的專利技術構思，本專利技術采用如下技術方案一種，其特征在于基于場景中任何可察覺的目標運動都會體現在場景圖像序列的變化中，及彩色圖像中紅、綠、藍三分量光強度在陰影區域存在差異，進行自適應背景建模；基于建立的背景模型，提取前景運動對象，從前景對象中分割出手指或手臂對象，提取手指尖特征點；基于手指尖、手指或手臂軸線及外極線的多幾何約束關系，確定手指尖的對應匹配；采用求解出的手指尖對應點與相應手指點的距離小于某閾值Th，作為手指尖匹配點為正確匹配對應指尖點判據；基于手指尖對應特征點和攝像機投影矩陣，重建手指尖三維坐標；具體步驟如下(1)啟動計算機及攝像機圖像采集系統對由攝像機采集到的標定用圖像進行攝像機標定，確定攝像機投影矩陣；(2)獲取背景圖像連續采集不包含目標的場景圖像，當一設定時間間隔內兩圖像差小于某個設定閾值時，則獲取背景場景作為背景圖像，否則重新采集，直到滿足設定的時間間隔內的兩圖像差小于某個設定閾值；(3)運動目標分割由攝像機采集的當前幀圖像與步驟(2)取的背景圖像相減，分割出運動目標區域；(4)采用數學形態學濾波方法，獲取完整的運動目標；(5)根據手指在采集到的二維圖像中的空間位置關系，分割出手臂、手指對象，并確定手指尖在圖像中的位置；(6)基于手指尖、手指或手臂軸線以及攝像機采集圖像的外極線之間的幾何關系，確定手指尖的匹配對應；(7)若求解出的手指尖匹配對應點與相應的手指尖位置的距離小于設定閾值，則求解的手指尖為正確匹配對應手指尖；否則，轉入步驟(3)，重新根據當前采集到的圖像，確定手指尖位置；(8)基于手指尖位置和攝像機投影矩陣，重建手指尖三維坐標。本專利技術與現有技術相比較，具有如下顯而易見的突出實質性特點和顯著優點本專利技術根據基于場景中任何可察覺的目標運動都會體現在場景圖像序列的變化中及彩色圖像中紅、綠、藍三分量光強度在陰影區域存在差異，實現背景建模，解決了現有技術前景分割不完整或陰影區域分割困難的局限性，提高了前景分割的魯棒性，不需借助任何外界輔助手段或設備，可適應光照、陰影、噪聲等的干擾影響。基于手指尖特征點、手指或手臂軸線及外極線等多幾何約束關系，求解手指尖特征點對應匹配，有效解決了匹配搜索中的盲目性、歧義性，保證了手指尖對應匹配的魯棒性。本專利技術通過視頻采集，獲取手指運動信息，實現自然、直觀的人機交互。附圖說明圖1是本專利技術的程序流程框圖。圖2是本專利技術一個實施例的操作者未手指前方目標時的場景圖像。圖3是圖2示例操作者徒手指向前方一目標時(前方目標被點亮—方框)的場景圖像。具體實施例方式本專利技術的一個實施例是對圖2所示的背景圖像下，手指運動軌跡的跟蹤方法，本方法的程序流程如圖1所示。本，其特征在于基于場景中任何可察覺的目標運動都會體現在場景圖像序列的變化中，及彩色圖像中紅、綠、藍三分量光強度在陰影區域存在差異，進行自適應背景建模；基于建立的背景模型，提取前景運動對象，從前景對象中分割出手指或手臂對象，提取手指尖特征點；基于手指尖、手指或手臂軸線及外極線的多幾何約束關系，確定手指尖的對應匹配；采用求解出的手指尖對應點與相應手指點的距離小于某閾值Th，作為手指尖匹配點為正確匹配對應指尖點判據；基于手指尖對應特征點和攝像機投影矩陣，重建手指尖三維坐標；具體步驟如下(1)啟動計算機及攝像機圖像采集系統對由攝像機采集到的標定用圖像進行攝像機標定，確定攝像機投影矩陣；(2)獲取背景圖像連續采集不包含目標的場景圖像，當一設定時間間隔內兩圖像差小于某個設定閾值時，則獲取背景場景作為背景圖像，否則重新采集，直到滿足設定的時間間隔內的兩圖像差小于某個設定閾值；(3)運動本文檔來自技高網...

【技術保護點】
一種基于立體視覺三維手指運動軌跡跟蹤方法，其特征在于基于場景中任何可察覺的目標運動都會體現在場景圖像序列的變化中，及彩色圖像中紅、綠、藍三分量光強度在陰影區域存在差異，進行自適應背景建模；基于建立的背景模型，提取前景運動對象，從前景對象中分割出手指或手臂對象，提取手指尖特征點；基于手指尖、手指或手臂軸線及外極線的多幾何約束關系，確定手指尖的對應匹配；采用求解出的手指尖對應點與相應手指點的距離小于某閾值Ｔｈ，作為手指尖匹配點為正確匹配對應指尖點判據；基于手指尖對應特征點和攝像機投影矩陣，重建手指尖三維坐標；具體步驟如下：（１）啟動計算機及攝像機圖像采集系統對由攝像機采集到的標定用圖像進行攝像機標定，確定攝像機投影矩陣；（２）獲取背景圖像連續采集不包含目標的場景圖像，當一設定時間間隔內兩圖像差小于某個設定閾值時，則獲取背景場景作為背景圖像，否則重新采集，直到滿足設定的時間間隔內的兩圖像差小于某個設定閾值；（３）運動目標分割由攝像機采集的當前幀圖像與步驟（２）取的背景圖像相減，分割出運動目標區域；（４）采用數學形態學濾波方法，獲取完整的運動目標；（５）根據手指在采集到的二維圖像中的空間位置關系，分割出手臂、手指對象，并確定手指尖在圖像中的位置；（６）基于手指尖、手指或手臂軸線以及攝像機采集圖像的外極線之間的幾何關系，確定手指尖的匹配對應；（７）若求解出的手指尖匹配對應點與相應的手指尖位置的距離小于設定閾值，則求解的手指尖為正確匹配對應手指尖；否則，轉入步驟（３），重新根據當前采集到的圖像，確定手指尖位置；（８）基于手指尖位置和攝像機投影矩陣，重建手指尖三維坐標。...

【技術特征摘要】

【專利技術屬性】
技術研發人員：管業鵬，潘志浩，
申請(專利權)人：上海大學，
類型：發明
國別省市：31[中國|上海]