基于顏色識別與跟蹤的人機交互方法技術

本申請涉及一種基于顏色識別與跟蹤的人機交互方法，包括：根據候選物體的影像識別其顏色，在其顏色屬于預定的多種顏色之一時，設定其顏色為跟蹤顏色，設定候選物體為跟蹤顏色體；根據當前的圖像中跟蹤顏色體的中心位置預測下一幀圖像中跟蹤顏色體的中心位置；在預測的中心位置附近預設的坐標區域內，判斷坐標區域的每個像素點是否為跟蹤顏色體的像素點；根據獲得的跟蹤顏色體的像素點計算跟蹤顏色體的中心位置，并根據跟蹤顏色體的中心位置繼續預測在下下一幀圖像中跟蹤顏色體的中心位置；根據跟蹤顏色體的像素點獲取其外形；以及，根據跟蹤顏色體的外形在圖像中的坐標判斷控制行為以進行人機交互。本發明專利技術成本低且準確率高。

【技術實現步驟摘要】
基于顏色識別與跟蹤的人機交互方法
本申請涉及人機交互領域，尤其涉及一種基于顏色識別與跟蹤的人機交互方法。
技術介紹
人機交互功能主要靠可輸入輸出的外部設備控制有關設備的運行。鼠標和鍵盤是最常見也是最經典的人機交互硬件。1983年，第一款鼠標是伴隨蘋果公司Lisa電腦發布的；隨后不久，微軟操作系統Windows3.1宣布對其兼容，從此以后鼠標伴隨操作系統和電腦的普及開始變成標配產品。尤其是鼠標的出現，圖形化和直觀的控制更加符合人的自然習慣，這是人機交互的第一次革命。近些年來迅速普及的多點觸摸技術，是人機交互史上的第二次革命，而引領它的又是蘋果公司與它的革命性手機iPhone。一開始個人移動智能終端的交互方案一直局限于傳統PC經典的鍵盤鼠標的設置，但是鍵盤鼠標的便攜性無法滿足智能終端的需求。但多點觸摸打開了另外一扇窗戶，它讓所有人意識到其實鍵盤可以成為觸摸的一部分，而很多命令其實能通過多個手指在觸摸屏上劃動方式的不同來完成。這樣的整合，讓移動終端真正擺脫了傳統PC終端的思維桎梏。多點觸摸以手勢來完成人機交互，更易于上手，同時也更加自然。隨著近些年來計算機處理能力的大幅度提高，以及模式識別等技術的發展，體感控制逐漸從幕后走到了前臺，正在逐漸發展為第三次人機交互史上的革命。體感控制主要思路是通過攝像頭以及外部手柄等設備，實時的捕獲人體的運動狀態，根據人體的運動來完成各種命令。比較著名的有微軟的Kinect、任天堂的Wii、索尼PSMove等，他們一般使用攝像頭捕捉使用者的肢體動作，或是進行臉部辨識。感應器也內建麥克風，可以用來識別語音指令，但是一般價格也較為昂貴，目前一般都是在游戲領域使用。雖然體感控制技術近些年來得到了長足的發展，但是其自身弊端也很明顯，一方面體感控制的設備都比較昂貴、不方便攜帶；另一方面容易受到各種情況的干擾、精度得不到保證。因此找到一種更加廉價、更加精確的人機交互方法是很有必要的。
技術實現思路
在下文中給出關于本專利技術的簡要概述，以便提供關于本專利技術的某些方面的基本理解。應當理解，這個概述并不是關于本專利技術的窮舉性概述。它并不是意圖確定本專利技術的關鍵或重要部分，也不是意圖限定本專利技術的范圍。其目的僅僅是以簡化的形式給出某些概念，以此作為稍后論述的更詳細描述的前序。本專利技術的一個主要目的在于提供一種成本較低且精度較高的人機交互方法。為實現上述目的，本專利技術提供了一種基于顏色識別與跟蹤的人機交互方法，包括以下步驟：步驟一：根據拍攝的候選物體的影像識別候選物體的顏色，并在候選物體的顏色屬于預定的多種顏色之一時，設定所述候選物體的顏色為跟蹤顏色，設定候選物體為跟蹤顏色體；步驟二：根據在當前的圖像中跟蹤顏色體的中心位置預測在下一幀圖像中跟蹤顏色體的中心位置；步驟三：在預測的中心位置附近的預設的坐標區域內，判斷所述坐標區域的每個像素點是否為所述跟蹤顏色體的像素點；步驟四：根據獲得的跟蹤顏色體的像素點計算所述跟蹤顏色體的中心位置，并返回步驟二以根據所述跟蹤顏色體的中心位置繼續預測在下下一幀圖像中所述跟蹤顏色體的中心位置；步驟五：根據檢測出的所有屬于跟蹤顏色體的像素點，獲取所述跟蹤顏色體的外形；以及步驟六，根據所述跟蹤顏色體的外形在圖像中的坐標以及坐標運動軌跡判斷控制行為以進行人機交互。本專利技術針對體感控制的應用場景，提出了基于顏色識別與跟蹤的人機交互方法，通過預定的顏色、識別顏色可設定跟蹤顏色體，通過位置預測和修正可準確對顏色進行跟蹤，既降低了體感識別的成本，也提高了跟蹤準確率。附圖說明參照下面結合附圖對本專利技術實施例的說明，會更加容易地理解本專利技術的以上和其它目的、特點和優點。附圖中的部件只是為了示出本專利技術的原理。在附圖中，相同的或類似的技術特征或部件將采用相同或類似的附圖標記來表示。圖1為本專利技術基于顏色識別與跟蹤的人機交互方法的一種實施方式的流程圖。圖2為圖1中步驟S1的流程圖。圖3圖1中步驟S2的流程圖。具體實施方式下面參照附圖來說明本專利技術的實施例。在本專利技術的一個附圖或一種實施方式中描述的元素和特征可以與一個或更多個其它附圖或實施方式中示出的元素和特征相結合。應當注意，為了清楚的目的，附圖和說明中省略了與本專利技術無關的、本領域普通技術人員已知的部件和處理的表示和描述。參考圖1至圖3，本專利技術的基于顏色識別與跟蹤的人機交互方法可用于為計算機、游戲機、IPTV機頂盒、高清播放機等多種硬件產品提供人機控制功能，包括以下步驟S1-S6：步驟S1：根據拍攝的候選物體的影像識別候選物體的顏色，并在候選物體的顏色屬于預定的多種顏色之一時，設定候選物體的顏色為跟蹤顏色，設定候選物體為跟蹤顏色體I。本專利技術的實施例中，按照彩虹定義構建7種顏色，即，紅、橙、黃、綠、藍、靛、紫，作為預定的多種顏色。假設7種顏色的HSV(顏色信息、純度、明度)空間的三種分量分別符合正態分布：H分量：概率分布S分量：概率分布V分量：概率分布i∈{1，2，3，...，7}代表第i種顏色，fHi(x)，fSi(x)，fVi(x)分別代表單個像素點x的H，S，V分量分別屬于第i種顏色的概率。可選地，步驟S1包括以下步驟：步驟S11：拍攝初始化界面；步驟S12：在初始化界面中顯示初始化位置范圍，該初始化位置范圍可用矩形框在初始化界面中標注；步驟S13：拍攝所述初始化位置范圍內即矩形框內的目標物體(如黃色的筆，紅色的方塊物體、綠色的塑料瓶等等)；以及步驟S14：識別目標物體的顏色，當目標物體的顏色屬于預定的多種顏色之一時，設定目標物體的顏色為跟蹤顏色體I。在初始化位置范圍內的每個像素點x，其屬于的顏色為：maxi{fHi(xh)*fSi(xs)*fVi(xv)}(4)s.t.i∈{1，2，3，...，7}則跟蹤顏色體I可以通過在初始化位置范圍內的每個像素點x求解方程(4)得到。其中xh，xs，xv分別代表該像素點的H、S和V分量的數值。步驟S14中，拍攝初始化位置范圍內的目標物體包括拍攝從初始化位置范圍沿預設的路線移動一段距離的目標物體。跟蹤顏色體設定完成后，便可跟蹤設定的跟蹤顏色體，例如，當目標物體為黃色的筆時，設定的顏色為黃色，通過對黃色的跟蹤進行人機交互。步驟S2：根據在當前的圖像中跟蹤顏色體的中心位置預測在下一幀圖像中跟蹤顏色體的中心位置。可選地，在步驟S2中，通過卡爾曼濾波器預測跟蹤顏色體I的中心位置。定義卡爾曼濾波器的系統狀態為Xk＝(sx，sy，vx，vy)，sx、sy分別代表跟蹤顏色體I的中心在x軸和y軸的坐標，vx，vy分別是跟蹤顏色體I的中心在x軸和y軸的速度。而在圖像上只能觀測得到跟蹤顏色體I的位置，所以定義二維觀測向量Zk，即(xzk，yzk)，xzk為跟蹤顏色體I的中心在x軸的觀測向量，yzk跟蹤顏色體I的中心在y軸的觀測向量。因為跟蹤顏色體I在單位時間間隔內是勻速運動的，定義狀態轉移矩陣A為：其中，Δt表示連續兩幀圖像間的時間間隔。卡爾曼濾波器的狀態方程為：Xk+1＝AXk+Wk(6)由系統狀態和觀測狀態之間的關系可知，卡爾曼濾波器的觀測矩陣為：卡爾曼濾波器的觀測方程為：Zk＝HXk+Vk(8)此外可以假設Wk和Vk都是零均值且獨立的噪聲向量，因此設Wk和Vk的協方差矩陣Qk和Rk分別為：系統狀態預測方程為：誤差協方差預測方程為：其本文檔來自技高網...

【技術保護點】
一種基于顏色識別與跟蹤的人機交互方法，包括以下步驟：步驟一：根據拍攝的候選物體的影像識別候選物體的顏色，并在候選物體的顏色屬于預定的多種顏色之一時，設定所述候選物體的顏色為跟蹤顏色，設定候選物體為跟蹤顏色體；步驟二：根據在當前的圖像中跟蹤顏色體的中心位置預測在下一幀圖像中跟蹤顏色體的中心位置；步驟三：在預測的中心位置附近的預設的坐標區域內，判斷所述坐標區域的每個像素點是否為所述跟蹤顏色體的像素點；步驟四：根據獲得的跟蹤顏色體的像素點計算所述跟蹤顏色體的中心位置，并返回步驟二以根據所述跟蹤顏色體的中心位置繼續預測在下下一幀圖像中所述跟蹤顏色體的中心位置；步驟五：根據檢測出的所有屬于跟蹤顏色體的像素點，獲取所述跟蹤顏色體的外形；以及步驟六，根據所述跟蹤顏色體的外形在圖像中的坐標判斷控制行為以進行人機交互。

【技術特征摘要】
1.一種基于顏色識別與跟蹤的人機交互方法，包括以下步驟：步驟一：根據拍攝的目標物體的影像識別目標物體的顏色，并在目標物體的顏色屬于預定的多種顏色之一時，設定所述目標物體的顏色為跟蹤顏色，設定目標物體為跟蹤顏色體；步驟二：根據在當前的圖像中跟蹤顏色體的中心位置預測在下一幀圖像中跟蹤顏色體的中心位置；步驟三：在預測的中心位置附近的預設的坐標區域內，判斷所述坐標區域的每個像素點是否為所述跟蹤顏色體的像素點；步驟四：根據獲得的跟蹤顏色體的像素點計算所述跟蹤顏色體的中心位置，并返回步驟二以根據所述跟蹤顏色體的中心位置繼續預測在下下一幀圖像中所述跟蹤顏色體的中心位置；步驟五：根據檢測出的所有屬于跟蹤顏色體的像素點，獲取所述跟蹤顏色體的外形；以及步驟六，根據所述跟蹤顏色體的外形在圖像中的坐標判斷控制行為以進行人機交互。2.如權利要求1所述的基于顏色識別與跟蹤的人機交互方法，其特征在于：所述步驟一包括：拍攝初始化界面；在所述初始化界面中顯示初始化位置范圍；拍攝所述初始化位置范圍內的目標物體；以及識別所述目標物體的顏色，當所述目標物體的顏色屬于預定的多種顏色之一時，設定所述目標物體的顏色為所述跟蹤顏色，設定目標物體為跟蹤顏色體。3.如權利要求2所述的基于顏色識別與跟蹤的人機交互方法，其特征在于：所述拍攝所述初始化位置范圍內的目標物體包括拍攝從所述初始化位置范圍沿預設的路線移動一段距離的目標物體。4.如權利要求1所述的基于顏色識別與跟蹤的人機交互方法，其特征在于：所述步驟二包括通過卡爾曼濾波來預測在下一幀圖像中跟蹤顏色體的中心位置。5.如權利要求4所述的基于顏色識別與跟蹤的人機交互方法，其特征在于，通過卡爾曼濾波來預測在下一幀圖像中跟蹤顏色體的中心位置包括：構建卡爾曼濾波器，其系統狀態為：Xk＝(sx，sy，vx，vy)，其中sx、sy分別代表所述跟蹤顏色體的中心在x軸和y軸的坐標，vx、vy分別是所述跟蹤顏色體在x軸和y軸的速度，初始速度設為0；所述跟蹤顏色體在圖像中的二維觀測向量為：Zk＝(xzk，yzk)，xzk為所述跟蹤顏色體的中心在x...

【專利技術屬性】
技術研發人員：王錚，
申請(專利權)人：北京朝歌數碼科技股份有限公司，
類型：發明
國別省市：