本發明專利技術涉及用于圖形相似性確定、對象檢測和跟蹤的方法和裝置。一種用于確定模板圖像和測試圖像之間的相似性的相似性確定裝置包括：匹配像素確定單元，被配置為通過將模板圖像中包含的多個像素中的每一個與測試圖像中的對應于該像素的局部區域進行匹配來確定模板圖像中包含的多個像素中的每一個是否是匹配像素，其中局部區域包括多于一個的像素；以及確定單元，被配置為基于模板圖像中的匹配像素的數量來確定模板圖像和測試圖像之間的相似性。
【技術實現步驟摘要】
本文件涉及用于圖像相似性確定、對象檢測和跟蹤的方法和裝置。特別地，本專利技術涉及基于模板圖像的像素和檢測圖像的對應局部區域之間的相似性來進行圖像相似性確定、對象檢測和跟蹤的方法和裝置。
技術介紹
近年來，靜態圖像或一系列運動圖像中的對象檢測/識別/跟蹤被普遍地和重要地應用于圖像處理、計算機視覺和圖案識別領域，并且在其中起到重要作用。對象可以是人臉、手部、身體等中的任一個。特別地，圖像匹配是對象檢測/跟蹤算法中的重要模塊。圖1示意性地示出了圖像匹配在人體跟蹤系統中的應用，其中圖1(a)示出了模板圖像，其可被從先前幀裁剪或者被預先設定或者預先存儲在數據庫中，而圖1(b)示出了在對象跟蹤期間的當前圖像幀，該當前圖像幀可包括要被檢測的對象并且在該當前圖像幀上要執行跟蹤，還被稱為測試圖像。如圖1所示，跟蹤算法使用圖像匹配模塊(對應于與從圖1(a)到圖1(b)的箭頭所附的“圖像匹配”)來測量模板圖像和測試圖像的候選位置處的圖像塊(被實線示出的圖像塊)之間的相似性。應指出，在這里僅示出一個具有實線的圖像塊以便清楚闡述圖像匹配，并且在具體實現中，局部搜索區域中的許多位置點應被掃描以獲得多個潛在的候選位置(圖像塊)，并且圖像匹配可對于圖像塊逐一執行以便找到真正的對象位置。例如，最好的圖像位置是根據候選位置上的匹配得分被確定的(常常通過應用均值移位算法，或者簡單地選擇具有最大匹配得分的位置)。局部搜索區域是測試圖像中的在其中將如上所述地確定是否存在對象的匹配圖像塊的局部區域。如圖1所示的測試圖像中的局部搜索區域可被以多種方式確定。例如，幀圖像中的局部搜索區域可直接為預期包括對象的區域，并且對應于已經在前一幀中被檢測到并且在動態跟蹤期間被看作包括對象圖像的區域。此外，如果不存在作為參考的前一圖像幀，則整個幀圖像作為搜索區域。應指出，上述局部搜索區域的確定方法主要針對一個對象，而當存在多個對象時，可存在與該多個對象一一對應的多個局部搜索區域，并且每個對象的每個局部搜索區域可被如上所述地確定。在現有技術中，簡單的圖像匹配方法(還被稱為直接像素匹配或者“點對點”匹配)是逐個像素地直接計算模板圖像中的像素與測試圖像中的對應像素之間的點對點顏色差值(在RGB或HSV顏色空間中)，并且將所計算的各像素的像素差值求平方和作為相似性測度，如圖2所示。此測度被稱為歐幾里得測度或者方差和(SSD)。兩個圖像之間的SSD通過下式計算：其中，f()和g()可分別指地是在對應像素點處的模板圖像的像素值和測試圖像的像素值，并且(i，j)指的是像素點的坐標。越低的SSD得分意味著兩個圖像之間具有越高的相似性。當兩個圖像的圖像尺寸不同時，縮放操作是必需的(通過縮放測試圖像或模板圖像)。盡管這樣的方法可能是用于圖像相似性確定的最簡單的方法，但是這樣的方法具有許多缺陷。一個缺陷是這樣的方法由于其點對點匹配特性而對于圖像變形非常敏感。另一個缺陷是這樣的方法還對于光照變化和圖像噪聲敏感。例如，如果某個像素點的值由于噪聲而從(0,0,0)改變為(255,255,255)，則即使所有其它像素保持不改變，SSD值也將顯著改變。顏色直方圖匹配是用于對象跟蹤的另一常用方法，并且在NikhilNaik,SanmayPatil,MadhuriJoshi,\AScaleAdaptiveTrackerUsingHybridColorHistogramMatchingScheme,\ICETET,pp.279-284,2009SecondInternationalConferenceonEmergingTrendsinEngineering&Technology,2009中被公開。在該方法中，顏色直方圖將首先對于模板圖像和測試圖像中的每一個被計算。顏色直方圖的示例性計算是將顏色空間簡單地分割成離散區間(bin)。例如，通過將每個R/G/B通道等分成4個范圍：[0,63],[64,127],[128,191],[192,256]，可以將RGB顏色空間分割成64個區間。然后，各個圖像中的像素將被歸類到分割的64個區間中的一個中，并且分配給每個區間的像素的數量被累積。然后，應用Bhattacharyya測度和Chi-squared測度以通過區段到區段對準來測量直方圖的相似度，如圖3所示，其中圖3中(a)示出了模板圖像和要被跟蹤的當前幀中的候選圖像塊，并且(b)分別示出了歸一化后的模板圖像塊和候選圖像塊的顏色直方圖Hq和Ht。盡管顏色直方圖匹配對于對象變形和旋轉是魯棒的，但是這樣的顏色直方圖方法由于以下事實而對于光照變化是敏感的：直方圖區間和它們的邊界被離線選擇并且在跟蹤期間被保持固定，并且小的光照變化可顯著改變顏色直方圖。例如，值為63的像素將被分配給區間[0,63]。當光照改變很小，像素值被改變為64時，其將被分配給不同的區間[64,127]。此外，由于顏色直方圖沒有關于對象形狀的信息，這樣的顏色直方圖方法在跟蹤期間容易漂移。例如，關于如圖4所示的兩個不同形狀，盡管這兩個形狀大不相同，但是它們的顏色直方圖是相同的。因此，仍需要一種計算高效的顏色相似性確定方法，使得應用這樣的顏色相似性確定的人體跟蹤可高效地進行，尤其在實時性要求較高的場景下和場景包含許多人時。此外，仍需要可對于對象變形和照明光照變化魯棒的圖像相似性確定。即使在諸如當前幀中的人相對于模板圖像具有大的變形之類的情況中，圖像相似性確定方法仍可在此類情狀況中良好地工作。
技術實現思路
本專利技術是針對圖像匹配而開發的，旨在解決上述問題。本專利技術的目的是提供一種計算高效且對于對象變形和光照變化魯棒的圖像匹配方法。本專利技術的另一個目的是提供一種計算高效且對于對象變形和光照變化魯棒的對象檢測和/或跟蹤方法。在一個方面，提供了一種用于確定模板圖像和測試圖像之間的相似性的相似性確定裝置，可包含匹配像素確定單元以及確定單元，該匹配像素確定單元被配置為通過將模板圖像中包含的多個像素中的每一個與測試圖像中的對應于該像素的局部區域進行匹配來確定模板圖像中包含的多個像素中的每一個是否是匹配像素，其中局部區域包括多于一個的像素；該確定單元被配置為基于模板圖像中的匹配像素的數量來確定模板圖像和測試圖像之間的相似性。在另一個方面，提供了一種對象檢測裝置，可包括被配置為獲得關于該對象的至少一個候選圖像的獲得單元；被配置為確定所述至少一個候選圖像中的每一個與和該對象相關聯的模板圖像的相似性的相似性確定裝置；以及檢測單元，被配置為基于所確定的所述至少一個候選圖像中的每一個的相似性來檢測對象被包含于其中的最終圖像。在還另一個方面，提供了一種對象跟蹤裝置，可包括被配置為從序列中的幀圖像獲得關于該對象的至少一個候選圖像的獲得單元；關聯得分計算單元，被配置為基于利用相似性確定裝置確定的所述至少一個候選圖像中的每一個與和對象相關聯的模板圖像的相似性，計算所述至少一個候選圖像中的每一個的關聯得分；以及關聯單元，被配置為基于候選圖像的關聯得分使候選圖像與來自序列中的前一幀圖像的已有軌跡相關聯。在還另一個方面，提供了一種用于確定模板圖像和測試圖像之間的相似性的相似性確定方法，可包含匹配像素確定步驟以及確定步驟，該匹配像素確定步驟被配置為通過本文檔來自技高網...
【技術保護點】
一種用于確定模板圖像和測試圖像之間的相似性的相似性確定裝置，其特征在于，所述相似性確定裝置包括：匹配像素確定單元，被配置為通過將模板圖像中包含的多個像素中的每一個與測試圖像中的對應于該像素的局部區域進行匹配，確定模板圖像中包含的多個像素中的每一個是否是匹配像素，其中局部區域包括多于一個的像素；以及相似性確定單元，被配置為基于模板圖像中的匹配像素的數量來確定模板圖像和測試圖像之間的相似性。
【技術特征摘要】
1.一種用于確定模板圖像和測試圖像之間的相似性的相似性確定裝置，其特征在于，所述相似性確定裝置包括：匹配像素確定單元，被配置為通過將模板圖像中包含的多個像素中的每一個與測試圖像中的對應于該像素的局部區域進行匹配，確定模板圖像中包含的多個像素中的每一個是否是匹配像素，其中局部區域包括多于一個的像素；以及相似性確定單元，被配置為基于模板圖像中的匹配像素的數量來確定模板圖像和測試圖像之間的相似性。2.根據權利要求1所述的裝置，進一步包括：比率計算單元，被配置為計算模板圖像中的匹配像素的數量與模板圖像中的所述多個像素的總數的比率，其中，所述相似性確定單元基于所述比率來確定模板圖像和測試圖像之間的相似性。3.根據權利要求1所述的裝置，其中，所述匹配像素確定單元進一步包括：差值計算單元，被配置為依次計算模板圖像中的像素與測試圖像中的局部區域中的多于一個的像素中的每一個像素之間的差值，直至差值小于閾值為止，從而對應于小于該閾值的差值的模板圖像中的像素被確定為匹配像素，其中，所述差值是與表征模板圖像和測試圖像的圖像特征有關的差值，其中，所述差值計算單元對于模板圖像中的所述多個像素中的每個像素進行操作。4.根據權利要求1所述的裝置，其中，所述差值是亮度差值和/
\t或顏色差值和/或紋理差值。5.根據權利要求1所述的裝置，其中，模板圖像中的所述多個像素表征模板圖像中含有的對象。6.根據權利要求1所述的裝置，其中，所述多個像素是模板圖像上的前景像素。7.根據權利要求1所述的裝置，其中，測試圖像中的局部區域是中心對稱的區域，該區域的中心像素對應于模板圖像中的該進行匹配的像素。8.根據權利要求1所述的裝置，其中，測試圖像中的局部區域是N*N方形區域，其中N>1。9.根據權利要求1所述的裝置，進一步包括：分割單元，被配置為將模板圖像和測試圖像相應地分割成若干個子圖像以獲得若干對模板子圖像和測試子圖像，其中匹配像素確定單元和相似性確定單元對于每一對中的模板子圖像和測試子圖像進行操作以確定它們之間的相似性。10.根據權利要求1所述的裝置，其中，所述多個像素被從模板圖像中包含的所有像素分別在水平方向和垂直方向上按一定間隔選擇。11.根據權利要求1所述的裝置，其中，與模板圖像中的多個像素中的每一個對應的測試圖像中的相應局部區域彼此相鄰而不重疊。12.根據權利要求1所述的裝置，其中，模板圖像和測試圖像具有相同的形狀和對應的尺寸。13.一...
【專利技術屬性】
技術研發人員：王世婷，胥立豐，
申請(專利權)人：佳能株式會社，
類型：發明
國別省市：日本;JP
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。