圖像分析方法技術(shù)

本發(fā)明專利技術(shù)涉及一種圖像分析方法。一種方法，包括使用目標(biāo)檢測算法檢測至少一個圖像中目標(biāo)的存在，所述目標(biāo)檢測算法使用訓(xùn)練圖像數(shù)據(jù)來訓(xùn)練檢測算法至少部分地基于圖像的第一區(qū)域中的圖像數(shù)據(jù)與至少部分地從所述訓(xùn)練圖像數(shù)據(jù)得出的數(shù)據(jù)的外觀相似性來檢測目標(biāo)，所述方法包括：a.提供指示圖像的第一區(qū)域的至少部分與至少部分地從所述訓(xùn)練圖像數(shù)據(jù)得出的數(shù)據(jù)的相對高的外觀相似性的第一輸出；b.確定能夠檢測到目標(biāo)的圖像的第二區(qū)域的特征；以及c.基于所確定的特征，和所述第二區(qū)域的至少部分與至少部分地從所述訓(xùn)練圖像數(shù)據(jù)得出的數(shù)據(jù)的外觀相似性，提供指示第二檢測置信度足夠高以指示所述第二目標(biāo)有可能存在于所述第二區(qū)域中的第二輸出。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及一種分析圖像并且確定是否輸出與圖像的區(qū)域相關(guān)聯(lián)的圖像數(shù)據(jù)方法。這樣的圖像數(shù)據(jù)可以用于目標(biāo)檢測算法的進(jìn)一步訓(xùn)練。
技術(shù)介紹
目標(biāo)檢測算法可用于檢測并且跟蹤圖像中的目標(biāo)，諸如靜止視頻或者直播視頻，例如由數(shù)字?jǐn)z像機(jī)中的圖像傳感器獲取的。檢測和跟蹤目標(biāo)可以基于通過離線訓(xùn)練得出的分類器模型。在一個這樣的方法中，建立肯定數(shù)據(jù)集和否定數(shù)據(jù)集，數(shù)據(jù)集由分別存在或不存在感興趣的目標(biāo)的大量實(shí)例組成。感興趣的目標(biāo)的大的樣本集是允許足夠的性能所需要的。另外，實(shí)際獲取環(huán)境的條件的改變會降低精確度。例如，在面部檢測的情況下，所共用的是基于視平線處觀察的人類面部的實(shí)例訓(xùn)練分類器。然而，在一些應(yīng)用程序中，希望將攝像機(jī)放置在升高的角度，這樣就降低了面部檢測的精確度，導(dǎo)致相對于放置在視平線處的攝像機(jī)誤報和漏報(falsepositives and negatives)的增加。克服這些問題的一個方法是手動生成許多訓(xùn)練數(shù)據(jù)集并且為每個集合訓(xùn)練分類器，產(chǎn)生均對于給定環(huán)境最優(yōu)化的許多模型。然而，這需要生成額外的大的樣本數(shù)據(jù)集，進(jìn)而包括在選擇和注釋數(shù)據(jù)集元素中的顯著的人工干預(yù)。另外，在升高的攝像機(jī)位置的情況下，由于例如根據(jù)仰角的面部比例的變化，人類難以手動選擇合適的肯定訓(xùn)練集和否定訓(xùn)練集。現(xiàn)有的數(shù)據(jù)集的改善同樣地包括大量人為努力。
技術(shù)實(shí)現(xiàn)思路
根據(jù)本專利技術(shù)的第一方面，提供一種方法，該方法包括使用目標(biāo)檢測算法檢測至少一個圖像中目標(biāo)的存在，該目標(biāo)檢測算法使用訓(xùn)練圖像數(shù)據(jù)來訓(xùn)練檢測算法至少部分地基于圖像的第一區(qū)域中的圖像數(shù)據(jù)與至少部分地從訓(xùn)練圖像數(shù)據(jù)得出的數(shù)據(jù)的外觀相似性來檢測目標(biāo)，該方法包括:a.提供指示圖像的第一區(qū)域的至少部分與至少部分地從訓(xùn)練圖像數(shù)據(jù)得出的數(shù)據(jù)的相對高的外觀相似性的第一輸出，第一輸出指示第一檢測置信度足夠高以指示有可能已經(jīng)在圖像的第一區(qū)域中檢測到第一目標(biāo)；b.確定能夠檢測到目標(biāo)的圖像的第二區(qū)域的特征，該特征從與第一區(qū)域有關(guān)的數(shù)據(jù)中得到并且能夠指示第二目標(biāo)存在于第二區(qū)域中的可能性；以及c.基于所確定的特征，以及第二區(qū)域的至少部分與至少部分地從訓(xùn)練圖像數(shù)據(jù)得出的數(shù)據(jù)的外觀相似性，提供指示第二檢測置信度足夠高以指示第二目標(biāo)有可能存在于第二區(qū)域中的第二輸出。第一目標(biāo)和第二目標(biāo)可以是相同的目標(biāo)或者不同的目標(biāo)。優(yōu)選地，特征至少部分地基于第二區(qū)域與圖像內(nèi)的第二目標(biāo)的估計(jì)位置的接近度。優(yōu)選地，方法包括基于在圖像的序列內(nèi)對目標(biāo)的運(yùn)動的跟蹤來估計(jì)位置。優(yōu)選地，位置包括軌跡，或者圖像的區(qū)域。在某些方面，特征至少部分地基于待檢測的目標(biāo)的尺寸，至少部分地基于待檢測的目標(biāo)的形狀，至少部分地基于第一區(qū)域與第二區(qū)域的接近度，至少部分地基于第一區(qū)域與第二區(qū)域的相對位置，和/或至少部分地基于與第一目標(biāo)相關(guān)聯(lián)的顏色信息。第一區(qū)域和第二區(qū)域可以在相同的圖像或者不同的圖像中。優(yōu)選地，方法包括輸出與圖像的第二區(qū)域相關(guān)聯(lián)的圖像數(shù)據(jù)。圖像數(shù)據(jù)可以包括不包含第二目標(biāo)的圖像的區(qū)域。圖像數(shù)據(jù)可以至少包括來自第二區(qū)域的圖像數(shù)據(jù)。圖像數(shù)據(jù)可以包括來自從圖像裁剪的區(qū)域的圖像數(shù)據(jù)，該區(qū)域包含第二區(qū)域。圖像數(shù)據(jù)可以被輸出以便在目標(biāo)檢測算法的進(jìn)一步訓(xùn)練中使用。方法可以包括將輸出的圖像數(shù)據(jù)加入至數(shù)據(jù)集，該數(shù)據(jù)集用于訓(xùn)練目標(biāo)檢測算法，從而生成修正數(shù)據(jù)集。另外，方法可以包括利用修正數(shù)據(jù)數(shù)據(jù)集訓(xùn)練目標(biāo)檢測算法，從而生成修正訓(xùn)練目標(biāo)檢測算法。目標(biāo)檢測算法的性能可以相對修正訓(xùn)練目標(biāo)檢測算法的性能來測試。在另一方面中，該方法包括:嘗試使用目標(biāo)檢測算法檢測目標(biāo)存在于圖像中；并且響應(yīng)于檢測算法弱檢測到而不是強(qiáng)檢測到的目標(biāo)，基于與弱檢測到的目標(biāo)相關(guān)聯(lián)的至少一個特征確定是否輸出與弱檢測到的目標(biāo)相關(guān)聯(lián)的圖像數(shù)據(jù)以便在目標(biāo)檢測算法的進(jìn)一步訓(xùn)練中使用。優(yōu)選地，該方法包括輸出圖像數(shù)據(jù)以便在進(jìn)一步訓(xùn)練中使用。在一個方面，該方法包括基于輸出的圖像數(shù)據(jù)重新訓(xùn)練由檢測算法使用的模型。在一個方面，該方法包括重復(fù)重新訓(xùn)練直至使模型最優(yōu)化。當(dāng)進(jìn)一步重復(fù)沒有提高檢測的精確度時模型被最優(yōu)化。在另一方面，提供一種改善使用數(shù)據(jù)集訓(xùn)練的目標(biāo)檢測算法的性能的方法，包括:將與由通過目標(biāo)檢測算法在圖像中弱檢測到而不是強(qiáng)檢測到的目標(biāo)有關(guān)的圖像數(shù)據(jù)加入至數(shù)據(jù)集，從而生成修正數(shù)據(jù)集；利用修正數(shù)據(jù)集訓(xùn)練目標(biāo)檢測算法，從而生成修正訓(xùn)練目標(biāo)檢測數(shù)據(jù)庫。 優(yōu)選地，方法包括測試修正訓(xùn)練目標(biāo)檢測數(shù)據(jù)庫的性能相對于目標(biāo)檢測數(shù)據(jù)庫的性能是否改善。測試可以基于確定目標(biāo)的強(qiáng)檢測的數(shù)量和弱檢測的數(shù)量的改變。幾個其他方面在下文中的詳細(xì)說明和權(quán)利要求中描述。【附圖說明】通過參照附圖進(jìn)行的、僅以示例的方式給出的本專利技術(shù)的優(yōu)選實(shí)施方式的以下描述，本專利技術(shù)的另外的特征和優(yōu)點(diǎn)將變得顯而易見。圖1示出嘗試檢測目標(biāo)存在的方法。圖2示出指示強(qiáng)弱檢測閾值的尺度。圖3示出在視頻流的一系列圖像內(nèi)示出檢測的目標(biāo)運(yùn)動的重疊延時圖像。圖4示出具有顯示邊界框的檢測目標(biāo)的圖像。圖5繼目標(biāo)檢測算法的重新訓(xùn)練之后顯示圖3的檢測目標(biāo)的運(yùn)動的重疊延時圖像。圖6示出訓(xùn)練目標(biāo)檢測算法的方法。圖7示出已被檢測的兩個相關(guān)聯(lián)目標(biāo)的圖像。圖8示出將圖像數(shù)據(jù)經(jīng)由網(wǎng)絡(luò)輸出至計(jì)算機(jī)的攝像機(jī)。【具體實(shí)施方式】圖像分析技術(shù)可以應(yīng)用于存儲在存儲器中的例如由攝像機(jī)的鏡頭預(yù)記錄的靜止圖像或視頻，以及實(shí)時圖像或視頻。圖像或視頻可以是在攝像機(jī)模塊內(nèi)的圖像處理的結(jié)果或者可以例如由CMOS或CCD傳感器輸出的原始數(shù)據(jù)流組成。圖像或視頻流可以被分析以產(chǎn)生與圖像或視頻的內(nèi)容有關(guān)的數(shù)據(jù)，諸如元數(shù)據(jù)。例如，目標(biāo)檢測算法可以應(yīng)用于識別或檢測存在于圖像或視頻流之中的目標(biāo)。多個目標(biāo)可以在圖像或視頻流中被檢測和/或識別。可以由目標(biāo)檢測算法生成的信息的實(shí)例包括每個目標(biāo)的標(biāo)識符，圖像或視頻幀內(nèi)的每個目標(biāo)的位置和大小，目標(biāo)類型(例如“人”或“狗”)，對象的部分(例如“頭部”、“上身”)以及他們的方位的角度，描述檢測的精確度的檢測得分，以及每個目標(biāo)的最可能的方位角的指示(例如，將向著攝像機(jī)定向的人類面部與向側(cè)面定向的人類面部區(qū)分開)。如上所述，檢測算法可以輸出幾種類型的有關(guān)其檢測的目標(biāo)的信息。這些條信息中的一個或多個可以指示已經(jīng)多么強(qiáng)地在圖像內(nèi)檢測到目標(biāo)。在優(yōu)選實(shí)施方式中，目標(biāo)檢測算法輸出描述每個潛在目標(biāo)的檢測的精確度的檢測得分。通常，將這個檢測得分與檢測閾值相比較以確定目標(biāo)是否由目標(biāo)檢測算法認(rèn)為已經(jīng)正式“檢測到”。檢測閾值通常是根據(jù)經(jīng)驗(yàn)的得出的值，該值基于用于訓(xùn)練目標(biāo)檢測算法的特定數(shù)據(jù)集(或者數(shù)據(jù)集集合)來優(yōu)化目標(biāo)檢測。目標(biāo)檢測算法可以經(jīng)由離線訓(xùn)練產(chǎn)生一個或多個分類器模型向量。訓(xùn)練基于感興趣的目標(biāo)的實(shí)例的大的數(shù)據(jù)集，連同不包含目標(biāo)的實(shí)例的集合而執(zhí)行。數(shù)據(jù)集通常利用至少一些人工干預(yù)生成。當(dāng)前第1頁1 2 3 4 5 本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種圖像分析方法，包括使用目標(biāo)檢測算法檢測至少一個圖像中目標(biāo)的存在，所述目標(biāo)檢測算法使用訓(xùn)練圖像數(shù)據(jù)來訓(xùn)練檢測算法至少部分地基于圖像的第一區(qū)域中的圖像數(shù)據(jù)與至少部分地從所述訓(xùn)練圖像數(shù)據(jù)得出的數(shù)據(jù)的外觀相似性來檢測目標(biāo)，所述方法包括：a.提供指示圖像的第一區(qū)域的至少部分與至少部分地從所述訓(xùn)練圖像數(shù)據(jù)得出的數(shù)據(jù)的相對高的外觀相似性的第一輸出，所述第一輸出指示第一檢測置信度足夠高以指示有可能已經(jīng)在圖像的第一區(qū)域中檢測到第一目標(biāo)；b.確定能夠檢測到目標(biāo)的圖像的第二區(qū)域的特征，所述特征從與所述第一區(qū)域有關(guān)的數(shù)據(jù)中得到并且能夠指示第二目標(biāo)存在于所述第二區(qū)域中的可能性；以及c.基于所確定的特征，以及所述第二區(qū)域的至少部分與至少部分地從所述訓(xùn)練圖像數(shù)據(jù)得出的數(shù)據(jù)的外觀相似性，提供指示第二檢測置信度足夠高以指示所述第二目標(biāo)有可能存在于所述第二區(qū)域中的第二輸出。

【技術(shù)特征摘要】
...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：伊利亞·羅曼年科，
申請(專利權(quán))人：頂級公司，
類型：發(fā)明
國別省市：英國;GB