用于檢測第一對象與第二對象之間的觸摸的方法和設備技術(shù)

本公開涉及一種用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的方法和設備，其中該第一對象的至少部分相比于第二對象的至少部分具有不同的溫度，該方法包括：提供第二對象的一部分的至少一個熱圖像；在至少一個熱圖像的至少部分中確定用于指示特定溫度值或溫度范圍或者特定溫度變化值或溫度變化范圍的圖案；以及使用所確定的圖案以用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸。

【技術(shù)實現(xiàn)步驟摘要】
【國外來華專利技術(shù)】本公開涉及用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的方法和設備，其中第一對象的至少部分相比于第二對象的至少部分具有不同的溫度。本公開還涉及包括適于執(zhí)行此類方法的軟件代碼段的計算機程序產(chǎn)品。人與(真實)對象進行交互的一種自然方式是用其手來觸摸對象。例如，在當前的增強現(xiàn)實(AR)應用中，與真實對象和虛擬對象的交互通常涉及用戶的手與顯示真實對象的圖像的屏幕，而不是與真實對象直接交互。允許檢測和定位其表面上的觸摸的此類屏幕通常被稱為觸摸屏，并且如今是例如智能電話和平板電腦的常見部件。當前的趨勢是AR的顯示器越來越小，和/或其更靠近用戶眼睛的視網(wǎng)膜。這例如對于頭戴式顯示器就是如此，并且使得對觸摸屏的使用很困難或者甚至不可行。這種情況下的一種可能的解決方案是使用基于遮擋的交互方法，諸如參考文獻[4,5]中所述的。在這些方法中，如果真實對象的某區(qū)域被遮擋而不在相機的視角內(nèi)，則觸發(fā)交互事件。需注意，相機相對于真實對象的姿態(tài)(即位置和取向)需要是已知的，以便能夠識別此類遮擋。該姿態(tài)可脫機確定一次或者在工作時間期間持續(xù)確定，這允許真實對象和/或相機發(fā)生運動。此類基于遮擋的交互例如是名為“虛擬按鈕”的Vuforia SDK的一部分。基于遮擋的虛擬按鈕具有以下缺點：其不能辨別對象(例如指尖)實際是否觸摸虛擬按鈕或者其是否僅僅遮擋虛擬按鈕，并且其不能辨別遮擋(或觸摸)是手指(指尖)有意進行的還是由其他對象(例如袖邊)無意導致的。存在以下常見的方法來檢測人體的至少部分與對象之間的觸摸。最常見的方法是為對象或人體(例如指尖)物理地配備能夠感測觸摸的傳感器。這可以是從簡單的機械開關(guān)到觸摸板或觸摸屏的任意機構(gòu)。其例如也可基于在觸摸真實對象時被施加到身體的電壓并且使電路閉合。這類方法的限制在于其需要對對象或人體進行修改。如果身體部位(例如手)相對于對象的姿態(tài)是已知的，則也能檢測到觸摸。存在旨在跟蹤手指或手的姿態(tài)的許多方法。這些方法可基于用于感測可見光和/或深度的一個或多個相機，例如使用渡越時間相機或者基于紅外結(jié)構(gòu)化光的主動立體相機。還存在方法來為用戶的手配備傳感器例如慣性傳感器以感測手的姿態(tài)。所有這些方法的限制在于所確定的手或手指的姿態(tài)精確度太低，從而不能可靠地判定手指是否觸摸到真實對象或者其是否僅僅非常靠近真實對象(例如與對象相距2mm)。參考文獻[4,5]中所描述的其他方法(諸如上面提到的Vuforia SDK中的虛擬按鈕)并非用于檢測觸摸，而是用于檢測遮擋，從而導致許多限制。虛擬按鈕需要具有允許穩(wěn)健地識別出按鈕是否被遮擋的某個尺寸。例如將一張A4紙細分成每個尺寸為lmm×lmm的297×210個虛擬按鈕的網(wǎng)格將是不可行的。這將虛擬按鈕的應用限于不要求精確的連續(xù)位置輸入而只是要求離散按鈕觸發(fā)的任務。此外，這些虛擬按鈕需要具有與手指的視覺外觀不同的視覺外觀，使得可識別遮擋。由于這些方法檢測遮擋而非觸摸，因此導致另一嚴重限制，這將在下文中以數(shù)字鍵為例進行討論。利用虛擬按鈕不可能觸發(fā)數(shù)字鍵上的一系列相鄰按鈕中的一個按鈕(例如數(shù)字5)，而在之前不觸發(fā)任何其他按鈕，這是因為不可能在不遮擋任何周圍按鈕的情況下觸及按鈕數(shù)字5。這便對虛擬按鈕的布局提出了嚴苛的約束。此外，在觸摸或遮擋數(shù)字鍵上的按鈕數(shù)字5時，手還將同時遮擋其他按鈕。在參考文獻[5]中，作者提出了通過在多個按鈕被遮擋的情況下只考慮左上角的按鈕來解決這個問題，但這是非常探試性且不可靠的方法。在參考文獻[6]中描述了氣息跟蹤用戶接口系統(tǒng)和方法，其中其實施方案涉及用于控制計算機系統(tǒng)的用戶接口，并且更具體地涉及跟蹤用戶呼吸的氣息以向計算機程序提供控制輸入的用戶接口。該氣息跟蹤是基于熱紅外成像來實現(xiàn)的。在參考文獻[7]中描述了一種使用熱成像的用戶接口系統(tǒng)和方法。其描述了一種用戶接口，該用戶接口基于利用一個或多個熱成像相機獲得一個或多個對象的一個或多個熱紅外圖像、分析熱紅外圖像、從熱紅外圖像中識別對象的特征、并將所述特征用作計算機程序中的控制輸入。該對象是用戶并且該特征是生命信號。參考文獻[8]公開了一種被動式紅外感測用戶接口以及使用該被動式紅外感測用戶接口的設備。設備包括用于用戶接口的被動式紅外傳感器。當用戶將其手指放置在該紅外傳感器上方時，該傳感器生成用于指示用戶手指在傳感器上方的時間、位置、或移動的數(shù)字信號。用戶手指不需要觸摸或按壓紅外傳感器，但其可用于非觸摸式用戶接口。本專利技術(shù)的一個目的是提供可在不使用觸摸屏的情況下實施并且不提供上述缺陷的一種用于檢測第一對象和第二對象之間的觸摸的方法和設備。根據(jù)一個方面，提供了一種檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的方法，其中第一對象的至少部分相比于第二對象的至少部分具有不同的溫度，該方法包括以下步驟：提供第二對象的一部分的至少一個熱圖像；在至少一個熱圖像的至少部分中確定用于指示特定溫度值或溫度范圍或者特定溫度變化值或溫度變化范圍的圖案；以及使用所確定的圖案以用于檢測第一對象的至少部分與第二對象的至少部分之間的觸摸。更具體地，通過確定圖案，檢測從第一對象或第二對象中的一者轉(zhuǎn)移到第一對象或第二對象中的相應另一者的熱能。有利地，以這種方式檢測在第一對象或第二對象中的一者被相應的另一對象(例如人體，諸如手指)觸摸之后其表面所發(fā)射的熱能(諸如熱輻射)，而不是如現(xiàn)有技術(shù)中那樣試圖檢測對象(即身體或手指)本身。例如，第一對象是人體的至少部分。第二對象原則上可為真實環(huán)境中的任何對象。利用本專利技術(shù)，人體的至少部分與至少一個對象之間的至少一個觸摸可通過檢測由表面的發(fā)生至少一個觸摸的那些部分處的至少一個所捕獲的對象發(fā)射的紅外范圍中的輻射而被確定。為了捕獲熱圖像，可使用熱相機諸如紅外熱成像相機。本專利技術(shù)例如支持增強現(xiàn)實(AR)領(lǐng)域中以及涉及人機接口(特別是有形用戶接口)的其他領(lǐng)域中的許多有用的應用。有利地，利用本專利技術(shù)可準確地確定真實對象的表面是否實際被觸摸還是僅僅被遮擋(或者被接近但未觸摸)。這可區(qū)分(有意進行的)人體導致的觸摸或遮擋與(可能無意發(fā)生的)其他任何東西的觸摸或遮擋。能夠精確地對觸摸進行定位并且能夠在觸摸事件發(fā)生之后(即，即使在觸摸時不存在任何相機、計算機或其他任何東西)對觸摸事件進行識別。根據(jù)一個實施方案，第二對象的至少部分和第二對象的一部分可重疊或可不重疊。第二對象的觸摸部分或被觸摸部分可能在至少一個熱圖像中未被捕獲，因為其可能被第一對象遮擋(如例如下文更詳細描述的圖3中所示的)。因此，術(shù)語“第二對象的至少部分”代表第二對象的觸摸部分或被觸摸部分，并且術(shù)語“第二對象的一部分”代表第二對象的被成像部分。例如，第二對象的至少部分可位于薄對象的正面上，而第二對象的一部分位于該薄對象的背面上。這在下文也將更詳細地變得顯而易見。根據(jù)一個實施方案，該方法還包括在熱圖像中確定所檢測到的觸摸的位置、尺寸、取向、方向、軌跡、或形狀。根據(jù)另一實施方案，該方法還包括將所檢測到的觸摸作為輸入提供給機器接口程序，其中所檢測到的觸摸改變機器接口程序中的狀態(tài)。例如，機器接口程序是可例如在移動設備(諸如智能電話、平板電腦、可穿戴計算機、或頭戴式設備)中使用的人機接口的一部分。根據(jù)一個實施方案，確定圖案包括確定在至少一個熱圖像中的不同位置處測量本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的方法，其中所述第一對象的所述至少部分相比于所述第二對象的所述至少部分具有不同的溫度，所述方法包括以下步驟：?提供所述第二對象的一部分的至少一個熱圖像，?在所述至少一個熱圖像的至少部分中確定用于指示特定溫度值或溫度范圍或者特定溫度變化值或溫度變化范圍的圖案，以及?使用所確定的圖案以用于檢測所述第一對象的所述至少部分與所述第二對象的所述至少部分之間的觸摸。

【技術(shù)特征摘要】
【國外來華專利技術(shù)】1.一種檢測第一對象的至少部分與第二對象的至少部分之間的觸摸的方法，其中所述第一對象的所述至少部分相比于所述第二對象的所述至少部分具有不同的溫度，所述方法包括以下步驟：-提供所述第二對象的一部分的至少一個熱圖像，-在所述至少一個熱圖像的至少部分中確定用于指示特定溫度值或溫度范圍或者特定溫度變化值或溫度變化范圍的圖案，以及-使用所確定的圖案以用于檢測所述第一對象的所述至少部分與所述第二對象的所述至少部分之間的觸摸。2.根據(jù)權(quán)利要求1所述的方法，其中所述第二對象的所述至少部分和所述第二對象的所述一部分重疊或者不重疊。3.根據(jù)權(quán)利要求1或2所述的方法，其中所述第一對象是人體的至少部分。4.根據(jù)權(quán)利要求1至3中任一項所述的方法，還包括確定所檢測到的觸摸在所述熱圖像中的位置、尺寸、取向、方向、軌跡、或形狀。5.根據(jù)權(quán)利要求1至4中任一項所述的方法，還將所檢測到的觸摸作為輸入提供給機器接口程序，其中所檢測到的觸摸改變所述機器接口程序中的狀態(tài)。6.根據(jù)權(quán)利要求1至5中任一項所述的方法，其中確定所述圖案包括確定在所述至少一個熱圖像中的不同位置處測量的溫度之間的一個或多個差異。7.根據(jù)權(quán)利要求1至6中任一項所述的方法，其中確定所述圖案包括計算所述熱圖像中的溫度相對于位置的一階導數(shù)或二階導數(shù)。8.根據(jù)權(quán)利要求1至7中任一項所述的方法，其中確定所述圖案包括計算所述熱圖像中的溫度相對于時間的一階導數(shù)或二階導數(shù)。9.根據(jù)權(quán)利要求1至8中任一項所述的方法，其中確定所述圖案包括確定用于指示所述第一對象和所述第二對象的相應溫度的至少兩個溫度區(qū)間之間的溫度分布。10.根據(jù)權(quán)利要求9所述的方法，還包括確定所述區(qū)間中的第一區(qū)間是否顯示出溫度的第一次升高，之后是否顯示出比所述第一次升高更急劇的第二次升高，并且確定所述區(qū)間中的第二區(qū)間是否顯示出溫度的第一次降低，之后是否顯示出比所述第一次降低較不急劇的第二次降低。11.根據(jù)權(quán)利要求9或10所述的方法，還包括計算所述至少一個熱圖像中的溫度的柱狀圖并使用所述柱狀圖作為基礎(chǔ)來限定所述第一區(qū)間和所述第二區(qū)間中的至少一者以及被確定用于檢測觸摸的所述第一區(qū)間和所述第二區(qū)間之間的區(qū)間。12.根據(jù)權(quán)利要求1至11中任一項所述的方法，其中確定所述圖案包括確定所述至少一個熱圖像中的至少一個樣本線的溫度分布，所述至少一個樣本線可在所述熱圖像內(nèi)具有任意取向。13.根據(jù)權(quán)利要求1至12中任一項所述的方法，其中確定所述圖案包括確定所述熱圖像中的滿足對其尺寸和/或平均溫度的一個或多個約束的群集。14.根據(jù)權(quán)利要求1至13中任一項所述的方法，包括提供包括所述第二對象的一部分的至少兩個熱圖像的熱圖像序列。15.根據(jù)權(quán)利要求14所述的方法，其中確定所述圖案包括確定所述至少兩個熱圖像之間的溫度變化以及確定所述變化是否高于所限定的閾值。16.根據(jù)權(quán)利要求14或15所述的方法，其中確定所述圖案包括確定所述至少兩個熱圖像之間的溫度的導數(shù)以及確...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：D·庫爾茨，
申請(專利權(quán))人：METAIO有限公司，
類型：發(fā)明
國別省市：德國;DE