３Ｄ指點系統技術方案

一種確定一個人所指點的方向的方法，包括：獲取該人的３Ｄ圖像；響應于該３Ｄ圖像來確定該人的眼睛的位置的第一組空間坐標；確定該人定向來指示指點方向的身體部分或工具的指點區域的位置的第二組空間坐標；響應于這些空間坐標來確定一條線；以及響應于該條線來確定該人的指點方向。

【技術實現步驟摘要】
【國外來華專利技術】3D指點系統相關申請本申請根據35U. S. C. 120要求在2007年12月31日提交的美國專利申請 12/003，705的權益，其公開通過引用結合于此。領域本專利技術涉及人機交互技術。背景人機交互(HCI)是對人和計算機之間的交互的研究。人們一般通過鍵盤和鼠標以 分別輸入諸如文本等字母數字數據和標識計算機屏幕上的感興趣的對象來與計算機進行 交互。計算機通常還嵌入在人們日常所遇到的其他設備中，如家用電器、汽車、零售展示、以 及工業設備。這些設備通常需要用戶按下按鈕或觸摸屏幕來傳遞他們的指令。所有這些形 式的交互的共同元素是它們在用戶和計算機之間具有中間對象，用戶與該中間對象進行直 接物理接觸以與計算機進行交互。在一些應用中，消除中間設備并在用戶和計算機之間進行直接交互是合乎需要 的。例如，對用戶而言，簡單地指向某一位置而非嘗試通過鍵入或甚至使用鼠標來向計算機 解釋它通常更容易。在其他情況下，如在駕駛車輛時，與計算機的適當形式的通信通常是通 過語音命令。一些計算機是由許多人使用的，如控制公共自助服務終端的計算機。在這些情 況下使用的中間設備易于發生故障并且變得不衛生，因為該設備被大量用戶觸摸并使用。姿勢識別是直接人機交互領域中一些HCI研究的焦點。人們通常通過使用姿勢來 彼此交互，例如通過搖頭來指示“否”或通過指向感興趣的對象。在一些情況下，能夠進行 姿勢識別的計算機可能使用戶免于必須鍵入、定點并點擊、或按下按鈕來傳達指令。姿勢控制的人機界面的示例在授予Cohen的美國專利6，950，534中提供。在該所 描述的系統中，用戶站在自助服務機器前面，并且用姿勢表示對所提供的產品或服務的意 圖。該系統拍攝用戶的照片并運行模式識別算法來定位該圖像的相關部分并標識姿勢。在 其進行分析時，該系統對靜態和動態姿勢進行區分，并使用參數化和“預測儲存斗”來幫助 確定姿勢。授予Nguyen的美國專利6，072，494通過在做姿勢的人進入場景之前記錄該場景 的圖像來創建初始背景模型。在處理之后，將該圖像與姿勢數據庫進行比較以標識所展示 的特定姿勢。Nguyen專利描述如何使用系統來識別諸如揮舞手臂、跳躍、以及蹲下等姿勢。授予Gokturk的美國專利7，340，077使用3D成像來獲取提供到用戶身體的不同 部分的距離信息的圖像。身體姿勢是通過確定感興趣的身體部分的形狀和姿態來從圖像中 確定的。進一步處理涉及從姿勢數據庫中標識姿勢。HCI研究的相關領域是對指點姿勢的識別(此后也稱為“指點識別”)。這一技術 的應用的示例在多篇公開論文中討論。例如，Nickel和Stiefelhagen的“Recognition of 3D-Pointing Gestures for Human-Robot Interaction (用于人類一機器人交互的 3D指點 姿勢識別)，，(德國，卡爾斯魯厄市，人形機2003會議錄)示出其中用戶通過指點與機器人 進行交互的系統。該系統使用連接到標準PC的固定基線立體照相機。在拍攝了圖像之后，通過膚色來標識頭和手。通過觀察指點手的軌跡并將移動分解成三個階段“開始”、“保持” 和“結束”來跟蹤手的移動和指點姿勢。隱馬爾科夫模型被用來輔助跟蹤。在檢測到指點 姿勢后，提取頭-手線和前臂線來確定指點方向。在 Malerczyk 的 “ Interactive Museum Exhibit Using Pointing GestureRecognition (使用指點姿勢識別的交互式博物館展覽)”(2004年2月，WSCG期刊， 第12卷，第1-3號)中討論了供公眾用來觀看藝術展覽的指點系統。在該系統中，需要用 戶站在精確定義的區域內，以使固定在頭頂上方的兩個照相機可以獲取該用戶的指點手指 的清楚且一致的視圖。該軟件應用模式識別技術來定位該用戶伸出的食指以確定顯示器上 該用戶所指點的點。該用戶進行指點來選擇圖像以將光線集中于或放大該圖像的所選區域 以供進一步研究。Do, Kim ^ 人的 it JC "Soft Remote Control System using Hand PointingGestures (使用手指點姿勢的軟遙控系統)，，(2002年，人類友好福利機器人系統 國際期刊，第3卷，第1號)示出一種通過識別用戶的手指點姿勢來對家用電器進行遙控的 系統。該系統是使用安裝在天花板上的三個照相機來跟蹤用戶的手并識別手方向的“智能 房間”。這需要房間中只有一個用戶并且指點是使用該用戶的右臂和右手來完成的。膚色被 用來定位頭和手，并且頭頂上方的照相機所提供的多個視圖被用來確定指點手的方向。在 用戶成功指向一電器時，該系統提供確認。概述本專利技術的一些實施例的一方面涉及提供一種用于確定一個人(此后稱為“指點 人”)所指向的感興趣區域(“R0I”)的經改進的人機交互系統(此后稱為“3D指點系統”)。本專利技術的一些實施例的一方面涉及提供一種響應于一個人的兩個相對局部的身 體區域或一身體區域和該人所持的一工具來提供指點方向的3D指點系統。在本專利技術的一實施例中，第一局部區域包括指點人的眼睛，且第二局部區域包括 該指點人的指尖或手指。在一些實施例中，第二局部區域包括該人手中所持的諸如筆或棒 等指點工具的尖端。這兩個局部區域被用來定義基本上連接這兩個局部區域的線。該3D 指點系統使用連接局部區域的該線來確定指點方向，并從中確定該人所指向的R0I。這一信 息可被提供給可任選地使用該ROI來啟動響應動作的計算機。本專利技術的一些實施例的一方面涉及作為指點人與計算機或由計算機控制的設備 之間的界面來提供該3D指點系統。在這些實施例中，該3D指點系統使該人能夠通過指點 感興趣區域(ROI)來操作該計算機或計算機控制的設備或者與其進行交互。根據本專利技術的一些實施例，該3D指點系統包括能夠提供場景的圖像和該場景的 3D深度圖的3D照相機和處理該圖像和深度圖以確定指點方向的處理器。該處理器處理該 圖像以在該圖像中定位包括指點人的眼睛的第一相對局部的區域和包括指點手指或工具 的尖端的第二相對局部的區域。該處理器使用來自深度圖的、與這兩個局部圖像區域相對應的深度信息以及這兩 個局部圖像區域在該圖像中的位置來確定這些區域中的每一個的3D空間坐標。該處理器 使用這些區域中的每一個的坐標來確定空間中的一條線。假定該人所指示的指點方向為基 本上與該線相一致，在從該人的眼睛朝向該人的手指的方向上。可任選地，該處理器使用該 線來確定ROI的空間坐標。可任選地，該處理器通過通信鏈路將ROI的位置坐標傳遞到外部計算機。在本專利技術的一實施例中，該處理器響應于這兩個局部圖像區域所成像的場景中的 特征的反射率來確定這兩個局部圖像區域在圖像中的位置。例如，對指點人的眼睛進行成 像的第一圖像區域的位置可以通過標識圖像中展示典型“紅眼”反射率的區域來確定。可 任選地，在3D照相機所提供的圖像的某區域中成像的特征的反射率是使用一種在2008年7 月29日提交的題為“1111叫^^578切111(成像系統)”的美國專利申請61/084，263中描述的 方法來確定的，其公開通過弓I用結合于此。根據本專利技術的一些實施例的一方面，一種3D指點系統響應于一個人所持的指點 工具或設備的本文檔來自技高網...

【技術保護點】
一種確定一個人正在指點的方向的方法，包括：獲取所述人的３Ｄ圖像；響應于所述３Ｄ圖像來確定所述人的眼睛的位置的第一組空間坐標；確定所述人定向來指示指點方向的身體部分或工具的指點區域的位置的第二組空間坐標；響應于所述空間坐標來確定一條線；以及響應于所述線來確定所述人的指點方向。

【技術特征摘要】
【國外來華專利技術】...

【專利技術屬性】
技術研發人員：Z克列爾，S卡茨，M馬德，G葉海弗，
申請(專利權)人：微軟國際控股私有有限公司，
類型：發明
國別省市：NL[荷蘭]