注視點映射的方法和裝置制造方法及圖紙

一種將對象在場景圖像上的注視點映射成參考圖像中的注視點的裝置，其中所述場景圖像和索索參考圖像由相機從不同位置拍攝得到，所述裝置包括：用于在所述參考圖像上執行特征檢測算法的模塊，以在所述參考圖像上識別多個特有特征和它們的位置；用于在所述場景圖像上執行所述特征檢測算法的模塊，以在所述場景圖像上再次識別所述多個特有特征和它們的位置；用于確定點轉移映射的模塊，所述點轉移映射，基于在所述參考圖像和所述場景圖像中檢測到的所述多個特有特征的位置，將點位置在所述場景圖像和所述參考圖像之間轉換；用于使用所述點轉移映射的模塊，以將已在所述場景圖像中確定的注視點映射成其在所述參考圖像中的相應點。

【技術實現步驟摘要】
【國外來華專利技術】注視點映射的方法和裝置
本專利技術涉及用于注視點映射（gazepointmapping）的方法和裝置，特別是用于將對象的注視方向映射成場景中的注視點的方法和裝置。
技術介紹
需要解決的問題是找到（可能是移動的）人所注視的點或對象或更具體地是對象表面的一部分。已經有現存的解決該問題的方案，該方案描述如下并且可被分成幾個單獨的部分。首先，要找到人的注視方向（或者其代表，例如瞳孔/CR組合、角膜中心、瞳孔/異色邊緣等。這種注視方向被映射到由頭戴式場景相機或任何固定位置的場景相機捕捉到的場景圖像上。該頭戴式場景相機相對于眼睛是固定的，因此一旦執行了相應的校準，即可進行這種映射。下一步是將頭戴式相機捕捉到的場景圖像中的注視點（該注視點由于對象的移動而可以改變）映射成（穩定的）參考圖像中的點，其不會移動且對應于“真實世界”對象。為了確定注視方向，可以使用眼追蹤器。眼追蹤器觀察眼睛的特征，例如瞳孔、異色邊緣、鞏膜上的血管或光源的反射（角膜反射）以計算注視方向。任何種類的眼追蹤器都可被使用，只要它允許將注視方向映射到頭戴式場景相機的圖像中。如果對象的頭部不移動，一旦校準完成，注視方向的確定直接得出在參考圖像上的注視點。在頭部不移動的這種特殊情況下，校準使得將注視方向從場景圖像中的點映射成參考圖像中的點，因為場景圖像和參考圖像是相同的，因為頭戴式相機不移動，而是相對參考圖像具有固定的位置。但是，如果頭部和眼睛移動，基于相對特定場景圖像（頭部移動后由頭戴式相機拍攝得到）的注視方向的檢測來確定不移動的參考圖像中的注視點變得更加復雜，因為該場景圖像不再與之前用于相對參考圖像中的相對注視點校準注視方向的參考圖像相同。一個可能的確定注視點的途徑是將注視方向與相對眼追蹤器確定的虛擬場景平面相交。WO2010/083853A1公開了使用主動IR標記物用于該目的，該標記物固定至特定位置，例如附接至書架。這些標記物相對于“測試場景”的位置首先通過兩個正交IR線檢測器被檢測，“測試場景”用作由頭戴式相機獲得的“參考”圖像，這兩個檢測器通過檢測兩個線傳感器的最大強度來檢測兩個正交角度。檢測到的IR源的角度對應于其在參考圖像中的位置。隨后，為頭戴式相機從不同位置拍攝的隨后檢測場景檢測標記物的角度，從而檢測IR源在隨后場景圖像中的位置。隨后，再確定“立體投影”，其是將所檢測到的IR源在隨后拍攝的圖像（場景圖像）中的位置（此時頭戴式相機位于不同的位置）轉換成IR光源在測試圖像（或參考圖像）中的位置的映射過程。借助這種轉換，之后測定的場景圖像的注視點可被轉換成測試圖像中相應的（真實）注視點。通過相對場景穩定標記物，而非相對眼追蹤器（ET），來界定注視點被映射的平面，使得將來自實際“場景圖像”的注視點映射到不隨時間變化的穩定的參考圖像中變得可能。這樣，參考圖像的平面變得隨時間變化而穩定，并且其他參與者的注視也可被映射到其中，因而注視點信息可隨時間和參與者變化而被聚集，就像之前只能使用位于固定位置的眼追蹤器做到的一樣。為此，如WO2010/083853A1所描述的，現有技術使用IR源作為人工標記物，其位置可通過正交IR線檢測器而被檢測，從而檢測最大發射角。利用IR源作為標記物來確定注視點的從場景圖像向參考圖像的轉換的做法很復雜并且不方便。它需要安裝人工IR光源，并且需要具有包括兩個正交線傳感器的額外IR檢測器。因此，期望提供一種途徑，即使頭戴式場景相機移動，也能夠在不存在外部標記物的情況下確定出注視點映射。
技術實現思路
根據一個實施方式，本專利技術提供一種用于將對象在場景圖像上的注視點映射成參考圖像中的注視點的裝置，其中所述場景圖像和所述參考圖像由相機從不同的位置拍攝，所述裝置包括：用于在所述參考圖像上執行特征檢測算法的模塊，用于識別多個特有特征和它們在所述參考圖像中的位置；用于在所述場景圖像上執行所述特征檢測算法的模塊，用于再次識別所述多個特有特征以及它們在所述場景圖像中的位置；用于確定點轉移映射的模塊，所述點轉移映射基于在所述參考圖像和所述場景圖像中檢測到的所述多個特有特征的位置而將點位置在所述場景圖像和所述參考圖像之間轉換；用于使用所述點轉移映射的模塊，從而將已在所述場景圖像中確定的注視點映射成其在所述參考圖像中的相應點。這使得能夠實現注視點映射，而不需要任何人工IR源或IR檢測器。它可以在由常規CCD-相機（在可見頻率范圍內操作）拍攝的自然場景的正常且無修改的圖像上操作。根據一個實施方式，所述點轉移映射是一種平面單應性（homography），該平面單應性是由參考圖像和場景圖像中的特征估計出來的，點轉移映射經由世界場景中的虛擬轉移平面將點位置從所述場景圖像轉移至所述參考圖像。這是點轉移映射的特別合適的實施方式。根據一個實施方式，所述裝置進一步包括：用于在所述參考圖像中確定一個或多個興趣區域的模塊，所述特征檢測算法在該區域內執行以檢測和定位其中的所述特有特征。這使得能夠為特征檢測算法選擇合適的區域。這通過使用戶選擇具有特別的特有特征的區域而提高特征檢測算法的效率。根據一個實施方式，用于檢測所述場景圖像中的所述多個特有特征并用于檢測和再次識別所述場景圖像中的所述特有特征的特征檢測算法包括下述算法中的一個：尺度不變特征變換算法；加速強健特征算法。這些是特征檢測算法和特征再識別算法的特別合適的實施方式。根據一個實施方式，所述裝置進一步包括：用于將來自不同人員和/或不同時間的注視方向映射成參考圖像中的相應注視點并且用于隨時間推移記錄可能是不同使用者的被映射的注視點的模塊。這使得能夠為可能是不同用戶隨時間推移而聚集和累積注視數據。根據一個實施方式，所述裝置進一步包括：在所述參考圖像中顯示已由所述場景圖像映射到所述參考圖像的所述注視點的模塊，從而視覺顯示所述注視點，可能是隨著注視點的位置隨時間而演變而視覺顯示。這使得能夠將已經映射到參考圖像中的注視點視覺顯示，甚至可能隨時間推移而顯示。根據一個實施方式，所述裝置進一步包括：用于在不同于所述參考圖像的視覺顯示圖像中視覺顯示已由所述場景圖像映射到所述參考圖像的所述注視點的模塊，所述模塊包括：用于確定點轉移映射的模塊，所述點轉移將點從所述參考圖像轉移至所述視覺顯示圖像；用于使用所述點轉移映射的模塊，以將所述注視點從所述參考圖像映射到其在所述視覺顯示圖像中的相應點；以及用于將所述注視點顯示在所述視覺顯示圖像中的所述相應點上的模塊。這使得注視點能夠映射并視覺顯示在不同于所述參考圖像的圖像中。根據一個實施方式，所述裝置進一步包括：用于基于特有特征確定所述點轉移映射的模塊，所述特有特征已通過特征檢測算法在所述參考圖像中被檢測，并且通過所述特征檢測算法在所述視覺顯示圖像中被檢測和再次識別。這是用于視覺顯示的點轉移映射的合適的實施方式。根據一個實施方式，所述視覺顯示圖像是以下圖像中的一種：選自從不同位置拍攝的場景圖像中的圖像；通過拼接兩個或多個從不同位置拍攝的場景圖像而生成的圖像；幾何學修改的場景圖像；已去除失真的場景圖像；由不同相機拍攝的外部圖像；在不同于注視點的實際測量時間拍攝的圖像；具有比所述參考圖像更高分辨率的圖像；草圖或簡略圖；格式化圖片；手畫圖。這些是不同于參考圖像的視覺顯示圖像的合適實施方式。根據一個實施方式本文檔來自技高網...

【技術保護點】

【技術特征摘要】
【國外來華專利技術】2011.03.18 EP 11158922.21.一種將對象在由頭戴式相機捕捉的場景圖像上的注視點映射成參考圖像中的注視點的裝置，所述場景圖像能夠由于所述對象的移動而改變，其中所述場景圖像和所述參考圖像由相機從不同位置拍攝得到，所述裝置包括：用于追蹤所述對象的所述注視的眼追蹤模塊；用于拍攝所述場景圖像的頭戴式相機；用于將注視點映射到由所述頭戴式相機拍攝的所述場景圖像中的相應點的校準模塊，所述裝置還包括：用于在所述參考圖像上執行特征檢測算法的模塊，以在所述參考圖像上識別多個特有特征和它們的位置；用于在由所述頭戴式相機拍攝的所述場景圖像上執行所述特征檢測算法的模塊，以在所述場景圖像上再次識別所述多個特有特征和它們的位置；用于確定點轉移映射的模塊，所述點轉移映射，基于在所述參考圖像和所述場景圖像中檢測到的所述多個特有特征的位置，將點位置在所述場景圖像和所述參考圖像之間轉換；用于使用所述點轉移映射的模塊，以將已在所述場景圖像中確定的注視點映射成其在所述參考圖像中的相應點；用于在所述參考圖像中通過其邊界來界定一個或多個目標的模塊；以及用于對特定注視點比較所述注視點是否位于目標的這種邊界之內的模塊。2.如權利要求1所述的裝置，其中所述點轉移映射是平面單應性，其由參考圖像和場景圖像中的特征估計得出，并且經由世界場景中的虛擬轉移平面將點位置由所述場景圖像轉移至所述參考圖像。3.如權利要求1所述的裝置，所述裝置進一步包括：用于確定所述參考圖像中一個或多個興趣區域的模塊，在所述興趣區域中，所述特征檢測算法被執行以檢測和定位其中的所述特有特征。4.如權利要求2所述的裝置，所述裝置進一步包括：用于確定所述參考圖像中一個或多個興趣區域的模塊，在所述興趣區域中，所述特征檢測算法被執行以檢測和定位其中的所述特有特征。5.如前述權利要求任一項所述的裝置，其中用于檢測所述參考圖像中的所述多個特有特征以及用于檢測和再次識別所述場景圖像中的所述特有特征的所述特征檢測算法包括以下算法中的任何一種：尺度不變特征變換算法；加速強健特征算法。6.如權利要求1至4任一項所述的裝置，所述裝置進一步包括：用于將來自不同人員和/或不同時間的注視方向映射成參考圖像中的相應注視點并且用于隨時間推移記錄可能是不同使用者的被映射的注視點的模塊。7.如權利要求5所述的裝置，所述裝置進一步包括：用于將來自不同人員和/或不同時間的注視方向映射成參考圖像中的相應注視點并且用于隨時間推移記錄可能是不同使用者的被映射的注視點的模塊。8.如權利要求1至4、7任一項所述的裝置，所述裝置進一步包括：在所述參考圖像中顯示已由所述場景圖像映射到所述參考圖像的所述注視點的模塊，從而視覺顯示所述注視點，可能是隨著注視點的位置隨時間而演變而視覺顯示。9.如權利要求5所述的裝置，所述裝置進一步包括：在所述參考圖像中顯示已由所述場景圖像映射到所述參考圖像的所述注視點的模塊，從而視覺顯示所述注視點，可能是隨著注視點的位置隨時間而演變而視覺顯示。10.如權利要求6所述的裝置，所述裝置進一步包括：在所述參考圖像中顯示已由所述場景圖像映射到所述參考圖像的所述注視點的模塊，從而視覺顯示所述注視點，可能是隨著注視點的位置隨時間而演變而視覺顯示。11.如任一項權利要求1至4、7、9、10所述的裝置，所述裝置進一步包括：用于在不同于所述參考圖像的視覺顯示圖像中視覺顯示已由所述場景圖像映射到所述參考圖像的所述注視點的模塊，其包括：用于確定點轉移映射的模塊，所述點轉移將點從所述參考圖像轉移至所述視覺顯示圖像；用于使用所述點轉移映射的模塊，以將所述注視點從所述參考圖像映射到其在所述視覺顯示圖像中的相應點；以及用于將所述注視點顯示在所述視覺顯示圖像中的所述相應點上的模塊。12.如權利要求5所述的裝置，所述裝置進一步包括：用于在不同于所述參考圖像的視覺顯示圖像中視覺顯示已由所述場景圖像映射到所述參考圖像的所述注視點的模塊，其包括：用于確定點轉移映射的模塊，所述點轉移將點從所述參考圖像轉移至所述視覺顯示圖像；用于使用所述點轉移映射的模塊，以將所述注視點從所述參考圖像映射到其在所述視覺顯示圖像中的相應點；以及用于將所述注視點顯示在所述視覺顯示圖像中的所述相應點上的模塊。13.如權利要求6所述的裝置，所述裝置進一步包括：用于在不同于所述參考圖像的視覺顯示圖像中視覺顯示已由所述場景圖像映射到所述參考圖像的所述注視點的模塊，其包括：用于確定點轉移映射的模塊，所述點轉移將點從所述參考圖像轉移至所述視覺顯示圖像；用于使用所述點轉移映射的模塊，以將所述注視點從所述參考圖像映射到其在所述視覺顯示圖像中的相應點；以及用于將所述注視點顯示在所述視覺顯示圖像中的所述相應點上的模塊。14.如權利要求8所述的裝置，所述裝置進一步包括：用于在不同于所述參考圖像的視覺顯示圖像中視覺顯示已由所述場景圖像映射到所述參考圖像的所述注視點的模塊，其包括：用于確定點轉移映射的模塊，所述點轉移將點從所述參考圖像轉移至所述視覺顯示圖像；用于使用所述點轉移映射的模塊，以將所述注視點從所述參考圖像映射到其在所述視覺顯示圖像中的相應點；以及用于將所述注視點顯示在所述視覺顯示圖像中的所述相應點上的模塊。15.如權利要求11所述的裝置，所述裝置進一步包括：用于基于特有特征確定所述點轉移映射的模塊，所述特有特征已通過特征檢測算法在所述參考圖像中被檢測，并且通過所述特征檢測算法在所述視覺顯示圖像中被檢測和再次識別。16.如權利要求12至14任一項所述的裝置，所述裝置進一步包括：用于基于特有特征確定所述點轉移映射的模塊，所述特有特征已通過特征檢測算法在所述參考圖像中被檢測，并且通過所述特征檢測算法在所述視覺顯示圖像中被檢測和再次識別。17.如權利要求11所述的裝置，其中所述視覺顯示圖像是以下圖像中的一種：選自從不同位置拍攝的場景圖像中的圖像；通過拼接兩個或多個從不同位置拍攝...

【專利技術屬性】
技術研發人員：蒂尼斯·威廉姆斯，簡·霍夫曼，
申請(專利權)人：感官運動儀器創新傳感器有限公司，
類型：
國別省市：