增強現(xiàn)實中對象的識別方法及系統(tǒng)和計算機技術(shù)方案

本發(fā)明專利技術(shù)提供了一種增強現(xiàn)實中對象的識別方法及系統(tǒng)和計算機，其中，該識別方法包括：計算機接收輸入設(shè)備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標；所述計算機接收輸入設(shè)備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象。本發(fā)明專利技術(shù)通過檢測雙眼瞳孔位置，實現(xiàn)三維視線的建模，并將三維視線與三維空間進行疊加匹配，解決了在三維空間中識別出用戶的關(guān)注對象的問題，并可以與該關(guān)注對象進行交互。

【技術(shù)實現(xiàn)步驟摘要】
增強現(xiàn)實中對象的識別方法及系統(tǒng)和計算機
本專利技術(shù)涉及一種增強現(xiàn)實技術(shù)，尤其涉及一種增強現(xiàn)實中對象的識別方法及系統(tǒng)和計算機。
技術(shù)介紹
增強現(xiàn)實(AugmentedReality，簡稱AR)，也被稱之為混合現(xiàn)實，是通過計算機技術(shù)，將虛擬的信息應用到真實世界，真實的環(huán)境和虛擬的對象實時地疊加到了同一個畫面或空間同時存在。增強現(xiàn)實技術(shù)可應用到如下領(lǐng)域：醫(yī)療領(lǐng)域：醫(yī)生可以利用增強現(xiàn)實技術(shù)，輕易地進行手術(shù)部位的精確定位；軍事領(lǐng)域：部隊可以利用增強現(xiàn)實技術(shù)，進行方位的識別，獲得目前所在地點的地理數(shù)據(jù)等重要軍事數(shù)據(jù)；古跡復原和數(shù)字化文化遺產(chǎn)保護：文化古跡的信息以增強現(xiàn)實的方式提供給參觀者，用戶不僅可以通過HMD看到古跡的文字解說，還能看到遺址上殘缺部分的虛擬重構(gòu)；工業(yè)維修領(lǐng)域：通過頭盔式顯示器將多種輔助信息顯示給用戶，包括虛擬儀表的面板、被維修設(shè)備的內(nèi)部結(jié)構(gòu)、被維修設(shè)備零件圖等；網(wǎng)絡(luò)視頻通訊領(lǐng)域：該系統(tǒng)使用增強現(xiàn)實和人臉跟蹤技術(shù)，在通話的同時在通話者的面部實時疊加一些如帽子、眼鏡等虛擬對象，在很大程度上提高了視頻對話的趣味性；電視轉(zhuǎn)播領(lǐng)域：通過增強現(xiàn)實技術(shù)可以在轉(zhuǎn)播體育比賽的時候?qū)崟r地將輔助信息疊加到畫面中，使得觀眾可以得到更多的信息；娛樂、游戲領(lǐng)域：增強現(xiàn)實游戲可以讓位于全球不同地點的玩家，共同進入一個真實的自然場景，以虛擬替身的形式，進行網(wǎng)絡(luò)對戰(zhàn)；旅游、展覽領(lǐng)域：人們在瀏覽、參觀的同時，通過增強現(xiàn)實技術(shù)將接收到途經(jīng)建筑的相關(guān)資料，觀看展品的相關(guān)數(shù)據(jù)資料；市政建設(shè)規(guī)劃：采用增強現(xiàn)實技術(shù)將規(guī)劃效果疊加到真實場景中以直接獲得規(guī)劃的效果。對于增強現(xiàn)實的顯示技術(shù)實現(xiàn)原理基本上是將左右兩眼看到的真實場景圖像之上疊加上生成的虛擬圖像。目前已經(jīng)有類似頭盔的產(chǎn)品出售.谷歌(Google)眼鏡也是類似產(chǎn)品，但由于虛擬信息疊加在單眼，不能實現(xiàn)立體的虛擬場景。現(xiàn)有技術(shù)對于虛擬3D空間內(nèi)對象與圖片的展現(xiàn)技術(shù)目前已經(jīng)相對比較成熟，但交互技術(shù)目前仍存在一些障礙，具體表現(xiàn)為計算機無法很方便地獲知人對于3D空間內(nèi)的哪個對象感興趣，想操縱哪個對象或虛擬對象。對于這方面現(xiàn)有技術(shù)主要有以下幾種：頭盔上裝有傳感器，實現(xiàn)對頭盔在3D空間中的定位和方向定位；通過外部傳感器跟蹤人眼動作，確定視線方向，但因為空間是3D，該方法不能夠定位對象景深；通過手勢識別方式，判斷想要操作的對象位置，同樣缺乏景深信息，如果有多個景深的對象處于相同方位，就無法正確識別。現(xiàn)有的雙目視覺基本上是通過兩個平行軸攝像機拍攝對象，然后用本領(lǐng)域熟知的深度恢復和三維重建方法(RameshJain，RangacharKasturi，BrainGSchunck，MachineVersion，McGrawHill，1995)進行三維重建。
技術(shù)實現(xiàn)思路
本專利技術(shù)實施例提供了一種增強現(xiàn)實中對象的識別方法及系統(tǒng)和計算機，以解決如何在三維空間中識別出用戶的關(guān)注對象，并與該關(guān)注對象進行交互的問題。本專利技術(shù)實施例提供了一種增強現(xiàn)實中對象的識別方法，該方法包括：計算機接收輸入設(shè)備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標；所述計算機接收輸入設(shè)備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象。優(yōu)選地，所述計算機確定出用戶待操作的虛擬對象之后，所述方法還包括：所述計算機接收輸入設(shè)備輸入的動作信息，根據(jù)所述動作信息和預保存的動作和操作的一對一映射關(guān)系，對待操作對象執(zhí)行對應的操作；所述待操作對象包括所述用戶待操作的虛擬對象。優(yōu)選地，所述預保存的動作和操作的一對一映射關(guān)系包括如下對應關(guān)系中的一種或幾種：雙眼視線滑動對應于：改變當前輸入焦點；左眼閉合且右眼視線滑動對應于：拖拽操作；左眼閉合且右眼眨眼對應于：點擊操作；右眼閉合且左眼視線滑動對應于：放大或縮小操作；右眼閉合且左眼眨眼對應于：右鍵點擊操作；雙眼快速連續(xù)眨眼對應于：彈出菜單操作；單眼凝視對象2秒以上對應于：長按操作；雙眼凝視對象2秒以上對應于：刪除操作；以及雙眼閉合2秒以上對應于：關(guān)閉菜單操作。優(yōu)選地，所述計算機對待操作對象執(zhí)行對應的操作之前，所述方法還包括：所述計算機接收輸入設(shè)備輸入的視差圖像，對外部世界建模，確定所述雙眼視線焦點處有真實對象，識別出所述真實對象的屬性；所述待操作對象包括識別出屬性的真實對象。優(yōu)選地，所述輸入設(shè)備為以下設(shè)備中的一種或多種：眼球檢測設(shè)備、手持設(shè)備、語音輸入設(shè)備、攝像頭和虛擬模型系統(tǒng)。優(yōu)選地，所述計算機根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標，包括：所述計算機根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置獲得左眼瞳孔相對坐標和右眼瞳孔相對坐標，根據(jù)所述左眼瞳孔相對坐標和所述右眼瞳孔相對坐標計算得到雙眼視線焦點的空間坐標。本專利技術(shù)實施例還提供了一種計算機，應用與增強現(xiàn)實中，該計算機包括：圖像識別模塊，用于分別接收輸入設(shè)備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并輸出至圖像分析模塊；所述圖像分析模塊，用于分別根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置對應獲得左眼瞳孔相對坐標和右眼瞳孔相對坐標，并輸出至景深恢復計算模塊；所述景深恢復計算模塊，用于根據(jù)所述左眼瞳孔相對坐標和所述右眼瞳孔相對坐標計算得到雙眼視線焦點的空間坐標，并輸出至對象匹配模塊；以及所述對象匹配模塊，用于接收輸入設(shè)備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象。優(yōu)選地，所述計算機還包括：對象操控命令輸出模塊，用于接收輸入設(shè)備輸入的動作信息，根據(jù)所述動作信息和預保存的動作和操作的一對一映射關(guān)系，為所述對象匹配模塊確定的所述待操作的虛擬對象輸出對應的操控命令。優(yōu)選地，所述預保存的動作和操作的一對一映射關(guān)系包括如下對應關(guān)系中的一種或幾種：雙眼視線滑動對應于：改變當前輸入焦點；左眼閉合且右眼視線滑動對應于：拖拽操作；左眼閉合且右眼眨眼對應于：點擊操作；右眼閉合且左眼視線滑動對應于：放大或縮小操作；右眼閉合且左眼眨眼對應于：右鍵點擊操作；雙眼快速連續(xù)眨眼對應于：彈出菜單操作；單眼凝視對象2秒以上對應于：長按操作；雙眼凝視對象2秒以上對應于：刪除操作；以及雙眼閉合2秒以上對應于：關(guān)閉菜單操作。優(yōu)選地，所述景深恢復計算模塊，還用于接收輸入設(shè)備輸入的視差圖像，對外部空間建模，判斷所述雙眼視線焦點處是否有真實對象；所述圖像識別模塊，還用于在所述景深恢復計算模塊確定所述雙眼視線焦點處有真實對象之后，識別所述景深恢復計算模塊確定的所述真實對象的屬性。優(yōu)選地，所述對象操控命令輸出模塊，還用于接收輸入設(shè)備輸入的動作信息，根據(jù)所述動作信息和預保存的動作和操作的一對一映射關(guān)系，為所述圖像識別模塊識別出屬性的所述真實對象輸出對應的操控命令。本專利技術(shù)實施例還提供了一種增強現(xiàn)實中對象的識別系統(tǒng)，該系統(tǒng)包括輸入設(shè)備和計算機，其中：所述輸入設(shè)備，用于為所述計算機提供輸入信息，所述輸入信息包括用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，以及各虛擬對象的空間坐標；所述計算機為上述計算機。優(yōu)選地，所述輸入信息還包括所述輸入設(shè)備獲得的眼部動作信息和/或視差圖像；或者，所述輸入設(shè)備提供的語音信息和/本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種增強現(xiàn)實中對象的識別方法，其特征在于，該方法包括：計算機接收輸入設(shè)備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標；所述計算機接收輸入設(shè)備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象。

【技術(shù)特征摘要】
1.一種增強現(xiàn)實中對象的識別方法，其特征在于，該方法包括：計算機接收輸入設(shè)備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標；所述計算機接收輸入設(shè)備輸入的各虛擬對象的空間坐標，并與所述雙眼視線焦點的空間坐標進行比對，確定出用戶待操作的虛擬對象；所述計算機對待操作對象執(zhí)行對應的操作之前，所述方法還包括：所述計算機接收輸入設(shè)備輸入的視差圖像，對外部世界建模，判斷所述雙眼視線焦點處是否有真實對象，在確定所述雙眼視線焦點處有真實對象之后，識別出所述真實對象的屬性。2.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述計算機確定出用戶待操作的虛擬對象之后，所述方法還包括：所述計算機接收輸入設(shè)備輸入的動作信息，根據(jù)所述動作信息和預保存的動作和操作的一對一映射關(guān)系，對待操作對象執(zhí)行對應的操作；所述待操作對象包括所述用戶待操作的虛擬對象。3.根據(jù)權(quán)利要求2所述的方法，其特征在于：所述預保存的動作和操作的一對一映射關(guān)系包括如下對應關(guān)系中的一種或幾種：雙眼視線滑動對應于：改變當前輸入焦點；左眼閉合且右眼視線滑動對應于：拖拽操作；左眼閉合且右眼眨眼對應于：點擊操作；右眼閉合且左眼視線滑動對應于：放大或縮小操作；右眼閉合且左眼眨眼對應于：右鍵點擊操作；雙眼快速連續(xù)眨眼對應于：彈出菜單操作；單眼凝視對象2秒以上對應于：長按操作；雙眼凝視對象2秒以上對應于：刪除操作；以及雙眼閉合2秒以上對應于：關(guān)閉菜單操作。4.根據(jù)權(quán)利要求2所述的方法，其特征在于：所述待操作對象包括識別出屬性的真實對象。5.根據(jù)權(quán)利要求1-4任一權(quán)利要求所述的方法，其特征在于：所述輸入設(shè)備為以下設(shè)備中的一種或多種：眼球檢測設(shè)備、手持設(shè)備、語音輸入設(shè)備、攝像頭和虛擬模型系統(tǒng)。6.根據(jù)權(quán)利要求1所述的方法，其特征在于：所述計算機根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置計算得到雙眼視線焦點的空間坐標，包括：所述計算機根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置獲得左眼瞳孔相對坐標和右眼瞳孔相對坐標，根據(jù)所述左眼瞳孔相對坐標和所述右眼瞳孔相對坐標計算得到雙眼視線焦點的空間坐標。7.一種計算機，其特征在于，應用與增強現(xiàn)實中，該計算機包括：圖像識別模塊，用于分別接收輸入設(shè)備輸入的用戶的左眼眼球瞳孔位置和右眼眼球瞳孔位置，并輸出至圖像分析模塊；所述圖像分析模塊，用于分別根據(jù)所述左眼眼球瞳孔位置和所述右眼眼球瞳孔位置對應獲得左眼瞳孔相對坐標和右眼瞳孔...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：錢煜明，屠要峰，
申請(專利權(quán))人：中興通訊股份有限公司，
類型：發(fā)明
國別省市：