基于視線的VR顯示方法及VR設備技術

本發明專利技術涉及一種基于視線的VR局部顯示方法及VR設備。該方法包括：接收初始化指令后顯示測試圖像并采集用戶的第一瞳孔圖像以完成所述用戶的視線定位初始化；播放視頻時，采集所述用戶的第二瞳孔圖像并根據所述第二瞳孔圖像確定所述用戶的第二瞳孔中心點；判斷所述第二瞳孔中心點在設定時間閾值內是否發生變化，并在未發生變化時局部放大當前視線方向的視頻畫面。本發明專利技術通過采用眼球追蹤技術，精確定位視場內的觀測點并以視線滯留作為視頻播放中局部放大的操作，解決了當前VR設備播放視頻無法局部放大的問題。

Line of sight based VR display method and VR device

The invention relates to a VR based local display method based on line of sight and a VR device. The method includes: receiving initialization instruction after the initialization of sight positioning display the first image and the pupil image acquisition user testing to complete the user; when playing video, collecting the user's second pupil image and according to the second pupil center the second pupil image determines the user; judging whether the second pupil center at the set time threshold is changed, and in the video did not change when the local amplification of the line of sight. The invention adopts the eye tracking technology, observation points within the field of view of the accurate positioning and to sight retention as video playback of local amplification operation, solves the current VR devices cannot play video local amplification problem.

【技術實現步驟摘要】
基于視線的VR顯示方法及VR設備
本專利技術屬于眼球追蹤
，具體涉及一種基于視線的VR顯示方法及VR設備。
技術介紹
互聯網時代的來臨使得人類的交流采用了新的方式，進入了新的領域。具體發展過程如下：命令界面—圖形用戶界面—多媒體界面—虛擬現實。虛擬現實(VirtualReality,簡稱VR)，是利用計算機圖形系統和各種現實及控制等接口設備，在計算機上生成的、可交互的三維環境中提供沉浸感覺的技術。目前，VR虛擬現實技術可廣泛地應用于城市規劃、室內設計、工業仿真、古跡復原、橋梁道路設計、房地產銷售、旅游教學、水利電力、地質災害等眾多領域，能夠提供切實可行的解決方案。目前，VR頭戴設備的市場正在逐步擴大，對應的應用方式也在不斷擴大。其中，通過VR頭戴設備可對播放的視頻進行暫停、快進、快退等操作，但操作方式只能是利用體感手柄，體感戒指，體感手環等外部設備完成。另外，若用戶需要查看視頻畫面中的某個細節，更是無法實現的，因此現有VR頭戴設備是無法實現VR顯示的具體化，用戶體驗性較差。
技術實現思路
為了解決現有技術中存在的上述問題，本專利技術提供了一種基于視線的VR顯示方法及VR設備。本專利技術的一個實施例提供了一種基于視線的VR顯示方法，應用于VR設備的局部顯示控制，包括：接收初始化指令后顯示測試圖像并采集用戶的第一瞳孔圖像以完成所述用戶的視線定位初始化；播放視頻時，采集所述用戶的第二瞳孔圖像并根據所述第二瞳孔圖像確定所述用戶的第二瞳孔中心點；判斷所述第二瞳孔中心點在設定時間閾值內是否發生變化，并在未發生變化時局部放大當前視線方向的視頻畫面。在本專利技術的一個實施例中，接收初始化指令后顯示測試圖像并采集用戶的第一瞳孔圖像以完成所述用戶的視線定位初始化，包括：接收初始化指令后在視場范圍內按照預設的程序依次顯示M個觀測點以引導所述用戶依次觀察所述M個觀測點；采集所述用戶在M個觀測點的所述第一瞳孔圖像；根據所述第一瞳孔圖像確定所述用戶的第一瞳孔中心點；根據所述M個觀測點和所述M個觀測點對應的所述第一瞳孔中心點完成對所述用戶的視線定位初始化。在本專利技術的一個實施例中，根據所述第一瞳孔圖像確定所述用戶的第一瞳孔中心點，包括：處理所述第一瞳孔圖像形成第一灰度圖像；從所述第一灰度圖像中獲取所述第一瞳孔的邊緣點，并根據所述邊緣點擬合形成第一類橢圓曲線；將所述第一類橢圓曲線的中心作為所述第一瞳孔中心點。在本專利技術的一個實施例中，根據所述M個觀測點和所述M個觀測點對應的所述第一瞳孔中心點完成對所述用戶的視線定位初始化，包括：選取觀測點與對應的第一瞳孔中心點之間的映射模型，所述映射模型為：其中(X,Y)為觀測點在自設坐標系下的坐標信息，(x,y)為第一瞳孔中心點在自設坐標系下的坐標信息，a、b、c、d、e、f、g、h、k、l、m及n為所述映射模型的參數；根據所述M個觀測點的坐標和所述M個觀測點對應的所述第一瞳孔中心點的坐標計算所述映射模型中的參數以完成所述映射模型的設立。在本專利技術的一個實施例中，采集所述用戶的第二瞳孔圖像并根據所述第二瞳孔圖像確定所述用戶的第二瞳孔中心點，包括：采集所述第二第二瞳孔圖像并對所述第二瞳孔圖像進行灰度化處理形成第二灰度圖像；從所述第二灰度圖像中獲取第二瞳孔的邊緣點，并根據所述邊緣點擬合形成第二類橢圓曲線；將所述第二類橢圓曲線的中心作為所述第二瞳孔中心點。在本專利技術的一個實施例中，判斷所述第二瞳孔中心點在設定時間閾值內是否發生變化，包括：步驟a、將當前時刻采集的所述第二瞳孔圖像與前一時刻采集的所述第二瞳孔圖像進行第二瞳孔中心點比對；步驟b、若無變化，從前一時刻開始記錄時間；步驟c、采集下一時刻的所述第二瞳孔圖像；步驟d、將下一時刻采集的所述第二瞳孔圖像與當前時刻采集的所述第二瞳孔圖像進行第二瞳孔中心點比對；如無變化，則累加時間并判斷累計時長是否大于等于所述設定的時間閾值，若是，則停止；若否，繼續執行步驟c；若有變化，則重新執行步驟a。在本專利技術的一個實施例中，局部放大當前視線方向的視頻畫面，包括：根據所述視線定位初始化中確定的映射模型及所述第二瞳孔中心點獲得對應在視場畫面中的觀測點；調用內存資源局部放大所述觀測點位置處的視頻畫面。在本專利技術的一個實施例中，所述映射模型為：其中(X,Y)為觀測點在自設坐標系下的坐標信息，(x,y)為第二瞳孔中心點在自設坐標系下的坐標信息，a、b、c、d、e、f、g、h、k、l、m及n為所述映射模型的參數。在本專利技術的一個實施例中，調用內存資源局部放大所述觀測點位置處的視頻畫面，包括：以觀測點為中心，調用所述VR設備的內存資源，以視場形狀按照預設規則擴大局部的視頻畫面；其中，用于局部放大的視頻畫面所采用的內存資源為由放大后已不在視場范圍的視頻畫面所采用的內存資源形成。本專利技術的另一個實施例提供了一種VR設備，包括：處理器及瞳孔圖像采集設備；其中，所述處理器用于執行上述實施例中的任一方法。本專利技術實施例，通過采用眼球追蹤技術，精確定位視場內的觀測點并以視線滯留作為視頻播放中的局部放大操作，解決了當前VR設備播放視頻無法局部放大的問題。附圖說明圖1為本專利技術實施例提供的一種VR設備的外形結構示意圖；圖2為本專利技術實施例提供的一種基于視線的VR顯示方法的示意圖；圖3為本專利技術實施例提供的一種視線定位的初始化方法示意圖；圖4為本專利技術實施例提供的一種第二瞳孔中心的定位方法示意圖；以及圖5為本專利技術實施例提供的一種視線滯留判斷方法的示意圖。具體實施方式下面結合具體實施例對本專利技術做進一步詳細的描述，但本專利技術的實施方式不限于此。實施例一請參見圖1，圖1為本專利技術實施例提供的一種VR設備的外形結構示意圖。該VR設備10包括本體11、處理器12和瞳孔圖像采集設備13。其中，瞳孔圖像采集設備13為包括至少一個紅外光源的圖像采集設備。因為紅外光源對瞳孔內、外的反射有很明顯的差異，在瞳孔區域光線較強，亮度高；在非瞳孔區則圖像較暗，亮度低，因此可以有效協助圖像采集設備完成瞳孔處的拍攝。該VR設備10例如為頭戴式設備，當然本專利技術不限于圖中所示的外形結構，任何可以實現VR顯示功能的設備均為本專利技術的保護范圍。請參見圖2，圖2為本專利技術實施例提供的一種基于視線的VR顯示方法的示意圖。該方法可以包括：初始化階段：接收初始化指令后顯示測試圖像并采集用戶的第一瞳孔圖像以完成所述用戶的視線定位初始化。播放階段：播放視頻時，采集所述用戶的第二瞳孔圖像并根據所述第二瞳孔圖像確定所述用戶的第二瞳孔中心點；局部放大階段：判斷所述第二瞳孔中心點在設定時間閾值內是否發生變化，并在未發生變化時局部放大當前視線方向的視頻畫面。其中，請參見圖3，圖3為本專利技術實施例提供的一種視線定位的初始化方法示意圖。在初始化階段，具體方法包括如下步驟：步驟1、接收初始化指令后在視場范圍內按照預設的程序依次顯示M個觀測點以引導所述用戶依次觀察所述M個觀測點；步驟2、采集所述用戶在M個觀測點的所述第一瞳孔圖像；步驟3、根據所述第一瞳孔圖像確定所述用戶的第一瞳孔中心點；步驟4、根據所述M個觀測點和所述M個觀測點對應的所述第一瞳孔中心點完成對所述用戶的視線定位初始化。其中，步驟3可以包括：步驟31、處理所述第一瞳孔圖像形成第一灰度圖像；步驟32、從所述第一灰度圖像中獲取所述第一瞳孔的邊緣本文檔來自技高網...

【技術保護點】
一種基于視線的VR顯示方法，應用于VR設備的局部顯示控制，其特征在于，包括：接收初始化指令后顯示測試圖像并采集用戶的第一瞳孔圖像以完成所述用戶的視線定位初始化；播放視頻時，采集所述用戶的第二瞳孔圖像并根據所述第二瞳孔圖像確定所述用戶的第二瞳孔中心點；判斷所述第二瞳孔中心點在設定時間閾值內是否發生變化，并在未發生變化時局部放大當前視線方向的視頻畫面。

【技術特征摘要】
1.一種基于視線的VR顯示方法，應用于VR設備的局部顯示控制，其特征在于，包括：接收初始化指令后顯示測試圖像并采集用戶的第一瞳孔圖像以完成所述用戶的視線定位初始化；播放視頻時，采集所述用戶的第二瞳孔圖像并根據所述第二瞳孔圖像確定所述用戶的第二瞳孔中心點；判斷所述第二瞳孔中心點在設定時間閾值內是否發生變化，并在未發生變化時局部放大當前視線方向的視頻畫面。2.根據權利要求1所述的方法，其特征在于，接收初始化指令后顯示測試圖像并采集用戶的第一瞳孔圖像以完成所述用戶的視線定位初始化，包括：接收初始化指令后在視場范圍內按照預設的程序依次顯示M個觀測點以引導所述用戶依次觀察所述M個觀測點；采集所述用戶在M個觀測點的所述第一瞳孔圖像；根據所述第一瞳孔圖像確定所述用戶的第一瞳孔中心點；根據所述M個觀測點和所述M個觀測點對應的所述第一瞳孔中心點完成對所述用戶的視線定位初始化。3.根據權利要求2所述的系統，其特征在于，根據所述第一瞳孔圖像確定所述用戶的第一瞳孔中心點，包括：處理所述第一瞳孔圖像形成第一灰度圖像；從所述第一灰度圖像中獲取所述第一瞳孔的邊緣點，并根據所述邊緣點擬合形成第一類橢圓曲線；將所述第一類橢圓曲線的中心作為所述第一瞳孔中心點。4.根據權利要求2所述的方法，其特征在于，根據所述M個觀測點和所述M個觀測點對應的所述第一瞳孔中心點完成對所述用戶的視線定位初始化，包括：選取觀測點與對應的第一瞳孔中心點之間的映射模型，所述映射模型為：其中(X,Y)為觀測點在自設坐標系下的坐標信息，(x,y)為第一瞳孔中心點在自設坐標系下的坐標信息，a、b、c、d、e、f、g、h、k、l、m及n為所述映射模型的參數；根據所述M個觀測點的坐標和所述M個觀測點對應的所述第一瞳孔中心點的坐標計算所述映射模型中的參數以完成所述映射模型的設立。5.根據權利要求1所述的方法，其特征在于，采集所述用戶的第二瞳孔圖像并根據所述...

【專利技術屬性】
技術研發人員：張亮，單瑚，左瑜，
申請(專利權)人：西安科銳盛創新科技有限公司，
類型：發明
國別省市：陜西,61