【技術實現步驟摘要】
本專利技術涉及增強現實，尤其涉及一種ar眼鏡協同手勢操作終端的響應映射方法和裝置。
技術介紹
1、增強現實(augmented?reality，簡稱ar)技術是一種基于計算機實時計算和多傳感器融合，將現實世界與虛擬信息結合起來的技術。該技術通過對人的視覺、聽覺、嗅覺、觸覺等感受進行模擬和再輸出，并將虛擬信息疊加到真實信息上，給人提供超越真實世界感受的體驗。
2、ar作為一種廣受歡迎的娛樂交互媒介，為越來越多的用戶提供流暢和開放式的影音、游戲體驗。目前最為流行的一種方式是，用戶佩戴ar眼鏡，通過數據線將手機終端的屏幕顯示在ar眼鏡內，用戶通過眼鏡觀看視頻或者游戲界面，但是控制操作仍然保留在手機終端一側。由于該場景下，用戶只能通過ar眼鏡看到手機投屏過來的畫面，無法看到真實世界的場景，因此用戶無法看到真實的手機終端和手的位置，在控制視頻播放、或者進行游戲操作時，就會導致“盲操”的現象，容易導致誤操作，影響真實體驗。
3、對此研發人員設計了一個具有手指圖像和手機終端的屏幕進行采集的處理裝置，但是進一步發現通過投影算法將手勢的空間位姿投影到手機終端平面，得到手相對于手機終端的位置的過程中，無法對拇指的實時坐標位置進行追蹤，同時，投影得到的拇指的姿態的確定較為僵硬，并且，拇指在手機屏幕上方的位置在投影計算過程中會因為手機屏幕大小，導致拇指投影的坐標存在偏差。
技術實現思路
1、針對這個痛點，本專利技術提出一種基于視覺的終端-手勢定位跟蹤算法和裝置，通過深度學習技術和視
2、本專利技術的目的在于提供一種ar眼鏡協同手勢操作終端的響應映射方法和裝置，解決了現有技術中指出的上述技術問題。
3、本專利技術提供了一種ar眼鏡協同手勢操作終端的響應映射方法，包括如下操作步驟：獲取含有完整手機輪廓的的雙目視圖手機圖像，對采集的雙目視圖手機圖像經過角點檢測后得到的手機角點坐標，然后利用所述手機角點坐標通過三角測量以及平面擬合的方式得到手機角點空間坐標；所述雙目視圖手機圖像包括左目視圖手機圖像與右目視圖手機圖像；獲取含有拇指畫面的雙目視圖的拇指圖像，對采集得到的拇指圖像經過角點檢測后得到的拇指角點坐標，然后利用所述拇指角點坐標分別依次通過三角測量、卡爾曼濾波算法以及icp算法進行處理得到拇指角點空間坐標與拇指姿態；所述拇指圖像包括左目視圖拇指圖像與右目視圖拇指圖像；基于所述拇指角點空間坐標與所述手機角點空間坐標計算得到拇指投影到手機屏幕的方向尺寸比；所述方向尺寸比包括x方向尺寸比r_x與y方向尺寸比r_y；將所述雙目視圖手機圖像傳遞至ar設備后得到ar顯示圖像；基于所述方向尺寸比以及所述拇指姿態將所述拇指圖像與所述ar顯示圖像進行融合，得到融合圖像。
4、較佳的，所述對采集的雙目視圖手機圖像經過角點檢測后得到的手機角點坐標，然后利用所述手機角點坐標通過三角測量以及平面擬合的方式得到手機角點空間坐標，包括如下操作步驟：對所述雙目視圖手機圖像通過預先訓練好的關鍵點檢測網絡模型進行角點檢測，得到所述雙目視圖手機圖像對應的手機角點坐標；利用相機內外參數對所述手機角點坐標通過三角測量算法進行計算得到所述手機角點坐標對應的三維坐標；對所述三維坐標進行平面擬合，得到手機角點空間坐標。
5、較佳的，所述預先訓練好的關鍵點檢測網絡模型基于yolo模型進行訓練得到；所述預先訓練好的關鍵點檢測網絡模型的獲取包括如下操作步驟：
6、通過網絡爬蟲方法進行爬取得到多個樣本手機輪廓圖像；對所述樣本手機輪廓圖像進行預處理操作，得到預處理后的樣本手機輪廓圖像；所述預處理操作包括畫面尺寸調整操作；對所述預處理后的樣本手機輪廓圖像進行標注，得到樣本數據集；建立初始關鍵點檢測網絡模型；基于所述樣本數據集對所述初始關鍵點檢測網絡模型進行訓練，并在初始關鍵點檢測網絡模型收斂后輸出得到訓練好的關鍵點檢測網絡模型。
7、較佳的，所述對所述三維坐標進行平面擬合，得到手機角點空間坐標，是先通過各個三維坐標的平均點坐標確定先驗平面的一般表達式，然后通過平均點坐標構建得到無參數的先驗平面，然后求解先驗平面的一般表達式的平面方程參數，最后得到目標先驗平面的一般表達式，進而將三維坐標投影到目標先驗平面上，得到手機角點空間坐標；具體包括如下操作步驟：
8、基于各個所述三維坐標計算得到平均點坐標p_m(x_m,y_m,z_m)；
9、基于所述平均點坐標p_m(x_m,y_m,z_m)構造得到先驗平面；
10、基于各個所述三維坐標至所述先驗平面的誤差項構建得到誤差矩陣h；
11、所述誤差矩陣h為：
12、
13、式中，(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)以及(x4，y4，z4)分別表示手機角點坐標對應的三維坐標；(xm，ym，zm)表示四個三維坐標的平均坐標；
14、對所述誤差矩陣h進行奇異值分解操作，得到分解矩陣h'；
15、所述分解矩陣h'為：
16、h'＝udvt；
17、式中，u是左奇異向量矩陣，d是奇異值對角矩陣，vt是右奇異向量矩陣；
18、獲取所述右奇異向量矩陣vt的最后一列特征向量作為平面參數a、平面參數b、平面參數c；
19、根據所述三維坐標及所述先驗平面計算得到平面參數d；
20、根據所述平面參數a、平面參數b、平面參數c以及所述平面參數d獲取目標先驗平面；
21、所述目標先驗平面的一般表達式為：
22、ax_m+by_m+cz_m+d＝0；
23、式中，a、b、c、d分別為平面方程參數；
24、將各個所述三維坐標通過垂直投影至所述目標先驗平面，得到各個所述三維坐標對應的手機角點空間坐標。
25、較佳的，所述利用所述拇指角點坐標分別依次通過三角測量、卡爾曼濾波算法以及icp算法進行處理得到拇指角點空間坐標與拇指姿態，包括如下操作步驟：獲取相機內外參數；根據所述相機內外參數及所述拇指角點坐標通過三角測量法進行計算得到初始拇指角點三維坐標；獲取連續幀的幀拇指角點坐標；對所述幀拇指角點坐標通過三角測量法進行計算得到各幀對應的幀拇指角點三維坐標；對所述幀拇指角點三維坐標通過卡爾曼濾波算法進行預測及修正操作，得到修正后的幀拇指角點三維坐標；基于所述初始拇指角點三維坐標以及所述修正后的幀拇指角點三維坐標通過icp算法進行計算得到各修正后的幀拇指角點三維坐標對應的拇指姿態；
26、所述拇指姿態包括旋轉矩陣r和平移向量t。
27、較佳的，所述根據所述相機內外參數及所述拇指角點坐標通過三角測本文檔來自技高網...
【技術保護點】
1.一種AR眼鏡協同手勢操作終端的響應映射方法，其特征在于，包括如下操作步驟：
2.根據權利要求1所述的一種AR眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述對采集的雙目視圖手機圖像經過角點檢測后得到的手機角點坐標，然后利用所述手機角點坐標通過三角測量以及平面擬合的方式得到手機角點空間坐標，包括如下操作步驟：
3.根據權利要求2所述的一種AR眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述預先訓練好的關鍵點檢測網絡模型基于YOLO模型進行訓練得到；所述預先訓練好的關鍵點檢測網絡模型的獲取包括如下操作步驟：
4.根據權利要求3所述的一種AR眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述對所述三維坐標進行平面擬合，得到手機角點空間坐標；具體包括如下操作步驟：
5.根據權利要求4所述的一種AR眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述利用所述拇指角點坐標分別依次通過三角測量、卡爾曼濾波算法以及ICP算法進行處理得到拇指角點空間坐標與拇指姿態，包括如下操作步驟：
6.根據權利要求5所述的一種AR眼鏡協同
7.根據權利要求6所述的一種AR眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述對所述幀拇指角點三維坐標通過卡爾曼濾波算法進行預測及修正操作，得到修正后的幀拇指角點三維坐標，包括如下操作步驟：
8.根據權利要求7所述的一種AR眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述基于所述初始拇指角點三維坐標以及所述修正后的幀拇指角點三維坐標通過ICP算法進行計算得到各修正后的幀拇指角點三維坐標對應的拇指姿態，包括如下操作步驟：
9.根據權利要求8所述的一種AR眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述基于所述拇指角點空間坐標與所述手機角點空間坐標計算得到拇指投影到手機屏幕的方向尺寸比，包括如下操作步驟：
10.一種AR眼鏡協同手勢操作終端的響應映射裝置，其特征在于，包括采集及計算單元、計算單元以及融合模塊；
...【技術特征摘要】
1.一種ar眼鏡協同手勢操作終端的響應映射方法，其特征在于，包括如下操作步驟：
2.根據權利要求1所述的一種ar眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述對采集的雙目視圖手機圖像經過角點檢測后得到的手機角點坐標，然后利用所述手機角點坐標通過三角測量以及平面擬合的方式得到手機角點空間坐標，包括如下操作步驟：
3.根據權利要求2所述的一種ar眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述預先訓練好的關鍵點檢測網絡模型基于yolo模型進行訓練得到；所述預先訓練好的關鍵點檢測網絡模型的獲取包括如下操作步驟：
4.根據權利要求3所述的一種ar眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述對所述三維坐標進行平面擬合，得到手機角點空間坐標；具體包括如下操作步驟：
5.根據權利要求4所述的一種ar眼鏡協同手勢操作終端的響應映射方法，其特征在于，所述利用所述拇指角點坐標分別依次通過三角測量、卡爾曼濾波算法以及icp算法進行處理得到拇指角點空間坐標與拇指姿態，包括如下操作步驟：
6.根...
【專利技術屬性】
技術研發人員：姜公略，周陽，
申請(專利權)人：蘇州縱橫宇宙科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。