【技術實現步驟摘要】
一種凝視估計真值數據錄制裝置和方法
[0001]本專利技術涉及凝視估計
，尤其是涉及一種凝視估計真值數據錄制裝置和方法。
技術介紹
[0002]凝視估計(Gaze Estimation)技術，又稱眼動追蹤，在汽車安全輔助駕駛的分神監測、人機交互、心理學研究、眼科醫學診斷、VR技術和游戲領域等皆獲得了廣泛的應用。當前，在學術研究和實際工程領域中有越來越多的研究員和工程師專注于凝視估計算法設計，然而算法和模型的開發建立在數據的基礎上，凝視估計算法設計往往以圖像數據作為真值數據。真值數據的圖像分辨率、真值數據大小、豐富度、錄制環境的多樣性、真值數據的角度范圍、錄制過程中的誤差等因素嚴重影響和決定學者和工程師們最終所設計出的凝視估計算法或模型的性能。
[0003]基于上述客觀因素，研發人員對高質量的真值數據有著明顯的強烈需求。但是，開源的凝視估計真值數據無法滿足研發人員的特定化需求。以本領域技術人員熟知的MPIIGaze、EYEDIAP、Columbia和ETH
?
XGaze開源數據集為例，幾乎所有的開源數據集都是RGB圖像，雖然部分數據集有頭部姿態、面部關鍵點以及凝視點的3D坐標等信息，但是這些數據集都是2D平面圖像，其面部中諸如眼角點等landmarks點只有像素坐標而無實際3D空間內的坐標值。這些開源數據集圖像的大小和分辨率都是固定的且錄制者的凝視角度范圍未必滿足算法開發的需要。以MPIIFaceGaze開源數據集為例，該數據集以仿真的頭部模型為基礎獲得頭部姿態的角度值，考慮到每一個模型...
【技術保護點】
【技術特征摘要】
1.一種凝視估計真值數據錄制裝置，其特征在于，包括：頭部固定裝置(101)，由真值數據錄制者(106)佩戴，用于將Aruco碼(102)固定在真值數據錄制者(106)頭部，跟隨錄制者(106)頭部移動；Aruco碼(102)，粘貼在頭部固定裝置(101)上，用于確定錄制者(106)頭部姿態的角度和頭部位置；標定板(103)，固定在錄制者(106)前方，提供錄制者(106)凝視所需的凝視點；tof相機(104)，固定在標定板(103)上，用于標定錄制者(106)凝視標定板(103)上的任意凝視點時Aruco碼中心點(102)到錄制者(106)瞳孔的3D空間內的平均距離、初始時刻Aruco碼中心點坐標以及在pitch和yaw方向輸出的角度值pitch(0)和yaw(0)、錄制者左右瞳孔點的3D坐標；第二相機模塊(105)，固定在標定板(103)上，用于采集和拍攝錄制者(106)凝視標定板上的凝視點時的Aruco碼(102)和面部圖像。2.根據權利要求1所述的凝視估計真值數據錄制裝置，其特征在于：所述頭部固定裝置(101)：與真值數據錄制者(106)頭部相連接，固定在錄制者(106)頭部，其上方粘貼Aruco碼(102)，在錄制真值數據過程中使Aruco碼(102)與錄制者(106)的頭部保持同步轉動；所述Aruco碼(102)：與錄制者(106)的頭部在頭部固定裝置(101)作用下保持同步運動，故Aruco碼(102)上檢測出的yaw和pitch方向旋轉角度被認為是錄制者(106)當前頭部姿態的角度，以實時檢測錄制者(106)頭部姿態和左右瞳孔點的3D坐標；所述標定板(103)：標定板(103)與錄制者(106)之間的距離由錄制者(106)根據真值數據錄制需求自行設定，標定板(103)通過橫縱垂直相交的直線刻畫形成多個正方格，橫縱直線的交點便是凝視點；正方格的邊長由真值數據錄制需求而定，錄制者(106)凝視角度步長越小則正方格邊長越小，反之則越大；標定板(103)上正方格邊長S可按以下方式計算：s＝L*tanλ其中，L是標定板與錄制者之間的距離，λ是錄制者劃定的凝視角度步長；所述tof相機(104)：其標定結果與tof相機的精度呈正相關；所述第二相機(105)：第二相機(105)的固定位置為標定板(103)中心，第二相機(105)采集的錄制者凝視圖像即是真值圖像數據，在真值圖像上計算出的錄制者凝視角度即是真值角度數據。3.一種凝視估計真值數據錄制方法，其特征在于，采用權利要求1或2所述的凝視估計真值數據錄制裝置，具體步驟為：S201：使用opencv標定tof相機和第二相機，獲得其內參矩陣和畸變系數；S202：使用tof相機標定真值數據錄制者佩戴頭部固定裝置后凝視標定板上的任意凝視點時，其左右眼瞳孔點到Aruco碼中心點的3D空間內的平均距離D1、D2，同時獲得初始時刻Aruco碼中心點的坐標值、記錄初始時刻Aruco碼在pitch和yaw方向的角度值pitch(0)和yaw(0)、錄制者左右瞳孔的3D坐標等標定結果；S203：給定第二相機在標定板上的固定位置，并借此獲得標定板上各個凝視點在第二相機的相機坐標系中的位置；S204：數據錄制者持續佩戴頭部固定裝置，以任意頭部姿態凝視標定板上的凝視點，第
二相機拍攝錄制者的凝視圖像并對圖像進行畸變校正；S205：檢測數據錄制者凝視圖像中的Aruco碼在pitch和yaw方向相對初始時刻的旋轉角度和Aruco碼中心點坐標值，結合D1、D2計算錄制者凝視標定板上的凝視點時左右瞳孔點的3D坐標；S206：根據錄制者左右瞳孔點當前的坐標值和凝視點的3D坐標，計算錄制者左右眼凝視角度作為真值數據；所述tof相機僅用于錄制凝視真值數據前的標定環節，真值數據僅采用第二相機來錄制，兩款相機不同時使用。4.根據權利要求3所述的凝視估計真值數據錄制方法，其特征在于：所述步驟S202中，使用tof相機標定錄制者左右眼瞳孔點到頭部固定裝置上Aruco碼中心點的3D空間內平均距離D1和D2、初始時刻Aruco碼中心點的坐標值、初始時刻pitch和yaw方向初始角度值pitch(0)和yaw(0)、初始時刻錄制者左右瞳孔的3D坐標等標定結果，其步驟為：S301：錄制者設定標定過程采集次數T；S302：真值數據錄制者佩戴頭部固定裝置，調整頭部姿勢，凝視標定板上的任意凝視點；S303：tof相機拍攝錄制者的面部和頭部固定裝置上Aruco碼圖像，使用opencv標定的tof相機內參矩陣、畸變系數對整張圖像進行畸變校正；S304：檢測Aruco碼圖像，獲得其中心點的3D坐標值；S305：使用本申請獨自訓練的瞳孔點檢測模型對錄制者面部圖像進行檢測，根據檢測得到的左右眼瞳孔的像素坐標計算其3D坐標值；S306：由Aruco碼中心點和左右瞳孔的3D坐標計算其在tof相機坐標系中的3D距離d、e；S307：判斷tof相機標定過程拍攝的圖像數量是否等于預設的T值，若是，進行S308，若否，返回S302，由錄制者重復進行標定環節；S308：統計T次標定中d和e的均值，作為真值數據錄制者左右瞳孔點到Aruco碼中心點的3D空間內的平均距離D1、D2，其計算方法為：，其計算方法為：其中，T為標定次數，d
i
是第i標定時錄制者左眼瞳孔到Aruco碼中心點的3D距離，e
j
是第j次標定時錄制者右眼瞳孔到Aruco碼中心點的3D距離；S309：輸出第T次標定時由Aruco碼檢測得到的中心點的坐標值、Aruco碼在pitch和yaw方向的偏轉角度值pkch(0)和yaw(0)、錄制者左右瞳孔的3D坐標等信息作為初始時刻的標定結果。5.根據權利要求4所述的凝視估計真值數據錄制方法，其特征在于：所述步驟S305中，錄制者左右瞳孔的3D坐標值的計算方法為：
其中，X
pupil
和Y
pupil
是瞳孔點在tof相機坐標系中的坐標值，z
pupil<...
【專利技術屬性】
技術研發人員：王臣豪，母焰，沈寬心，
申請(專利權)人：寧波春建電子科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。