基于慣性引導采樣的視覺IMU方向估計方法技術

本發明專利技術提出了一種基于慣性引導采樣的視覺IMU方向估計方法，即利用IMU的方向估計信息，引導視覺方向估計中匹配點對的采樣過程和誤匹配點的移除過程。包括基于增益自適應互補濾波器的IMU方向估計、基于尺度旋轉不變的特征檢測以及基于視覺IMU融合的方向估計三個步驟。本發明專利技術方法采用增益自適應互補濾波器，能夠在初始迭代過程中剔除明顯的誤匹配點對，提高了方向估計的準確性；將IMU的姿態估計信息作為初值引入到視覺方向估計中，通過迭代移除誤匹配點對，加快了方向估計的進程，有效避免了采用隨機初始值帶來的運算量大的問題。本發明專利技術方法適用性廣、魯棒性好、準確率高，可廣泛應用在人體康復訓練的動作捕捉過程中。

Visual IMU direction estimation method based on inertial guided sampling

The invention provides a visual IMU inertial guidance direction estimation method based on sampling, namely the use of IMU to estimate the direction of information, to guide the visual estimation of direction matching process of the sampling point and the error matching points of the removal process. Including IMU direction estimation based on gain adaptive complementary filter, feature detection based on scale rotation invariance, and directional estimation based on visual IMU fusion. There are three steps. Gain adaptive complementary filter using the method of the invention can in the initial iterations to get rid of the obvious error of the matching points and improve the accuracy of direction estimation; IMU attitude estimation information as the initial value into the visual estimation of direction, through the iterative removal of false matching points, to speed up the direction estimation process, effectively avoid the the random initial value computation brings big problems. The method of the invention has wide applicability, good robustness and high accuracy, and can be widely used in the action capture process of human rehabilitation training.

【技術實現步驟摘要】
基于慣性引導采樣的視覺IMU方向估計方法
本專利技術涉及計算機視覺技術以及數據處理和信息融合技術，具體是一種基于慣性引導采樣的視覺IMU方向估計方法。
技術介紹
人體動作捕捉系統獲得的高分辨率和大容量的數據可以被用來研究疾病的起因，并有助于疾病的預防和治療，廣泛應用于生物醫療領域，例如，臨床的步態分析、門診病人的身體復原、腿部關節復原、老年人活動監測和評估以及視覺障礙人群的恢復。隨著MEMS傳感器的成本越來越低、體積越來越小，出現了加速計、陀螺計和磁力計集成的慣性測量單元(InertialMeasurementUnit，IMU)。現有的人體動作捕捉系統就是通過在人體各個部位固定數量不等的IMU來實現的。考慮到傳感器模塊的配置以及人體的限制，人體的姿勢數據可以通過信號融合來獲得。IMU優勢在于不依賴于某個特定的基礎條件，也不受視線的限制；然而，1)方向估測容易受本地磁場的影響，而地球磁場卻容易受到周圍電子產品或者是鐵制材料的影響；2)位置和方向測量是根據集成的雙慣性傳感器獲得的，該方法在長時間的對人體進行跟蹤的時候會產生低頻漂移以及錯誤積累的問題，無法對人體動作進行準確的定量評估。上述兩個缺點使得IMU不利于其在醫療領域的推廣應用。為了克服IMU的局限性，有學者提出了利用可穿戴的攝像機對IMU的漂移進行補償的視覺IMU方向估計方法，通過采集攝像機對周圍環境的觀測圖像序列，得到基于視覺的方向估計值，再通過卡爾曼濾波的方法與IMU進行融合，從而實現更為準確的方向估計。然而這一補償方法在圖像處理過程中存在相鄰幀特征點匹配耗時和誤匹配的問題，大大制約了運算速度和計算精度。
技術實現思路
針對現有IMU方向估計方法存在精度低和長時間誤差累積的問題，以及基于視覺的方向估計方法存在匹配耗時和誤匹配的問題，本專利技術提出了一種基于慣性引導采樣的視覺IMU方向估計方法，充分利用IMU的方向估計信息，引導視覺方向估計中匹配點對的采樣過程和誤匹配點的移除過程，保證了視覺IMU方向估計的精度，提高了視覺IMU方向估計的運算速度。本專利技術為實現上述目的所采用的技術方案是：一種基于慣性引導采樣的視覺IMU方向估計方法，包括以下步驟：步驟1：基于增益自適應互補濾波器的IMU方向估計；步驟2：基于尺度旋轉不變的特征檢測方法，檢測與匹配特征點檢測與匹配；步驟3：基于視覺IMU融合的方向估計。所述步驟1包括以下步驟：步驟1.1：計算陀螺儀的方向估計；步驟1.2：計算加速計與磁力計的方向估計；步驟1.3：基于互補濾波算法的方向估計；步驟1.4：IMU姿態估計。所述步驟1.1包括以下步驟：步驟1.1.1：求解t+Δt時刻描述IMU方向的四元數的變化率其中，四元數中的q1、q2、q3分量分別對應旋轉軸在X、Y、Z方向的投影，q0分量對應IMU圍繞旋轉軸旋轉的角度；符號表示四元數乘積，表示t時刻IMU陀螺儀的四元數估計值，ωt+Δt表示t+Δt時刻陀螺儀的輸出值。步驟1.1.2：求解t+Δt時刻四元數的估計值步驟1.1.3：歸一化處理四元數估計值，得出t+Δt時刻由陀螺儀估計出的四元數值所述步驟1.2通過高斯牛頓的迭代優化算法計算加速計與磁力計的方向估計值首先確定初始時刻的加速度值zα和磁場強度值zm，再根據t時刻加速計和磁力計的輸出值α(t)和m(t)，以最小化估計值誤差為目標，建立目標函數：其中，和分別表示由加速計和磁力計估計值的誤差，計算過程為：其中，表示的共軛四元數。所述步驟1.3聯合t+Δt時刻陀螺儀的方向估計值和以及加速計和磁力計的方向估計值采用增益自適應互補濾波算法求解IMU坐標系下IMU的方向信息其中，kt表示自適應的增益系數，表示t時刻加速計、磁力計、陀螺儀融合后的方向估計信息，表示t時刻加速計與磁力計的方向估計值。所述步驟1.4采用運動力學中的扭轉表示和指數映射算法，初步估計IMU的姿態信息，具體包括以下步驟：步驟1.4.1：根據IMU估計出的四元數得到與四元數相對應的旋轉軸ω＝(cosωx，cosωy，cosωz)和繞軸旋轉的角度θ，求解過程是：θ＝2cos-1q0步驟1.4.2：根據扭轉與指數映射理論，將(ω，θ)其映射為坐標系間的旋轉和平移。已知初始時刻的位置gglobal，n(0)與坐標系間的轉換關系(R，T)后，計算n時刻IMU的位置gglobal，n(θ)，其映射關系如下所示：其中，表示與ω相對應的扭轉參數，v表示繞軸旋轉的角度。其中，qg表示初始時刻坐標系原點與載體之間的向量。所述步驟2包含以下步驟：步驟2.1：基于SURF算法的特征點檢測；步驟2.2：相鄰幀間圖像特征點的匹配。所述步驟2.2具體為：通過計算特征點描述子之間的歐氏距離實現相鄰幀間特征點的匹配，表示P與P1的特征點描述子之間的歐式距離，表示P與P2的特征點描述子之間的距離，如果與的比值小于預定義的閾值δD，即則接受這一對匹配點；其中，對于圖像中的某個特征點P，其特征點描述子記為DP＝[x1，x2，…x64]T；待匹配圖像中與P點對應的第一近鄰點和第二近鄰點分別記為P1和P2；所述第一近鄰點和第二近鄰點分別指待匹配圖像的特征點中，與P點描述子歐氏距離最近的描述子的特征點和次近的描述子的特征點；P1和P2的特征點描述子分別記為P點與P1和P2的特征點描述子之間的歐式距離和可表示為分別表示為：所述步驟3包含以下步驟：步驟3.1：期望步驟得到本次迭代的姿態信息；步驟3.2：最大化步驟確定本次迭代中的內點集合；反復迭代步驟3.1和步驟3.2，得到最終的參數估計集合θ*＝{R*，T*，On*}，其中，R*即為可穿戴視覺IMU的方向估計，θ*表示載體姿態與匹配點對集合，T*表示最終解算出的載體的平移分量，On*表示最終做出的匹配點對集合。所述步驟3.1包含以下步驟：步驟3.1.1：利用步驟2中得到的內點集合，通過外級線約束方程和最小二乘法估計本質矩陣E；步驟3.1.2：對本質矩陣E做奇異值分解，估算出載體的姿態信息：旋轉分量R和平移分量T；步驟3.1.3：建立后驗貝葉斯估計模型：其中，(η1，η2，…ηn)表示相鄰幀圖像間的匹配的特征點對，θ表示視覺IMU姿態估計值和匹配點對的集合，定義為：θ＝{R，T，On}其中，On＝(o1，o2，…on)表示匹配點對的集合，元素oi服從伯努利分布，用于判斷第i個匹配點對是否正確；oi＝1表示樣本點為內點；oi＝0表示樣本點為外點。所述步驟3.2具體為：判斷迭代樣本點：P{oi|{R，T}}＝max{P(oi＝1|{R，T})，P(oi＝0|{R，T})}其中，P(oi＝1|{R，T})和P(oi＝0|{R，T})分別表示為：其中，表示Sampson誤差，S和σ為預先設定的窗口大小和方差，取決于具體應用；yn表示第n幅圖像中的第i個特征點的坐標，f(xn)表示第n幅圖像中的第i個特征點所對應的外級線，oi取值為1或0由P(oi＝1|{R，T})和P(oi＝0|{R，T})的大小決定：如果P(oi＝1|{R，T})≥P(oi＝0|{R，T})，則oi取值為1；反之，oi取值為0。本專利技術具有以下優點：1.本專利技術方法采用增益自適應互補濾波器，能夠在初始迭代過程中剔除明顯的誤匹配點對，提高了方向估計的準確性；2.本發本文檔來自技高網...

【技術保護點】
一種基于慣性引導采樣的視覺IMU方向估計方法，其特征在于，包括以下步驟：步驟1：基于增益自適應互補濾波器的IMU方向估計；步驟2：基于尺度旋轉不變的特征檢測方法，檢測與匹配特征點檢測與匹配；步驟3：基于視覺IMU融合的方向估計。

【技術特征摘要】
1.一種基于慣性引導采樣的視覺IMU方向估計方法，其特征在于，包括以下步驟：步驟1：基于增益自適應互補濾波器的IMU方向估計；步驟2：基于尺度旋轉不變的特征檢測方法，檢測與匹配特征點檢測與匹配；步驟3：基于視覺IMU融合的方向估計。2.根據權利要求1所述的一種基于慣性引導采樣的視覺IMU方向估計方法，其特征在于，所述步驟1包括以下步驟：步驟1.1：計算陀螺儀的方向估計；步驟1.2：計算加速計與磁力計的方向估計；步驟1.3：基于互補濾波算法的方向估計；步驟1.4：IMU姿態估計。3.根據權利要求2所述的一種基于慣性引導采樣的視覺IMU方向估計方法，其特征在于，所述步驟1.1包括以下步驟：步驟1.1.1：求解t+Δt時刻描述IMU方向的四元數的變化率其中，四元數中的q1、q2、q3分量分別對應旋轉軸在X、Y、Z方向的投影，q0分量對應IMU圍繞旋轉軸旋轉的角度；符號表示四元數乘積，表示t時刻IMU陀螺儀的四元數估計值，ωt+Δt表示t+Δt時刻陀螺儀的輸出值。步驟1.1.2：求解t+Δt時刻四元數的估計值步驟1.1.3：歸一化處理四元數估計值，得出t+Δt時刻由陀螺儀估計出的四元數值4.根據權利要求2所述的一種基于慣性引導采樣的視覺IMU方向估計方法，其特征在于，所述步驟1.2通過高斯牛頓的迭代優化算法計算加速計與磁力計的方向估計值首先確定初始時刻的加速度值zα和磁場強度值zm，再根據t時刻加速計和磁力計的輸出值α(t)和m(t)，以最小化估計值誤差為目標，建立目標函數：其中，和分別表示由加速計和磁力計估計值的誤差，計算過程為：其中，表示的共軛四元數。5.根據權利要求2所述的一種基于慣性引導采樣的視覺IMU方向估計方法，其特征在于，所述步驟1.3聯合t+Δt時刻陀螺儀的方向估計值和以及加速計和磁力計的方向估計值采用增益自適應互補濾波算法求解IMU坐標系下IMU的方向信息其中，kt表示自適應的增益系數，表示t時刻加速計、磁力計、陀螺儀融合后的方向估計信息，表示t時刻加速計與磁力計的方向估計值。6.根據權利要求2所述的一種基于慣性引導采樣的視覺IMU方向估計方法，其特征在于，所述步驟1.4采用運動力學中的扭轉表示和指數映射算法，初步估計IMU的姿態信息，具體包括以下步驟：步驟1.4.1：根據IMU估計出的四元數得到與四元數相對應的旋轉軸ω＝(cosωx，cosωy，cosωz)和繞軸旋轉的角度θ，求解過程是：θ＝2cos-1q0步驟1.4.2：根據扭轉與指數映射理論，將(ω，θ)其映射為坐標系間的旋轉和平移。已知初始時刻的位置gglobal,n(0)與坐標系間的轉換關系(R,T)后，計算n時刻IMU的位置gglobal,n(θ)，其映射關系如下所示：

【專利技術屬性】
技術研發人員：梁煒，張吟龍，談金東，張曉玲，李楊，
申請(專利權)人：中國科學院沈陽自動化研究所，
類型：發明
國別省市：遼寧,21