一種基于慣性和深度視覺的實時三維場景重構系統及方法技術方案

本發明專利技術公開了一種基于慣性和深度視覺的實時三維場景重構系統及方法，利用IMU傳感器在短時間內通過積分計算所得的相對位移和相對姿態變化相對準確的特點，將IMU的ΔPIMU可以作為一個近似真實值與ΔPRGB和ΔPD比較。如果ΔPRGB與ΔPIMU相差超過一定的閾值，則可認為RGB相機通過跟蹤連續幀上的特征所計算的相對位置和姿態變化不夠精確，同理，如果ΔPD與ΔPIMU相差超過一定的閾值，則可認為通過ICP算法對對連續幀的點云匹配所求得的相對位置和姿態變化不夠精確，再根據比較結果進行數據融合，實時估計設備的相對位置和姿態變化，從而提高三維場景重構的精確度，提高設備的容錯性。

【技術實現步驟摘要】

本專利技術涉及計算機視覺和多傳感器融合導航繪圖領域，具體地，涉及一種基于慣性傳感器和深度視覺傳感器的實時三維場景重構的系統及方法。
技術介紹
在2010年前后，以色列PrimeSense公司在基于結構光的深度傳感器的小型化和模組化技術上取得了突破，并與微軟公司合作開發了Kienct傳感器。Kienect傳感器上集成了一個彩色RGB相機和一個深度D相機，可以快速獲得周圍0.5米到4米內物體表面的點云數據，是一種用于捕捉游戲者動作變化的體感設備。該技術一推向市場，就引起了工業界和學術界的注意。在過去幾年里，陸續有類似的傳感器推出，比如美國Occipital公司的Structure Sensor，Intel公司的RealSense傳感器，Google公司的Tango項目等。所有這些設備都可以簡稱為RGB-D傳感器，一種深度視覺傳感器系統。在過去幾年里，隨著計算機視覺和機器人領域的快速發展，尤其是同時繪圖并導航技術(SLAM－Simultaneous Localization And Mapping)的發展，學術界的研究熱點是如何通過移動RGB相機實時重建三維場景?；趩文肯鄼C，雙目相機和全景相機的實時三維場景重構系統都被廣泛研究。目前，學術界主流的看法是基于雙目相機系統，并采用視覺里程計技術(Visual Odometry)，實時重構三維場景的穩定性和效果是最好的。然而，當拍攝光線不好和周圍物體表面缺乏紋理的情況下，無論哪種相機系統都無法正常工作。與之相比較，RGB-D傳感器，可以同時獲取周圍環境的彩色影像和深度信息。深度信息是不依賴于拍攝時的光線條件和物體表面紋理的。這就使得RGB-D傳感器與相機系統相比有了明顯的優勢。自然地，工業界和學術界開始關注如何使用RGB-D傳感器來實時重構三維環境。一個典型的RGB-D實時三維繪圖系統應該包括三個步驟，1.基于連續幀影像的特征匹配來計算相機的相對運動，即相機跟蹤。2.基于第一步計算所得的相對位置和姿態，正確顯示深度D傳感所獲得的點云數據，產生周圍環境的三維場景。3.實時檢測閉環，并通過基于圖的閉合算法來糾正累積的誤差。這類算法是否成功的關鍵就在于是否能夠精確地估計出RGB-D傳感器的相對運動，這是在上述的第一步和第二步中完成的。第一步是基于視覺里程計技術來估計RGB-D的相對運動，這會受到光線和物體表面紋理的影響。第二步是用第一步提供的相對位置和姿態作為初始條件來做點云的形狀匹配，比如ICP算法(已知算法)，從而提高RGB-D的相對運動估計。如果周圍物體的形狀變化過多也會導致算法的失敗。當前，基于RGB-D的實時三維環境重建系統在周圍環境特征信息豐富的情況下，基于視覺里程計技術和ICP技術，可以達到較好的三維重建效果，然而，在周圍環境條件變化時，比如光線變化，周圍環境特征變化等，RGB-D的實時三維環境重建就會遇到困難。一旦實時三維環境重構由于周圍環境條件變化而中斷，就很難再繼續工作，使整個系統的魯棒性降低。慣性傳感器，可以高頻率地(比如100Hz)測量三個方向的加速度和三個方向的角速度，通過加速度的積分可以獲得速度變化，通過對速度的積分可以獲得相對位移；同樣的，對角速度積分可以獲得姿態的相對變化。這類傳感器在短時間內可以提供較高精度的相對位移和姿態變化，而且完全不受環境條件的影響。
技術實現思路
為了克服現有技術中基于RGB-D傳感器的實時三維環境重建的缺點，本專利技術提供一種基于慣性和深度視覺的實時三維場景重構系統及方法，利用IMU傳感器在短時間內通過積分計算所得的相對位移和相對姿態變化相對準確的特點，通過IMU傳感器與RGB-D傳感器進行數據融合，實時估計設備的相對位置和姿態變化，從而提高三維場景重構的精確度，提高設備的容錯性。本專利技術為解決上述技術問題所采用的技術方案是：一種基于慣性和深度視覺的實時三維場景重構系統，包括慣性傳感器算法子模塊，RGB相機算法子模塊，深度D相機算法子模塊，比較及數據融合模塊和三維點云生成模塊；所述慣性傳感器算法子模塊、RGB相機算法子模塊、深度D相機算法子模塊分別與比較及數據融合模塊電連接，所述比較及數據融合模塊與三維點云生成模塊電連接；所述慣性傳感器算法子模塊、RGB相機算法子模塊、深度D相機算法子模塊分別用于采集k及k+1時刻系統的相對位置及姿態，并發送給比較及數據融合模塊；所述比較及數據融合模塊用于進行慣性傳感器算法子模塊與RGB相機算法子模塊、慣性傳感器算法子模塊與深度D相機算法子模塊所采集相對位置及姿態同預設閾值的比較，并根據比較結果進行數據融合，校正系統相對位置及姿態的偏差并發送給三維點云生成模塊；所述三維點云生成模塊用于根據比較及數據融合模塊得到的系統相對位置及姿態信息，利用Kinect Fusion算法生成三維點云，進行實時三維環境重建。為了提高運算的實時性，算法實現采用了模塊化設計，可以同時支持多個模塊的并行運算。IMU慣性傳感器算法子模塊是基于100Hz的加速度和角速度數據，計算出IMU傳感器的相對位置和姿態變化，記作ΔPIMU。RGB相機算法子模塊采用特征跟蹤的視覺里程計技術按30幀/秒的頻率計算RGB傳感器的相對位置和姿態變化，記作ΔPRGB。深度D相機算法子模塊，采用ICP算法(已知算法)，以30幀/秒的頻率計算D傳感器的相對位置和姿態變化，記作ΔPD。三個傳感器之間的幾何關系都是已知的，因此可以把它們各自的相對位置變化和姿態變化轉換到同一個坐標系下，比如都轉換到深度D相機坐標系下。一種基于慣性和深度視覺的實時三維場景重構方法，該算法包括以下步驟：步驟1：對設備進行初始化，標定IMU傳感器、深度D相機和RGB相機的相對位置關系；同時在設備完全靜止狀態下，設定設備的初始位置和初始姿態P0；初始位置默認為局部三維坐標系的原點；步驟2：計算當前時刻與上一時刻相比，IMU傳感器的位置和姿態變化值ΔPIMU與深度D相機的位置和姿態變化值ΔPD的差值，并與預設閾值進行比較；若差值小于預設閾值，則進行IMU傳感器與深度D相機的數據融合，并將融合數據作為下一時刻IMU的位置和姿態；若差值大于預設閾值，則表示數據融合失敗，執行步驟3；步驟3：計算當前時刻與上一時刻相比，IMU傳感器的位置和姿態變化值ΔPIMU與RGB相機的位置和姿態變化值ΔPRGB的差值，并與預設閾值進行比較；若差值小于預設閾值，進行IMU傳感器與RGB相機的數據融合，并將融合數據作為下一時刻IMU的位置和姿態；若差值大于預設閾值，則表示數據融合失敗，通過IMU的速度和角速度積分求得下一時刻的位置與姿態；步驟4：將設備位置與姿態數據帶入Kinect Fusion算法，實時產生周圍環境的三維點云。作為優選，還包括步驟5：若連續出現多次通過IMU的速度和角速度積分求得下一時刻的位置與姿態的情況則表示設備出現嚴重錯誤，需對設備進行重新初始化。作為優選，步驟2包括以下具體步驟：步驟201：分別采集k和k+1時刻IMU傳感器的位置和姿態Pk、P’k+1，由此得到IMU傳感器的相對位置和姿態變化值ΔPIMU；步驟202：利用ICP算法根據深度D相機產生的k和k+1時刻的點云對，計算深度D相機相對位置和姿態變化值ΔPD；步驟203：計算ΔPIMU與ΔPD的差本文檔來自技高網...

【技術保護點】
一種基于慣性和深度視覺的實時三維場景重構系統，其特征在于：包括IMU慣性傳感器算法子模塊(1)，RGB相機算法子模塊(2)，深度D相機算法子模塊(3)，比較及數據融合模塊(4)和三維點云生成模塊(5)；所述IMU慣性傳感器算法子模塊(1)、RGB相機算法子模塊(2)、深度D相機算法子模塊(3)分別與比較及數據融合模塊(4)電連接，所述比較及數據融合模塊(4)與三維點云生成模塊(5)電連接；所述IMU慣性傳感器算法子模塊(1)、RGB相機算法子模塊(2)、深度D相機算法子模塊(3)分別用于采集k及k+1時刻系統的相對位置及姿態，并發送給比較及數據融合模塊(4)；所述比較及數據融合模塊(4)用于進行IMU慣性傳感器算法子模塊(1)與RGB相機算法子模塊(2)、IMU慣性傳感器算法子模塊(1)與深度D相機算法子模塊(3)所采集相對位置及姿態同預設閾值的比較，并根據比較結果進行數據融合，校正系統相對位置及姿態的偏差并發送給三維點云生成模塊(5)；所述三維點云生成模塊(5)用于根據比較及數據融合模塊(4)得到的系統相對位置及姿態信息，利用Kinect?Fusion算法生成三維點云，進行實時三維環境重建。...

【技術特征摘要】
1.一種基于慣性和深度視覺的實時三維場景重構系統，其特征在于：包括IMU慣性傳感器算法子模塊(1)，RGB相機算法子模塊(2)，深度D相機算法子模塊(3)，比較及數據融合模塊(4)和三維點云生成模塊(5)；所述IMU慣性傳感器算法子模塊(1)、RGB相機算法子模塊(2)、深度D相機算法子模塊(3)分別與比較及數據融合模塊(4)電連接，所述比較及數據融合模塊(4)與三維點云生成模塊(5)電連接；所述IMU慣性傳感器算法子模塊(1)、RGB相機算法子模塊(2)、深度D相機算法子模塊(3)分別用于采集k及k+1時刻系統的相對位置及姿態，并發送給比較及數據融合模塊(4)；所述比較及數據融合模塊(4)用于進行IMU慣性傳感器算法子模塊(1)與RGB相機算法子模塊(2)、IMU慣性傳感器算法子模塊(1)與深度D相機算法子模塊(3)所采集相對位置及姿態同預設閾值的比較，并根據比較結果進行數據融合，校正系統相對位置及姿態的偏差并發送給三維點云生成模塊(5)；所述三維點云生成模塊(5)用于根據比較及數據融合模塊(4)得到的系統相對位置及姿態信息，利用Kinect Fusion算法生成三維點云，進行實時三維環境重建。2.一種基于慣性和深度視覺的實時三維場景重構方法，其特征在于：該算法包括以下步驟：步驟1：對設備進行初始化，標定IMU傳感器、深度D相機和RGB相機的相對位置關系；同時在設備完全靜止狀態下，設定設備的初始位置和初始姿態P0；初始位置默認為局部三維坐標系的原點；步驟2：計算當前時刻與上一時刻相比，IMU傳感器的位置和姿態變化值ΔPIMU與深度D相機的位置和姿態變化值ΔPD的差值，并與預設閾值進行比較；若差值小于預設閾值，則進行IMU傳感器與深度D相機的數據融合，并將融合數據作為下一時刻IMU的位置和姿態；若差值大于預設閾值，則表示數據融合失敗，執行步驟3；步驟3：計算當前時刻與上一時刻相比，IMU傳感器的位置和姿態變化值ΔPIMU與RGB相機的位置和姿態變化值ΔPRGB的差值，并與預設閾值進行比較；若差值小于預設閾值，進行IMU傳感器與RGB相機的數據融合，并將融合數據作為下一時刻IMU的位置和姿態；若差值大于預設閾值，則表示數據融合...

【專利技術屬性】
技術研發人員：巨輝，楊斌，曹順，
申請(專利權)人：武漢盈力科技有限公司，
類型：發明
國別省市：湖北;42