【技術實現步驟摘要】
本專利技術涉及增強現實的，更具體地，涉及一種基于rgb-d三維重建的剛性物體虛實遮擋方法。
技術介紹
1、增強現實(augmented?reality，ar)技術在用戶周圍的現實世界呈現由計算機構建的虛擬物體以及作為提示的文字、圖案、視頻等信息，并允許用戶與虛擬世界信息進行自然交互。在早期的ar應用中，并未考慮虛擬物體與真實物體的空間位置關系，只是簡單地將虛擬物體疊加到場景中，可能會導致虛擬物體錯誤地遮擋真實物體，錯誤的虛實遮擋關系不僅會降低ar系統的真實性，使用戶產生視覺疲勞，且在諸如外科手術、工業裝配等需要嚴格確認前后位置關系的應用中會帶來難以估計的后果和損失。
2、在ar場景中，真實物體既可能是剛性物體，也可能是用戶的手或進入視場的其他用戶等非剛性物體。不同領域的ar應用對虛實遮擋效果的要求不同，近年來國內外研究人員針對虛實遮擋問題提出大量的解決方案，其中，剛性物體的遮擋處理方法可以分為基于模型和基于深度兩種方法。其中，基于模型的方法多用于對靜態的真實場景進行遮擋處理，適用于大部分剛性物體，首先需要構建三維模型并將模型放置在場景對應位置，之后比較其與虛擬物體的空間位置關系，從而實現虛實遮擋的效果，但實際對復雜場景進行三維建模的困難度大。在普通成像中，rgb色彩是工業界的一種顏色標準，depth深度圖是包含與視點的場景對象的表面的距離有關的信息的圖像或圖像通道，通常rgb圖像和depth深度圖是配準的，因而rgb-d像素點之間具有一對一的對應關系。隨著便攜式深度相機的問世，利用深度相機進行場景三維重建成為現實，首
技術實現思路
1、為解決當前基于深度相機進行三維重建的虛實遮擋效果準確性低的問題，本申請提出一種基于rgb-d三維重建的剛性物體虛實遮擋方法，實現正確的虛實遮擋效果，保證虛實遮擋效果的準確性，提升ar應用中虛實融合場景的真實感。
2、為解決上述問題，本申請采用的技術方案為：
3、一種基于rgb-d三維重建的剛性物體虛實遮擋方法，包括以下步驟：
4、利用深度相機實時獲取rgb-d視頻序列；
5、基于四叉樹結構的改進orb算法提取rgb-d視頻序列中每一幀深度圖像的特征點；
6、進行幀間特征點匹配和篩選，建立幀間稀疏對應關系，獲取稀疏的相機全局位姿；
7、對稀疏的相機全局位姿進行優化，求解相機的全局位姿估計；
8、利用八叉樹結構優化場景表面重建算法tsdf，重建真實場景三維模型；
9、利用相機的全局位姿估計，計算真實場景和虛擬物體的三維信息，得到虛擬物體和真實場景的深度關系；
10、比較虛擬物體和真實場景的深度關系，得到虛實遮擋結果，并進行遮擋剔除。
11、優選地，設深度相機實時獲取的rgb-d視頻序列為 s，表示為： s={ fi=(ci， dinp_i)}，其中， fi表示視頻流幀中的第 i幀圖像，ci表示rgb視頻流， dinp_i表示rgb視頻流對應的深度視頻流，深度視頻流 dinp_i的每一幀深度圖像 di的像素點為 pd( ud, vd)，則滿足：
12、
13、其中，表示像素點 pd( ud, vd)反投影到深度相機坐標系的頂點坐標，表示深度相機的紅外攝像頭內參，n t( u)表示利用相鄰投影點計算得到的p t( u)法向量，( x, y)表示攝像機坐標系下的像素點坐標。
14、優選地，設在以 w為圓心，以 r為半徑的圓形鄰域內，若 w周圍的 x個像素中相鄰 n個像素與圓心 w的灰度值之差小于設定的閾值，則 w為某一幀深度圖像的特征點；
15、基于四叉樹結構的改進orb算法提取每一幀深度圖像的特征點的過程包括：
16、s11：對每一幀深度圖像進行高斯模糊處理和下采樣，構造高斯圖像金字塔；
17、s12：利用四叉樹結構將高斯圖像金字塔中的每一層圖像劃分為四象限區域，在每個象限區域內，利用自適應閾值法提取特征點；
18、s13：計算特征點的描述子；
19、s14：判斷每個象限區域的每個特征點數量是否大于特征點數量閾值，若是，返回步驟s12；否則，停止四象限區域劃分。
20、根據上述技術手段，通過構建高斯圖像金字塔在不同尺度層面上對同一特征點進行提取，使特征點具有尺度不變性，利用四叉樹結構劃分圖像區域均勻化特征點分布，避免了傳統的orb算法提取的特征點存在的冗余扎堆現象。
21、優選地，進行幀間特征點匹配和篩選的過程包括：
22、根據兩幀深度圖像的特征點的描述子，進行幀間特征點匹配；
23、獲取已匹配的兩幀深度圖像的特征點分別對應的空間點坐標集合g和h，設g和h分別是空間點坐標集合g和h中對應的匹配點，基于kabsch算法最小化g和h之間的均方根偏差，計算出剛性變換矩陣：，其中，i和j分別表示不同幀次，表示像素點p在幀間的剛性變換結果；
24、計算g和h之間的協方差、g和h之間的互相關協方差；
25、根據g和h之間的協方差、g和h之間的互相關協方本文檔來自技高網...
【技術保護點】
1.一種基于RGB-D三維重建的剛性物體虛實遮擋方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于RGB-D三維重建的剛性物體虛實遮擋方法，其特征在于，設深度相機實時獲取的RGB-D視頻序列為S，表示為：S={fi=(Ci，Dinp_i)}，其中，fi表示視頻流幀中的第i幀圖像，Ci表示RGB視頻流，Dinp_i表示RGB視頻流對應的深度視頻流，深度視頻流Dinp_i的每一幀深度圖像Di的像素點為pd(ud,vd)，則滿足：
3.根據權利要求2所述的基于RGB-D三維重建的剛性物體虛實遮擋方法，其特征在于，設在以w為圓心，以R為半徑的圓形鄰域內，若w周圍的X個像素中相鄰N個像素與圓心w的灰度值之差小于設定的閾值，則w為某一幀深度圖像的特征點；
4.根據權利要求3所述的基于RGB-D三維重建的剛性物體虛實遮擋方法，其特征在于，進行幀間特征點匹配和篩選的過程包括：
5.根據權利要求4所述的基于RGB-D三維重建的剛性物體虛實遮擋方法，其特征在于，的重投影誤差的表達式為：
6.根據權利要求5所述的基于RGB-D三維
7.根據權利要求6所述的基于RGB-D三維重建的剛性物體虛實遮擋方法，其特征在于，計算塊內所有幀相對于參考幀的變換矩陣集合，進行局部位姿優化的過程包括：
8.根據權利要求7所述的基于RGB-D三維重建的剛性物體虛實遮擋方法，其特征在于，設RGB-D視頻序列中一組圖像幀為T，為每一幀圖像找到一組剛性變換矩陣，使所有幀圖像處于同一坐標系下，剛性變換矩陣中包含若干個參數，將若干個參數統一到一個參數向量χ中，則基于稀疏特征優化和密集優化的能量函數為：
9.根據權利要求8所述的基于RGB-D三維重建的剛性物體虛實遮擋方法，其特征在于，利用八叉樹結構表示的TSDF重建場景三維模型的過程包括：
10.根據權利要求9所述的基于RGB-D三維重建的剛性物體虛實遮擋方法，其特征在于，基于深度圖像像素點獲取場景像素點的三維坐標，根據深度相機全局位姿將場景像素點的三維坐標變換到參考坐標系下；
...【技術特征摘要】
1.一種基于rgb-d三維重建的剛性物體虛實遮擋方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于rgb-d三維重建的剛性物體虛實遮擋方法，其特征在于，設深度相機實時獲取的rgb-d視頻序列為s，表示為：s={fi=(ci，dinp_i)}，其中，fi表示視頻流幀中的第i幀圖像，ci表示rgb視頻流，dinp_i表示rgb視頻流對應的深度視頻流，深度視頻流dinp_i的每一幀深度圖像di的像素點為pd(ud,vd)，則滿足：
3.根據權利要求2所述的基于rgb-d三維重建的剛性物體虛實遮擋方法，其特征在于，設在以w為圓心，以r為半徑的圓形鄰域內，若w周圍的x個像素中相鄰n個像素與圓心w的灰度值之差小于設定的閾值，則w為某一幀深度圖像的特征點；
4.根據權利要求3所述的基于rgb-d三維重建的剛性物體虛實遮擋方法，其特征在于，進行幀間特征點匹配和篩選的過程包括：
5.根據權利要求4所述的基于rgb-d三維重建的剛性物體虛實遮擋方法，其特征在于，的重投影誤差的表達式為：
6.根據...
【專利技術屬性】
技術研發人員：張煒，何露，
申請(專利權)人：廣州市大灣區虛擬現實研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。