【技術實現步驟摘要】
本專利技術涉及計算機視覺與數字圖像處理領域，特別是涉及一種基于三維幾何性質的實時雙目rgb-d拼接方法。
技術介紹
1、隨著數字圖像處理和計算機視覺技術的不斷發展，深度圖像拼接已成為一個重要的研究領域。傳統的圖像拼接技術主要依賴于二維圖像的數據，通過特征點匹配和圖像融合來生成全景圖。然而，這種方法在處理復雜場景、遮擋物體及深度信息不足時容易出現失真或接縫不自然的問題。
2、近年來，深度感知技術的進步為圖像拼接提供了新的解決方案。深度攝像頭(如lidar、結構光和飛行時間攝像頭)能夠實時獲取場景的深度信息，從而為拼接算法提供更全面的數據支持。這些深度信息不僅可以提高拼接的精確度，還能增強合成圖像的三維感，使得最終結果更加真實和自然。
3、在諸如虛擬現實(vr)、增強現實(ar)、機器人導航與自主駕駛等應用中，準確的深度圖像拼接顯得尤為重要。這些領域對場景理解和空間信息的要求日益提高，促使研究人員不斷探索更高效、更魯棒的拼接算法。
4、當前已有的圖像拼接方法多為rgb圖像拼接，深度圖像拼接方法較少，并且還存在一些問題，例如需要借助標定板以及對不同光照條件的適應能力。
5、需要說明的是，在上述
技術介紹
部分公開的信息僅用于對本申請的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。
技術實現思路
1、本專利技術的主要目的在于克服上述
技術介紹
中存在的缺陷，提供一種基于三維幾何性質的實時雙目rgb-d拼接方法。
3、一種基于三維幾何性質的實時雙目rgb-d拼接方法，包括以下步驟：
4、s1.使用固定好的雙目rgb-d相機以不同姿勢拍攝同一個目標平面，得到多組rgb圖像、深度圖像和點云數據；
5、s2.對兩個點云中的目標平面進行提取，并基于目標平面的單位法向量計算得到相機間的旋轉矩陣；
6、s3.在所述旋轉矩陣的基礎上，通過所述目標平面的多組點云數據計算得到平移向量，由此得到兩相機間的相機坐標系間的空間變換矩陣；
7、s4.利用所述空間變換矩陣計算映射，所述映射用于將右相機成像的深度圖上的所有像素點從相對于右相機平面映射成相對于左相機平面的值，得到變換后的右相機深度圖；
8、s5.對實際應用場景拍攝的圖像進行特征提取，建立圖像之間的幾何對應關系和重投影融合參數，得到兩相機圖像的拼接融合參數；
9、s6.使用所述映射對實時獲取的右相機深度圖進行變換，得到變換后的右相機深度圖；根據得到的拼接融合參數，將左右相機的rgb圖像、左相機原始深度圖和右相機變換后深度圖進行拼接融合，得到視場角更大的rgb-d圖像。
10、進一步地，步驟s5具體包括：
11、對實際應用場景拍攝的圖像用特征點提取方法進行特征提取，并利用特征點匹配技術確定圖像間的幾何關系，得到粗略的rgb相機空間關系；
12、通過優化算法，建立精確圖像之間的幾何對應關系和重投影融合參數；
13、進行拼縫尋找，得到兩個相機圖像拼縫融合的最佳拼縫；
14、得到兩相機拼接融合的參數。
15、進一步地，所述特征點提取方法為sift(scale-invariant?feature?transform，尺度不變特征變換)方法。
16、進一步地，所述特征點匹配技術包括單應性匹配。
17、進一步地，所述優化算法為ba(bundleadjustment，捆綁調整)優化算法。
18、一種計算機可讀存儲介質，存儲有計算機程序，所述計算機程序由處理器執行時實現所述的實時雙目rgb-d拼接方法實時雙目rgb-d拼接方法。
19、一種計算機程序產品，包括計算機程序，所述計算機程序由處理器執行時實現所述的實時雙目rgb-d拼接方法實時雙目rgb-d拼接方法。
20、本專利技術具有如下有益效果：
21、本專利技術基于三維幾何性質的雙目rgb-d相機圖像拼接方法，是一種新穎且高效的深度圖像拼接技術，通過處理相機獲取的三維點云的幾何信息來估算相機間精準的空間相對關系，再由此將兩相機的深度圖的深度值的值統一到相對于同一個相機平面，即可根據成熟的rgb圖像的拼接算法實現深度圖的拼接，這樣就簡潔而精準地實現了rgb-d相機圖像的對應拼接融合。本專利技術的方法具有重要的實用價值和廣泛的應用前景，適用于虛擬現實、增強現實、機器人導航和自主駕駛等多種應用領域。
22、本專利技術實施例中的其他有益效果將在下文中進一步述及。
本文檔來自技高網...【技術保護點】
1.一種基于三維幾何性質的實時雙目RGB-D拼接方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于三維幾何性質的實時雙目RGB-D拼接方法，其特征在于，步驟S5具體包括：
3.如權利要求2所述的基于三維幾何性質的實時雙目RGB-D拼接方法，其特征在于，所述特征點提取方法為SIFT(Scale-Invariant?Feature?Transform，尺度不變特征變換)方法。
4.如權利要求2所述的基于三維幾何性質的實時雙目RGB-D拼接方法，其特征在于，所述特征點匹配技術包括單應性匹配。
5.如權利要求2所述的基于三維幾何性質的實時雙目RGB-D拼接方法，其特征在于，所述優化算法為BA(BundleAdjustment，捆綁調整)優化算法。
6.一種計算機可讀存儲介質，存儲有計算機程序，其特征在于，所述計算機程序由處理器執行時實現如權利要求1至5任一項所述的實時雙目RGB-D拼接方法實時雙目RGB-D拼接方法。
7.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序由處理器執行時實現如權利
...【技術特征摘要】
1.一種基于三維幾何性質的實時雙目rgb-d拼接方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于三維幾何性質的實時雙目rgb-d拼接方法，其特征在于，步驟s5具體包括：
3.如權利要求2所述的基于三維幾何性質的實時雙目rgb-d拼接方法，其特征在于，所述特征點提取方法為sift(scale-invariant?feature?transform，尺度不變特征變換)方法。
4.如權利要求2所述的基于三維幾何性質的實時雙目rgb-d拼接方法，其特征在于，所述特征點匹配技術包括單應性匹配。...
【專利技術屬性】
技術研發人員：黃儒麒，王晉，郭宸，
申請(專利權)人：清華大學深圳國際研究生院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。