【技術實現步驟摘要】
本申請涉及計算機視覺與三維重建，具體而言，涉及一種基于全景圖的增量式三維重建方法和裝置。
技術介紹
1、三維重建在城市規劃、增強現實（ar）、虛擬現實（vr）以及混合現實（mr）等前沿科技領域中的重要性日益凸顯，這些領域的發展都離不開高精度的三維模型，目前最常見的三維重建方案采用平面透視相機采集圖像，受其視場角限制，需從多角度拍攝以獲取全場景地圖，采集過程較為費時費力。相較之下，全景相機因具超大視角（水平方向360度，垂直方向180度）彌補了平面透視相機的不足，提高了圖像采集效率。
2、現有的三維重建方法依賴于多傳感器（如多全景相機、深度相機、激光雷達等）協同工作，多源數據融合采集提高了硬件成本的同時增加了系統復雜度和維護難度，全景相機在重復紋理場景中容易因錯誤的特征匹配導致三維重建誤差較大甚至無法重建。此外，也存在平面透視相機結合slam的三維重建方案，因相機視場角較窄需采集大量數據以實現完整場景，尤其在大型或復雜場景中難以適用。因此，亟需一種改進的方案來解決這些技術問題。
技術實現思路
1、有鑒于此，本申請提出一種基于全景圖的增量式三維重建方法和裝置，在高效采集數據的同時降低模型計算復雜度及內存需求，減少了復雜場景尤其是重復紋理場景中的錯誤特征匹配次數，提高了三維重建的準確性和魯棒性。
2、第一方面，本申請提出一種基于全景圖的增量式三維重建方法，包括以下步驟：
3、從待重建場景的視頻數據獲取至少一個全景圖，對所述至少一個全景圖中的每個全景圖進
4、從所述透視圖集合中選擇至少兩個初始化圖像，基于所述至少兩個初始化圖像的先驗位姿構建所述至少兩個初始化圖像在基準坐標系下的更新位姿，然后基于所述至少兩個初始化圖像之間的第一匹配點對集合以及所述至少兩個初始化圖像的更新位姿初始化生成包含所述基準坐標系下的三維點集合的三維模型，將所述至少兩個初始化圖像加入已注冊圖像集；
5、從所述透視圖集合中的剩余圖像集中選擇候選圖像，基于所述候選圖像與所述已注冊圖像集之間的第一匹配點對集合獲得所述候選圖像在所述基準坐標系下的更新位姿，并基于所述候選圖像與所述已注冊圖像集之間的第一匹配點對集合以及所述候選圖像的更新位姿生成增量三維點以更新所述三維點集合，得到增量更新后的三維模型，并將所述候選圖像加入所述已注冊圖像集；
6、基于所述已注冊圖像集的位姿誤差和重投影誤差的約束條件對所述三維模型進行光束法平差優化，重復執行所述選擇候選圖像至進行光束法平差優化的步驟，直至所述透視圖集合均已加入所述已注冊圖像集。
7、可選地，所述從待重建場景的視頻數據獲取至少一個全景圖，對所述至少一個全景圖中的每個全景圖進行透視切分，得到所述至少一個全景圖對應的透視圖集合以及每個透視圖的先驗位姿，包括：
8、從待重建場景的視頻數據抽取視頻幀以獲取至少一個全景圖，根據設定的切分角度和方向，對所述至少一個全景圖進行360度透視切分，獲得所述至少一個全景圖對應的透視圖集合；
9、利用slam算法根據所述視頻幀之間的特征匹配估計得到所述至少一個全景圖的位姿，并基于所述至少一個全景圖的位姿計算得到所述每個透視圖的先驗位姿。
10、可選地，所述計算所述透視圖集合中存在關聯關系的任意兩個透視圖之間的第一匹配點對集合，包括：
11、基于所述透視圖集合中的任意兩個透視圖之間的時間順序和共同視場關系，構建任意兩個透視圖之間的關聯關系；
12、利用所述透視圖集合中存在關聯關系的任意兩個透視圖之間的特征匹配，計算得到所述存在關聯關系的任意兩個透視圖之間的第一匹配點對集合。
13、可選地，所述從所述透視圖集合中選擇至少兩個初始化圖像，基于所述至少兩個初始化圖像的先驗位姿構建所述至少兩個初始化圖像在基準坐標系下的更新位姿，然后基于所述至少兩個初始化圖像之間的第一匹配點對集合以及所述至少兩個初始化圖像的更新位姿初始化生成包含所述基準坐標系下的三維點集合的三維模型，包括：
14、按照時間順序從所述透視圖集合中選擇第一圖像和第二圖像作為所述初始化圖像，以所述第一圖像的位置為原點，依據所述第一圖像的朝向構建所述基準坐標系；
15、通過所述第一圖像和所述第二圖像的先驗位姿計算得到所述第一圖像和第二圖像分別在所述基準坐標系下的更新位姿；
16、根據所述第一圖像和所述第二圖像之間的第一匹配點對集合以及所述第一圖像和所述第二圖像在所述基準坐標系下的更新位姿進行三角測量計算，重建出所述第一圖像和第二圖像的二維匹配點在所述基準坐標系下的三維點集合，初始化生成包含所述三維點集合的三維模型。
17、可選地，所述從所述透視圖集合中的剩余圖像集中選擇候選圖像，基于所述候選圖像與所述已注冊圖像集之間的第一匹配點對集合獲得所述候選圖像在所述基準坐標系下的更新位姿，包括：
18、根據所述透視圖集合中的剩余圖像集與所述已注冊圖像集之間的共同視場關系和共同全景圖源關系從所述剩余圖像集中選擇最佳圖像作為所述候選圖像；
19、基于所述候選圖像與所述已注冊圖像集中每個已注冊圖像之間的第一匹配點對集合獲得所述候選圖像與所述三維點集合之間的第二匹配點對集合；
20、基于所述候選圖像與所述三維點集合之間的第二匹配點對集合以及所述候選圖像的先驗位姿，利用隨機樣本一致算法優化得到所述候選圖像在所述基準坐標系下的更新位姿。
21、可選地，所述根據所述透視圖集合中的剩余圖像集與所述已注冊圖像集之間的共同視場關系和共同全景圖源關系從所述剩余圖像集中選擇最佳圖像作為所述候選圖像，包括：
22、將所述透視圖集合中的剩余圖像集與所述已注冊圖像集之間是否具有共同視場關系作為第一條件，將所述透視圖集合中的剩余圖像集與所述已注冊圖像集之間是否具有共同全景圖源關系作為第二條件；
23、從同時滿足所述第一條件和第二條件的剩余圖像中選擇最佳圖像作為所述候選圖像，如果不存在同時滿足所述第一條件和第二條件的剩余圖像，則從滿足所述第一條件的剩余圖像中選擇最佳圖像作為所述候選圖像。
24、可選地，所述基于所述候選圖像與所述已注冊圖像集之間的第一匹配點對集合以及所述候選圖像的更新位姿生成增量三維點以更新所述三維點集合，得到增量更新后的三維模型，包括：
25、根據所述候選圖像與所述已注冊圖像集中每個已注冊圖像之間的第一匹配點對集合以及所述候選圖像在所述基準坐標系下的更新位姿進行三角測量計算，重建出所述候選圖像與所述已注冊圖像集的二維匹配點在所述基準坐標系下的增量三維點，以更新所述三維點集合，得到增量更新后的三維模型。
26、可選地，所述基于所述已注冊圖像集的位姿誤差和重投影誤差的約束條件對所述三維模型進行光束法平差優化，包括本文檔來自技高網...
【技術保護點】
1.一種基于全景圖的增量式三維重建方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述從待重建場景的視頻數據獲取至少一個全景圖，對所述至少一個全景圖中的每個全景圖進行透視切分，得到所述至少一個全景圖對應的透視圖集合以及每個透視圖的先驗位姿，包括：
3.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述計算所述透視圖集合中存在關聯關系的任意兩個透視圖之間的第一匹配點對集合，包括：
4.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述從所述透視圖集合中選擇至少兩個初始化圖像，基于所述至少兩個初始化圖像的先驗位姿構建所述至少兩個初始化圖像在基準坐標系下的更新位姿，然后基于所述至少兩個初始化圖像之間的第一匹配點對集合以及所述至少兩個初始化圖像的更新位姿初始化生成包含所述基準坐標系下的三維點集合的三維模型，包括：
5.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述從所述透視圖集合中的剩余圖像集中選擇候選圖像，基于所
6.根據權利要求5所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述根據所述透視圖集合中的剩余圖像集與所述已注冊圖像集之間的共同視場關系和共同全景圖源關系從所述剩余圖像集中選擇最佳圖像作為所述候選圖像，包括：
7.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述基于所述候選圖像與所述已注冊圖像集之間的第一匹配點對集合以及所述候選圖像的更新位姿生成增量三維點以更新所述三維點集合，得到增量更新后的三維模型，包括：
8.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述基于所述已注冊圖像集的位姿誤差和重投影誤差的約束條件對所述三維模型進行光束法平差優化，包括：
9.根據權利要求8所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述已注冊圖像子集的位姿誤差包括以所述已注冊圖像子集中任意兩個已注冊圖像的先驗位姿計算的第一相對位姿與以所述已注冊圖像子集中任意兩個已注冊圖像在所述基準坐標系下的更新位姿計算得到的第二相對位姿之間的誤差；
10.一種基于全景圖的增量式三維重建裝置，其特征在于，所述裝置包括：
...【技術特征摘要】
1.一種基于全景圖的增量式三維重建方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述從待重建場景的視頻數據獲取至少一個全景圖，對所述至少一個全景圖中的每個全景圖進行透視切分，得到所述至少一個全景圖對應的透視圖集合以及每個透視圖的先驗位姿，包括：
3.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述計算所述透視圖集合中存在關聯關系的任意兩個透視圖之間的第一匹配點對集合，包括：
4.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述從所述透視圖集合中選擇至少兩個初始化圖像，基于所述至少兩個初始化圖像的先驗位姿構建所述至少兩個初始化圖像在基準坐標系下的更新位姿，然后基于所述至少兩個初始化圖像之間的第一匹配點對集合以及所述至少兩個初始化圖像的更新位姿初始化生成包含所述基準坐標系下的三維點集合的三維模型，包括：
5.根據權利要求1所述的一種基于全景圖的增量式三維重建方法，其特征在于，所述從所述透視圖集合中的剩余圖像集中選擇候選圖像，基于所述候選圖像與所述已注冊圖像集之間的第一匹配點對集合獲得所述候選圖像...
【專利技術屬性】
技術研發人員：曹衛，貴夢萍，孫凱，史春苓，陳科科，
申請(專利權)人：杭州秋果計劃科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。