【技術實現步驟摘要】
本專利技術涉及圖像處理，適用于增強現實場景，尤其涉及一種基于平面輪廓特征的室內場景重建方法及裝置。
技術介紹
1、視覺slam(simultaneous?localization?and?mapping)技術是一種集成了視覺定位、相機追蹤以及地圖重建的視覺算法。它通過追蹤場景中的顯著特征，實現相機移動時的實時定位，然后通過位姿圖重建場景模型。在機器人導航、自動駕駛、虛擬現實、增強現實以及混合現實中均得到了大量的應用。
2、然而，在空曠室內場景中利用slam算法重建場景模型一直是該領域多年未突破的技術能力瓶頸。在缺乏明顯的紋理以及顯著的視覺特征的室內場景中，視覺算法缺少有效的相機軌跡追蹤手段，導致最終的場景模型重建結果失準。
3、現在亟需一種針對室內空曠場景的視覺重建方法，填補在視覺算法在室內空曠場景中的相機軌跡追蹤及場景模型重建能力空白。
技術實現思路
1、為解決現有視覺重建技術無法在空曠室內場景中實用的問題，本專利技術實施例提供了一種基于平面輪廓特征的室內場景重建方法及裝置，適用于演播室、演講室等空曠室內場景，利用語義信息以及平面輪廓特征實現相機在空曠室內場景中的相機軌跡追蹤與場景重建功能。
2、為了解決上述技術問題中的任意一種，本專利技術的具體技術方案如下：
3、本專利技術實施例提供了一種基于平面輪廓特征的室內場景重建方法，包括：
4、識別目標室內場景中的平面物體的輪廓目標，并通過相機獲取每一幀的所述輪廓目標上的多個點
5、配準相鄰兩幀對應的輪廓點云模型，計算所述相鄰兩幀中后一幀的姿態，將每一幀的姿態按照順序加入到全局姿態圖中，所述全局姿態圖中包括每一幀的姿態；
6、按照順序分別將每一幀的輪廓點云模型中的點加入到全局模型中，所述全局模型為所述平面物體的整體輪廓點云模型，并且當所述全局模型中加入一幀對應的輪廓點云模型中的點后，判斷所述全局模型是否出現全局輪廓閉環；若未全局輪廓閉環，則繼續按照順序將下一幀對應的輪廓點云模型中的點加入到所述全局模型中；
7、若出現全局輪廓閉環，將全局輪廓閉環對應的幀作為觸發幀，在所述全局姿態圖中確定所述觸發幀的姿態和所述全局模型中加入的首幀的姿態，計算所述觸發幀的姿態與所述首幀的姿態之間的姿態轉換關系；
8、利用所述姿態轉換關系更新所述全局姿態圖，得到所述平面物體在世界坐標系下的平面輪廓模型和場景模型。
9、配準相鄰兩幀對應的輪廓點云模型，計算所述相鄰兩幀中后一幀的姿態進一步包括：
10、通過點-點icp算法配準相鄰兩幀對應的輪廓點云模型，預測所述相鄰兩幀中后一幀的預測姿態；
11、利用所述預測姿態映射所述相鄰兩幀中前一幀對應的所述全局模型，得到所述后一幀對應的映射模型；
12、通過點云配準算法配準所述前一幀的輪廓點云模型和所述后一幀的映射模型，得到校準姿態差；
13、通過所述校準姿態差對所述預測姿態進行校準，得到所述后一幀的姿態。
14、進一步地，通過所述校準姿態差對所述預測姿態進行校準，得到所述后一幀的姿態的公式為：
15、
16、其中，表示第k+1幀校準后姿態，表示第k+1幀的預測姿態，p*表示校準姿態差。
17、進一步地，按照順序分別將每一幀的輪廓點云模型中的點加入到全局模型中進一步包括：
18、將待加入全局模型的幀作為目標幀，通過kd-tree最近鄰判斷所述目標幀的輪廓點云模型中的點是否超出所述全局模型；
19、若超出所述全局模型，則將該點加入到所述全局模型中；
20、若未超出所述全局模型，則判斷該點是否與所述全局模型共面；
21、若共面，則將該點加入到所述全局模型中；
22、若不共面，則刪除該點。
23、進一步地，在將點加入到所述全局模型中之后，所述方法還包括：
24、對所述全局模型進行密集點云稀疏化，刪除所述全局模型中重疊的點。
25、進一步地，判斷所述全局模型是否出現全局輪廓閉環進一步包括：
26、當所述全局模型中加入一幀對應的輪廓點云模型中的點后，將下一幀作為第一檢測幀，利用所述第一檢測幀的姿態映射所述全局模型，得到可觀測部分和未觀測部分；
27、若所述第一檢測幀對應的輪廓點云模型超出所述可觀測部分對應的范圍，則通過kd-tree算法搜索所述第一檢測幀對應的輪廓點云模型中超出所述可觀測部分對應的范圍的點的數量，并在所述數量超過預定閾值時，對超出所述可觀測部分對應的范圍的點與所述未觀測部分進行距離測量，并判斷測量的距離超過標準距離的點相對于超出所述可觀測部分對應的范圍的點的占比，若占比超過預定比值，則確定所述全局模型出現全局輪廓閉環。
28、進一步地，判斷所述全局模型是否出現全局輪廓閉環還包括：
29、當所述全局模型中加入一幀對應的輪廓點云模型中的點后，將最新加入的幀作為第二檢測幀；
30、若所述第二檢測幀的所述輪廓點云模型中點的數量是否均大于在與所述第二檢測幀相鄰的預定數量個幀對應的所述輪廓點云模型中點的數量，并且與所述第二檢測幀相鄰的預定數量個幀對應的所述輪廓點云模型一直被所述第二檢測幀對應的所述輪廓點云模型覆蓋，則確定所述全局模型出現全局輪廓閉環。
31、進一步地，利用所述姿態轉換關系更新所述全局姿態圖，得到所述平面物體在世界坐標系下的平面輪廓模型和場景模型進一步包括：
32、將所述全局姿態圖中除所述首幀和觸發幀之外的所有幀的姿態右乘所述姿態轉換關系，得到所述平面物體在世界坐標系下的平面輪廓模型和場景模型。
33、進一步地，所述方法還包括：
34、將每一幀對應的全局模型以及該幀對應的全局姿態圖作為該幀的模型碎片；
35、當發生丟失追蹤時，將發生丟失追蹤的幀作為待優化幀；
36、利用所述待優化幀前一幀的模型碎片和后一幀的模型碎片對待優化幀的姿態進行優化。
37、另一方面，本專利技術實施例還提供了一種基于平面輪廓特征的室內場景重建裝置，包括：
38、輪廓點云模型生成單元，用于識別目標室內場景中的平面物體的輪廓目標，并通過相機獲取每一幀的所述輪廓目標上的多個點，生成每一幀的輪廓點云模型；
39、姿態計算單元，用于配準相鄰兩幀對應的輪廓點云模型，計算所述相鄰兩幀中后一幀的姿態，將每一幀的姿態按照順序加入到全局姿態圖中，所述全局姿態圖中包括每一幀的姿態；
40、全局輪廓閉環檢測單元，用于按照順序分別將每一幀的輪廓點云模型中的點加入到全局模型中，所述全局模型為所述平面物體的整體輪廓點云模型，并且當所述全局模型中加入一幀對應的輪廓點云模型中的點后，判斷所述全局模型是否出現全局輪廓閉環；若未全局輪廓閉環，則繼續按照順序將下一幀對應的輪廓點云模型中的點加入到所述全局模型中；
<本文檔來自技高網...【技術保護點】
1.一種基于平面輪廓特征的室內場景重建方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，配準相鄰兩幀對應的輪廓點云模型，計算所述相鄰兩幀中后一幀的姿態進一步包括：
3.根據權利要求2所述的方法，其特征在于，通過所述校準姿態差對所述預測姿態進行校準，得到所述后一幀的姿態的公式為：
4.根據權利要求1所述的方法，其特征在于，按照順序分別將每一幀的輪廓點云模型中的點加入到全局模型中進一步包括：
5.根據權利要求4所述的方法，其特征在于，在將點加入到所述全局模型中之后，所述方法還包括：
6.根據權利要求1所述的方法，其特征在于，判斷所述全局模型是否出現全局輪廓閉環進一步包括：
7.根據權利要求1所述的方法，其特征在于，判斷所述全局模型是否出現全局輪廓閉環還包括：
8.根據權利要求1所述的方法，其特征在于，利用所述姿態轉換關系更新所述全局姿態圖，得到所述平面物體在世界坐標系下的平面輪廓模型和場景模型進一步包括：
9.根據權利要求1所述的方法，其特征在于，所述方法還包括：
...【技術特征摘要】
1.一種基于平面輪廓特征的室內場景重建方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，配準相鄰兩幀對應的輪廓點云模型，計算所述相鄰兩幀中后一幀的姿態進一步包括：
3.根據權利要求2所述的方法，其特征在于，通過所述校準姿態差對所述預測姿態進行校準，得到所述后一幀的姿態的公式為：
4.根據權利要求1所述的方法，其特征在于，按照順序分別將每一幀的輪廓點云模型中的點加入到全局模型中進一步包括：
5.根據權利要求4所述的方法，其特征在于，在將點加入到所述全局模型中之后，...
【專利技術屬性】
技術研發人員：嚴鼎天，李宜儒，李明峰，黃季濤，鄭榮，李錚，
申請(專利權)人：上海理想信息產業集團有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。