【技術實現(xiàn)步驟摘要】
本專利技術提出基于語義分割先驗的三維語義場景補全模型，屬于圖像數(shù)據(jù)處理(g06t)及圖像增強(g06t5)領域。
技術介紹
1、隨著自動駕駛、虛擬現(xiàn)實等領域的興起，對于真實世界中三維場景的深入理解變得尤為重要。因此，研究者們逐漸將目光投向了三維場景理解，這也使之成為當下計算機視覺領域研究的一個新的焦點。然而基于純視覺的三維語義場景補全的研究面臨著一個關鍵挑戰(zhàn)，即輸入信息的缺失。由于二維信息到三維信息存在維度提升，視覺數(shù)據(jù)難免受到遮擋、噪聲等環(huán)境因素的影響，同時存在部分區(qū)域無法被觀測到的情況，當前的純視覺方法在對三維場景進行準確的補全方面尚不能達到理想的效果。
2、為了解決這個問題，出現(xiàn)了一系列三維語義場景補全的方法。最近深度神經(jīng)網(wǎng)絡的發(fā)展，許多非常有效的方法都被提出來。其中基于相機二維圖像的三維語義場景補全致力于從多個二維圖像推斷三維場景內(nèi)對象的幾何形狀和語義類別。sscnet(https://ieeexplore.ieee.org/document/8099511)率先在單個深度視圖中聯(lián)合預測體素(voxel)占用和語義類別。早期的三維語義場景補全研究集中于使用三維卷積網(wǎng)絡推斷小規(guī)模和均勻密集的室內(nèi)場景中的對象屬性。由于對上下文信息的需要，這類網(wǎng)絡通常使用u-net架構(https://lin?k.springer.com/chapter/10.1007/978-3-319-24574-4_28)，即具有跳過連接的編碼器-解碼器結構。u-net結構的好處不僅在于提供上下文信息而且還可以提取有意義的粗糙場景表示，這在
3、除了使用三維卷積網(wǎng)絡以外，還有工作使用視圖-體積網(wǎng)絡、點網(wǎng)絡和混合網(wǎng)絡來實現(xiàn)三維語義場景補全任務。在視圖-體積網(wǎng)絡中，為了利用二維卷積神經(jīng)網(wǎng)絡的效率，一種常見的策略是將其與三維卷積神經(jīng)網(wǎng)絡結合使用，如文獻(https://www.ijcai.org/proceedings/2018/101)。具體來講，這些方法使用二維卷積編碼器從二維紋理和幾何輸入(rgb、深度等)中提取二維特征，然后將其提升到三維并由三維卷積處理。為了獲取更豐富的特征表示，另一種方案將三維輸入數(shù)據(jù)投影到二維中，然后用比三維對應結構輕量化得多的普通二維卷積進行處理。然后將得到的二維特征提升回三維，并使用三維卷積進行解碼。這種方案在計算和內(nèi)存占用方面具有更高的效率，但更適合室外場景，因為室外數(shù)據(jù)顯示出沿兩個軸(即縱向和橫向)的主要變化。
4、semantickitti數(shù)據(jù)集(https://semantic-kitti.org/)是一個基于雷達序列的大規(guī)模語義場景理解數(shù)據(jù)集。semantickitti基于kitti視覺基準，并為里程表基準序列00-10的每次單獨掃描提供密集的注釋，這使得可以使用多個連續(xù)掃描進行語義場景解釋，如語義分割和語義場景補全。剩余的序列，即序列11-21，被用作測試集，顯示了各種具有挑戰(zhàn)性的交通狀況和環(huán)境類型。數(shù)據(jù)集官方不提供測試集的標簽，而是使用評估服務對提交的內(nèi)容進行評分并提供測試集結果，這使得測試的結果更加客觀準確。
技術實現(xiàn)思路
1、本專利技術的目的是基于深度學習的理論與方法，研究基于語義分割先驗的三維語義場景補全模型，能夠利用語義分割圖中包含的豐富語義先驗信息，同時提出對齊語義分割特征引導的模型框架，最后通過后融合的方式將對齊的語義特征合并到低分辨率場景特征中實現(xiàn)更細粒度的場景重建，從而有效的提升三維語義場景補全的性能。
2、本專利技術設計了一種對齊語義分割特征引導的模型框架。該模型框架由體素生成分支和語義補充分支組成，利用不同的信息源重建三維場景。首先在體素生成分支中為大型對象建立基本的三維布局，然后使用語義分割圖中的可靠視覺特征來指導較小元素的重建和較大對象的細化。在補充分支中，本專利技術提出類對齊模塊以自適應地學習特定任務數(shù)據(jù)集中不同類別的重要性，而不需要額外的注釋或者類別映射，實驗表明，這種改進能夠有效地理解場景中不同尺度的對象，實現(xiàn)更加細粒度的三維場景重建。
3、本專利技術采用上述基于語義分割先驗的三維語義場景補全模型，首先對semantickitti數(shù)據(jù)集中的輸入圖像以及點云真值標簽進行預處理，構建訓練數(shù)據(jù)，然后訓練基于語義分割先驗的三維語義場景補全模型，最后通過該模型生成細粒度的場景重建結果，具體形式為帶有語義標簽的三維體素表示成的場景。
4、本專利技術包括下列步驟：
5、步驟1、數(shù)據(jù)準備：
6、semantickitti數(shù)據(jù)集為里程表基準序列00-10的每次單獨掃描提供密集的注釋，這使得可以使用多個連續(xù)掃描進行語義場景解釋，如語義分割和語義場景補全。剩余的序列，即序列11-21，被用作測試集，顯示了各種具有挑戰(zhàn)性的交通狀況和環(huán)境類型。
7、步驟2、訓練深度補全模型：
8、構建用于三維語義場景補全模型，所述網(wǎng)絡模型分為兩個分支。1)第一部分為體素生成分支，將rgb圖像作為輸入。通過時序編碼器模塊和鳥瞰圖交叉融合模塊，該主分支有效地利用視覺圖像特征和深度特征來生成低分辨率場景表示。2)第二部分為語義補充分支，使用預訓練的語義分割模型本文檔來自技高網(wǎng)...
【技術保護點】
1.一種基于語義分割先驗的三維語義場景補全方法，包括下列步驟：
2.根據(jù)權利要求1所述的方法，其中
3.根據(jù)權利要求2所述的方法，其中
【技術特征摘要】
1.一種基于語義分割先驗的三維語義場景補全方法，包括下列步驟：
2....
【專利技術屬性】
技術研發(fā)人員：童超，王煜，朱守泰，邢震宇，
申請(專利權)人：北京航空航天大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。