【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法。
技術(shù)介紹
隨著手機(jī)，數(shù)碼相機(jī)的普及，獲取高質(zhì)量的圖像越來越便捷，一個(gè)迫切的需求是利用這些圖片數(shù)據(jù)重建我們所生活的三維世界，包括：物體、場(chǎng)景甚至整個(gè)環(huán)境。已有的基于圖像的三維重建方法，所采用的工業(yè)相機(jī)設(shè)備價(jià)格昂貴，且計(jì)算成本較高，對(duì)于一個(gè)小場(chǎng)景的重建一般需要一臺(tái)高性能計(jì)算機(jī)幾個(gè)小時(shí)的處理時(shí)間。然而，傳感器噪聲，遮擋和光照變化經(jīng)常導(dǎo)致三維重建任務(wù)失敗，這些問題僅通過觀察圖像往往難以預(yù)測(cè)。由于這些問題，花費(fèi)幾個(gè)小時(shí)重建的模型往往是不精確的，不完整的，且包含瑕疵。在很多場(chǎng)合，幾乎不可能重新返回待重建場(chǎng)景重新捕獲圖像數(shù)據(jù)。即便可以對(duì)待重建場(chǎng)景反復(fù)的拍攝和重建，造成的計(jì)算負(fù)擔(dān)和工作量仍然是巨大的。因此，期望有一個(gè)重建方法能夠在拍攝過程中就實(shí)時(shí)的反饋重建結(jié)果的質(zhì)量，并幫助用戶評(píng)估重建質(zhì)量，規(guī)劃可提高重建精度和完整度的相機(jī)移動(dòng)軌跡。
技術(shù)實(shí)現(xiàn)思路
本專利技術(shù)是要解決現(xiàn)有方法計(jì)算成本高，重建的模型不精確并且不完整的問題，而提供了基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法。基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法，按以下步驟實(shí)現(xiàn)：一、在攝像頭移動(dòng)的過程中，基于攝像頭當(dāng)前的視頻幀作為輸入,估計(jì)每一視頻幀在場(chǎng)景坐標(biāo)系下的相機(jī)姿態(tài)：二、在視頻幀中選擇最佳的關(guān)鍵幀用于深度估計(jì)；三、采用快速魯棒的深度估計(jì)算法估計(jì)每一視頻幀的深度信息得到每一視頻幀的深度圖：四、將每一...
【技術(shù)保護(hù)點(diǎn)】
基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法，其特征在于按以下步驟實(shí)現(xiàn)：一、在攝像頭移動(dòng)的過程中，基于攝像頭當(dāng)前的視頻幀作為輸入,估計(jì)每一視頻幀在場(chǎng)景坐標(biāo)系下的相機(jī)姿態(tài)：二、在視頻幀中選擇最佳的關(guān)鍵幀用于深度估計(jì)；三、采用快速魯棒的深度估計(jì)算法估計(jì)每一視頻幀的深度信息得到每一視頻幀的深度圖：四、將每一視頻幀的深度圖轉(zhuǎn)化為截?cái)喾?hào)距離場(chǎng)，并在體素上執(zhí)行增量的深度融合，最后輸出三角網(wǎng)格表面，即完成了基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法。
【技術(shù)特征摘要】
1.基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法，其特征在于按以下步驟實(shí)現(xiàn)：
一、在攝像頭移動(dòng)的過程中，基于攝像頭當(dāng)前的視頻幀作為輸入,估計(jì)每一視頻幀在場(chǎng)
景坐標(biāo)系下的相機(jī)姿態(tài)：
二、在視頻幀中選擇最佳的關(guān)鍵幀用于深度估計(jì)；
三、采用快速魯棒的深度估計(jì)算法估計(jì)每一視頻幀的深度信息得到每一視頻幀的深度
圖：
四、將每一視頻幀的深度圖轉(zhuǎn)化為截?cái)喾?hào)距離場(chǎng)，并在體素上執(zhí)行增量的深度融合，
最后輸出三角網(wǎng)格表面，即完成了基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法。
2.根據(jù)權(quán)利要求1所述的基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法，其特征在于所
述步驟一具體為：
(a)構(gòu)建一組關(guān)鍵幀集合在攝像頭移動(dòng)的過程中，依據(jù)時(shí)間距離和空間距離閾值從視頻幀中選取關(guān)鍵幀k，每
一個(gè)關(guān)鍵幀對(duì)應(yīng)一個(gè)估計(jì)的相機(jī)姿態(tài)，所有關(guān)鍵幀構(gòu)成關(guān)鍵幀集合(b)構(gòu)建三維圖三維圖中包含點(diǎn)云數(shù)據(jù)其中pi為點(diǎn)云數(shù)據(jù)中的某一三維點(diǎn)，
為的基，即中元素的數(shù)量，當(dāng)新的關(guān)鍵幀被加入關(guān)鍵幀集合時(shí)，它與關(guān)鍵
幀集合中其他關(guān)鍵幀執(zhí)行立體匹配，產(chǎn)生新的點(diǎn)云數(shù)據(jù)加入點(diǎn)云中的每一個(gè)
三維點(diǎn)pi記錄著它的三維坐標(biāo)，法線方向，像素特征；當(dāng)關(guān)鍵幀加入關(guān)鍵幀集合時(shí)，它
與關(guān)鍵幀集合中其他關(guān)鍵幀進(jìn)行匹配，產(chǎn)生點(diǎn)云數(shù)據(jù)；
(c)三維圖和關(guān)鍵幀集合通過全局捆綁調(diào)整進(jìn)行精細(xì)優(yōu)化：
其中ejk為第j個(gè)三維點(diǎn)相對(duì)于第k個(gè)關(guān)鍵幀的重投影誤差，Obj為Huber函數(shù)，以增加
對(duì)噪聲和野點(diǎn)的魯棒性，Sk為在關(guān)鍵幀k上可見的三維圖的子集，和分別表示第
2個(gè)和第個(gè)關(guān)鍵幀的相機(jī)姿態(tài)估計(jì)值；μ為待優(yōu)化的相機(jī)姿態(tài)，p為待優(yōu)化的三維點(diǎn)；
(d)估計(jì)每一視頻幀在場(chǎng)景坐標(biāo)系下的相機(jī)姿態(tài)：
相機(jī)姿態(tài)為三維空間的剛體變換，假設(shè)當(dāng)前視頻幀序號(hào)為i,相機(jī)姿態(tài)包括了3×3的旋
轉(zhuǎn)矩陣Ri和3×1的平移矢量ti,在李群和李代數(shù)中，用一個(gè)6維的矢量μi等價(jià)的表示相機(jī)姿
\t態(tài)；配準(zhǔn)當(dāng)前視頻幀i與三維圖即尋找最優(yōu)的相機(jī)姿態(tài)參數(shù)使得三維圖中相對(duì)于
視頻幀i的可見點(diǎn)集Si的重投影誤差最小：
μ^i=argminμΣj∈SiObj(ej)]]>其中，μ為待優(yōu)化相機(jī)姿態(tài)，ej代表Si中第j個(gè)三維點(diǎn)相對(duì)于當(dāng)前視頻幀i的重投影誤差，Obj
為Huber函數(shù)。
3.根據(jù)權(quán)利要求1或2所述的基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法，其特征在
于所述步驟二具體為：
(一)將關(guān)鍵幀集合中的關(guān)鍵幀按照和當(dāng)前幀的基線大小的升序排列，并選擇前M
幀構(gòu)成一個(gè)子集，從中選擇與當(dāng)前幀夾角最小的關(guān)鍵幀子集假設(shè)關(guān)鍵幀集合中的相機(jī)
中心坐標(biāo)依次是c1,c2,c3...cn,當(dāng)前幀的相機(jī)中心坐標(biāo)為c,當(dāng)前幀與第m個(gè)關(guān)鍵幀的基線的
計(jì)算方法是：
Dm=(c-cm)2;]]>(二)根據(jù)基線大小，按照升序進(jìn)行排序，根據(jù)距離閾值T從中選擇一個(gè)關(guān)鍵幀子集
T值定義為相鄰關(guān)鍵幀之間距離的平均值的2倍，當(dāng)前幀與關(guān)鍵幀之間的夾角的計(jì)算
如下：
假設(shè)當(dāng)前幀的光學(xué)軸為r，某一關(guān)鍵幀的光學(xué)軸為rm,則二者的夾角為：
arcos(r·rm|r||rm|)]]>其中·為點(diǎn)積操作，||為矢量范數(shù)；
(三)根據(jù)當(dāng)前幀與關(guān)鍵幀子集中的關(guān)鍵幀逐個(gè)的計(jì)算夾角，從中選擇夾角最小的
關(guān)鍵幀Km作為最佳關(guān)鍵幀用于下一步的深度估計(jì)。
4.根據(jù)權(quán)利要求3所述的基于消費(fèi)級(jí)攝像頭的魯棒實(shí)時(shí)三維重建方法，其特征在于所
述步驟三采用快速魯棒的深度估計(jì)算法估計(jì)每一視頻幀的深度信息：
(a)隨機(jī)初始化：對(duì)于當(dāng)前幀It和最佳關(guān)鍵幀目標(biāo)是估計(jì)It上每一像素的深度；
設(shè)深度搜索范圍為[dmin,dmax]，對(duì)于It中的每一個(gè)像素位置p＝(x,y)，隨機(jī)初始化一個(gè)深度
\t值dp，基于對(duì)光照變化的魯棒性，使用ZNCC的負(fù)值作為度量深度假設(shè)的成本，對(duì)于當(dāng)前幀It的像素位置p，選擇一個(gè)以它為中心的w×w的窗口，對(duì)于窗口中的每一個(gè)像素位置其
深度值為dp,計(jì)算其在的對(duì)應(yīng)的像素位置,并計(jì)算匹配成本；其中，所述dmin和dmax分別
為深度搜索范圍中的最小深度和最大深度；
(b)深度傳播：采用基于掃描線的傳播方式，即：
(i)行掃描：逐行從左向右比較相鄰像素的成本，如果cost(dx-1,y)<cost(dx,y)，則
dx,y＝dx-1,y，然后逐行從右向左掃描，如果cost(dx+1,y)<cost(d...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王寬全，李兆歆，左旺孟，張磊，
申請(qǐng)(專利權(quán))人：哈爾濱工業(yè)大學(xué)，
類型：發(fā)明
國(guó)別省市：黑龍江;23
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。