基于多視點(diǎn)圖像的虛實(shí)遮擋實(shí)時(shí)處理方法技術(shù)

本發(fā)明專利技術(shù)公開了一種基于多視點(diǎn)圖像的虛實(shí)遮擋實(shí)時(shí)處理方法，首先將標(biāo)識物貼附在真實(shí)物體上，并通過雙目全景攝像機(jī)捕捉真實(shí)場景下的多視點(diǎn)圖像；其次對雙目全景攝像機(jī)進(jìn)行標(biāo)定獲取攝像機(jī)內(nèi)外參數(shù)，得到三維空間坐標(biāo)系到二維圖像平面坐標(biāo)系的變換矩陣，將虛擬物疊加到真實(shí)場景圖像中獲得虛實(shí)物體合成圖；然后將無關(guān)對象作為背景剔除，檢測與提取虛擬物輪廓，利用雙目立體成像系統(tǒng)分別求取真實(shí)物和虛擬物的深度信息，比較深度值判別正確的虛實(shí)遮擋關(guān)系；最后利用幀緩存技術(shù)重新繪制合成的視頻圖像，實(shí)現(xiàn)場景中虛實(shí)物體的正確遮擋。

Real time occlusion processing based on multi view images

The invention discloses a shelter real-time processing method of multi view images based on the actual situation, the first marker attached to the real object, and through the binocular panoramic camera capture multi view images in real scene; secondly to obtain calibration camera parameters of binocular panoramic camera, the transformation matrix can be obtained three-dimensional space coordinates to 2D image plane coordinate system, the virtual property virtual objects to obtain overlapping synthetic real scene images; then will not object as background culling, detection and extraction of virtual objects contour, using binocular stereo imaging system for depth information respectively take the real physical and virtual objects, compare the depth value discrimination correct occlusion relationship; finally re the drawing of video image synthesis using frame buffer technology to achieve the correct occlusion of virtual objects in the scene.

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)屬于圖像處理
，特別是涉及一種增強(qiáng)現(xiàn)實(shí)系統(tǒng)中圖像的虛實(shí)遮擋處理方法。
技術(shù)介紹
增強(qiáng)現(xiàn)實(shí)技術(shù)是隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展而產(chǎn)生的，是一種將計(jì)算機(jī)產(chǎn)生的虛擬物體與場景疊加到真實(shí)世界中，實(shí)現(xiàn)對真實(shí)世界的有效擴(kuò)充和增強(qiáng)的技術(shù)。增強(qiáng)現(xiàn)實(shí)技術(shù)不僅可以使虛擬物體與真實(shí)世界融為一體，而且可以通過特定的設(shè)備使用戶與場景中的虛擬物體進(jìn)行交互，為用戶提供聲音、觸覺及嗅覺體驗(yàn)。隨著研究的不斷深入以及關(guān)鍵技術(shù)的革新，人們逐漸意識到增強(qiáng)現(xiàn)實(shí)技術(shù)在生活、軍事、醫(yī)療、建筑、娛樂等多個(gè)領(lǐng)域中具有廣泛的應(yīng)用前景。而虛實(shí)物體遮擋關(guān)系的正確體現(xiàn)是判斷增強(qiáng)現(xiàn)實(shí)系統(tǒng)好壞的一個(gè)重要指標(biāo)，錯(cuò)誤的遮擋關(guān)系會給觀察者帶來虛實(shí)物體相對位置失真的錯(cuò)覺，嚴(yán)重影響系統(tǒng)的真實(shí)感。對于虛實(shí)遮擋問題，國內(nèi)外已有研究人員對此問題展開了研究，現(xiàn)階段主要有基于模型和基于深度兩類處理方法。其中，基于模型的虛實(shí)遮擋處理方法基本原理是對遮擋虛擬物體的真實(shí)物體進(jìn)行三維建模，求得該物體在世界坐標(biāo)系下的三維坐標(biāo)，然后利用三維注冊技術(shù)將重建得到的真實(shí)物體的三維模型疊加到場景中該物體所對應(yīng)的位置上，從而實(shí)現(xiàn)真實(shí)物體對虛擬物體的遮擋。Fuhrmann等人(Fuhrmann等人，1999年在ComputersandGraphicsd中發(fā)表了《Occlusionincollaborativeaugmentedenvironments》)利用這種方法在靜態(tài)場景條件下可以準(zhǔn)確地獲取正確虛實(shí)遮擋關(guān)系，但對于復(fù)雜的真實(shí)物體進(jìn)行精確三維建模比較困難，且建模結(jié)果的好壞直接影響虛實(shí)遮擋處理的效果。Lepetit等人(Lepetit,V.和Berger,M.O.Handling，2000年在IEEEandACMInternationalSymposiumonAugmentedReality中發(fā)表了《occlusionimaugmentedrealitysystems:asemi-automaticmethod》)提出了一種半自動方法，首先選取視頻序列中的部分視頻圖像作為關(guān)鍵幀，用戶通過手動選取關(guān)鍵幀圖像中遮擋虛擬物的真實(shí)物體輪廓，利用相鄰關(guān)鍵幀圖像中物體輪廓的二維信息重建物體輪廓的三維坐標(biāo)，最后將重建的真實(shí)物體重投影到中間幀圖像上，得到虛實(shí)遮擋關(guān)系正確的合成圖像。該方法在攝像機(jī)視角發(fā)生變化時(shí)也能獲得正確的虛實(shí)遮擋關(guān)系，不僅適合靜態(tài)場景圖像而且適合動態(tài)場景，但三維重建過程較困難，計(jì)算量過大。基于深度的虛實(shí)遮擋處理方法基本原理是首先計(jì)算真實(shí)場景圖像中每個(gè)像素點(diǎn)的深度信息，然后根據(jù)觀察者的視點(diǎn)位置、虛擬物體的疊加位置以及求得的深度信息，比較虛擬物體與真實(shí)物體的空間位置關(guān)系，如果虛擬物體被真實(shí)物體遮擋，則在顯示合成場景圖像時(shí)，只繪制虛擬物體未被遮擋的部分，不繪制被遮擋的部分。Yokoya等人(1999年，Yokoya等人在Proceedingsofthe1stInternationalSymposiaonMixedReality中發(fā)表了《Stereovisionbasedvideosee-throughmixedreality》)提出利用雙目立體視覺原理計(jì)算真實(shí)場景圖像上物體的深度信息，根據(jù)觀察者的視點(diǎn)位置和深度信息完成虛實(shí)遮擋處理，求取整幅圖像上每個(gè)像素的深度信息，與虛擬物體的深度值進(jìn)行對比得到遮擋關(guān)系，該類方法雖然判定準(zhǔn)確度高，能夠處理復(fù)雜物體的遮擋問題，但計(jì)算量太大，不具備實(shí)時(shí)性。
技術(shù)實(shí)現(xiàn)思路
針對現(xiàn)有的各虛實(shí)遮擋處理方法存在的不足，本專利技術(shù)的目的在于提出一種基于多視點(diǎn)圖像的虛實(shí)遮擋實(shí)時(shí)處理方法，通過剔除背景中無關(guān)對象，提取虛擬物輪廓，計(jì)算虛擬物和真實(shí)物目標(biāo)區(qū)域的深度值并比較判別正確的虛實(shí)遮擋關(guān)系，利用幀緩存技術(shù)重新繪制，實(shí)現(xiàn)場景中虛實(shí)物體的正確遮擋。本專利技術(shù)的技術(shù)方案是：基于多視點(diǎn)圖像的虛實(shí)遮擋實(shí)時(shí)處理方法，主要包括以下四個(gè)步驟：(1)將標(biāo)識物貼附在真實(shí)物體上，并通過雙目全景攝像機(jī)捕捉真實(shí)場景下的多視點(diǎn)圖像。在虛實(shí)遮擋關(guān)系的判別過程中，為了避免混淆，便于區(qū)分視頻圖像中的真實(shí)物體與虛擬物體，通常在三維的真實(shí)物體上貼一個(gè)標(biāo)識物。這里的標(biāo)識物選擇一個(gè)帶有黑色正方形外邊框的方形圖片，該圖片的黑色正方形外邊框內(nèi)為白色方框區(qū)域，在白色方框區(qū)域可以設(shè)計(jì)不同的圖案或者文字。(2)利用步驟(1)中標(biāo)識物圖像的坐標(biāo)特征和攝像機(jī)標(biāo)定方法求取攝像機(jī)內(nèi)外參數(shù)，得到三維空間坐標(biāo)系到二維圖像平面坐標(biāo)系的變換矩陣，根據(jù)變換矩陣實(shí)現(xiàn)三維虛擬場景投影到二維圖像平面的坐標(biāo)變換，將虛擬物疊加到真實(shí)場景圖像中獲得虛實(shí)物體合成圖；以步驟(1)中獲取的多視點(diǎn)圖像中的標(biāo)識物圖像上標(biāo)識物的黑色正方形外邊框頂點(diǎn)作為已知特征點(diǎn)，利用增強(qiáng)現(xiàn)實(shí)相關(guān)研究中的ARToolkit算法庫，經(jīng)過標(biāo)識物的識別和位置計(jì)算，得到由標(biāo)識物三維空間坐標(biāo)系到攝像機(jī)坐標(biāo)系的映射，再由攝像機(jī)標(biāo)定獲取攝像機(jī)內(nèi)部參數(shù)矩陣，完成攝像機(jī)坐標(biāo)系到二維圖像平面坐標(biāo)系的映射。設(shè)三維空間內(nèi)某已知特征點(diǎn)坐標(biāo)為(Xw,Yw,Zw)，經(jīng)映射變換矩陣Twc得到攝像機(jī)坐標(biāo)系下點(diǎn)的坐標(biāo)為(Xc,Yc,Zc)，如(1)式所示，其中R為坐標(biāo)系的旋轉(zhuǎn)矩陣，T為坐標(biāo)系間的平移矩陣。由雙目攝像機(jī)標(biāo)定方法(可以參照經(jīng)典標(biāo)定方法，張正友的攝像機(jī)標(biāo)定方法，在PatternAnalysisandMachineIntelligence發(fā)表的《Aflexiblenewtechniqueforcameracalibration》文獻(xiàn)中)得到攝像機(jī)內(nèi)參矩陣Kc，得到攝像機(jī)坐標(biāo)系下點(diǎn)(Xc,Yc,Zc)映射到二維圖像平面坐標(biāo)系下的點(diǎn)坐標(biāo)為(xi,yi)，如(2)式所示。其中(cx,cy)表示二維圖像中心點(diǎn)像素坐標(biāo)，fx,fy分別為X和Y方向的等效焦距。由(1)式和(2)式可以得到三維空間坐標(biāo)系與二維圖像平面坐標(biāo)系的變換矩陣M，如(3)式所示，則可根據(jù)變換矩陣M實(shí)現(xiàn)三維虛擬場景投影到二維圖像平面的坐標(biāo)變換，將虛擬物疊加到真實(shí)場景圖像中獲得虛實(shí)物體合成圖。M＝Twc·Kc(3)(3)對步驟(2)得到的虛實(shí)物體合成圖進(jìn)行虛實(shí)遮擋關(guān)系判別處理，首先將無需進(jìn)行虛實(shí)遮擋關(guān)系判別的圖像區(qū)域作為背景，利用局部顏色直方圖和區(qū)域劃分對背景進(jìn)行剔除；利用Canny邊緣檢測算子檢測并提取前景虛擬物體的輪廓線；根據(jù)雙目攝像機(jī)立體成像系統(tǒng)的立體成像原理分別求取虛擬物圖像區(qū)域所有像素點(diǎn)的深度值和附有標(biāo)識物的真實(shí)物體所有像素點(diǎn)的深度值，比較虛擬物與真實(shí)物的深度值大小并判斷正確的虛實(shí)遮擋關(guān)系；(3.1)將無需進(jìn)行虛實(shí)遮擋關(guān)系判別的圖像區(qū)域作為背景，利用局部顏色直方圖和區(qū)域劃分對背景進(jìn)行剔除，方法如下：在YUV空間內(nèi)將顏色進(jìn)行量化，在背景中按YUV空間內(nèi)顏色量化各區(qū)間內(nèi)含像素點(diǎn)數(shù)目多少選擇前m種主要的顏色作為直方圖歸類，其他所有次要顏色歸為一類，此時(shí)顏色量化直方圖中的顏色數(shù)被減少到m+1種，簡化了顏色歸類的計(jì)算量，顏色量化之后，顏色量化直方圖中每兩種顏色之間的相似度可以用高斯函數(shù)Gc(uk,vk)表示，如(4)式所示，其中(uj,vj)表示類中心的顏色分量(即m+1類顏色的中值所對應(yīng)的顏色分量)，(uk,vk)表示第k類顏色的顏色分量，δc表示標(biāo)準(zhǔn)差。為了增加圖像在直方圖中的空域信息，將步驟(2)得到的虛實(shí)物體合成圖均等劃分為n×n個(gè)區(qū)域塊，則每個(gè)像素點(diǎn)都隸屬于本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于多視點(diǎn)圖像的虛實(shí)遮擋實(shí)時(shí)處理方法，其特征在于，包括以下步驟：(1)將標(biāo)識物貼附在真實(shí)物體上，并通過雙目全景攝像機(jī)捕捉真實(shí)場景下的多視點(diǎn)圖像；(2)利用步驟(1)中標(biāo)識物圖像的坐標(biāo)特征和攝像機(jī)標(biāo)定方法求取攝像機(jī)內(nèi)外參數(shù)，得到三維空間坐標(biāo)系到二維圖像平面坐標(biāo)系的變換矩陣，根據(jù)變換矩陣實(shí)現(xiàn)三維虛擬場景投影到二維圖像平面的坐標(biāo)變換，將虛擬物疊加到真實(shí)場景圖像中獲得虛實(shí)物體合成圖；(3)對步驟(2)得到的虛實(shí)物體合成圖進(jìn)行虛實(shí)遮擋關(guān)系判別處理，首先將無需進(jìn)行虛實(shí)遮擋關(guān)系判別的圖像區(qū)域作為背景，利用局部顏色直方圖和區(qū)域劃分對背景進(jìn)行剔除；利用Canny邊緣檢測算子檢測并提取前景虛擬物體的輪廓線；根據(jù)雙目攝像機(jī)立體成像系統(tǒng)的立體成像原理分別求取虛擬物圖像區(qū)域所有像素點(diǎn)的深度值和附有標(biāo)識物的真實(shí)物體所有像素點(diǎn)的深度值，比較虛擬物與真實(shí)物的深度值大小并判斷正確的虛實(shí)遮擋關(guān)系；(4)根據(jù)步驟(3)中得到的不同區(qū)域所對應(yīng)物體的正確虛實(shí)遮擋關(guān)系，利用幀緩存技術(shù)重新繪制合成的視頻圖像，實(shí)現(xiàn)場景中虛實(shí)物體的正確遮擋。

【技術(shù)特征摘要】
1.一種基于多視點(diǎn)圖像的虛實(shí)遮擋實(shí)時(shí)處理方法，其特征在于，包括以下步驟：(1)將標(biāo)識物貼附在真實(shí)物體上，并通過雙目全景攝像機(jī)捕捉真實(shí)場景下的多視點(diǎn)圖像；(2)利用步驟(1)中標(biāo)識物圖像的坐標(biāo)特征和攝像機(jī)標(biāo)定方法求取攝像機(jī)內(nèi)外參數(shù)，得到三維空間坐標(biāo)系到二維圖像平面坐標(biāo)系的變換矩陣，根據(jù)變換矩陣實(shí)現(xiàn)三維虛擬場景投影到二維圖像平面的坐標(biāo)變換，將虛擬物疊加到真實(shí)場景圖像中獲得虛實(shí)物體合成圖；(3)對步驟(2)得到的虛實(shí)物體合成圖進(jìn)行虛實(shí)遮擋關(guān)系判別處理，首先將無需進(jìn)行虛實(shí)遮擋關(guān)系判別的圖像區(qū)域作為背景，利用局部顏色直方圖和區(qū)域劃分對背景進(jìn)行剔除；利用Canny邊緣檢測算子檢測并提取前景虛擬物體的輪廓線；根據(jù)雙目攝像機(jī)立體成像系統(tǒng)的立體成像原理分別求取虛擬物圖像區(qū)域所有像素點(diǎn)的深度值和附有標(biāo)識物的真實(shí)物體所有像素點(diǎn)的深度值，比較虛擬物與真實(shí)物的深度值大小并判斷正確的虛實(shí)遮擋關(guān)系；(4)根據(jù)步驟(3)中得到的不同區(qū)域所對應(yīng)物體的正確虛實(shí)遮擋關(guān)系，利用幀緩存技術(shù)重新繪制合成的視頻圖像，實(shí)現(xiàn)場景中虛實(shí)物體的正確遮擋。2.根據(jù)權(quán)利要求1所述的基于多視點(diǎn)圖像的虛實(shí)遮擋實(shí)時(shí)處理方法，其特征在于，步驟(1)中，標(biāo)識物選擇一個(gè)帶有黑色正方形外邊框的方形圖片，該圖片的黑色正方形外邊框內(nèi)為白色方框區(qū)域，在白色方框區(qū)域設(shè)有圖案或者文字。3.根據(jù)權(quán)利要求2所述的基于多視點(diǎn)圖像的虛實(shí)遮擋實(shí)時(shí)處理方法，其特征在于，步驟(2)中的實(shí)現(xiàn)方法是：以步驟(1)中獲取的多視點(diǎn)圖像中的標(biāo)識物圖像上標(biāo)識物的黑色正方形外邊框頂點(diǎn)作為已知特征點(diǎn)，通過對標(biāo)識物的識別和位置計(jì)算，得到由標(biāo)識物三維空間坐標(biāo)系到攝像機(jī)坐標(biāo)系的映射，再由攝像機(jī)標(biāo)定獲取攝像機(jī)內(nèi)部參數(shù)矩陣，完成攝像機(jī)坐標(biāo)系到二維圖像平面坐標(biāo)系的映射；設(shè)三維空間內(nèi)某已知特征點(diǎn)坐標(biāo)為(Xw,Yw,Zw)，經(jīng)映射變換矩陣Twc得到攝像機(jī)坐標(biāo)系下點(diǎn)的坐標(biāo)為(Xc,Yc,Zc)，如(1)式所示，其中R為坐標(biāo)系的旋轉(zhuǎn)矩陣，T為坐標(biāo)系間的平移矩陣：[Xc,Yc,Zc]T=Twc[Xw,Yw,Zw]TTwc=[R,T]---(1)]]>由雙目攝像機(jī)標(biāo)定方法、得到攝像機(jī)內(nèi)參矩陣Kc，得到攝像機(jī)坐標(biāo)系下點(diǎn)(Xc,Yc,Zc)映射到二維圖像平面坐標(biāo)系下的點(diǎn)坐標(biāo)為(xi,yi)，如(2)式所示；其中(cx,cy)表示二維圖像中心點(diǎn)像素坐標(biāo)，fx,fy分別為X和Y方向的等效焦距；[Xi,Yi]T=Kc[Xc,Yc,Zc]T=fx0cx00fycy00010[Xc,Yc,Zc]T---(2)]]>由(1)式和(2)式可以得到三維空間坐標(biāo)系與二維圖像平面坐標(biāo)系的變換矩陣M，如(3)式所示，則可根據(jù)變換矩陣M實(shí)現(xiàn)三維虛擬場景投影到二維圖像平面的坐標(biāo)變換，將虛擬物疊加到真實(shí)場景圖像中獲得虛實(shí)物體合成圖；M＝Twc·Kc(3)。4.根據(jù)權(quán)利要求3所述的基于多視點(diǎn)圖像的虛實(shí)遮擋實(shí)時(shí)處理方法，其特征在于，步驟(3)中，將無需進(jìn)行虛實(shí)遮擋關(guān)系判別的圖像區(qū)域作為背景，利用局部顏色直方圖和區(qū)域劃分對背景進(jìn)行剔除，其實(shí)現(xiàn)方法如下：在YUV空間內(nèi)將顏色進(jìn)行量化，在背景中按YUV空間內(nèi)顏色量化各區(qū)間內(nèi)含像素點(diǎn)數(shù)目多少選擇像素點(diǎn)數(shù)目位于前m種的顏色作為直方圖歸類，其他所有次要顏色歸為一類，此時(shí)顏色量化直方圖中的顏色數(shù)被減少到m+1種；顏色量化之后，顏色量化直方圖中每兩種顏色之間的相似度可以用高斯函數(shù)Gc(uk,vk)表示，如(4)式所示，其中(uj...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：向北海，
申請(專利權(quán))人：湖南優(yōu)象科技有限公司，
類型：發(fā)明
國別省市：湖南;43