利用直射變換翹曲函數(shù)配準第一和第二圖像的至少一個部分的方法技術(shù)

本發(fā)明專利技術(shù)涉及一種用于配準第一圖像的至少一個部分和第二圖像的至少一個部分的方法，包括如下步驟：提供真實環(huán)境的第一圖像（T）和關(guān)聯(lián)到第一圖像的坐標系，真實環(huán)境的第二圖像（I），以及拍攝第二圖像（I）時拍攝裝置（D）相對于真實環(huán)境的取向（R）和/或距離（d1，d2，…，dN）的測量值。然后從關(guān)聯(lián)到第二圖像（I）的至少一個部分的測量值確定直射變換翹曲函數(shù)（P）。該方法還包括如下步驟：通過應(yīng)用對應(yīng)的所確定直射變換翹曲函數(shù)（P）變換第二圖像（I）的至少一個部分，確定第二翹曲函數(shù)（A），其用于利用圖像配準方法配準第二圖像的變換（Ip）的至少一個部分與第一圖像（T）的至少一個部分，以及利用所述直射變換翹曲函數(shù)（P）和第二翹曲函數(shù)（A）配準第二圖像（I）的至少一個部分和第一圖像（T）的至少一個部分。

【技術(shù)實現(xiàn)步驟摘要】
【國外來華專利技術(shù)】利用直射變換翹曲函數(shù)配準第一和第二圖像的至少一個部分的方法
本專利技術(shù)涉及一種利用直射變換翹曲函數(shù)(collineationwarpingfunction)配準第一和第二圖像的至少一個部分的方法。此外，本專利技術(shù)涉及一種包括用于實施該方法的軟件代碼段的計算機程序產(chǎn)品。
技術(shù)介紹
在諸如增強現(xiàn)實(AR)應(yīng)用的計算機視覺應(yīng)用中常常需要上述方法。例如，給定第一圖像T為模板圖像，計算機視覺領(lǐng)域中的很多應(yīng)用要求在空間上將第二圖像I，即當前攝像機圖像的至少一部分與模板圖像配準。范例包括全景拼合和攝像機姿態(tài)估計，例如對于視頻透視增強現(xiàn)實應(yīng)用。假設(shè)沒有任何透鏡畸變的完美針孔攝像機，從對應(yīng)于平面表面的模板任何部分到其在當前攝像機圖像中的對應(yīng)位置的變換由3D平移、隨后的3D旋轉(zhuǎn)、最后的圖像平面上的透視的投影構(gòu)成?？梢岳帽硎灸０逯?D點和攝像機圖像中2D對應(yīng)點之間的透視變換的直射變換W完整描述這種變換。常常由可逆的(3×3)矩陣表示直射變換。取決于比例來定義矩陣，其具有八個自由度，可以寫作：W＝[plp2p3][p4p5p6][p7p81]直射變換定義一對一和向上翹曲(ontowarping)。直射變換翹曲函數(shù)如下將來自第一圖像的點x＝[u，v]變換成第二圖像中的點x'＝[u'，v']：u'＝(p1u+p2v+p3)/(p7u+p8v+1)v'＝(p4u+p5v+p6)/(p7u+p8v+1)這樣的翹曲保持了共線性、并發(fā)性、接觸度和交比(crossratio)。每個翹曲點有兩次除法，使得翹曲在計算成本方面很昂貴。在對應(yīng)矩陣的項p7和p8等于零時，直射變換翹曲被稱為仿射翹曲。因此直射變換能夠被表示為矩陣A＝[p1p2p3][P4p5p6][001]因此，仿射翹曲函數(shù)如下將來自第一圖像的點x＝[u，v]變換成第二圖像中的點x'＝[u'，v']：u'＝p1u+p2v+p3v'＝p4u+p5v+p6注意，在這種情況下，用于仿射翹曲運算的次數(shù)低于標準直射變換翹曲函數(shù)的運算次數(shù)。特別地，由于在仿射翹曲函數(shù)中沒有除法，所以在計算能力有限的裝置上要快得多。此外，仿射翹曲保持了平行性和距離比等。在采集第一和第二圖像，使得圖像平面平行于特定平面表面時，那么對應(yīng)于該平面表面的直射變換翹曲為仿射翹曲。在現(xiàn)有技術(shù)中，本領(lǐng)域中公開了以下參考文獻：[1]C.Steger.Occlusion,clutter,andilluminationinvariantobjectrecognition.Int.Arc.Photo.RemoteSensing,XXXIV,part3A:345-350,2002。[2]B.LucasandT.Kanade.Aniterativeimageregistrationtechniquewithanapplicationtostereovision.InProceedingsoftheInternationalJointConferenceonArtificialIntelligence,1981。[3]WonwooLeeetal.Point-and-ShootforUbiquitousTaggingonMobilePhones.Proc.InternationalSymposiumonMixedandAugmentedReality2010。[4]MyungHwangbo,Jun-SikKim,andTakeoKanade.Inertial-AidedKLTFeatureTrackingforaMovingCamera.The2009IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems。[5]Lobo,J.andDias,J.VisionandInertialSensorCooperationUsingGravityasaVerticalReference.IEEETransactionsonPatternAnalysisandMachineIntelligence.Volume:25Issue:12,pages1597-1608。[6]SimonBakerandIainMatthews.EquivalenceandEfficiencyofImageAlignmentAlgorithms.Proceedingsofthe2001IEEEConferenceonComputerVisionandPatternRecognition。[7]S.Hinterstoisser,V.Lepetit,S.Benhimane,P.Fua,andN.Navab.LearningReal-TimePerspectivePatchRectification.InternationalJournalofComputerVision,2010。圖1中示出了找到上述變換的標準方法。在第一步驟S1中，由攝像機拍攝或從源加載一個或多個模板或參考圖像(第一圖像)。然后，首先拍攝或加載當前圖像(第二圖像)(步驟S2)。在下一步驟S3中，進行實際估計。已經(jīng)發(fā)現(xiàn)，直射變換翹曲函數(shù)將當前圖像的至少一部分與模板圖像中的對應(yīng)位置配準。在各種技術(shù)中，可以在迭代求極小值過程中這樣做，其中將模板圖像中的第一組像素與當前攝像機圖像中的計算組像素比較，該攝像機圖像中的用于比較的計算組像素在每次迭代時變化，例如參見范例[2]。從數(shù)學(xué)上講，用于將攝像機圖像的至少一部分與模板圖像的至少一部分配準的所有方法都進行八維非線性優(yōu)化。目標是找到翹曲參數(shù)的矢量，該矢量使得能夠獲得對應(yīng)于模板圖像的所有像素在模板和翹曲當前圖像之間相似性度量的極值。這通常是計算成本很高的任務(wù)。最后，在步驟S4中，將找到的直射變換翹曲函數(shù)W用于應(yīng)用中。標準方法存在如下限制：找到配準當前圖像的至少一部分與模板圖像的直射變換翹曲函數(shù)所需的八維非線性優(yōu)化成本很高，使得依賴于它的應(yīng)用對處理能力有限的移動裝置特別有挑戰(zhàn)性。在迭代方式中，例如在Lucas-Kanade[2]中，必須要在每次迭代中計算當前圖像中像素的昂貴非線性翹曲，以便計算與模板的相似性。除了計算復(fù)雜之外，在離線步驟中通過很多可能方式對模板進行變換的方法中，存儲器的消耗可能會極大。隨著預(yù)計算變換的次數(shù)的增加，存儲器的消耗會隨著自由度(DoF)的增加而增加(呈指數(shù)形式)。對于任意的剛性變換，有6個DoF(3D平移和3D旋轉(zhuǎn))。對于每個當前圖像，這樣的方法都試圖找到最接近當前一個的預(yù)計算變換，例如參見[1]，所需的大量預(yù)計算數(shù)據(jù)使得它們在諸如移動電話的存儲器受限裝置上不可行。已經(jīng)提出了解決方案，其中弱透視投影通過縮放的正交投影(即線性變換)而近似地透視。盡管這種近似允許計算比非線性翹曲一般更快的線性翹曲，但如果在當前圖像中模板接近光軸但遠離攝像機，則它只能用于圖像配準。仿射變換僅支持平移、共面旋轉(zhuǎn)和縮放。這也能實現(xiàn)快速的線性翹曲，但由于所有點所在的平面必須始終平行于圖像平面，所以應(yīng)用范圍非常有限。例如，[3]中的作者使用移動拍攝裝置的由加速度計測量的取向來將他們使用的圖像校正為模板圖像。不過，在將當前攝像機圖像與模板圖像對準期間，它們根本不考慮裝置的取向。[4]中的作者使用附本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種用于配準第一圖像的至少一個部分和第二圖像的至少一個部分的方法，包括如下步驟：a.提供真實環(huán)境的第一圖像（T）和關(guān)聯(lián)到第一圖像的坐標系，b.提供真實環(huán)境的第二圖像（I），c.提供拍攝第二圖像（I）時拍攝裝置（D）相對于真實環(huán)境的取向（R）和/或距離（d1，d2，…，dN）的測量值，d.從關(guān)聯(lián)到第二圖像（I）的至少一個部分的測量值確定直射變換翹曲函數(shù)（P），e.通過應(yīng)用對應(yīng)的所確定直射變換翹曲函數(shù)（P）變換第二圖像（I）的至少一個部分，f.確定第二翹曲函數(shù)（A），其用于利用圖像配準方法配準第二圖像的變換（Ip）的至少一個部分與第一圖像（T）的至少一個部分，以及g.利用所述直射變換翹曲函數(shù)（P）和第二翹曲函數(shù)（A）配準第二圖像（I）的至少一個部分和第一圖像（T）的至少一個部分。

【技術(shù)特征摘要】
【國外來華專利技術(shù)】1.一種用于配準第一圖像的至少一個部分和第二圖像的至少一個部分的方法，包括如下步驟：a.提供真實環(huán)境的第一圖像(T)和關(guān)聯(lián)到第一圖像的坐標系，b.提供真實環(huán)境的第二圖像(I)，c.提供拍攝第二圖像(I)時拍攝裝置(D)相對于真實環(huán)境的取向(R)和/或距離(d1，d2，…，dN)的測量值，d.從關(guān)聯(lián)到第二圖像(I)的至少一個部分的測量值確定直射變換翹曲函數(shù)(P)，e.通過應(yīng)用對應(yīng)的所確定直射變換翹曲函數(shù)(P)變換第二圖像(I)的至少一個部分，f.確定第二翹曲函數(shù)，其用于利用圖像配準方法配準第二圖像的變換的至少一個部分與第一圖像(T)的至少一個部分，以及g.利用所述直射變換翹曲函數(shù)(P)和第二翹曲函數(shù)配準第二圖像(I)的至少一個部分和第一圖像(T)的至少一個部分。2.根據(jù)權(quán)利要求1所述的方法，其中由慣性傳感器、加速度計、陀螺儀、指南針或機械、電磁、聲學(xué)或光學(xué)跟蹤系統(tǒng)中的至少一種提供取向(R)的測量值。3.根據(jù)權(quán)利要求1所述的方法，其中，由飛行時間攝像機、立體攝像機、無線電信號的三角測量、相位測量值的差異或使用基于結(jié)構(gòu)光的方法的裝置中的至少一種提供距離(d1，d2，…，dN)的測量值。4.根據(jù)權(quán)利要求1所述的方法，其中取向(R)的測量值包括基于重力矢量(n)的測量值計算的二維旋轉(zhuǎn)。5.根據(jù)權(quán)利要求4所述的方法，其中第一圖像(T)的至少一個部分對應(yīng)于相對于實測重力矢量(n)處于已知取向的物理對象。6.根據(jù)權(quán)利要求5所述的方法，其中所述直射變換翹曲函數(shù)(P)與相對于實測重力矢量(n)處在已知取向的虛像平面(VIP)相關(guān)。7.根據(jù)權(quán)利要求1所述的方法，其中取向(R)的測量值包括在拍攝裝置(D)拍攝第二圖像(I)時拍攝裝置相對于真實環(huán)境的三維旋轉(zhuǎn)。8.根據(jù)權(quán)利要求1所述的方法，其中從取向(R)和/或距離(d1，d2，…，dN)的測量值，計算拍攝裝置(D)相對于與第一圖像相關(guān)聯(lián)的坐標系的取向，該取向用于在步驟d)中確定所述直射變換翹曲函數(shù)(P)。9.根據(jù)權(quán)利要求8所述的方法，其中所述直射變換翹曲函數(shù)(P)與對準到與第一圖像相關(guān)聯(lián)的坐標系的虛像平面(VIP)相關(guān)。10.根據(jù)權(quán)利要求8所述的方法，其中進一步從距離的測量值，確定拍攝裝置(D)到物理對象的距離(d1，d2，…，dN)，以計算拍攝裝置在與第一圖像相關(guān)聯(lián)的坐標系中的一維平移。11.根據(jù)權(quán)利要求8所述的方法，其中從在第二圖像(I)中具有N個點的一組的距離(d1，d2，…，dN)的測量值確定所述取向，其中N至少為三。12.根據(jù)權(quán)利要求1所述的方法，其中第一圖像(T)和/或第二圖像(I)是假設(shè)為逐片平面的對象的圖像。13.根據(jù)權(quán)利要求1所述的方法，其中第二翹曲函數(shù)是仿射翹曲函數(shù)(A)。14.根據(jù)權(quán)利要求1所述的方法，其中所述圖像配準方法基于迭代求極小值過程，其中將第一圖像(T)中的第一組像素與第二圖像(I)中的計算組像素比較，該第二圖像中用于比較的計算組像素在每次迭代時變化。15.根據(jù)權(quán)利要求14所述的方法，其中所述圖像配準方法中的比較基于圖像強度差異。16.根據(jù)權(quán)利要求14或15所述的方法，其中將第二翹曲函數(shù)(A)的參數(shù)的初始估計值提供給迭代求極小值過程。17.根據(jù)權(quán)利要求16所述的方法，其中利用拍攝第一圖像(T)和拍攝第二圖像(I)之間拍攝裝置(D)的運動估計值，確定第二翹曲函數(shù)的參數(shù)的初始估計值。18.根據(jù)權(quán)利要求1所述的方法，其中在步驟c)中-進一步提供至少第三圖像和關(guān)聯(lián)的坐標系，并且-第二圖像(I)至少部分包含第一圖像(T)的對象和至少第三圖像的對象，所述方法還包括：d’.從關(guān)聯(lián)到第二圖像(I)的至少一個部分的測量值確定第三直射變換翹曲函數(shù)(P3)，e’.通過應(yīng)用對應(yīng)的所確定的第三直射變換翹曲函數(shù)(P3)變換第二圖像(I)的至少一個部分，f’.確定第四翹曲函數(shù)，其用于利用所述圖像配準方法配準步驟e’)中的第二圖像的變換的至少一個部分與所述至少第三圖像的至少一個部分，以及g’.利用所述第三直射變換翹曲函數(shù)(P3)和第四翹曲函數(shù)配準第二圖像(I)的至少一個部分和所述至少第三圖像的至少一個部分。19.根據(jù)權(quán)利要求18所述的方法，其中第一圖像(T)和/或至少第三圖像及其關(guān)聯(lián)坐標系被離線采集。20.根據(jù)權(quán)利要求18所述的方法，其中第一圖像(T)和/或至少第三圖像及其關(guān)聯(lián)坐標系被在線采集和/或更新。21.根據(jù)權(quán)利要求1所述的方法，其中將配準第二圖像(I)的至少一個部分的結(jié)果用于確定拍攝裝置(D)的姿態(tài)。22.根據(jù)權(quán)利要求21所述的方法，其中將所確定的拍攝裝置(D)的姿態(tài)用于增強現(xiàn)實應(yīng)用中。23.一種用于配準第一圖像的至少一個部分和第二圖像的至少一個部分的裝置，所述裝置包括：a...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：S·本希馬寧，D·庫爾茨，
申請(專利權(quán))人：METAIO有限公司，
類型：
國別省市：