基于旋轉模型的魚眼圖像準稠密對應點匹配擴散方法技術

本發明專利技術公開一種基于旋轉模型的準稠密對應點匹配擴散方法；該方法主要包括以下幾個步驟：對于同一場景從不同位置拍攝的一對魚眼圖像，首先提取和匹配圖像中的特征點，然后對這些特征點進行精確定位，并把這些特征點作為初始種子點；接著從最優種子點開始向其鄰域進行準稠密對應點擴散，擴散的對應點作為新的種子點用于后續的繼續擴散。在本發明專利技術中，對應點的視差約束采用旋轉變換模型，相比已有的仿射變換模型而言，該模型計算簡單，模型自由參數只有一個，因此整個擴散過程穩定可靠，并且可滿足大多數的應用需求。另外，該方法是一種非約束的擴散方法，無需對攝像機的運動參數進行事先標定，具有較大的靈活性。實驗結果也驗證了該方法的可行性，具有很強的實用性。

【技術實現步驟摘要】

本專利技術屬于計算機視覺領域，具體涉及兩幅或多幅圖像之間的對應點匹配方法。技術背景對應點匹配是計算機視覺及其相關領域中的一個基本問題。以前的相關研究大多 集中于普通透視圖像，然而由于魚眼圖像具有較大的視場范圍，在現實中具有重要的應用 價值，因此研究魚眼圖像對應點匹配問題具有重要的意義。準稠密匹配是介于稀疏匹配和稠密匹配之間的一類對應點匹配方法，為了滿足三 維建模和基于圖像的渲染等應用中所需大量對應點的需要，同時盡可能提高對應點匹配的 可靠性，這類方法的對應點匹配只在紋理豐富的區域進行，而對均質區域不進行對應點匹 配。這類方法的基本思想可概括為首先檢測和匹配圖像中的稀疏特征點，然后從這些稀疏 特征點開始，逐步向其鄰域進行匹配擴散。在這類方法中，不同方法之間最主要的區別是匹配擴散過程中對應點視差限制 模型的選擇問題。Lhuillier 等人[l]Lhuillier M and Quan L. Matchpropagation for image-based modeling and rendering. IEEE Transactions onPattern Analysis and Machine Intelligence, 2002, 24 (8) :1140_1146，所采用的視差模型是二維視差梯度約 束，該模型假設圖像的局部變形近似為二維平移變換，這種假設只適用于短基線平行配置 的立體透視圖像對；為了將這類方法拓展到寬基線透視圖像，Karmala等人[2]Karmala J and Brandt S S.Quasi-dense wide baseline matching using match propagation. In Proceedingof Computer Vision and Pattern Recognition，2007，1-8，米用仿身寸模型來近 似局部視差；類似地，許等人[3]許振輝，張峰，孫鳳梅，胡占義.基于鄰域傳遞的魚眼圖像 的準稠密匹配.自動化學報，200935 (9) :1159-1167，也采用仿射模型來近似魚眼圖像對應 點的局部視差。但是，文獻[1]采用的模型不適合魚眼圖像的局部變形，而仿射模型由于 自由度較多，在計算和更新仿射模型參數時，由于有效數據樣本點較少，搜索空間較大等原 因，使得計算得到的模型很不穩定，導致最終的擴散結果不可靠。另外，文獻[3]中的方法 只適用于攝像機已經標定的情況(即攝像機內外參數都已知)，這在某些應用中也是很不 方便的。
技術實現思路
本專利技術的目的是解決仿射模型不穩定而導致最終的擴散結果不可靠的問題，為 此，本專利技術提供一種。本專利技術所述的一種，步驟如 下Si:從不同位置拍攝兩幅待匹配場景的魚眼圖像I，I'，并提取和匹配兩幅圖像 的特征點；S2 對匹配的特征點進行精確定位，并計算這些特征點的相似性大小和旋轉變換3模型，然后將相似性大于某一閾值Ct的特征點作為后續準稠密對應點擴散的初始種子點， 并把這些種子點存入集合S ；S3 根據相似性大小從種子點集合S中選出相似性最大的種子點作為最優種子 點，同時從種子點集合中去除該種子點；然后從當前最優種子點開始，在其鄰域實現無極幾 何約束的準稠密對應點擴散；S4 將擴散的對應點作為新的種子點，保存到種子點集合S，并且計算這些新種子 點的旋轉變換模型和相似性大小。S5 如果當前種子點集合S不為空，那么轉步驟Sl ；S6:利用已得到的準稠密對應點估計極幾何約束，然后利用此約束重新進行帶極 幾何約束的準稠密對應點擴散。在S3和S6的準稠密對應點擴散過程中，局部視差約束采用旋轉變換模型，具體 講，已知圖像Ι，Γ中的一對種子點為χ，χ'，X和X'鄰域象素點分別為N(X)和Ν(χ')， 假設將種子點設為對應鄰域的局部坐標系原點，且種子點鄰域對應的旋轉矩陣為R，那么在 當前種子點鄰域進行對應點擴散過程中，對任意一點P1 e N(X)，其在I'中可能的匹配點 視差限制條件為Ip2 =P2 e N(x')且I Ip2-Rp11 I彡ε }。本專利技術中，對應點的視差約束采用旋轉變換模型，相比已有的仿射變換模型而言， 該模型計算簡單，模型自由參數只有一個，因此整個擴散過程穩定可靠，并且可滿足大多數 的應用需求。所述的的步驟S2中的精確定位的方法是S21 將I1, I2中以對應特征點為中心，鄰域半徑為r的子圖像分別轉換到極坐標 系，得到兩個子圖像Γ 1； I' 2；S22:對子圖像Γ 1； I' 2，采用相位相關法，求得兩子圖像的相對旋轉角度θ Q;S23 以對應特征點的初始對應坐標和S22計算得到的相對旋轉角度θ ^為初值， 灰度相關性為代價函數，采用Levenberg-Marquat算法在原圖像I1, I2中通過迭代優化，得 到對應特征點的精確對應位置和相對旋轉角度的精確值θ，同時也可得到對應特征的相對 旋轉變換矩陣R rcos0 -sin 沒、 IvSin^ cos 沒 j精確定位保證初始種子點盡可能定位精確，并且可以求得更準確的初始旋轉模 型，使得后續擴散更準確，因為點的擴散是以種子點為基礎的。稠密對應點擴散是在歸一化的圖像中進行的。歸一化后可以直接用文獻[1]中的 經典方法進行擴散，即采用基于二維視差梯度約束的方法進行擴散，使得擴散過程簡單化。本專利技術的有益效果本專利技術提出的方法較好地解決了現有準稠密匹配方法中存在 的不足。由于二維旋轉變換模型僅有一個自由度，即相對旋轉角度，因此模型簡單，計算結 果可靠，魯棒性強；其次，對絕大多數應用來講，局部變形采用旋轉變換模型可以得到所要 求的精度；第三，本專利技術無需事先標定攝像機的外參數，因此，使用靈活。通過和已有的其他 方法相比，該專利技術是一種切實可行的準稠密匹配方法。附圖說明圖1是本專利技術的流程圖2是本專利技術種子點鄰域采用旋轉變換模型的歸一化示意圖，圖中W = 2，N = 1， X，X'為當前種子點圖3是本專利技術實例中用到的兩幅魚眼圖像；圖4是本專利技術實例中的對應的初始種子點；圖5是本專利技術準稠密對應點擴散結果的局部結果圖6是現有技術基于仿射模型的對應點擴散局部結果圖。具體實施方式下面將結合附圖對本專利技術加以詳細說明，應指出的是，所描述的實施例僅旨在便 于對本專利技術的理解，而對其不起任何限定作用。本專利技術假設攝像機首先從不同位置拍攝兩幅魚眼圖像，然后通過以下步驟實現準 稠密對應點的匹配擴散，整個流程可參看圖1。1、提取和匹配兩幅圖像的特征點在這一步，可采用文獻中很多經典的方法來自動實現特征提取和匹配，如基于仿 射不變量的特征提取方法[4]Mikolajczyk K, Tuytelaars Τ, Schmid C, Zisserman A, Matas J, Schaffalitzky F, Kadir T and Van Gool L. A comparisonof affine region detectors. International Journal of Computer Vision, 2005,65 (1-2) :43-72,基于仿身寸 不變描述子的匹配方法[5]Mikolajczyk K andSchmid C. A performance evaluation o本文檔來自技高網...

【技術保護點】
一種基于旋轉模型的魚眼圖像準稠密對應點匹配擴散方法，其特征在于步驟如下：Ｓ１：從不同位置拍攝兩幅待匹配場景的魚眼圖像Ｉ，Ｉ′，并提取和匹配兩幅圖像的特征點；Ｓ２：對匹配的特征點進行精確定位，并計算這些特征點的相似性大小和旋轉變換模型，然后將相似性大于某一閾值ＣＴ的特征點作為后續準稠密對應點擴散的初始種子點，并把這些種子點存入集合Ｓ；Ｓ３：根據相似性大小從種子點集合Ｓ中選出相似性最大的種子點作為最優種子點，同時從種子點集合中去除該種子點；然后從當前最優種子點開始，在其鄰域實現無極幾何約束的準稠密對應點擴散；Ｓ４：將擴散的對應點作為新的種子點，保存到種子點集合Ｓ，并且計算這些新種子點的旋轉變換模型和相似性大小。Ｓ５：如果當前種子點集合Ｓ不為空，那么轉步驟Ｓ１；Ｓ６：利用已得到的準稠密對應點估計極幾何約束，然后利用此約束重新進行帶極幾何約束的準稠密對應點擴散。在Ｓ３和Ｓ６的準稠密對應點擴散過程中，局部視差約束采用旋轉變換模型，具體講，已知圖像Ｉ，Ｉ′中的一對種子點為ｘ，ｘ′，ｘ和ｘ′鄰域象素點分別為Ｎ（ｘ）和Ｎ（ｘ′），假設將種子點設為對應鄰域的局部坐標系原點，且種子點鄰域對應的旋轉矩陣為Ｒ，那么在當前種子點鄰域進行對應點擴散過程中，對任意一點ｐ↓［１］∈Ｎ（ｘ），其在Ｉ′中可能的匹配點視差限制條件為｛ｐ↓［２］：ｐ↓［２］∈Ｎ（ｘ′）且‖ｐ↓［２］－Ｒｐ↓［１］‖≤ε｝。...

【技術特征摘要】
1.一種基于旋轉模型的魚眼圖像準稠密對應點匹配擴散方法，其特征在于步驟如下51從不同位置拍攝兩幅待匹配場景的魚眼圖像I，I'，并提取和匹配兩幅圖像的特 iiE ；^^ ’52對匹配的特征點進行精確定位，并計算這些特征點的相似性大小和旋轉變換模型， 然后將相似性大于某一閾值Ct的特征點作為后續準稠密對應點擴散的初始種子點，并把這 些種子點存入集合S ；53根據相似性大小從種子點集合S中選出相似性最大的種子點作為最優種子點，同 時從種子點集合中去除該種子點；然后從當前最優種子點開始，在其鄰域實現無極幾何約 束的準稠密對應點擴散；54將擴散的對應點作為新的種子點，保存到種子點集合S，并且計算這些新種子點的 旋轉變換模型和相似性大小。55如果當前種子點集合S不為空，那么轉步驟Sl ；56利用已得到的準稠密對應點估計極幾何約束，然后利用此約束重新進行帶極幾何 約束的準稠密對應點擴散。在S3和S6的準稠密對應點擴散過程中，局部視差約束采用旋轉變換模型，具體講，已 知圖像Ι，Γ中的一對種子點為χ，χ'，χ和χ'鄰域象素點分別為N(X)和Ν(χ')，假設 將種子點設為對應鄰域的局部坐標系原點，且...

【專利技術屬性】
技術研發人員：李曉明，李婧，田亞平，
申請(專利權)人：山西大學，
類型：發明
國別省市：14[中國|山西]