一種基于球面展開模型的魚眼視頻實時全景校正方法技術

本發明專利技術提供了一種基于球面展開模型的魚眼視頻實時全景校正方法，屬于圖像視頻處理領域，包括魚眼圖像的采集，魚眼圖像預處理，魚眼圖像輪廓提取，圖像幾何關系變換，基于魚眼圖像的重投影，魚眼視頻漫游的實現。本發明專利技術采集到魚眼視頻后，先求出魚眼圖像對應的“球面模型”的半徑，然后選擇并將每幀魚眼圖像中的每個像素還原到一個“球面模型”上；再將球面上每一個像素按照對應的球面圓弧展開到一個校正平面上；最后對校正后像素進行采樣插值即得到魚眼圖像的校正圖像。本發明專利技術相比同類算法，克服了寬視角和時效性的限制，解決了球面不可展的問題，有效提高了圖像校正精度，并且實現魚眼視頻全景展開，且能滿足實時的應用，對不同模型的魚眼鏡頭具備一定的魯棒性，有較強的實用性。

A fisheye video real-time panoramic correction method based on spherical expansion model

The present invention provides a real-time panoramic video model based on fisheye sphere correction method, which belongs to the field of image and video processing, including fisheye image acquisition, fisheye image preprocessing, fisheye image contour extraction, image geometry transform, projection fisheye image based on fisheye video roaming implementation. The present invention collected fisheye video, first calculate the fisheye image corresponding to the \spherical\ model radius, then select and each pixel of each frame in the fisheye image to restore a \spherical model\; then according to each pixel on a spherical spherical arc corresponding to a correction plane at the end of the corrected pixel; sampling interpolation to obtain the corrected image of fisheye image. The present invention compared to similar algorithm, to overcome the wide viewing angle and timeliness constraints, solve the problem of spherical nondeveloped, effectively improve the accuracy of image correction, and the realization of fisheye video panorama, and can satisfy the real-time application, has certain robustness to the fisheye lens of different models, has stronger practicability.

【技術實現步驟摘要】
一種基于球面展開模型的魚眼視頻實時全景校正方法
本專利技術屬于涉及圖像視頻處理領域，具體涉及一種基于球面展開模型魚眼圖像校正方法，并實現魚眼視頻的實時全景展開。
技術介紹
魚眼鏡頭具有結構緊湊、體積小、不易損壞等優點；同時考慮到采用魚眼鏡頭構建的全方位視覺可獲取真正意義上的全景球面圖像，無盲區，無須考慮圖像拼合和嵌接等問題，所以魚眼鏡頭是構建全方位視覺系統最有效的方法之一，具有很高的研究價值和廣泛的潛在應用前景。目前它在視頻監控、視頻會議、虛擬現實和機器人導航等領域都具有很廣泛的應用。但魚眼鏡頭攝像機拍攝的圖像具有非常嚴重的畸變，若要利用這些具有嚴重變形圖像的信息，就需將這些變形圖像校正展開為人們所習慣的圖像模式。因此研究開發一種算法，使魚眼圖像恢復成人眼所能接受顯示效果，并且能實現實時、精確的校正和展開具有學術意義和實際應用價值。實現魚眼視頻的全景校正一般分為以下幾步：魚眼圖像的采集→魚眼圖像預處理→幾何關系變換→圖像的重投影→魚眼視頻實時全景校正的實現。魚眼圖像校正技術主要可以分為三類：基于幾何投影、基于相機標定、基于人工智能。基于幾何投影模型的校正方法主要是利用空間幾何坐標關系進行校正，找到魚眼圖像中的像素點與校正后圖像中像素點之間的映射關系，但是基于幾何投影模型的校正方法往往受限于魚眼圖像的寬視角，導致有效校正區域小，邊緣部分仍存在較大畸變。基于相機標定的校正方法，是建立在魚眼相機模型的基礎上，通過設計適合的標定方法求得相應魚眼相機的模型參數。魚眼鏡頭標定的目的是得到魚眼相機模型的變形參數，依據這些畸變參數就可以校正當前鏡頭拍攝的魚眼圖像。然而這種方法的主要問題是，魚眼鏡頭生產工藝的精度不一定都能滿足要求，而且實際使用的鏡頭千差萬別，特定的畸變模型不一定能夠適合多種鏡頭的成像結果校正法估算多項式的系數。基于人工智能的校正方法，以基于支持向量機(SVM)的方法為例，該類方法避免了畸變模型的選擇和選用特定模型帶來的局限性問題。使用SVM技術建立校正后圖像點與校正前圖像點的坐標映射關系，從而實現魚眼圖像的校正，但這種方法需要大量的訓練樣本，導致工作量巨大，并且訓練過程也比較耗時，難以同時滿足時效與精度的要求。綜上所述，目前魚眼視頻的校正存在以下問題：(1)基于幾何投影的魚眼圖像校正方法簡便，但是受限于魚眼鏡頭的寬視角，導致有效校正區域受限；(2)基于相機標定的魚眼圖像校正方法對特定鏡頭校正精度高，但不能同時滿足多種魚眼鏡頭的畸變校正；(3)基于人工智能的魚眼圖像校正方法避免了針對特定鏡頭校正的局限性，但是訓練樣本大，計算復雜度高且存儲空間大，不易于硬件實現。
技術實現思路
鑒于以上所述現有技術存在的問題和不足，本專利技術技術方案提供的一種基于球面展開模型的魚眼圖像校正方法，實現魚眼視頻的實時全景校正，包括以下步驟：步驟S1，采集魚眼圖像；步驟S2，魚眼圖像預處理；步驟S3，魚眼圖像輪廓提取；步驟S4，計算圖像校正平面上任意點對應魚眼圖像上的像素點坐標，具體包括以下子步驟，步驟S4-1，根據步驟3獲得像平面及魚眼鏡頭半球面，其中像平面為魚眼圖像所在平面，設為XOY平面，魚眼鏡頭半球面以魚眼圖像的中心O為球心，R為半徑；步驟S4-2，確定圖像校正平面，設校正平面ABCD平行于所述像平面，且與魚眼鏡頭半球面相切與O’；步驟S4-3，將圖像校正平面上的點先還原到魚眼鏡頭半球面上，再將半球面上該點垂直投影到魚眼圖像像平面，具體實施如下，遍歷校正平面上的任意點N”(x2,y2)，設O’N”的傾斜角α，角α與O’N”的長度計算如下，N’是半球面上一點，圓弧段O’N’的長度等于O’N”，則N’點坐標計算如下，將N’點垂直投影到像平面上，得N點坐標為，其中，R為魚眼圖像的半徑，N為校正平面上點N”在魚眼圖像上對應的像素點坐標；步驟S5，基于魚眼圖像的重投影，將魚眼圖像上所有像素點的像素值賦給校正平面對應的像素點；步驟S6，將魚眼鏡頭實時采集的每幅魚眼圖像的每個像素進行所述步驟S1-S5的校正過程，實現魚眼視頻實時全景校正。而且，所述步驟S3，魚眼圖像輪廓提取的具體實施方式如下，步驟S3-1，從圖像第一行開始，在行方向上進行掃描，若當前行中像素的灰度值都為0，則繼續掃描下一行，直到在某一行中第一次出現有像素的灰度值不為0，則記錄下當前行號H1；步驟S3-2，接著上一步在行方向上繼續進行掃描，若當前行中有像素的灰度值不為0，則繼續掃描下一行，直到在某一行中第一次出現所有的像素的灰度值都為0，則記錄下當前行號H2；步驟S3-3，從圖像第一列開始，在列方向上進行掃描，若當前行中像素的灰度值都為0，則繼續掃描下一列，直到在某一列中第一次出現有像素的灰度值不為0，則記錄下當前列號L1；步驟S3-4，接著上一步在列方向上繼續進行掃描，若當前列中有像素的灰度值不為0，則繼續掃描下一列，直到在某一列中第一次出現所有的像素的灰度值都為0，則記錄下當前列號L2；步驟S3-5，記錄下H1，H2，L1，L2后，圓形區域C可用圓心坐標(x,y)和半徑R來表示，C→{(x，y)，R}(1)其中，魚眼圖像輪廓則是以圓心坐標(x,y)為中心、半徑R的圓形區域輪廓。與現有的技術相比，本專利技術具有以下優點和有益效果：(1)本專利技術能實現魚眼圖像的廣視角、大范圍區域的校正，使校正的圖像范圍不受圖像寬視角的限制；(2)本專利技術考慮到魚眼圖像校正的時效性，從魚眼圖像的圓形特征出發，建立“球面模型”，利用球面展開原理進行全景圖像展開以及校正，無需大量訓練樣本，算法復雜度小，便于實現，步驟簡明高效。(3)本專利技術的方法對各種魚眼鏡頭的校正效果良好，具備一定的魯棒性與普適性，有較強的實用性。附圖說明圖1是本專利技術實施例的總體流程圖。圖2是本專利技術中魚眼圖像的成像模型示意圖。圖3是本專利技術中基于“球面展開模型”的魚眼圖像校正原理示意圖。具體實施方式下面結合附圖和實施例對本專利技術的技術方案作進一步說明。利用人工智能的方法可以彌補魚眼圖像校正在精度上的不足，但是常用的特征訓練算法復雜度較高，樣本量需求較大，時效性受到影響，不利于實時的應用。從上述問題出發，本專利技術提供一種基于球面展開模型的魚眼圖像校正方法，實現魚眼視頻的實時全景校正。下面以一個魚眼鏡頭作為實施例。實施例中選用威鑫視界SY019HD型號的240度廣角魚眼攝像頭進行實時魚眼圖像的采集。本專利技術一種基于球面展開模型的魚眼視頻實時全景校正方法的實施例具體流程包括：步驟S1，采集魚眼圖像，一幅完整的魚眼圖像應該是呈圓形狀的，周圍黑色背景是沒有像素值的區域，后續步驟就是基于圓形圖像區域進行校正的；步驟S2，魚眼圖像預處理，圖像預處理階段主要是對圖像進行去噪，提高圖像質量；步驟S3，魚眼圖像輪廓提取，即魚眼圖像的像平面輪廓提取，魚眼圖像的圓形輪廓是后續步驟的實施基礎。本專利技術實施例利用“掃描法”進行圓形輪廓進行提取，具體步驟如下：步驟S3-1，從圖像第一行開始，在行方向上進行掃描，若當前行中像素的灰度值都為0，則繼續掃描下一行，直到在某一行中第一次出現有像素的灰度值不為0，則記錄下當前行號H1；步驟S3-2，接著上一步在行方向上繼續進行掃描，若當前行中有像素的灰度值不為0，則繼續掃描下一行，直到在某一行中第一次出現所有的像素的灰度值都為0本文檔來自技高網...

【技術保護點】
一種基于球面展開模型的魚眼視頻實時全景校正方法，其特征在于，包括如下步驟：步驟S1，采集魚眼圖像；步驟S2，魚眼圖像預處理；步驟S3，魚眼圖像輪廓提取；步驟S4，計算圖像校正平面上任意點對應魚眼圖像上的像素點坐標，具體包括以下子步驟，步驟S4?1，根據步驟3獲得像平面及魚眼鏡頭半球面，其中像平面為魚眼圖像所在平面，設為XOY平面，魚眼鏡頭半球面以魚眼圖像的中心O為球心，R為半徑；步驟S4?2，確定圖像校正平面，設校正平面ABCD平行于所述像平面，且與魚眼鏡頭半球面相切與O’；步驟S4?3，將圖像校正平面上的點先還原到魚眼鏡頭半球面上，再將半球面上該點垂直投影到魚眼圖像像平面，具體實施如下，遍歷校正平面上的任意點N”(x

【技術特征摘要】
1.一種基于球面展開模型的魚眼視頻實時全景校正方法，其特征在于，包括如下步驟：步驟S1，采集魚眼圖像；步驟S2，魚眼圖像預處理；步驟S3，魚眼圖像輪廓提取；步驟S4，計算圖像校正平面上任意點對應魚眼圖像上的像素點坐標，具體包括以下子步驟，步驟S4-1，根據步驟3獲得像平面及魚眼鏡頭半球面，其中像平面為魚眼圖像所在平面，設為XOY平面，魚眼鏡頭半球面以魚眼圖像的中心O為球心，R為半徑；步驟S4-2，確定圖像校正平面，設校正平面ABCD平行于所述像平面，且與魚眼鏡頭半球面相切與O’；步驟S4-3，將圖像校正平面上的點先還原到魚眼鏡頭半球面上，再將半球面上該點垂直投影到魚眼圖像像平面，具體實施如下，遍歷校正平面上的任意點N”(x2,y2)，設O’N”的傾斜角α，角α與O’N”的長度計算如下，N’是半球面上一點，圓弧段O’N’的長度等于O’N”，則N’點坐標計算如下，將N’點垂直投影到像平面上，得N點坐標為，其中，R為魚眼圖像的半徑，N為校...

【專利技術屬性】
技術研發人員：種衍文，黃簡峰，潘少明，
申請(專利權)人：武漢大學，
類型：發明
國別省市：湖北,42