一種基于FPGA的視頻梯形畸變實時校正系統和方法技術方案

本發明專利技術提供一種基于FPGA的視頻梯形畸變實時校正系統和方法，視頻采集模塊先采集視頻數據并輸入視頻畸變特征提取模塊；在視頻畸變特征提取模塊中，圖像預處理子模塊對輸入的視頻數據中每一幀圖像進行預處理，LSD算法子模塊利用預設的改進后的LSD算法對預處理后的視頻數據中每一幀圖像進行畸變點提取；視頻畸變幾何校正模塊根據每一幀圖像中的畸變點提取結果對預處理后的視頻數據進行梯形畸變校正，通過視頻輸出模塊輸出校正后的視頻數據；重復上述步驟，完成視頻梯形畸變的實時校正；本發明專利技術基于改進的LSD算法的系統可以實時地對視頻每一幀圖像的梯形畸變進行校正，系統的處理速度和準確性都達到了較高水平。度和準確性都達到了較高水平。度和準確性都達到了較高水平。

【技術實現步驟摘要】
一種基于FPGA的視頻梯形畸變實時校正系統和方法


[0001]本專利技術涉及視頻圖像檢測和FPGA
，更具體地，涉及一種基于FPGA的視頻梯形畸變實時校正系統和方法。

技術介紹

[0002]隨著現代科學技術的發展，攝像系統越來越廣泛的應用在各個領域，如公共交通中的攝像監控、醫療中不同輔助手段的應用、建筑行業中的測繪與勘探和電視轉播中的體育直播等領域，都離不開實時的攝像系統。但在一些特定情況下，由于拍攝場地或者拍攝設備等的限制，所拍攝的視頻成像質量無法滿足實際需求。例如，當拍攝的攝像頭無法放置于合適的位置，以及場地過大時，由于攝像頭的拍攝能力有限，導致拍攝出的圖像會出現梯形幾何畸變，無法達到所需要的質量和效果。為了應對此類情況，通常需要對由攝像頭采集的視頻流數據進行實時的校正，并保證校正過程中的準確性與實時性。
[0003]梯形畸變是最常見的視頻畸變類型之一，如圖1所示為車道線拍攝畸變示意圖，從其中可以看出原本平行的車道線在攝像頭的拍攝下已經成為了類似梯形兩條側邊的位置關系，另外一方面，除了車道線發生了畸變，在路面的各類標識符也會嚴重變形，這樣會對后續的車道線識別產生嚴重的影響，進而影響到后續的自動駕駛功能，更甚者會對駕駛員和乘客的人身安全造成極大的風險。
[0004]梯形畸變的矯正由于其復雜的算法，在目前的研究之中往往通過軟件編程的方法來實現；梯形畸變的校正主要實現包括兩部分，一部分是梯形畸變點的識別和提取，另外一部分是在提取到畸變點之后，進行圖像變換。
[0005]梯形畸變點的準確提取和識別也是校正的難點和關鍵，通常采用直接提取或先提取若干直線后取直線交點的方法來獲取畸變點。LSD（Line Segment Detector）算法是一種常用的、像素級的直線檢測算法，其優勢是可以在線性時間復雜度之內將圖像中的直線段提取出來，并且可以提取同一圖像中的多條直線，對直線之間的位置關系和長度等并無嚴苛要求，因此其適用范圍較廣，是一種較為可靠的圖像直線檢測算法。
[0006]FPGA（Field
?
Programmable Gate Array），即現場可編程邏輯門陣列，它是在PAL、GAL、CPLD等可編程器件的基礎上進一步發展的產物。FPGA作為現代電子信息產業常用的信息處理手段，具有以下顯著優點：1）設計靈活，FPGA 屬于硬件可重構的芯片結構，內部具有數量豐富的可編程輸入輸出單元引腳及觸發器；2）使用便捷，FPGA 是專用電路中開發周期最短、應用風險最低，開發成本最低的器件之一；3）并行計算，FPGA 芯片內部可按照數據包步驟數量搭建相對應的流水線，從而實現數據并行、流水線并行。
[0007]目前針對視頻梯形畸變校正的完整處理方法較為少見，現有的處理方法局限性十分明顯，無法滿足該系統所要求的實時性和準確性。在特定情景之下，需要經過系統的視頻流數據往往巨大，對系統的處理能力有著極高的需求。FPGA的并行計算能力針對視頻處理有很高的適配性，可以大大提高系統的運行速度，從而滿足系統的實時性要求；并且由于FPGA易定制的特點，對不同的精確性要求可以進行精準匹配，避免資源浪費。在FPGA上實現
的系統也具有成本較低，可移植性強的特點。因此基于FPGA和LSD算法開發的視頻梯形畸變校正系統具有良好的應用前景和市場價值。
[0008]現有技術公開了一種基于LSD算法的實時直線段檢測系統及方法，該系統包括：彩色圖像轉灰度模塊、梯度計算模塊、像素數據重構模塊、梯度偽排序模塊、梯度閾值模塊、若干區域增長模塊及外部時鐘復位模塊；色圖像轉灰度模塊的輸出端連接梯度計算模塊的第一輸入端，梯度計算模塊的第二輸入端連接外部時鐘復位模塊的輸出端；梯度計算模塊的輸出端連接像素數據重構模塊的輸入端；像素數據重構模塊的輸出端依次連接梯度偽排序模塊、梯度閾值模塊、若干區域增長模塊；盡管該現有技術采用硬件電路在FPGA硬件平臺上實現基于LSD算法的實時圖像直線段檢測，但該系統主要是針對圖片進行開發的，其所需的計算時間較長，無法滿足視頻流數據所要求的處理速度，且算法復雜，占用計算資源較多；另外，該方案由于直接輸入圖像數據進行檢測，檢測結果易受噪點干擾。

技術實現思路

[0009]本專利技術為克服上述現有技術易受噪點干擾、硬件實現速度較慢和資源消耗過大的缺陷，提供一種基于FPGA的視頻梯形畸變實時校正系統和方法，基于改進的LSD算法的系統可以實時地對視頻每一幀圖像的梯形畸變進行校正，系統的處理速度和準確性都達到了較高水平。
[0010]為解決上述技術問題，本專利技術的技術方案如下：一種基于FPGA的視頻梯形畸變實時校正系統，包括依次連接的視頻采集模塊、視頻畸變特征提取模塊、視頻畸變幾何校正模塊和視頻輸出模塊；所述視頻畸變特征提取模塊還包括依次連接的圖像預處理子模塊和LSD算法子模塊；所述視頻畸變特征提取模塊、視頻畸變幾何校正模塊和視頻輸出模塊均基于FPGA設置。
[0011]優選地，所述視頻采集模塊具體為OV5640圖像傳感器。
[0012]優選地，所述FPGA具體為PGL22G開發板。
[0013]本專利技術還提供一種基于FPGA的視頻梯形畸變實時校正方法，基于上述的一種基于FPGA的視頻梯形畸變實時校正系統，包括以下步驟：S1：所述視頻采集模塊采集視頻數據，并將采集到的視頻數據輸入視頻畸變特征提取模塊；S2：在所述視頻畸變特征提取模塊中，圖像預處理子模塊對輸入的視頻數據中每一幀圖像進行預處理，獲取預處理后的視頻數據并輸入LSD算法子模塊；S3：所述LSD算法子模塊利用預設的改進后的LSD算法對預處理后的視頻數據中每一幀圖像進行畸變點提取，并將預處理后的視頻數據和每一幀圖像中的畸變點提取結果共同輸入視頻畸變幾何校正模塊；S4：所述視頻畸變幾何校正模塊根據每一幀圖像中的畸變點提取結果對預處理后的視頻數據進行梯形畸變校正，獲取校正后的視頻數據，并通過視頻輸出模塊輸出校正后的視頻數據；S5：重復步驟S1~S4，完成視頻梯形畸變的實時校正。
[0014]優選地，所述步驟S2中，圖像預處理子模塊對輸入的視頻數據中每一幀圖像進行預處理的具體方法為：對輸入的視頻中每一幀圖像依次進行高斯濾波和圖像邊緣銳化處理。
[0015]優選地，所述步驟S3中，所述LSD算法子模塊利用預設的改進后的LSD算法對預處理后的視頻數據中每一幀圖像進行畸變點提取的具體方法為：S3.1：所述LSD算法子模塊對預處理后的視頻數據中的每一幀圖像進行基于Sobel算子的二值化處理和邊緣識別，獲取每一幀圖像的邊緣識別結果；S3.2：根據每一幀圖像的邊緣識別結果計算對應幀圖像中每個像素點的梯度幅值和梯度方向，將梯度幅值大于預設閾值且梯度方向為非豎直方向的所有像素點共同保存為對應幀圖像的種子點；S3.3：對于每一幀圖像，從每個種子點開始，進行4鄰域的被動區域增長，獲取每一幀圖像中的所有直線；S3.4：根據每一幀圖像中的所有直線，提取每兩條直線的交點，將提取到的所有交點共同保存為預處理后的視頻數據中每一幀圖像的畸變點提取結本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于FPGA的視頻梯形畸變實時校正系統，其特征在于，包括依次連接的視頻采集模塊、視頻畸變特征提取模塊、視頻畸變幾何校正模塊和視頻輸出模塊；所述視頻畸變特征提取模塊還包括依次連接的圖像預處理子模塊和LSD算法子模塊；所述視頻畸變特征提取模塊、視頻畸變幾何校正模塊和視頻輸出模塊均基于FPGA設置。2.根據權利要求1所述的一種基于FPGA的視頻梯形畸變實時校正系統，其特征在于，所述視頻采集模塊具體為OV5640圖像傳感器。3.根據權利要求2所述的一種基于FPGA的視頻梯形畸變實時校正系統，其特征在于，所述FPGA具體為PGL22G開發板。4.一種基于FPGA的視頻梯形畸變實時校正方法，基于權利要求1~3任意一項中所述的一種基于FPGA的視頻梯形畸變實時校正系統，其特征在于，包括以下步驟：S1：所述視頻采集模塊采集視頻數據，并將采集到的視頻數據輸入視頻畸變特征提取模塊；S2：在所述視頻畸變特征提取模塊中，圖像預處理子模塊對輸入的視頻數據中每一幀圖像進行預處理，獲取預處理后的視頻數據并輸入LSD算法子模塊；S3：所述LSD算法子模塊利用預設的改進后的LSD算法對預處理后的視頻數據中每一幀圖像進行畸變點提取，并將預處理后的視頻數據和每一幀圖像中的畸變點提取結果共同輸入視頻畸變幾何校正模塊；S4：所述視頻畸變幾何校正模塊根據每一幀圖像中的畸變點提取結果對預處理后的視頻數據進行梯形畸變校正，獲取校正后的視頻數據，并通過視頻輸出模塊輸出校正后的視頻數據；S5：重復步驟S1~S4，完成視頻梯形畸變的實時校正。5.根據權利要求4所述的一種基于FPGA的視頻梯形畸變實時校正方法，其特征在于，所述步驟S2中，圖像預處理子模塊對輸入的視頻數據中每一幀圖像進行預處理的具體方法為：對輸入的視頻中每一幀圖像依次進行高斯濾波和圖像邊緣銳化處理。6.根據權利要求5所述的一種基于FPGA的視頻梯形畸變實時校正方法，其特征在于，所述步驟S3中，所述LSD算法子模塊利用預設的改進后的LSD算法對預處理后的視頻數據中每一幀圖像進行畸變點提取的具體方法為：S3.1：所...

【專利技術屬性】
技術研發人員：張煒，何露，
申請(專利權)人：廣州市大灣區虛擬現實研究院，
類型：發明
國別省市：