本發明專利技術公開了一種基于圖像匹配的高分辨率深度圖實時提取裝置及方法。本裝置包括雙目SDI攝像機和FPGA開發板，雙目SDI攝像機通過兩路BNC接口單向連接FPGA開發板，FPGA開發板通過PCIE接口單向連接3DTV編碼服務器；利用雙目SDI攝像機獲取圖像，在FPGA開發板上實現深度圖實時提取，獲取的深度圖實時傳輸至編碼服務器。本方法的操作步驟是：Ⅰ.SDI解析，Ⅱ.立體匹配，Ⅲ.WTA最優選擇-生成深度圖。本發明專利技術可直接接受高清雙路SDI輸入，實時地提取高清晰度視頻深度圖，且可插在PC主板上，將得到的深度圖直接通過PCIE接口輸入編碼服務器，大大加速3DTV應用以及真實場景重現的實現和普及。
【技術實現步驟摘要】
本專利技術涉及3DTV領域，基于圖像匹配原理，應用于3DTV前端雙視或多視視頻的快速深度提取，即基于圖像匹配的高分辨率深度圖實時提取裝置及方法。
技術介紹
雙視或多視點視頻3DTV實時顯示系統，包含了前端視頻采集，編碼傳送，解碼顯示等部分。多視點視頻的數據量遠比單視數據量要大。例如多視點是9個視點，如果9個視點采用基于H.264聯播方式編碼就是原來數據量的9倍。鑒于此，在2009年JVT和MPEG的推出了 MVD (多視+深度)數據模式。在該模式中，對傳輸的視頻端除了原來視點的紋理彩色視頻外，對于每個視點都附加一個與之相應的深度圖視頻。提出深度圖的概念有2個最直觀的好處: (a):深度圖較平坦，對編碼來說效率極高，即使采用H.264的編碼方式其編碼比特率也僅是彩色視頻編碼比特率的20-30%。(b):通過提取具有場景幾何信息的深度，可繪制出高質量的虛擬視。綜上所述，快速準確地提取深度圖是實時3DTV系統的關鍵，也是MVD模式的核心，因此諸多學者對此從未停止探索的腳步。
技術實現思路
本專利技術目的在于提供，以滿足3DTV前端深度提取效率低下不能滿足實時應用的現狀。利用圖像匹配的原理以及FPGA平臺并行結構，在單片FPGA上編程和實現，可以較高質量地進行深度的實時提取。為達到上述目的，本專利技術的構思是: I.將雙路同步SDI輸入視頻解析為視頻數據信號，同時提取水平同步標識信號、垂直同步標識信號、視頻有效數據標志信號，對于隔行掃描的視頻格式還將提取出幀數標識信號; I1.利用基于非參數化區域變換的匹配算法對兩路視頻進行立體匹配，對于已解析的視頻數據，通過識別水平同步標識信號、垂直同步標識信號、視頻有效數據標志信號和幀數標識信號，準確地判斷出完整的一場、一行有效數據開始的位置，再配合FPGA內部BlockRam和寄存器資源，有效地將動態的視頻匹配轉化為靜態的圖像匹配； II1.利用WinnerTakes All優選策略進行視差候選值選定，采用6級兩兩比較的方法找出視差范圍內匹配代價最小像素點的位置，該位置所對應的深度即為參考點深度值； 將所得深度圖進行DDR2緩存，再通過PCIE接口輸出至繪制服務器； 本專利技術將以上所述的SDI解析、Census區域變換實現、匹配代價計算、匹配代價最優選擇和DDR2緩存控制等均在單片FPGA芯片中完成，攜帶安裝方便，且功能更新、升級方便。在上述模塊實現過程中采用Verilog HDL編程，對各個模塊采用流水線設計，并對代碼優化布局布線，添加合理的時序約束，對Block Ram采用下降沿讀取的方式，可避免多數亞穩態，在高分辨率視頻數據的時鐘下高速穩定地進行深度提取。根據上述專利技術構思，本專利技術采用下述技術方案: 一種基于圖像匹配的高分辨率深度圖實時提取裝置，包括雙目SDI攝像機和FPGA開發板，雙目SDI攝像機通過兩路BNC接口單向連接FPGA開發板，FPGA開發板通過PCIE接口單向連接3DTV編碼服務器；利用雙目SDI攝像機獲取圖像，在FPGA開發板上實現深度圖實時提取，獲取的深度圖實時傳輸至編碼服務器。所述雙目SDI攝像機采用PanasonicAG-3DA1MC雙目高清攝像機，攝像機可通過SDI輸出高清視頻，兩路視頻經過了圖像校正，可直接進行立體匹配。所述FPGA開發板采用EP2AGX260 FPGA芯片，芯片雙向連接IGB DDR2SODIMM作為數據緩存模塊，FPGA開發板前端設計兩路SDI接收模塊，LMH0344均衡器對SDI信號進行DC恢復，LMH0341解串器自動檢測輸入數據速率并提取時鐘，FPGA開發板后端通過PCIE接口以全雙工方式將深度圖輸出至3DTV編碼服務器。一種基于圖像匹配的高分辨率深度圖實時提取方法，采用上述裝置進行深度圖的實時提取，其特征在于通過在FPGA芯片內設計數字電路實現深度圖的提取，操作步驟如下: I.SDI解析:將經過解串之后的兩路同步SDI視頻輸入解析為視頻數據信號； II.匹配代價估計:以數字電路方式實現匹配代價函數的構建和匹配代價的估計； III.WTA最優選擇-生成深度圖:以數字電路方式在視差范圍內對最優匹配進行選擇。所述步驟I SDI 解析是通過 FPGA 編程，配合 SDI Receiver (protocol )MegaCore從雙路同步SDI視頻解析出視頻數據信號，并提取出水平同步標識信號，垂直同步標識信號，視頻有效數據標志信號，對于隔行掃描的視頻格式還將提取出場標識信號；利用這些標識信號配合FPGA芯片內部的RAM和寄存器資源將動態的同步視頻的匹配轉化為靜態的每一幀的圖像匹配。所述步驟II匹配代價估計針對每一路視頻實現Census變換，通過例化FPGA內部資源Block Ram作為Line Buffer，將每一行數據進行存儲，選用15X 15像素大小的匹配窗口，在匹配窗口內部采用隔行稀疏十字交叉矩陣進行選值，達到匹配精度與復雜度的平衡。所述步驟III WTA最優選擇-生成深度圖是通過Winner Takes All的優選方式在待匹配視圖上找出64像素視差范圍內的匹配代價最小的點，選取該點為候選點。采用分級兩兩進行比較的方法，經過6級比較則可選出匹配代價最小的點，同時標記匹配代價次小點的匹配代價值。本專利技術的積極效果是:可直接接受高清雙路SDI輸入，實時地提取高清晰度的深度，且可插在PC主板上，將得到的深度圖直接通過PCIE接口輸入繪制服務器，大大加速了實時3DTV制作和真實場景重現的實現和普及。該裝置及方法可自動檢測雙視輸入視頻分辨率，可支持最高達1920 X 1080的高清視頻，輸出的深度圖與輸入分辨率相同。圖像匹配采用非參數化的匹配方法，有效消除兩路輸入視頻的光線差異等因素對深度提取結果造成的影響。將提取出的深度圖像通過DDR2實時緩存，使深度圖像穩定地輸出。SDI協議解析、圖像匹配、深度提取、DDR2緩存控制等模塊均在單片FPGA芯片上完成，利用FPGA的并行結構實行提取，使深度提取過程靈活高效。一般情況下深度提取的復雜度會隨著分辨率的增加而急劇增加，提取效率也會隨之急劇下降，該裝置及方法可實現對雙路1920 X 1080分辨率視頻的實時深度提取，有效解決了 3DTV系統中深度提取效率過于低下的問題，是3DTV真實場景實時重現至關重要的環節。附圖說明下面結合附圖和實施例對本專利技術進一步說明。圖1為本專利技術的整體結構圖。圖2為本專利技術匹配代價估計準則構建原理圖。圖3為本專利技術WTA最優選擇過程中分級兩兩比較原理示意圖。圖4為本專利技術深度提取算法在FPGA芯片內部實現的總體示意圖。具體實施例方式為了能夠更清楚地理解本專利技術的
技術實現思路
，以下結合附圖對本專利技術的優選實施例作詳細描述: 實施例一: 參考圖1，本基于圖像匹配的高分辨率深度圖實時提取裝置，包括雙目SDI攝像機(I)和FPGA開發板(2)，其特征在于所述的雙目SDI攝像機(I)單向連接FPGA開發板(2)，所述FPGA開發板單向連接一個3DTV編碼服務器(3);利用雙目SDI攝像機(I)獲取圖像，在FPGA開發板(2)上實現深度實時提取，獲取深度圖通實時傳輸至3DTV編碼服務器。實施例二: 本實施例與實施例一基本相同，特別之處是:所述雙目SDI攝像機采用本文檔來自技高網...
【技術保護點】
一種基于圖像匹配的高分辨率深度圖實時提取裝置，包括雙目SDI攝像機（1）和FPGA開發板（2），其特征在于所述的雙目SDI攝像機（1）單向連接FPGA開發板（2），所述FPGA開發板（2）單向連接一個3DTV編碼服務器（3）；利用雙目SDI攝像機（1）獲取圖像，在FPGA開發板（2）上實現深度實時提取，獲取深度圖通實時傳輸至3DTV編碼服務器（3）。
【技術特征摘要】
1.一種基于圖像匹配的高分辨率深度圖實時提取裝置，包括雙目SDI攝像機(I)和FPGA開發板(2)，其特征在于所述的雙目SDI攝像機(I)單向連接FPGA開發板(2)，所述FPGA開發板(2 )單向連接一個3DTV編碼服務器(3 );利用雙目SDI攝像機(I)獲取圖像，在FPGA開發板(2)上實現深度實時提取，獲取深度圖通實時傳輸至3DTV編碼服務器(3)。2.根據權利要求1所述的一種基于圖像匹配的高分辨率深度圖實時提取裝置，其特征在于所述雙目SDI攝像機(I)采用Panasonic AG-3DA1MC雙目高清攝像機。該攝像機可通過SDI輸出高清視頻，兩路視頻經過了圖像校正，可直接進行立體匹配。3.根據權利要求1所述的一種基于圖像匹配的高分辨率深度圖實時提取裝置，其特征在于所述FPGA開發板(2)上采用EP2AGX260 FPGA芯片(4)，芯片(4)雙向連接IGB DDR2SODIMM (5)作為數據緩存模塊。FPGA開發板(2)前端設計兩路SDI接收模塊，LMH0344均衡器對SDI信號進行DC恢復，LMH0341解串器自動檢測輸入數據速率并提取時鐘；FPGA開發板(2 )后端通過PCIE接口( 6 )，以全雙工方式將深度圖輸出至3DTV編碼服務器(3 )。4.一種基于圖像匹配的高分辨率深度圖實時提取方法，采用權利要求1所述的一種基于圖像匹配的高分辨率深度圖實時提取裝置進行深度圖的實時提取，其特征在于通過在FPGA芯片(4)內設計數字電路實現，操作步驟如下: I.SDI解析(7):將解串之后的兩路同步SDI視頻輸入解析為...
【專利技術屬性】
技術研發人員：王建偉，滕國偉，魯超，鄒雪妹，李火生，成益龍，路龍龍，崔大海，
申請(專利權)人：上海大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。