一種基于Ｈ．２６４壓縮域圖像深度圖生成方法技術

本發明專利技術公開了一種基于Ｈ．２６４壓縮域圖像深度圖生成方法，包括以下步驟：輸入原圖像的Ｈ．２６４壓縮域碼流；可變長熵解碼并提取碼流中編碼塊的相關特征并計算編碼塊的預測殘差能量；據此計算各編碼塊的標記值并進行歸一化處理后，對圖像進行區域劃分；分別計算每個區域的平均深度值并作為該區域所有編碼塊的深度值，得到整幅圖像中所有編碼塊的深度值，得到整幅圖像的編碼塊深度圖；對得到的編碼塊深度圖進行高斯濾波和上采樣，最終得到與原圖像大小一致的深度圖。本發明專利技術方法使用Ｈ．２６４壓縮碼流內部信息提取圖像深度圖，在編碼塊的級別上對圖像深度進行分析，具有很高的運算效率，得到的深度圖接近真實的物體深度。

【技術實現步驟摘要】

本專利技術涉及數字視頻信號處理領域，具體涉及二維圖像轉換三維圖像時深度圖生 成方法。
技術介紹
深度圖生成是二維圖像轉換為三維圖像過程中最為關鍵的步驟。在二維圖像到 三維圖像轉換過程中，如果能夠較好的獲得場景的深度信息，對于轉換后的三維圖像質量 起著非常重要的作用。在已知二維圖像和深度信息的情況下，可以采用DIBR(D印th Image Based Rendering，基于深度圖的圖像繪制)技術來合成所需要的三維視點。目前，通常是在像素域進行單目圖像深度信息自動生成，其普遍的方法是首先根 據圖像的色彩信息或邊緣信息進行圖像分割，然后對分割后的區域進行深度賦值。在像素 域進行圖像分割與深度圖生成，需要處理大量的數據。申請號為200910091469. X的中國專 利申請公開了一種實現平面視頻轉立體視頻的方法和裝置，其中，對關鍵幀的深度圖生成 主要是在像素域完成，首先對像素域的圖像進行顏色空間轉換，并將每一個像素的顏色空 間變量和空間坐標組合成一個五維向量，對五維向量進行濾波，然后采用洪泛算法對濾波 后的圖像進行區域分割，最后對分割后的圖像進行深度賦值。基于像素域的方法需要處理 的數據量較大，并且進行區域分割方法也比較復雜，不利于快速計算得到圖像的深度圖。
技術實現思路
本專利技術提供了一種基于H. 264壓縮域圖像深度圖生成的方法，解決了二維圖像到 三維圖像轉換過程中的深度圖生成問題。一種基于H. 264壓縮域圖像深度圖生成方法，包括以下步驟(1)輸入原圖像的H. 264壓縮域碼流；(2)將H. 264壓縮域碼流進行可變長熵解碼并提取所述的H. 264壓縮域碼流中 編碼塊的相關特征；所述的編碼塊的相關特征包括編碼塊的預測方式特征和編碼塊整型 DCT變換(Discrete Cosine Transform變換，離散余弦變換)的系數特征；所述的編碼塊 為4 X 4塊，相應地，每個4 X 4塊具有各自的預測方式特征。本專利技術將每個4X4塊的預測(即幀內預測)方式特征分為9種，分別為垂直預 測、水平預測、直流預測、對角線左下預測，對角線右下預測、垂直右預測、水平下預測、垂直 左預測和水平上預測，分別對應于H. 264幀內預測模式中Intra4X4模式的9種預測方式， H. 264幀內預測模式中的IntraieX 16模式的4種預測方式也可以歸納到這9種預測方式 之中。幀內預測之后，H. 264標準通過原始圖像與預測值相減得到預測殘差，并對預測殘 差采用基于4X4塊的整型DCT變換編碼，得到4X4塊的整型DCT變換系數。以上所述的幀內預測方式和整型DCT變換系數都可以通過可變長熵解碼直接從 H. 264碼流中提取出來，從而得到所述的編碼塊的預測方式特征和編碼塊整型DCT變換的系數特征。由于可變長熵解碼屬于部分解碼，因此，相對于全部解壓而言，這一過程只占到對 H. 264壓縮域碼流全部解壓的10%的計算量，從而避免了由對H. 264壓縮碼流進行全部解 壓所帶來的額外計算量，降低了整個深度圖提取過程的計算復雜度。(3)根據步驟(2)提取得到的編碼塊整型DCT變換的系數特征，計算編碼塊的預測 殘差能量En(i，j)，如式(I)所示En(i, j) = |DC(i，j) +|AC01(i, j) | + |AC1(1(i，j) | + |ACn(i，j) | (I)式(I)中，DC(i，j),AC01(i, j), AC10(i, j)，ACn(i，j)分別為第(i，j)個 4X4 土夬 的整型DCT變換系數z字掃描的第1、2、3、5個系數。(4)根據由步驟(2)和(3)獲得的編碼塊的預測方式特征和編碼塊的預測殘差能 量計算各編碼塊的標記值并進行歸一化處理，再根據各編碼塊的歸一化標記值對圖像進行 區域劃分；其過程具體如下(4. 1)首先初始化所有編碼塊的標記值為1，并初始化全局標記(GlobalLabel)為 1 ；(4. 2)根據每個編碼塊的預測殘差能量和預測方式特征，對第一排的每個編碼塊 進行水平方向的塊標記；可選地，所述的水平方向的塊標記采取以下方式進行當編碼塊的預測殘差能量小于或等于閾值時，該編碼塊的標記值等于其左邊編碼 塊的標記值；當編碼塊的預測殘差能量大于閾值，并且該編碼塊的預測方式特征為水平預測或 直流預測時，該編碼塊的標記值等于其左邊編碼塊的標記值；否則，將全局標記自加1，并 設定該編碼塊標記為全局標記；(4. 3)根據每個編碼塊的預測殘差能量和預測方式特征，對第一列的每個編碼塊 進行垂直方向的塊標記；可選地，所述的垂直方向的塊標記采取以下方式進行當編碼塊的預測殘差能量小于或等于閾值時，該編碼塊的標記值等于其上邊編碼 塊的標記值；當編碼塊的預測殘差能量大于閾值，并且該編碼塊的預測方式特征為垂直預測或 直流預測時，該編碼塊的標記值等于其上邊編碼塊的標記值加1 ；否則，該編碼塊的標記值 等于其上邊編碼塊的標記值加2 ；(4. 4)根據每個編碼塊的預測殘差能量和預測方式特征，計算除第一排和第一列 之外的每個編碼塊的標記值；可選地，所述的除第一排和第一列之外的每個編碼塊的標記值的計算采取以下方 式進行首先，比較每個編碼塊的預測殘差能量與閾值的大小，將編碼塊分為兩類(①) 預測殘差能量小于或等于閾值的編碼塊；(②)預測殘差能量大于閾值的編碼塊；然后，對于第(①)和(②)類的編碼塊，采取不同的方法計算編碼塊的標記值， 具體為對于第(①)類編碼塊，當編碼塊預測方式特征為垂直預測時，該編碼塊標記值等于其上邊編碼塊的標記 值；當編碼塊預測方式特征為水平預測時，該編碼塊標記值等于其左邊編碼塊的標記值； 當編碼塊預測方式特征為對角線左下預測時，該編碼塊標記值等于其右上編碼塊的標記 值；當編碼塊預測方式特征為對角線右下預測時，該編碼塊標記值等于其左上編碼塊的標 記值；當編碼塊預測方式特征為直流預測時，分別計算該編碼塊的上邊與左邊編碼塊的 標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值為Label(i， j) = (LabelMin*3+LabelMax)/4 (VI)當編碼塊預測方式特征為垂直右預測時，分別計算該編碼塊的上邊與左上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；當編碼塊預測方式特征為垂直左預測時，分別計算該編碼塊的上邊與右上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；當編碼塊預測方式特征為水平下預測時，分別計算該編碼塊的左邊與左上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；當編碼塊預測方式特征為水平上預測時，分別計算該編碼塊的左邊與右上邊編 碼塊的標記值，取較小者記為LabelMin，較大者記為LabelMax，則該編碼塊標記值按照式 (VI)的方式進行計算；對于第(②)類編碼塊，當編碼塊預測方式特征為垂直預測時，如果其上邊編碼塊的預測殘差能量大于閾 值時，該編碼塊標記值等于其上邊編碼塊的標記值；當編碼塊預測方式特征為水平預測時， 如果其本文檔來自技高網...

【技術保護點】
一種基于Ｈ．２６４壓縮域圖像深度圖生成方法，其特征在于，包括以下步驟：（１）輸入原圖像的Ｈ．２６４壓縮域碼流；（２）將Ｈ．２６４壓縮域碼流進行可變長熵解碼并提取所述的Ｈ．２６４壓縮域碼流中編碼塊的相關特征；所述的編碼塊的相關特征包括：編碼塊的預測方式特征和編碼塊整型ＤＣＴ變換的系數特征；所述的編碼塊為４×４塊；（３）根據步驟（２）提取得到的編碼塊整型ＤＣＴ變換的系數特征，計算編碼塊的預測殘差能量；（４）根據由步驟（２）和（３）獲得的編碼塊的預測方式特征和編碼塊的預測殘差能量計算各編碼塊的標記值并進行歸一化處理，再根據各編碼塊的歸一化標記值對圖像進行區域劃分；（５）根據圖像位置信息計算每個區域的平均深度值，作為該區域所有編碼塊的深度值；遍歷圖像中所有區域，得到所有區域中所有編碼塊的深度值，即得到整幅圖像的編碼塊深度圖；（６）對得到的整幅圖像的編碼塊深度圖進行高斯濾波和上采樣，最終得到與原圖像大小一致的深度圖。

【技術特征摘要】
一種基于H.264壓縮域圖像深度圖生成方法，其特征在于，包括以下步驟(1)輸入原圖像的H.264壓縮域碼流；(2)將H.264壓縮域碼流進行可變長熵解碼并提取所述的H.264壓縮域碼流中編碼塊的相關特征；所述的編碼塊的相關特征包括編碼塊的預測方式特征和編碼塊整型DCT變換的系數特征；所述的編碼塊為4×4塊；(3)根據步驟(2)提取得到的編碼塊整型DCT變換的系數特征，計算編碼塊的預測殘差能量；(4)根據由步驟(2)和(3)獲得的編碼塊的預測方式特征和編碼塊的預測殘差能量計算各編碼塊的標記值并進行歸一化處理，再根據各編碼塊的歸一化標記值對圖像進行區域劃分；(5)根據圖像位置信息計算每個區域的平均深度值，作為該區域所有編碼塊的深度值；遍歷圖像中所有區域，得到所有區域中所有編碼塊的深度值，即得到整幅圖像的編碼塊深度圖；(6)對得到的整幅圖像的編碼塊深度圖進行高斯濾波和上采樣，最終得到與原圖像大小一致的深度圖。2.如權利要求1所述的基于H.264壓縮域圖像深度圖生成方法，其特征在于，所述的步 驟⑶中，采取式⑴計算編碼塊的預測殘差能量En (i，j)En(i, j) = |DC(i，j) ! + IACtll (i，j) | + |AC1(1(i，j) | + |ACn(i，j) I (I)式(I)中，DC(i，j)，ACtll (i，j)，AC1Q(i，j)，AC11 (i，j)分別為第(i，j)個編碼塊的整型 DCT變換系數ζ字掃描的第1、2、3、5個系數...

【專利技術屬性】
技術研發人員：馮杰，黃海，胡潔，蔣明峰，王成群，
申請(專利權)人：浙江理工大學，
類型：發明
國別省市：86[中國|杭州]