一種基于視頻內容的提取視頻注意窗序列的方法及系統技術方案

一種基于視頻內容的提取視頻注意窗序列的方法。該方法包括：預處理階段，計算視頻序列中每一幀不同區域的視覺顯著性；建模階段，為候選大小的注意窗在三維時空立方體中構建圖模型；優化階段，通過優化算法，在已生成的圖上提取最佳注意窗口的大小及滑動軌跡；壓縮階段，其通過投影將待搜索的三維時空立方體空間壓縮為二維搜索空間，加速注意窗口序列提取。利用本發明專利技術所提供的提取視頻注意窗口序列的方法及系統，可以對視頻信息進行自適應的縮放和自適應的壓縮，從而提高整個視頻內容的傳輸和瀏覽效果。

【技術實現步驟摘要】

本專利技術涉及一種基于視頻內容的提取視頻注意窗序列的方法及系統，屬于 多媒體
，具體屬于數字圖像和數字視頻處理

技術介紹
隨著數字圖像和數字視頻信息攝錄技術的快速進歩和多媒體、互聯網技術 以及無線通訊技術的迅猛發展，大量數字圖像和視頻信息得以便捷快速地傳輸 和收發，使得在世界各地的互聯網或無線通訊用戶可以在任何地點任何時間方 便快捷地和朋友們一起分享他們感興趣的視頻內容。而各種終端設備的更新變 換也給視頻內容的傳輸和瀏覽提出了新的要求，帶來了新的機遇和挑戰。在視頻監控和移動通信的場景中，傳統的視頻通信方式直接將原始的高分 辨率視頻在服務器和終端之間進行傳輸，這將占用大量的網絡存儲和信道帶寬。Navin Chaddha等人于1998年6月16日公開的美國專利第5， 768， 535號 "Software-Based Encoder For A Software-Implemented End-To-End Scalable Video Delivery System"中，提出了一種將不同分辨率的同源視頻流傳輸給不同的用戶 終端，不同的用戶終端根據所接收的視頻流的質量可分辨情況，選擇適合該視 頻流播放的分辨率進行播放的這樣一種視頻播放方法。這種視頻播放方法實現 起來雖然簡單易行，但視頻數據在通信傳輸過程中卻需要占用大量帶寬，因此 對網絡環境的要求較高。再則，如果需要在顯示屏幕尺寸較小的移動設備中播 放所接收到的高分辨率視頻，該高分辨率視頻的大量細節信息將被丟失，甚至 會導致一些重要的數據信息因為可視的尺寸過小而難以辨認。在由Zohar Sivan等人公開的美國專利第6,281,874號專利申請，其專利技術名稱為"Method And System For Downloading Graphic Images On The Internet"的文獻中，專利技術 人提供了這樣一種方法服務器首先將低分辨率圖像傳輸給終端，由終端選擇 圖像的感興趣區域；然后進行用戶終端與服務器之間的的交互，使得服務器能夠將用戶終端感興趣的高分辨率圖像繼續傳輸給用戶終端。這種方法雖然節省 帶寬，但需要用戶終端與服務器之間進行交互，此外，這種方法僅對圖像適用， 無法推廣到視頻處理領域。針對以上這些數字圖像和視頻處理方法存在的問題，近幾年開始出現利用 基于視頻內容的顯著性特征提取視頻感興趣區域，進而實現對視頻特定區域進行壓縮禾口顯示的方法。正如Itti等人在"L. IttiandC. Koch， Computational modeling of visual attention. Nature Rev. Neurosci. ， 2(3)， pages 194—203， Mar. 2001."中所論述的，在大多數情況下，用戶出于不同的目的觀看視頻信 息時，更傾向于關注視頻信息中特定的區域，比如用戶往往傾向于瀏覽和監控 特定區域對象的出現，以及關注該對象的外觀和運動的變化。此外，人們對所 關注的視頻區域一般會比不被關注的視頻區域具有更高的清晰度要求，只在少 數情況下才會對整個視頻幀內容全都給予高度的關注度。因此，在視頻剪輯和 壓縮過程中，需要根據視頻內容進行自適應的調整，對用戶可能關注的部分提 供清晰的顯示效果，而把不被關注的部分當作視覺冗余對其進行壓縮或者裁剪， 以提高用戶在不同情況下對視頻的觀看效果。現有的典型視頻興趣區域計算模型通常是通過自底向上的方法將視頻感興 趣區域提取出來；然而，現有的視頻興趣區域計算方法存在以下缺陷(1)視 頻興趣區域的提取或計算結果依賴于視頻對象的分割和識另U。比如在文獻"W-H. Chen, C-W. Wang, J隱L. Wu. Video Adaptation for Small Display Based onRecomposition.正EETrans. Circuits and Systems for Video Technology, 17(1)， pages 43-58, JAN 2007."中，利用顏色對比度和運動強度計算視覺顯著性特征， 并利用物體分割的方法提取感興趣的前景物體。但該方法的不足之處在于感 興趣區域的提取依賴于物體分割的效果，適應性不強。(2)問題求解復雜度過 高。文獻"F. Liu and M. Gleicher. Video retargeting: automating pan and scan. In Proceedings of the ACM international conference on Multimedia, pages 241-250， 2006."中利用4個自由度x， y (位置)，t時間，s尺度確定視 頻興趣滑動窗口，在該文獻中作者為了使問題求解得以有效實現，假設y變量 以及s變量固定不變以降低自由度從而簡化問題的搜索空間，但該假設明顯并 不具備實際的推廣性，因此該方文獻提供的方法使得求解問題在實際的應用中 并無實效。(3)現有的局部平滑方法的先平滑或過平滑現象。由于視覺顯著性 特征由多種特征合成，因此其中的任何一種特征變化都有可能影響興趣區域的 變化。現有的方法大都采用短時域局部平滑方法，通常的做法是，利用相鄰若 干幀的平均值作為平滑結果來削弱噪聲帶來的影響，比如顧曉東，陳志波，王 傳銘等在專利號為20610160804.3的專利申請"視頻內容分析中感興趣區域軌 跡的矯正方法"中就運用了此方法。這種短時域局部平滑方法通常需要預先確 定領域大小，限定了最大平滑的尺度，存在先平滑或者過平滑的現象。鑒于現有的視頻興趣區域計算模型中提取視頻感興趣區域的方法存在上述 嚴重缺陷，需要一種簡便而有實效的視頻感興趣區域提取方法，以便產生連續 和平滑的視頻注意窗序列，從而減少上述缺陷的影響，提高整個視頻內容的傳 輸和瀏覽效果。
技術實現思路
為了克服現有技術的上述不足，本專利技術提供了一種基于視頻內容的提取視頻注意窗序列的方法及系統，通過給定一個視頻片段以及一個基準的注意窗口 大小，根據視頻內容自適應地從所給視頻中提取最佳注意窗口大小以及經過全 局時空優化和平滑的滑動軌跡，解決如何從原始的高分辨率視頻中產生連續和 平滑的視頻注意窗序列，從而提高視頻內容的傳輸和瀏覽效果的技術問題。本 專利技術解決其技術問題所采用的技術方案是一種基于視頻內容的提取視頻注意窗序列的方法，其包括以下步驟步驟l預處理階段，計算視頻序列中每一幀不同區域的感興趣程度，從而 形成視頻的視覺顯著性特征分布的三維時空立方體；步驟2建模階段，根據最大視覺顯著性和時空連續性等特征，為特定大小的 視頻注意窗在所述三維時空立方體中構建圖模型；步驟3優化階段，通過所選優化算法，在已構建的圖模型上提取最佳注意窗 口的大小及滑動軌跡；步驟4壓縮階段，通過投影方法將待搜索的三維時空立方體空間壓縮為二 維搜索空間，加速注意窗口序列提取。本方法還可以有以下技術特征在步驟l所述的預處理階段中，所述每一幀中的每個區域的感興趣程度可選 擇性地參考其同一幀中的相鄰區域以及前后若干幀同一位置區域的相鄰區域； 所述視覺顯著性程度是指按照一定的方法提取視頻幀各區域的視覺顯著性程 度，所述一定的方法包括利用人臉檢測、幀本文檔來自技高網...

【技術保護點】
一種基于視頻內容的提取視頻注意窗序列的方法，其特征包括以下步驟：　步驟１預處理階段，計算視頻序列中每一幀不同區域的感興趣程度，從而形成視頻的視覺顯著性特征分布的時空立方體；　步驟２建模階段，根據最大視覺顯著性和時空連續性等特征，為候選大 小的視頻注意窗在所述三維時空立方體中構建圖模型；　步驟３優化階段，通過所選的優化算法，在已生成的圖模型上提取最佳注意窗口的大小及滑動軌跡；　步驟４壓縮階段，通過投影方法將待搜索的三維時空立方體空間壓縮為二維搜索空間，以便加速注意窗口序列 提取。

【技術特征摘要】

【專利技術屬性】
技術研發人員：田永鴻，李遠寧，黃鐵軍，高文，
申請(專利權)人：北京大學，
類型：發明
國別省市：11[中國|北京]