用于高效視頻處理的方法和系統技術方案

本發明專利技術的實施例針對用于計算上高效地對視頻幀的流進行去噪、銳化、對比度增強、去模糊和其他空間和時間處理的高效的視頻處理方法和系統。本發明專利技術的實施例使僅針對從視頻流中以固定的或可變的間隔選擇的小百分比的視頻幀執行的統計量相關計算與針對視頻流的每個幀執行的各種空間和時間處理步驟分離，所述統計量相關計算包括估計像素值關聯方差、標準差、噪聲閾值和信號對比度閾值。在本發明專利技術的某些實施例中，統計量相關計算由計算機系統的一個或多個通用處理器執行，而逐幀的空間和時間處理由計算機系統中的一個或多個專用圖形處理器執行。

【技術實現步驟摘要】
【國外來華專利技術】
本專利技術涉及圖像處理，并且具體地，涉及一種用于將各種處理操作應用于視頻流 的幀的高效視頻處理方法和系統，所述處理操作包括對視頻圖像流進行去噪、銳化、增強和 去模糊。
技術介紹
當前，圖像處理是對其付出了顯著的研究和開發努力的重要的
隨著 包括手持式攝像機、視頻會議系統、蜂窩電話和包括通過互聯網的視頻圖像的實時傳送的 視頻分送信道的各種類型的視頻圖像捕獲、傳輸和顯示設備的可用性的增加以及成本的降 低，視頻圖像的處理正在變為日益重要的研究和開發領域并且提供了視頻處理系統的越來 越大的市場。在許多應用中，可以在視頻采集之后以及在視頻分送之前通過計算上昂貴的技術 執行視頻處理。然而，在許多當前的和涌現的應用中，諸如在實時視頻處理系統中，視頻處 理需要快速地和高效地執行。視頻會議是其中實時視頻處理可以提供眾多益處的應用的一 個示例。視頻會議設備制造商和銷售商已經確定，視頻會議的有效性可以極大地取決于遞 送到視頻會議參與者的視頻圖像的質量。通過使用復雜的和昂貴的相機、高端顯示系統、大 量的專用計算硬件和寬帶寬通信信道，可以實現視頻質量。不幸地，這種昂貴的、高端視頻 會議系統的市場較之較低成本的視頻會議系統的潛在市場是相對小的。需要實時視頻處理 的視頻會議設備和其他系統的研究人員和開發人員、制造商和銷售商以及視頻會議設備和 其他這種基于視頻的系統的用戶均已認識到需要較低成本的基于視頻的系統，其中視頻處 理部件可以用于在計算上抵消因使用不太昂貴的相機、通信信道和專用硬件而導致的視頻 圖像質量的降低。
技術實現思路
本專利技術的實施例針對用于計算上高效地對視頻幀的流進行去噪、銳化、對比度增 強、去模糊和其他空間和時間處理的高效的視頻處理方法和系統。本專利技術的實施例使僅針 對從視頻流中以固定的或可變的間隔選擇的小百分比的視頻幀執行的統計量相關計算與 針對視頻流的每個幀執行的各種空間和時間處理步驟分離，所述統計量相關計算包括估計 像素值關聯方差、標準差、噪聲閾值和信號對比度閾值。在本專利技術的某些實施例中，統計量 相關計算由計算機系統的一個或多個通用處理器執行，而逐幀的空間和時間處理由計算機 系統中的一個或多個專用圖形處理器執行。附圖說明圖1圖示了二維圖像信號。圖2示出了具有數值像素值的圖1的二維圖像。圖3A-E圖示了由本專利技術的方法和系統實施例執行的各種類型的圖像和視頻幀處理的簡單示例。圖4提供了簡單的計算機系統的高級別的類似框圖的表示。圖5圖示了圖像中的鄰域的概念。圖6A-B圖示了基于鄰域的操作中使用的圖像的各種類型的遍歷。圖7圖示了由本專利技術的方法和系統實施例解決的基本問題。圖8圖示了表示本專利技術的一個實施例的實時高質量視頻處理系統。圖9-11圖示了表示本專利技術的一個實施例的實時視頻處理系統的噪聲和對比度模 塊的操作。圖12圖示了兩個圖像A和B的相加。圖13圖示了被稱為“縮減(downscaling)”的一種類型的縮放操作。圖14圖示了 D操作的一個實施例。圖15圖示了權重模板(mask) W中包括的權重的計算。圖16圖示了通過將D操作兩次應用到中間尺度圖像而獲得的高斯金字塔的一部 分。圖17圖示了 U操作的一個實施例圖18圖示了本專利技術的實施例中使用的魯棒過濾操作的一個實施例。圖19圖示了作為本專利技術的實施例中使用的上文參照圖18描述的魯棒過濾操作的 一部分的針對原始圖像Y的每個像素Y(i，j)執行的過濾操作fs(i，j)。圖20圖示了在本專利技術的實施例中使用的過濾操作fs(i，j)中使用的非線性函數 的一般形式。圖21圖示了在本專利技術的實施例中使用的函數Ψ3。圖22示出了在圖15中使用的許多圖示約定。圖23圖示了由本專利技術的各種實施例中的多尺度去噪、銳化和對比度增強模塊使 用的一個多尺度魯棒銳化和對比度增強方法。圖Μ-25圖示了由表示本專利技術的一個實施例的實時視頻處理系統的運動檢測模 塊針對當前分析的幀中的每個像素執行的計算。圖沈-29圖示了表示本專利技術的一個實施例的實時視頻處理系統的自適應時間處 理模塊的操作。圖30示出了用于本專利技術的實時視頻處理方法的實施例的高級別控制流程圖。圖31提供了表示本專利技術的一個實施例的實時視頻處理系統的噪聲和對比度模塊 的控制流程圖。圖32提供了表示本專利技術的實施例的實時視頻處理系統的運動檢測模塊的控制流 程圖。圖33提供了用于表示本專利技術的一個實施例的視頻處理系統的自適應時間處理模 塊的控制流程圖。具體實施例方式本專利技術的實施例針對計算上高效的實時視頻處理。首先，提供了數字圖像和數字 圖像處理的一般概況，作為本專利技術的實施例的后繼描述的背景。然后，提供了表示本專利技術的一個實施例的計算上高效的實時視頻處理系統的概況。隨后更詳細地討論了該系統的部 件。最后，提供了用于表示本專利技術的一個實施例的視頻圖像處理方法的控制流程圖。圖像處理背景圖1圖示了二維圖像信號。如圖1中所示，二維圖像信號可以被視為包含具有索引 0，1，…，r-Ι的R個行和具有索引0，1，…，C-I的C個列的二維矩陣101。通常，單個大寫字 母，諸如字母“Y”，用于表示整個圖像。圖1中示出的二維圖像Y中的每個元素或單元被稱 為“像素”并且由一對坐標來指代，一個坐標指定其中包含該像素的行而另一個坐標指定其 中包含該像素的列。例如，圖像Y中的單元103被表示為Y(l，2)。圖2示出了具有數值像素值的圖1的二維圖像。在圖2中，每個像素與數值值關 聯。例如，在圖2中像素Υ(2，8) 202被示出為具有值“97”。在某些情況中，特別是黑白照 片中，每個像素可以與單個灰度值關聯，該灰度值的范圍常常是從表示黑色的0到表示白 色的255。對于彩色照片，每個像素可以與多個數值值關聯，諸如亮度值和兩個色度值，或者 替選地，三個RBG (紅藍綠)值。在其中像素與不止一個值關聯的情況中，圖像增強技術可以 單獨地應用于分圖像，每個分圖像表示從每個像素中選擇的一種類型的像素值的集合。替 選地，圖像增強技術可以被應用于計算的單值像素圖像，其中通過針對與原始圖像中的像 素關聯的多個值的數學運算來為每個像素生成計算值。替選地，圖像增強技術可以主要應 用于僅亮度分圖像。在下面的討論中，圖像被視為單值的，如例如與黑白照片中的像素關聯 的灰度值那樣。然而，通過將本專利技術的公開方法單獨地應用于一個或多個分圖像或者通過 在數學上組合與每個像素關聯的多個值以計算與每個像素關聯的單個值，并且將本專利技術的 方法應用于計算像素值的集合，可以將本專利技術的方法直接應用于具有多值像素的圖像和信 號。應當注意，盡管圖像被視為像素值的二維陣列，但是圖像可以作為數值值的連續列表， 作為值的壓縮序列或者以其他方式被存儲和傳送。下面的討論假設，不管圖像被如何存儲 和傳送，圖像可以被視為像素值的二維矩陣，所述像素值可以通過針對二維矩陣的各種類 型的操作而進行變換。視頻流由時間排序的一系列視頻圖像(在下文中被稱為“幀”)組成，每個幀通常在 時間上與前一幀和后一幀隔開諸如1/30秒的某個固定時間間隔。各種視頻處理方法可以 應用于隔離的幀，并且其他方法可以應用于連續的時間排序的幀子集。圖3Α-Ε圖示了由本專利技術的方法和系統實施例執行的各種類型的視頻幀處理的簡 單示例。在圖3Α-Ε的每一個中，示出了兩個非常小的數字圖像區域，一個圖像是本文檔來自技高網...

【技術保護點】
１．　一種視頻處理系統，其接收視頻幀的輸入流并且輸出增強幀的流以進行存儲、傳送、和／或再現以用于顯示，所述實時視頻處理系統包括：在計算機系統的一個或多個中央處理單元上執行的測量模塊，其根據所述視頻幀的輸入流的選定幀生成關于像素值的統計量的一個或多個函數；以及在計算機系統的一個或多個圖形處理器單元上執行的處理模塊，其使用由所述測量模塊生成的所述關于像素值的統計量的一個或多個函數來處理所述視頻幀的輸入流的每個幀，包括對每個幀進行去噪、銳化、對比度增強和去模糊，以便于輸出增強幀的流。

【技術特征摘要】
【國外來華專利技術】1.一種視頻處理系統，其接收視頻幀的輸入流并且輸出增強幀的流以進行存儲、傳 送、和/或再現以用于顯示，所述實時視頻處理系統包括在計算機系統的一個或多個中央處理單元上執行的測量模塊，其根據所述視頻幀的輸 入流的選定幀生成關于像素值的統計量的一個或多個函數；以及在計算機系統的一個或多個圖形處理器單元上執行的處理模塊，其使用由所述測量模 塊生成的所述關于像素值的統計量的一個或多個函數來處理所述視頻幀的輸入流的每個 幀，包括對每個幀進行去噪、銳化、對比度增強和去模糊，以便于輸出增強幀的流。2.根據權利要求1所述的視頻處理系統，其中所述測量模塊通過如下方式之一選擇 根據其生成所述關于像素值的統計量的一個或多個函數的幀按固定幀間隔選擇在所述視頻幀的輸入流中出現的每個幀； 按固定時間間隔選擇在所述視頻幀的輸入流中出現的每個幀； 按可變幀間隔選擇在所述視頻幀的輸入流中出現的每個幀；以及 按可變時間間隔選擇在所述視頻幀的輸入流中出現的每個幀。3.根據權利要求1所述的視頻處理系統，其中所述測量模塊通過如下方式根據所述 視頻幀的輸入流的選定幀生成關于像素值的統計量的一個或多個函數根據所述幀生成像素塊； 為每個塊計算平均像素值和估計的樣本方差； 將所述塊劃分為分區，每個分區與不同的平均像素值關聯； 對于每個分區，基于估計的樣本方差移除離群塊以產生不具有離群塊的塊分區， 根據不具有離群塊的塊分區的許多塊計算噪聲相關估計方差和/或標準差，所述許多 塊在不具有離群塊的塊分區的塊中具有最低估計樣本方差，以及 根據不具有離群塊的塊分區的塊計算對比度相關方差；計算關于像素值的噪聲相關方差的函數和/或關于像素值的噪聲相關標準差的函數；以及計算關于像素值的對比度相關方差的函數。4.根據權利要求1所述的視頻處理系統，其中所述處理模塊包括多尺度去噪、銳化和 對比度增強模塊，其通過如下方式對每個輸入幀進行去噪、銳化和對比度增強以生成對應 的經空間處理的幀在大于最低分辨率尺度的一個或多個當前考慮的分辨率尺度的每一個下， 使輸入幀或者從所述輸入幀得到的中間幀縮減以產生用于輸入到下一較低分辨率尺 度的中間幀，使從較低分辨率尺度接收到的中間幀放大以產生用于輸出到下一較高分辨率尺度的 中間幀，以及使用關于像素值的噪聲相關方差的函數或者關于像素值的噪聲相關標準差的函數來 計算噪聲相關閾值，對所述輸入幀或中間幀中的至少一個進行魯棒過濾。5.根據權利要求4所述的視頻處理系統，其中所述處理模塊包括運動檢測模塊和自 適應時間處理模塊。6.根據權利要求5所述的視頻處理系統，其中所述運動檢測模塊通過如下方式生成用于所述多尺度去噪、銳化和對比度增強模塊生成的每個經空間處理的幀中的每個像素的 因子ω u 在基于鄰域的操作中，通過如下方式考慮鄰域η (i, j, t)中的在視頻幀流中的時間t處 出現的經空間處理的幀中的每個像素(i，j)計算鄰域n(i，j，t)中的每個像素k即n(i，j，t)k和在所述視頻幀流中的時間t-Ι處 出現并且緊鄰在所述視頻幀流中的時間t處出現的經空間處理的幀之前的經空間處理的 幀的鄰域中的對應像素k即n(i，j, t-l)k之間的差的量值，根據鄰域n(i，j，t)和鄰域n(i，j，t-...

【專利技術屬性】
技術研發人員：P基西列夫，S謝恩，
申請(專利權)人：P基西列夫，S謝恩，
類型：發明
國別省市：US