一種基于分塊模糊核集的非均勻視頻盲去模糊方法技術

本發(fā)明專利技術涉及一種基于分塊模糊核集的非均勻視頻盲去模糊方法，屬于視頻處理技術領域；包括以下步驟：根據視頻幀圖像梯度大小檢測模糊幀；使用清晰幀和模糊幀之間的特征匹配計算分塊單應變換；通過分塊單應變換的離散采樣逼近模糊運動，并通過優(yōu)化逼近誤差計算模糊運動的速度參數；根據模糊運動速度獲取各個分塊對應的模糊核，并利用反卷積計算清晰的分塊；將清晰的分塊拼接得到清晰的幀圖像，從而去除模糊幀。與已有方法相比，本發(fā)明專利技術方法采用多個模糊核描述視頻幀的模糊運動，計算時不需設定初始值，增加了魯棒性，對于非均勻的視頻模糊處理更加高效；對視頻中的清晰區(qū)域要求不高，增加了適用范圍。

【技術實現步驟摘要】
一種基于分塊模糊核集的非均勻視頻盲去模糊方法
：本專利技術涉及一種視頻盲去模糊方法，具體涉及一種基于分塊模糊核集的非均勻視頻盲去模糊方法，屬于視頻處理

技術介紹
：隨著數碼攝像機的普及，視頻拍攝成為人們日常生活中重要的活動，在家庭娛樂、影視制作、生產安防等方面有著重要的應用。但是，由于視頻拍攝時環(huán)境和使用人員的限制，拍攝的視頻不可避免的存在畫面模糊等問題，影響人眼的觀看感受和后期的進一步處理。對于視頻去模糊這一具有較高應用價值問題，國內外的學者已經做了大量的基礎研究。常用的視頻去模糊方法主要包括兩類：基于模糊核優(yōu)化求解的方法和基于圖像合成的方法。基于模糊核優(yōu)化求解的方法以D.Lee等人在IEEETransactionsonImageProcessing上的工作Videodeblurringalgorithmusingaccurateblurkernelestimationandresidualdeconvolutionbasedonablurred-unblurredframepair為代表，使用視頻幀之間的運動獲取模糊幀潛在的清晰圖像，然后迭代優(yōu)化求解模糊核。但是該方法使用單一的模糊核描述整個幀圖像的模糊運動，對于具有較大景深的視頻場景去模糊效果較差。基于圖像合成的方法以S.Cho等人在ACMTransactionsonGraphics上的工作Videodeblurringforhand-heldcamerasusingpatch-basedsynthesis為代表，通過清晰幀上的清晰區(qū)域對模糊幀上的模糊區(qū)域進行合成。但是該方法對視頻中的清晰區(qū)域的分布要求較高，即如果模糊幀上的相關區(qū)域沒有對應的其他幀上的清晰區(qū)域，該方法將無法進行去模糊處理，從而影響最終的視頻質量。
技術實現思路
：本專利技術的目的是針對視頻序列中出現的模糊幀，為了使用戶獲得更清晰的視覺感受，提出了一種基于分塊模糊核集的非均勻視頻盲去模糊方法。本專利技術的思想是根據視頻幀圖像梯度大小檢測視頻序列中的模糊幀；使用清晰幀和模糊幀之間的特征匹配計算分塊單應變換；通過分塊單應變換的離散采樣逼近模糊運動，并通過優(yōu)化逼近誤差計算模糊運動的速度參數；根據模糊運動速度獲取各個分塊對應的模糊核，并利用反卷積計算清晰的分塊；通過將清晰的分塊拼接得到清晰的幀圖像，從而去除視頻中的模糊。本專利技術的的目的是通過以下技術方案實現的：一種基于分塊模糊核集的非均勻視頻盲去模糊方法，包括以下步驟：步驟一、檢測模糊幀對于視頻的每一幀，檢測該幀是否是模糊幀，若是，執(zhí)行以下步驟；否則，繼續(xù)檢測，直到沒有模糊幀；步驟二、視頻幀網格化將視頻幀劃分為由若干矩形分塊組成的網格，記錄網格中每個矩形角點的坐標為其中，t表示視頻幀索引數，i和j表示矩形角點的索引數，是第t幀視頻中(i，j)角點，是第t幀圖像中(i，j)角點的二維坐標,R表示實數集，將網格中每個矩形表示為步驟三、分別進行模糊幀前后兩個清晰幀與模糊幀之間的特征點匹配對于每一個模糊幀，分別在模糊幀前面和后面尋找和模糊幀最近的清晰幀作為參考，命名為前清晰幀和后清晰幀，分別檢測模糊幀圖像和前后清晰幀圖像上的特征點，并進行特征點匹配，得到彼此匹配的特征點對的集合{(pt1,ps1)}和{(ps2,pt2)}。其中pt1和pt2分別是前后清晰幀上的特征點，ps1和ps2分別是模糊幀上與pt1和pt2匹配的特征點；步驟四、分別計算前清晰幀到模糊幀和模糊幀到后清晰幀的對應分塊的單應變換對于每個分塊，根據前清晰幀和模糊幀匹配的特征點，通過優(yōu)化以下能量函數計算每個分塊對應的單應變換Hi,j,t'：根據模糊幀和后清晰幀匹配的特征點，通過優(yōu)化以下能量函數計算每個分塊對應的單應變換Hi,j,t”:其中，t’表示和第t幀最近的前清晰幀的索引，Hi,j,t'是包含6個未知數，最后一行是(0,0,1)的三階矩陣，表示前清晰幀左上角角點索引為(i,j)的分塊到模糊幀對應分塊的單應變換，t”表示和第t幀最近的后清晰幀的索引，Hi,j,t”是包含6個未知數，最后一行是(0,0,1)的三階矩陣，表示模糊幀左上角角點索引為(i,j)的分塊到后清晰幀對應分塊的單應變換，pt1，ps1，pt2，ps2是三維列向量，前二維分別是特征點的X和Y坐標，第三維設為1，雙豎線符號表示二范數；步驟五、計算模糊幀對應的模糊運動的速度步驟5.1首先確定前后清晰幀中誰最靠近模糊幀，若是前清晰幀，則通過Hi,j,t'對前清晰幀的每個分塊進行圖像變換和拼接得到圖像L，若是后清晰幀，則通過對后清晰幀的每個分塊進行圖像變換和拼接得到圖像L，然后對圖像L網格化得到所有分塊步驟5.2利用前清晰幀到模糊幀和模糊幀到后清晰幀的單應變換作為參考，通過優(yōu)化以下能量函數計算模糊運動的速度參數其中是模糊幀上的一個分塊，是通過步驟5.1得到的與該模糊幀上的分塊對應的清晰分塊，表示用單應變換對進行圖像變換，表示用單應變換對進行圖像變換,λ是預先設定的權值，a是一個大小為2T-2的向量，其中第k個分量為中第k+1個分量與第k個分量的差；是分別對單應變換Hi,j,t'的逆和Hi,j,t”進行T-1次離散采樣得到的變換，即其中T是預設的參數，l是離散采樣的索引數，I是3階單位矩陣；步驟六、計算分塊的模糊核圖像根據預設的模糊核圖像的大小，將中心位置是白色像素的核圖像按照計算得到的運動速度和離散采樣的變換進行圖像變換，得到中心白色像素的運動軌跡，并且將軌跡上的像素灰度設為相應的中的值，從而得到每一個分塊的模糊核圖像步驟七、反卷積計算清晰幀對于每一個分塊，利用反卷積的方法計算下面公式中對應的清晰分塊其中是卷積符號。在得到每個分塊對應的清晰圖像后，將清晰的分塊拼接，最終生成模糊幀對應的清晰幀。有益效果：對比傳統(tǒng)視頻去模糊方法，本專利技術方法具有以下優(yōu)勢：(1)傳統(tǒng)的基于模糊核的視頻去模糊方法采用單一核函數進行反卷積求解，無法有效處理非均勻的視頻模糊，而且依賴于初始模糊核的估計，算法魯棒性較差。本方法采用多個模糊核描述視頻模糊運動，能夠有效處理非均勻的視頻模糊，而且計算時不需要設定模糊核的初始值，增加了魯棒性。(2)傳統(tǒng)的基于圖像合成的視頻去模糊方法對視頻中出現的清晰區(qū)域要求比較高，限制了能夠進行去模糊的視頻的范圍。本方法不需要對模糊幀上每個模糊區(qū)域都有對應的清晰區(qū)域，因此適用的范圍更加廣泛。綜上所述，本專利技術方法可以更加高效地處理視頻序列中的模糊幀，得到清晰的視頻幀圖像。附圖說明：圖1是本專利技術實施例一種基于分塊模糊核集的非均勻視頻盲去模糊方法流程示意圖。圖2是本專利技術方法與其他方法是對人工模糊圖像的去模糊實驗結果對比圖。圖3是本專利技術方法與其他方法對自然的均勻運動模糊圖像的去模糊實驗結果對比圖。圖4是本專利技術方法與其他方法對自然的非均勻運動模糊圖像的去模糊實驗結果對比圖。具體實施方式下面將結合附圖和實施例對本專利技術加以詳細說明，同時也敘述了本專利技術技術方案解決的技術問題及有益效果，需要指出的是，所描述的實施例僅旨在便于對本專利技術的理解，而對其不起任何限定作用。實施例一種基于分塊模糊核集的非均勻視頻盲去模糊方法，具體實現步驟如下：步驟一、檢測模糊幀模糊幀檢測方法有很多，例如Niranjan等人提出的基于累計概率的非參考圖像模糊檢測方法(N本文檔來自技高網...

【技術保護點】
一種基于分塊模糊核集的非均勻視頻盲去模糊方法，其特征在于，該方法包括如下步驟：步驟一、檢測模糊幀對于視頻的每一幀，檢測該幀是否是模糊幀，若是，執(zhí)行以下步驟；否則，繼續(xù)檢測，直到沒有模糊幀；步驟二、視頻幀網格化將視頻幀劃分為由若干矩形分塊組成的網格，記錄網格中每個矩形角點的坐標為{Xi,jt=(xi,jt,yi,jt)∈R2},]]>其中，t表示視頻幀索引數，i和j表示矩形角點的索引數，是第t幀視頻中(i，j)角點，是第t幀圖像中(i，j)角點的二維坐標,R表示實數集，將網格中每個矩形表示為Qi,jt={Xi,jt,Xi+1,jt,Xi+1,j+1t,Xi,j+1t};]]>步驟三、分別計算前后兩個清晰幀與模糊幀之間的特征點匹配對于每一個模糊幀，分別在模糊幀前面和后面尋找和模糊幀最近的清晰幀作為參考，命名為前清晰幀和后清晰幀，分別檢測模糊幀圖像和前、后清晰幀圖像上的特征點，并進行特征點匹配，得到彼此匹配的特征點對的集合{(pt1,ps1)}和{(ps2,pt2)}；其中pt1和pt2分別是前、后清晰幀上的特征點，ps1和ps2分別是模糊幀上與pt1和pt2匹配的特征點；步驟四、分別計算前清晰幀到模糊幀和模糊幀到后清晰幀的對應分塊的單應變換對于每個分塊，根據前清晰幀和模糊幀匹配的特征點，通過優(yōu)化以下能量函數計算每個分塊對應的單應變換Hi，j，t?1：E(Hi,j,t-1)=Σpt1∈Qi,jt-1||ps1-Hi,j,t-1·pt1||2;]]>根據模糊幀和后清晰幀匹配的特征點，通過優(yōu)化以下能量函數計算每個分塊對應的單應變換Hi，j，t:E(Hi,j,t)=Σps2∈Qi,jt||pt2-Hi,j,t·ps2||2;]]>其中，t?1表示前清晰幀到模糊幀的單應變換，Hi，j，t?1是包含6個未知數，最后一行是(0,0,1)的三階矩陣，表示前清晰幀左上角角點索引為(i,j)的分塊到模糊幀對應分塊的單應變換，t表示模糊幀到后清晰幀的單應變換，Hi，j，t是包含6個未知數，最后一行是(0,0,1)的三階矩陣，表示模糊幀左上角角點索引為(i,j)的分塊到后清晰幀對應分塊的單應變換，pt1，ps1，pt2，ps2是三維列向量，前二維分別是特征點的X和Y坐標，第三維設為1，雙豎線符號表示二范數；步驟五、計算模糊幀對應的模糊運動的速度5.1首先確定前后清晰幀中誰最靠近模糊幀，若是前清晰幀，則通過Hi，j，t?1對前清晰幀的每個分塊進行圖像變換和拼接得到圖像L，若是后清晰幀，則通過對后清晰幀的每個分塊進行圖像變換和拼接得到圖像L，然后對圖像L網格化得到所有分塊5.2利用前清晰幀到模糊幀和模糊幀到后清晰幀的單應變換作為參考，通過優(yōu)化以下能量函數計算模糊運動的速度參數wi,jt={wi,j,t-11,wi,j,t-12,...,wi,j,t-1T-1,wi,j0,wi,j,t1,wi,j,t2,...,wi,j,tT-1}:]]>E(wi,jt)=||wi,j0Li,jt+Σl=1T-1(wi,j,t-1lHi,j,t-1l(Li,jt)+wi,j,tlHi,j,tl(Li,jt))-bi,jt||2+λ||a||2;]]>其中是模糊幀上的一個分塊，是通過步驟5.1得到的與該分塊對應的清晰分塊，表示用單應變換對進行圖像變換，同理表示用單應變換對進行圖像變換,λ是預先設定的權值，a是一個大小為2T?2的向量，其中第k個分量為中第k+1個分量與第k個分量的差；是分別對單應變換Hi，j，t?1的逆和Hi，j，t進行T?1次離散采樣得到的變換，即Hi,j,t-1l=T-lTI+lTHi,j,t-1-1,]]>；Hi,j,tl=T-lTI+lTHi,j,t]]>其中T是預設的參數，l是離散采樣的索引數，I是3階單位矩陣；步驟六、計算分塊的模糊核圖像根據預設的模糊核圖像的大小，將中心位置是白色像素的核圖像按照計算得到的運動速度和離散采樣的變換進行圖像變換，得到中心白色像素的運動軌跡，并且將軌跡上的像素灰度設為相應的中的值，從而得到每一個分塊的模糊核圖像步驟七、反卷積計算清晰幀對于每一個分塊，利用反卷積的方法計算下面公式中對應的清晰分塊bi,jt=Li,jt⊗Ki,jt;]]>其中是卷積符號；在得到每個分塊對應的清晰圖像后，將清晰的分塊拼接，最終生成模糊幀對應的清晰幀。...

【技術特征摘要】
1.一種基于分塊模糊核集的非均勻視頻盲去模糊方法，其特征在于，該方法包括如下步驟：步驟一、檢測模糊幀對于視頻的每一幀，檢測該幀是否是模糊幀，若是，執(zhí)行以下步驟；否則，繼續(xù)檢測，直到沒有模糊幀；步驟二、視頻幀網格化將視頻幀劃分為由若干矩形分塊組成的網格，記錄網格中每個矩形角點的坐標為其中，t表示視頻幀索引數，i和j表示矩形角點的索引數，是第t幀視頻中(i，j)角點，是第t幀圖像中(i，j)角點的二維坐標，R表示實數集，將網格中每個矩形表示為步驟三、分別進行模糊幀前后兩個清晰幀與模糊幀之間的特征點匹配對于每一個模糊幀，分別在模糊幀前面和后面尋找和模糊幀最近的清晰幀作為參考，命名為前清晰幀和后清晰幀，分別檢測模糊幀圖像和前、后清晰幀圖像上的特征點，并進行特征點匹配，得到彼此匹配的特征點對的集合{(pt1，ps1)}和{(ps2，pt2)}；其中pt1和pt2分別是前、后清晰幀上的特征點，ps1和ps2分別是模糊幀上與pt1和pt2匹配的特征點；步驟四、分別計算前清晰幀到模糊幀和模糊幀到后清晰幀的對應分塊的單應變換對于每個分塊，根據前清晰幀和模糊幀匹配的特征點，通過優(yōu)化以下能量函數計算每個分塊對應的單應變換Hi，j，t′：根據模糊幀和后清晰幀匹配的特征點，通過優(yōu)化以下能量函數計算每個分塊對應的單應變換Hi，j，t″：其中，t’表示和第t幀最近的前清晰幀的索引，Hi，j，t′是包含6個未知數，最后一行是(0，0，1)的三階矩陣，表示前清晰幀左上角角點索引為(i，j)的分塊到模糊幀對應分塊的單應變換，t”表示和第t幀最近的后清晰幀的索引，Hi，j，t″是包含6個未知數，最后一行是(0，0，1)的三階矩陣，表示模糊幀左上角角點索引為(i，j)的分塊到后清晰幀對應分塊的單應變換，pt1，ps1，pt2，ps2是三維列向量，前二維分別是特征點的X和Y坐標，第三維設為1，雙豎線符號表示二范數；步驟五、計算模糊幀對應的模糊運動的速度步驟5.1首先確定前后清晰幀中誰最靠近模糊幀，若是前清晰幀，則通過Hi，j，t′對前清晰幀的每個分塊進行圖像變換和拼接得到圖像L，若是后清晰幀，則通過對后清晰幀的每個分塊進行圖像變換和拼接得到圖像L，然后對圖像L網格化得到所有分塊步驟5.2利用前清晰幀到模糊幀和模糊幀到后清晰幀的單應變換作為參考，通過優(yōu)化以下...

【專利技術屬性】
技術研發(fā)人員：張磊，周樂，陳曉權，黃華，
申請(專利權)人：北京理工大學，北京理工大學深圳研究院，
類型：發(fā)明
國別省市：北京;11