System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本專利技術屬于圖像去噪領域,具體涉及一種低光照環境下的視頻優化方法、裝置、設備及介質。
技術介紹
1、盡管近年來攝影傳感器有了顯著的提升,視頻處理仍然需要著重處理降噪,特別是在面對具有挑戰性的拍攝條件時,比如低光照或傳感器尺寸偏小等情況。
2、視頻降噪模型的選擇涵蓋了非局部相似性模型法、盲去噪法以及深度學習法。非局部相似性模型法在應對實際環境中的噪聲分布時顯得適應性不足,因為噪聲并非總是符合非局部相似性規律。盲去噪法則常常因為忽略時域信息,導致信息利用率不高,競爭力相對較弱,特別是對于方差較大的噪聲,其效果難以令人滿意。相較之下,深度學習法相對較為出色,但該類模型更適用于噪聲分布已確定的情形,如高斯分布等。而對于時域變化明顯的噪聲,深度神經網絡需要針對每一幀噪聲數據進行重新擬合,操作不僅耗時耗力,并且模型泛化性較差。
3、因此,在現有技術中,對于低光照環境下的視頻去噪優化仍存在較高的技術挑戰,尤其是現有技術中對不同類型視頻去噪優化的方法泛用性較差,需要開發更加魯棒的噪聲處理算法以及高效的模型壓縮和維護策略。
技術實現思路
1、為了解決上述現有技術中對不同類型視頻優化的方法泛用性較差的問題,本專利技術提供了一種低光照環境下的視頻優化方法、裝置、設備及介質。
2、為了實現上述目的,本專利技術提供如下技術方案:
3、本專利技術提供了一種低光照環境下的視頻優化方法,所述方法包括:獲取低光照環境下目標視頻的運動矢量和連續幀;將運動矢量轉換為光流
4、可選地,所述方法還包括對迭代優化后的目標視頻進行濾波,所述濾波過程包括:將目標視頻的每一幀劃分成不重疊的圖像塊,確定同一位置不同時間點圖像塊差值圖的方差均值,進而通過方差均值的分布情況確定噪聲閾值;根據所述噪聲閾值劃分運動矢量的類型,進而根據不同的類型對運動矢量進行重構,得到軌跡矢量;根據軌跡矢量對目標視頻進行濾波。
5、可選地,獲取低光照環境下目標視頻的運動矢量和連續幀包括:通過運動矢量初始化網絡提取目標視頻的初始運動矢量;根據最小化鄰域像素范數修正初始運動矢量的誤差,得到目標視頻的運動矢量;通過對目標視頻進行解碼,得到目標視頻的連續幀。
6、可選地,所述根據最小化鄰域像素范數修正初始運動矢量的誤差包括:通過最小化中心圖像塊與8個相鄰圖像塊之間的l2范數來校正運動矢量場;所述l2范數包括幅值和相位,即
7、
8、其中,a(c)和p(c)分別代表當前圖像塊c的幅值和相位,a(n)和p(n)表示8個相鄰圖像塊的幅值和相位,(x,y)是空域坐標,t是時域坐標,i是鄰域相鄰圖像塊編號,ω和λ是加權系數,分別是中心圖像塊的幅值和相位損失函數。
9、可選地,所述將運動矢量轉換為光流圖,根據所述連續幀中的圖像幀上下文信息將光流圖進一步平滑,得到粗略光流圖包括:使用相同的運動偏移填充每個塊中的像素,將運動矢量轉換為密集的光流圖;將所述連續幀中相鄰兩幀的前一幀輸入兩個不同的編碼器以獲得查詢矩陣q圖和鍵矩陣k圖,而光流圖則直接作為值矩陣v圖,表示為
10、q=ea(i1),k=eb(i1),v=fmv
11、其中,ea和eb是兩個編碼器塊,每個塊由六個卷積層和相應的激活層組成;使用可信度估計塊來估計每個像素的運動先驗的可信度,通過以下公式表示:
12、cmv=ceb(i1,mmv)
13、其中mmv表示存在運動矢量的區域,i1是所述連續幀中相鄰兩幀的前一幀,cmv是一個范圍在(0,1)之間的權重圖,ceb是一個卷積神經網絡(cnn)塊;計算局部窗口中心像素與其他像素之間的相關性si,j:
14、si,j=softmax(qi,j·ki+k,j+l)
15、其中k,l∈[-d,d],k和l是局部窗口的偏移量,表示相對于中心像素的位置,d表示窗口的半徑,(i,j)是局部窗口中心像素的位置,點·表示點積運算,因此計算得到的相關性權重si,j是一個形狀為(2d+1)2的張量;將像素的可信度與相關性結合起來得到最終的權重表示為:
16、
17、是從cmv中心像素(i,j)周圍提取的一個(2d+1)×(2d+1)窗口,⊙標記表示逐元素乘法運算符;根據權重對局部窗口內的運動進行聚合,得到粗略光流圖fi,j:
18、
19、vi+k,j+l表示初始光流圖fmv在(i+k,j+l)處的運動矢量值。
20、可選地,所述確定所述連續幀中相鄰兩幀的相關關系包括:獲取兩個連續幀為i1和i2,使用卷積神經網絡分別從兩個圖像幀中提取特征圖,記作l1和l2;確定l1和l2的相關性矩陣c,具體公式如下:
21、c(i,j)=l1(i)·l2(j)
22、其中,c(i,j)為c的元素,表示特征l1中位置i和特征l2中位置j之間的相似性,·表示點積運算。
23、可選地,所述將所述粗略光流圖作為初始值,根據所述相關關系進行迭代優化包括:
24、在每次迭代中,光流估計值可以通過下面公式進行更新:
25、δfmv=u(fmv(k),c)
26、fmv(k+1)=fmv(k)+δfmv
27、其中,fmv(k)表示第k次迭代的光流估計值,δfmv表示由當前光流估計值fmv(k)和相關性矩陣c結合起來得到的本次迭代的光流更新量,u(·)一個卷積神經網絡(cnn)塊;在達到預設迭代次數,或者光流更新量小于或等于預設更新值的情況下,停止迭代,得到高精度的光流圖fmv(*)。
28、本專利技術還提供了一種低光照環境下的視頻優化裝置,其特征在于,所述裝置包括:
29、獲取模塊,用于獲取低光照環境下目標視頻的運動矢量和連續幀;
30、優化模塊,用于將運動矢量轉換為光流圖,根據所述連續幀中的圖像幀上下文信息將光流圖進一步平滑化,得到粗略光流圖;確定所述連續幀中相鄰兩個圖像幀的相關關系;根據所述相關關系對粗略光流圖進行迭代優化。
31、本專利技術還提供了一種計算機可讀存儲介質,所述存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現上述低光照環境下的視頻優化方法的步驟。
32、本專利技術還提供了一種計算機設備,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執行所述程序時實現上述低光照環境下的視頻優化方法的步驟。
33、本專利技術提供的低光照環境下的視頻優化方法具有以下有益效果:
34、通過將運動矢量轉換為光流圖,并通過圖像連續幀的上下文信息將光流圖轉化為更為平滑的粗略光流圖,進而根據該相關關系將粗略光流圖作為初始值進行迭代,這樣針對不同的視頻進行相應的光流處理,具有較高的泛用性,而本文檔來自技高網...
【技術保護點】
1.一種低光照環境下的視頻優化方法,其特征在于,所述方法包括:
2.根據權利要求1所述的一種低光照環境下的視頻優化方法,其特征在于,所述方法還包括對迭代優化后的目標視頻進行濾波,所述濾波過程包括:
3.根據權利要求1所述的一種低光照環境下的視頻優化方法,其特征在于,獲取低光照環境下目標視頻的運動矢量和連續幀包括:
4.根據權利要求3所述的一種低光照環境下的視頻優化方法,其特征在于,所述根據最小化鄰域像素范數修正初始運動矢量的誤差包括:
5.根據權利要求1所述的一種低光照環境下的視頻優化方法,其特征在于,所述將運動矢量轉換為光流圖,根據所述連續幀中的圖像幀上下文信息將光流圖進一步平滑,得到粗略光流圖包括:
6.根據權利要求1所述的一種低光照環境下的視頻優化方法,其特征在于,所述確定所述連續幀中相鄰兩幀的相關關系包括:
7.根據權利要求1所述的一種低光照環境下的視頻優化方法,其特征在于,所述將所述粗略光流圖作為初始值,根據所述相關關系進行迭代優化包括:
8.一種低光照環境下的視頻優化裝置,其特征在于,
9.一種計算機可讀存儲介質,其特征在于,所述存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現上述權利要求1~7任一項所述低光照環境下的視頻優化方法的步驟。
10.一種計算機設備,其特征在于,包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序,所述處理器執行所述程序時實現上述權利要求1~7任一項所述低光照環境下的視頻優化方法的步驟。
...【技術特征摘要】
1.一種低光照環境下的視頻優化方法,其特征在于,所述方法包括:
2.根據權利要求1所述的一種低光照環境下的視頻優化方法,其特征在于,所述方法還包括對迭代優化后的目標視頻進行濾波,所述濾波過程包括:
3.根據權利要求1所述的一種低光照環境下的視頻優化方法,其特征在于,獲取低光照環境下目標視頻的運動矢量和連續幀包括:
4.根據權利要求3所述的一種低光照環境下的視頻優化方法,其特征在于,所述根據最小化鄰域像素范數修正初始運動矢量的誤差包括:
5.根據權利要求1所述的一種低光照環境下的視頻優化方法,其特征在于,所述將運動矢量轉換為光流圖,根據所述連續幀中的圖像幀上下文信息將光流圖進一步平滑,得到粗略光流圖包括:
6.根據權利要求1所述的...
【專利技術屬性】
技術研發人員:江鶴,乙夫迪,顧豪,鄭州,黃欣,孫蟒,鄭平,程德強,
申請(專利權)人:中國礦業大學,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。