【技術實現步驟摘要】
本專利技術屬于視頻超分辨率，尤其設計一種基于條狀和全局時空衰減注意力的視頻超分方法和系統。
技術介紹
1、視頻作為一種常見的多媒體形式，是一系列連續圖像組成的序列。超分辨率任務旨在將輸入的低分辨率圖片或視頻重建為高分辨率輸出。該任務是一個計算機領域經典且富有挑戰性的任務，同時也具有大量的實用場景，例如衛星圖像遙感、數字高清、顯微成像等等。
2、超分辨率的輸入形式大致可以分為圖像和視頻兩種：圖像超分旨在將單張低分辨率圖片重建為高分辨率結果；視頻超分辨率則通過單次輸入多幀連續圖像并利用幀間關系還原出高分率圖像。傳統的視頻超分辨率方法經歷了基于插值、基于運動估計等方法的演化，但這些方法很難有效地估計視頻中復雜的運動過程。隨著深度學習在計算各領域的廣泛應用，視頻超分辨率領域也對基于深度學習的方法展開了廣泛研究，目前基于深度學習的視頻超分辨率方法主要包括三種結構：基于卷積神經網絡(cnn)的方法，該方法利用滑動窗口的方式提取相鄰視頻幀間的有效細節特征進行計算；基于循環神經網絡(rnn)的方法，該方法利用隱藏態關注以往視頻幀中的歷史信息和未來視頻幀中的未來信息進行計算；基于transformer的方法，該方法利用自注意力機制提取長距離和短距離特征進行計算。
3、但是現有方法計算復雜度高、顯存占用高。限制了模型在設備上的部署；且對于視頻超分而言，模型還需要處理時間維度的信息，增加了計算復雜度，限制了模型在長幀上的訓練。其次，現有方法對視頻中不同空間位置和不同時間位置的先驗細節信息關注不足，對視頻幀中的關鍵有效信息缺乏合
技術實現思路
1、為了解決上述技術問題，本專利技術公開了一種基于條狀和全局時空衰減注意力的視頻超分方法和系統，提出了進行條狀注意力計算，將神經網絡計算復雜度從平方級降至線性級，使得模型容易被部署；運用衰減注意力矩陣，較好地處理視頻中不同空間位置和不同時間位置的先驗細節信息，幫助網絡在重建高分辨率視頻時更好地考慮重要信息，使超分辨率之后的視頻有更低的計算復雜度及更優秀的視覺效果。
2、本專利技術解決其技術問題所采用的技術方案如下：
3、第一方面，本專利技術提出了一種基于條狀和全局時空衰減注意力的視頻超分方法，包括以下步驟：
4、步驟(1).獲取低分辨率視頻，對每個視頻幀進行圖像增強；
5、步驟(2).提取圖像增強后的每個視頻幀的原始空間特征并對原始空間特征進行插值，得到每個視頻幀的上采樣空間特征；
6、步驟(3).對步驟(2)得到的上采樣空間特征，分別計算每個視頻幀的空間條狀注意力和幀與幀之間的時間條狀注意力；
7、步驟(4).對步驟(3)得到的空間條狀注意力和時間條狀注意力分別使用深度可分離卷積與殘差結構進行處理，再融合兩者結果，得到每個視頻幀的融合特征；
8、步驟(5).對步驟(2)得到的上采樣空間特征，分別得到每個視頻幀的上采樣空間特征的三維曼哈頓衰減矩陣，再進行時空注意力計算得到全局時空衰減注意力；
9、步驟(6).將步驟(2)得到的原始空間特征、步驟(4)得到的融合特征和步驟(5)得到的全局時空衰減注意力進行融合重建，得到每個視頻幀的高分辨率重建結果；遍歷全部視頻幀，得到超分后的高分辨率視頻。
10、所述的步驟(1)-(2)中，網絡首先對低分辨率視頻序列進行旋轉、堆成等操作進行圖像增強，之后提取視頻序列每幀圖像的空間特征。提取到的淺層特征較完整得保留了視頻幀的原始信息，在后續的視頻幀處理過程中作為引導，幫助網絡重建出高分辨率視頻幀。對這些淺層特征進行空間和時間維度的條狀注意力計算和全局時空衰減注意力計算，以進行特征重建。
11、所述的步驟(3)-(4)中，分別計算低分辨率視頻序列的空間條狀注意力和時間條狀注意力，其中，計算空間條狀注意力時將視頻序列在通道維度上分為橫向特征張量和縱向特征張量；計算時間條狀注意力時同理。運用條狀注意力的優點是利用空間和時間條狀注意力分別提取空間和時間信息，相比于全局自注意力機制更能高效地捕捉視頻中的長距離依賴；條狀注意力機制降低了內存消耗，其空間和時間內存復雜度分別為：o((h2+w2)t)和o((h+w)t2)，顯著低于原始transformer的時空復雜度o((hwt)2)。
12、所述步驟(5)中，計算每個低分辨率視頻序列幀的時間、高度和寬度三個維度的曼哈頓衰減矩陣，再進行時空注意力計算得到全局時空衰減注意力。運用衰減注意力矩陣的優勢在于其能較好地處理視頻中不同空間位置和不同時間位置的先驗細節信息，幫助網絡在重建高分辨率視頻時更好地考慮重要信息。
13、所述步驟(6)中，將步驟(1)-(2)得到的空間特征、步驟(3)-(4)得到的空間、時間條狀融合特征和步驟(5)得到的全局時空衰減注意力進行融合，特征重建及上采樣，得到超分的高分辨率結果。
14、進一步地，所述的步驟(1)中，圖像增強包括水平90°翻轉、垂直90°翻轉、鏡像對稱。
15、進一步地，所述的步驟(2)中，將步驟(1)中圖像增強后的低分辨率視頻的每個視頻幀的通道維度從3擴展為64且分辨率保持不變，得到每個視頻幀的原始空間特征。
16、進一步地，所述的步驟(3)包括：
17、步驟(3.1).將上采樣空間特征進行層歸一化和特征分割，得到兩類特征張量，分別為空間橫向特征張量和空間縱向特征張量；
18、步驟(3.2).對于步驟(3.1)得到的空間橫向特征張量和空間縱向特征張量分別映射為查詢、鍵和值；
19、步驟(3.3).對于步驟(3.2)得到的查詢、鍵和值，分別計算空間橫向注意力輸出和空間縱向注意力輸出；所述的空間橫向注意力輸出和空間縱向注意力輸出作為空間條狀注意力結果；
20、步驟(3.4).對于每個視頻幀的上采樣空間特征，考慮其前后各n幀的特征表達，得到聯合上采樣空間特征xt′表示第t個視頻幀的上采樣空間特征；
21、步驟(3.5).將步驟(3.4)得到的聯合上采樣空間特征進行層歸一化和特征分割，得到兩類特征張量，分別為時間橫向特征張量和時間縱向特征張量；
22、步驟(3.6).將步驟(3.5)得到的時間橫向特征張量和時間縱向特征張量分別分割成若干時間維度不重疊且空間位置相同的橫向條帶和若干時間維度不重疊且空間位置相同的縱向條帶；
23、步驟(3.7).對于步驟(3.6)得到的橫向條帶和縱向條帶，分別將其映射為查詢、鍵和值；
24、步驟(3.8).對于步驟(3.7)得到的橫向條帶和縱向條帶的查詢、鍵和值，分別計算其時間橫向注意力輸出和時間縱向注意力輸出；所述的時間橫向注意力輸出和時間縱向注意力輸出作為時間條狀注意力結果。
25、進一步地，所述的步驟(4)包括：
26、步驟(4.1).將空間條狀注意力中的空間橫向注意力輸出和空間縱向本文檔來自技高網...
【技術保護點】
1.一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，所述的步驟(1)中，圖像增強包括水平90°翻轉、垂直90°翻轉、鏡像對稱。
3.根據權利要求1所述的一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，所述的步驟(2)中，將步驟(1)中圖像增強后的低分辨率視頻的每個視頻幀的通道維度從3擴展為64且分辨率保持不變，得到每個視頻幀的原始空間特征。
4.根據權利要求1所述的一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，所述的步驟(3)包括：
5.根據權利要求1所述的一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，所述的步驟(4)包括：
6.根據權利要求1所述的一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，所述的步驟(5)包括：
7.根據權利要求1所述的一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，所述的步驟(6)包括：
8.一種基
...【技術特征摘要】
1.一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，所述的步驟(1)中，圖像增強包括水平90°翻轉、垂直90°翻轉、鏡像對稱。
3.根據權利要求1所述的一種基于條狀和全局時空衰減注意力的視頻超分方法，其特征在于，所述的步驟(2)中，將步驟(1)中圖像增強后的低分辨率視頻的每個視頻幀的通道維度從3擴展為64且分辨率保持不變，得到每個視頻幀的原始空間特征。
4.根據權利要求1所述的一種基于條狀和全局時空衰...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。