【技術實現步驟摘要】
本專利技術涉及視頻處理，特別涉及一種視頻超分方法、裝置、設備及計算機可讀存儲介質。
技術介紹
1、視頻超分的基本原理是利用視頻幀的空間相關性和時間連續性來推測缺失的細節信息。具體而言，首先將視頻幀劃分成若干個空間塊或時間塊，然后通過神經網絡模型對每個塊進行超分辨率重建。最后，將重建的塊組合起來形成高分辨率的視頻。視頻超分技術在提高視頻質量、增強細節信息方面具有廣泛的應用前景。
2、然而，視頻超分應用在設備端，例如前端設備時，其中設置的深度學習超分網絡處理較低圖像質量時，容易受到噪聲和偽影的影響。網絡本身可能會放大這些噪聲或產生額外的偽影，導致輸出的超分結果不理想。其次由于網絡本身缺少可解釋性，經常導致超分后的圖像穩定性較差，引入偽紋理而缺少真實感。
3、綜上，在設備端有限計算資源下，現有技術存在信息丟失泛化能力不足導致無法很好地還原細節等問題。
技術實現思路
1、有鑒于此，本專利技術的目的在于提供一種視頻超分方法、裝置、設備及計算機可讀存儲介質，改善了現有技術存在信息丟失泛化能力不足導致無法很好地還原細節的技術問題。
2、為解決上述技術問題，本專利技術提供了一種視頻超分方法，包括：
3、將待處理視頻輸入至預訓練好的局部精細超分模塊，并通過所述局部精細超分模塊中的特征提取層對所述待處理視頻中的多個圖像塊進行特征提取，得到多個圖像塊對應的第一特征信息；
4、通過所述局部精細超分模塊中特征掩膜層的參數，增強多個圖像塊對應的第一特
5、通過所述局部精細超分模塊中自注意力模塊增強多個圖像塊對應的所述第二特征信息中紋理區域的特征權重，得到多個圖像塊對應的目標特征；
6、經所述局部精細超分模塊中的卷積層對多個圖像塊對應的所述目標特征進行處理，以輸出所述待處理視頻對應的超分視頻。
7、可選的，所述自注意力模塊包括實例歸一化層以及自注意力掩膜層；
8、所述通過所述局部精細超分模塊中自注意力模塊增強多個圖像塊對應的所述第二特征信息中紋理區域的特征權重，得到多個圖像塊對應的目標特征之前，還包括：
9、通過所述實例歸一化層對多個圖像塊對應的第二特征信息分別進行歸一化處理；
10、通過所述自注意力掩膜層的學習處理，對歸一化處理后的所述第二特征信息中的至少部分特征信息進行推理，以對第二特征信息進行自更新。
11、可選的，所述局部精細超分模塊的訓練過程包括：
12、利用低清訓練視頻對初始的局部精細超分模塊進行訓練，并在訓練過程中利用總損失函數對初始的局部精細超分模塊的參數進行優化；
13、利用所述低清訓練視頻對優化后的局部精細超分模塊繼續進行訓練，并在訓練過程中利用優化后的局部精細超分模塊對應的新的總損失函數對優化后的局部精細超分模塊繼續進行優化，直至達到訓練終止條件時輸出預訓練好的局部精細超分模塊；
14、所述總損失函數包括l1損失、感知損失以及目標損失函數，所述目標損失函數包括方差損失函數和穩定性損失函數中的至少一種；
15、所述方差損失函數為超分結果以及該超分結果對應的真值間的方差損失，所述超分結果為所述低清訓練視頻中當前圖像幀經局部精細超分模塊處理后得到；所述穩定性損失函數為所述當前圖像幀的超分結果和相對于所述當前圖像幀的前一圖像幀的超分結果間的穩定性損失。
16、可選的，按照以下公式得到所述總損失函數；
17、ltotal＝w1l1+w2lvar+w3lstab+w4lpercep
18、其中w1、w2、w3和w4對應為所述l1損失、所述方差損失函數lvar、所述穩定性損失函數lstab以及所述感知損失lpercep分別對應的權重，ltotal為總損失函數。
19、可選的，所述在訓練過程中利用優化后的局部精細超分模塊對應的新的總損失函數對優化后的局部精細超分模塊繼續進行優化之前，所述方法還包括：
20、通過中值滑動窗口提取所述超分結果中目標紋理區域的深層語義信息；
21、通過所述深層語義信息計算所述感知損失。
22、可選的，所述經所述局部精細超分模塊中的卷積層對多個圖像塊對應的所述目標特征進行處理，以輸出所述待處理視頻對應的超分視頻，包括：
23、經所述局部精細超分模塊中的卷積層對多個圖像塊對應的所述目標特征進行處理，得到多個超分圖像塊；
24、對多個所述超分圖像塊進行融合，得到所述待處理視頻對應的超分視頻。
25、可選的，所述將待處理視頻輸入至預訓練好的局部精細超分模塊，包括：
26、利用所述待處理視頻的正逆光流信息，對所述待處理視頻的各空間圖像進行幀間對齊操作，得到對齊后的多個圖像塊；
27、將所述對齊后的多個圖像塊輸入至預訓練好的局部精細超分模塊。
28、本申請還提供了一種視頻超分裝置，所述裝置包括：
29、第一特征信息確定模塊，用于將待處理視頻輸入至預訓練好的局部精細超分模塊，并通過所述局部精細超分模塊中的特征提取層對所述待處理視頻中的多個圖像塊進行特征提取，得到多個圖像塊對應的第一特征信息；
30、第二特征信息確定模塊，用于通過所述局部精細超分模塊中特征掩膜層的參數，增強多個圖像塊對應的第一特征信息中的有效特征信息，得到多個圖像塊對應的第二特征信息；
31、目標特征確定模塊，用于通過所述局部精細超分模塊中自注意力模塊增強多個圖像塊對應的所述第二特征信息中紋理區域的特征權重，得到多個圖像塊對應的目標特征；
32、卷積處理模塊，用于經所述局部精細超分模塊中的卷積層對多個圖像塊對應的所述目標特征進行處理，以輸出所述待處理視頻對應的超分視頻。
33、本申請還提供了一種前端設備，包括：
34、存儲器，用于存儲計算機程序；
35、處理器，用于執行所述計算機程序實現如上述的視頻超分方法的步驟。
36、本申請還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機程序，所述計算機程序被處理器執行時實現如上述的視頻超分方法的步驟。
37、可見，本專利技術將待處理視頻輸入至預訓練好的局部精細超分模塊，并通過局部精細超分模塊中的特征提取層對待處理視頻中的多個圖像塊進行特征提取，得到多個圖像塊對應的第一特征信息；通過預訓練好的局部精細超分模塊中特征掩膜層的參數，增強多個圖像塊對應的第一特征信息中的有效特征信息，得到多個圖像塊對應的第二特征信息；通過局部精細超分模塊中自注意力模塊增強多個圖像塊對應的第二特征信息中紋理區域的特征權重，得到多個圖像塊對應的目標特征；經局部精細超分模塊中的卷積層對多個圖像塊對應的目標特征進行處理，以輸出待處理視頻對應的超分視頻。
38、本專利技術中的預訓練好的局部精細超分模塊中的特征掩膜層，利用預訓練階段進行本文檔來自技高網...
【技術保護點】
1.一種視頻超分方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述自注意力模塊包括實例歸一化層以及自注意力掩膜層；
3.根據權利要求1所述的方法，其特征在于，所述局部精細超分模塊的訓練過程包括：
4.根據權利要求3所述的方法，其特征在于，按照以下公式得到所述總損失函數；
5.根據權利要求3所述的方法，其特征在于，所述在訓練過程中利用優化后的局部精細超分模塊對應的新的總損失函數對優化后的局部精細超分模塊繼續進行優化之前，所述方法還包括：
6.根據權利要求1所述的方法，其特征在于，所述經所述局部精細超分模塊中的卷積層對多個圖像塊對應的所述目標特征進行處理，以輸出所述待處理視頻對應的超分視頻，包括：
7.根據權利要求1至6任一項所述的方法，其特征在于，所述將待處理視頻輸入至預訓練好的局部精細超分模塊，包括：
8.一種視頻超分裝置，其特征在于，所述裝置包括：
9.一種前端設備，其特征在于，包括：
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀
...【技術特征摘要】
1.一種視頻超分方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述自注意力模塊包括實例歸一化層以及自注意力掩膜層；
3.根據權利要求1所述的方法，其特征在于，所述局部精細超分模塊的訓練過程包括：
4.根據權利要求3所述的方法，其特征在于，按照以下公式得到所述總損失函數；
5.根據權利要求3所述的方法，其特征在于，所述在訓練過程中利用優化后的局部精細超分模塊對應的新的總損失函數對優化后的局部精細超分模塊繼續進行優化之前，所述方法還包括：
6.根據權利要求1所述...
【專利技術屬性】
技術研發人員：高歌，
申請(專利權)人：湖南國科微電子股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。