【技術實現步驟摘要】
本申請涉及視頻處理，尤其涉及一種視頻插幀方法、裝置、電子設備、存儲介質及產品。
技術介紹
1、視頻作為信息傳遞的一種載體，能夠捕捉動態場景，但是當拍攝視頻時設置的幀率較低時，便會影響最終視頻的流暢度。現有技術中，可以通過動作插幀的方式在原始視頻顯示的每兩幀畫面中增加一幀或多幀，用來彌補兩幀視頻幀動作之間的狀態，以縮短每幀之間的顯示時間，從而提高屏幕的刷新頻率和畫面的穩定性，進而能夠使得視頻中的動作過渡更加自然，提高視頻的流暢度。
2、但是，現有的動作插幀技術并不能夠滿足所有的情況，尤其是在動作之間差異較大時，如，運動速度較快、角度變化大或物體行為突變等情況，生成的插入幀的準確度較低，影響插幀效果，從而影響視頻的流暢度。
技術實現思路
1、基于上述需求，本申請提出一種視頻插幀方法、裝置、電子設備、存儲介質及產品，能夠提高插入幀的準確度，保證插幀效果，進而提高視頻流暢度。
2、為實現上述目的，本申請提出如下技術方案：
3、根據本申請實施例的第一方面，提供了一種視頻插幀方法，包括：
4、基于運動模糊預測算法，預測第一圖像幀和第二圖像幀之間的插入幀的運動模糊權重；其中，所述第一圖像幀和第二圖像幀為待插幀視頻中的相鄰圖像幀；
5、基于插幀生成算法，利用所述運動模糊權重、所述第一圖像幀的像素信息和所述第二圖像幀的像素信息，生成所述插入幀的第一像素信息；
6、所述運動模糊預測算法和所述插幀生成算法是以對第一樣本圖像幀和第二樣
7、可選的，基于運動模糊預測算法，預測第一圖像幀和第二圖像幀之間的插入幀的運動模糊權重，包括：
8、基于預先訓練的運動模糊估計網絡，預測第一圖像幀和第二圖像幀之間的插入幀的模糊程度；
9、基于預先構建的映射函數，確定所述插入幀的模糊程度對應的運動模糊權重；
10、所述運動模糊估計網絡和所述映射函數是以對兩幀樣本圖像幀之間的樣本插入幀進行運動模糊權重預測時的模糊估計損失函數最小為目標訓練生成的；所述模糊估計損失函數是利用預測運動模糊權重生成的樣本插入幀的樣本像素信息與真實中間幀的像素信息之間的差異確定的；所述預測運動模糊權重是對兩幀樣本圖像幀之間的樣本插入幀進行運動模糊權重預測生成的，所述真實中間幀是兩幀樣本圖像幀之間的真實圖像幀。
11、可選的，視頻插幀方法，還包括：
12、從所述待插幀視頻中采集至少一幀所述第一圖像幀的前相鄰圖像幀和至少一幀所述第二圖像幀的后相鄰圖像幀，將所述前相鄰圖像幀、第一圖像幀、第二圖像幀和后相鄰圖像幀組合得到圖像幀集合；
13、基于所述圖像幀集合中的各個圖像幀的模糊程度，對所述圖像幀集合中的所有圖像幀進行融合，得到所述插入幀的第二像素信息。
14、可選的，基于所述圖像幀集合中的各個圖像幀的模糊程度，對所述圖像幀集合中的所有圖像幀進行融合，得到所述插入幀的第二像素信息，包括：
15、利用所述圖像幀集合中的各個圖像幀的模糊程度和各個圖像幀對應的時間差，確定各個圖像幀對應的時間權重；其中，圖像幀對應的時間差為所述圖像幀的拍攝時間與所述插入幀的插入時間之間的時間差；
16、基于所述圖像幀集合中的各個圖像幀對應的時間權重，對所述圖像幀集合中的各個圖像幀進行加權融合，得到所述插入幀的第二像素信息。
17、可選的，基于所述圖像幀集合中的各個圖像幀的模糊程度，對所述圖像幀集合中的所有圖像幀進行融合，得到所述插入幀的第二像素信息，包括：
18、基于所述圖像幀集合中的圖像幀的模糊程度，利用二維卷積核模擬所述圖像幀的運動模糊，得到所述圖像幀對應的二維模糊核；
19、對所述圖像幀集合中的圖像幀和所述圖像幀對應的二維模糊核進行卷積操作，得到所述圖像幀的模糊過濾函數；
20、利用所述圖像幀的模糊過濾函數，對所述圖像幀集合中的所有圖像幀進行融合，得到所述插入幀的第二像素信息。
21、可選的，視頻插幀方法，還包括：
22、對所述插入幀的第一像素信息和所述插入幀的第二像素信息進行加權平均處理，得到所述插入幀的目標像素信息。
23、可選的，所述損失函數還包括：模糊程度預測損失函數；
24、所述模糊程度預測損失函數是利用樣本插入幀的預測模糊程度和真實中間幀的模糊程度標簽之間的差異確定的；
25、所述預測模糊程度是基于預先訓練的運動模糊估計網絡，預測出的第一樣本圖像幀和第二樣本圖像幀之間的樣本插入幀的模糊程度，所述真實中間幀的模糊程度標簽是所述第一樣本圖像幀和所述第二樣本圖像幀之間真實的中間幀的模糊程度。
26、可選的，所述損失函數還包括：平滑損失函數，所述平滑損失函數包括：空間平滑損失函數和/或時間平滑損失函數；
27、所述空間平滑損失函數是基于所述樣本插入幀的梯度信息和真實中間幀的梯度信息之間的差異，以及，所述樣本插入幀在水平方向上的梯度信息和所述樣本插入幀在垂直方向上的梯度信息確定的；所述真實中間幀是所述第一樣本圖像幀和所述第二樣本圖像幀之間真實的中間幀；
28、所述時間平滑損失函數是基于所述樣本插入幀、所述第一樣本圖像幀、所述第二樣本圖像幀和所述樣本插入幀在所述第一樣本圖像幀和所述第二樣本圖像幀之間的插入位置參數確定的。
29、根據本申請實施例的第二方面，提供了一種視頻插幀裝置，包括：
30、模糊權重預測模塊，用于基于運動模糊預測算法，預測第一圖像幀和第二圖像幀之間的插入幀的運動模糊權重；其中，所述第一圖像幀和第二圖像幀為待插幀視頻中的相鄰圖像幀；
31、插入幀生成模塊，用于基于插幀生成算法，利用所述運動模糊權重、所述第一圖像幀的像素信息和所述第二圖像幀的像素信息，生成所述插入幀的第一像素信息；
32、所述運動模糊預測算法和所述插幀生成算法是以對第一樣本圖像幀和第二樣本圖像幀進行樣本插入幀生成時的損失函數最小為目標訓練確定的；其中，所述損失函數包括光流估計損失函數，所述光流估計損失函數是利用第一樣本圖像幀的光流信息、基于運動模糊計算方式計算出樣本插入幀的運動模糊權重標簽和基于運動模糊預測算法預測出樣本插入幀的樣本運動模糊權重確定的。
33、根據本申請實施例的第三方面，提供了一種電子設備，包括：存儲器和處理器；
34、所述存儲器與所述處理器連接，用于存儲程序；
35、所述處理器，用于通過運行所述存儲器中的程序，實現上述視頻插幀方法。
36、根據本申請實施例的第四方面，提供了一種存儲介質，所述存儲介質上存儲有計算機程序，所本文檔來自技高網...
【技術保護點】
1.一種視頻插幀方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，基于運動模糊預測算法，預測第一圖像幀和第二圖像幀之間的插入幀的運動模糊權重，包括：
3.根據權利要求1所述的方法，其特征在于，還包括：
4.根據權利要求3所述的方法，其特征在于，基于所述圖像幀集合中的各個圖像幀的模糊程度，對所述圖像幀集合中的所有圖像幀進行融合，得到所述插入幀的第二像素信息，包括：
5.根據權利要求3所述的方法，其特征在于，基于所述圖像幀集合中的各個圖像幀的模糊程度，對所述圖像幀集合中的所有圖像幀進行融合，得到所述插入幀的第二像素信息，包括：
6.根據權利要求3所述的方法，其特征在于，還包括：
7.根據權利要求2所述的方法，其特征在于，所述損失函數還包括：模糊程度預測損失函數；
8.根據權利要求1所述的方法，其特征在于，所述損失函數還包括：平滑損失函數，所述平滑損失函數包括：空間平滑損失函數和/或時間平滑損失函數；
9.一種視頻插幀裝置，其特征在于，包括：
10.一種電子設備
11.一種存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，實現如權利要求1至8中任意一項所述的視頻插幀方法。
12.一種計算機程序產品，其特征在于，包括計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器實現如權利要求1至8中任意一項所述的視頻插幀方法。
...【技術特征摘要】
1.一種視頻插幀方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，基于運動模糊預測算法，預測第一圖像幀和第二圖像幀之間的插入幀的運動模糊權重，包括：
3.根據權利要求1所述的方法，其特征在于，還包括：
4.根據權利要求3所述的方法，其特征在于，基于所述圖像幀集合中的各個圖像幀的模糊程度，對所述圖像幀集合中的所有圖像幀進行融合，得到所述插入幀的第二像素信息，包括：
5.根據權利要求3所述的方法，其特征在于，基于所述圖像幀集合中的各個圖像幀的模糊程度，對所述圖像幀集合中的所有圖像幀進行融合，得到所述插入幀的第二像素信息，包括：
6.根據權利要求3所述的方法，其特征在于，還包括：
7.根據...
【專利技術屬性】
技術研發人員：史明明，雷新宇，莊江騰，疏坤，王眾，周良，何山，殷兵，劉聰，
申請(專利權)人：科大訊飛股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。