【技術實現步驟摘要】
本申請涉及計算機，尤其涉及一種車地協同視頻壓縮還原傳輸方法和系統。
技術介紹
1、車地協同視頻傳輸是指將高速行駛車輛中的車載攝像頭實時捕獲的車內外高清視頻傳輸至地面接收站。由于所需要傳輸的視頻數據量巨大，帶寬資源有限，并且車輛高速移動會導致網絡狀態有較大的波動，使得視頻無法在車地之間進行高效和穩定的傳輸。
2、因此，如何在車地之間進行高效和穩定的視頻傳輸成為業界亟待解決的技術問題。
技術實現思路
1、本申請提供一種車地協同視頻壓縮還原傳輸方法和系統，用于解決如何在車地之間進行高效和穩定的視頻傳輸的技術問題。
2、本申請提供一種車地協同視頻壓縮還原傳輸方法，包括：
3、對車輛采集的待傳輸視頻中的各個視頻幀進行特征提取，基于提取到的特征進行聚類，確定所述待傳輸視頻中的關鍵幀；
4、基于車地之間的信道狀態參數確定所述待傳輸視頻中關鍵幀與普通幀的傳輸比例，基于所述傳輸比例確定所述待傳輸視頻中的傳輸幀；
5、基于相鄰傳輸幀之間的光流和可見性圖，生成所述相鄰傳輸幀之間的中間幀；
6、基于所述傳輸幀和所述中間幀生成圖像序列，對所述圖像序列進行超分辨率還原，得到所述待傳輸視頻在地面站對應的還原視頻。
7、在一些實施例中，所述對車輛采集的待傳輸視頻中的各個視頻幀進行特征提取，基于提取到的特征進行聚類，確定所述待傳輸視頻中的關鍵幀，包括：
8、基于特征提取網絡對所述待傳輸視頻中的各個視頻幀進行特征提取，得到
9、對各個視頻幀對應的圖像特征進行聚類，得到多個類；
10、將各個類中最接近聚類中心的圖像特征對應的視頻幀作為關鍵幀；
11、其中，所述特征提取網絡是基于樣本待傳輸視頻和樣本待傳輸視頻對應的還原視頻進行訓練得到的；所述特征提取網絡至少包括一個注意力特征提取層。
12、在一些實施例中，所述基于車地之間的信道狀態參數確定所述待傳輸視頻中關鍵幀與普通幀的傳輸比例，基于所述傳輸比例確定所述待傳輸視頻中的傳輸幀，包括：
13、獲取車地之間的多個信道狀態參數的實時值；
14、基于各個信道狀態參數對應的計算權重，以及各個信道狀態參數的實時值，確定車地之間的信道狀態估計值；
15、基于所述信道狀態估計值，確定所述關鍵幀的傳輸比例和所述普通幀的傳輸比例；
16、其中，所述關鍵幀的傳輸比例與所述信道狀態估計值成反比；所述普通幀的傳輸比例與所述信道狀態估計值成正比。
17、在一些實施例中，所述基于相鄰傳輸幀之間的光流和可見性圖，生成所述相鄰傳輸幀之間的中間幀，包括：
18、基于光流計算網絡對相鄰的第一傳輸幀和第二傳輸幀進行光流計算，得到所述第一傳輸幀和所述第二傳輸幀之間的雙向光流；
19、基于所述雙向光流，確定所述中間幀到所述第一傳輸幀的第一光流和所述中間幀到所述第二傳輸幀的第二光流；
20、基于光流插值網絡對所述第一光流和所述第二光流進行處理，確定所述中間幀相對于所述第一傳輸幀的第一可見性圖和所述中間幀相對于所述第二傳輸幀的第二可見性圖；
21、基于所述第一可見性圖和所述第二可見性圖，在所述第一傳輸幀和所述第二傳輸幀之間進行插值，生成所述中間幀。
22、在一些實施例中，所述基于所述傳輸幀和所述中間幀生成圖像序列，對所述圖像序列進行超分辨率還原，得到所述待傳輸視頻在地面站對應的還原視頻，包括：
23、基于所述傳輸幀和所述中間幀生成初始圖像序列；
24、基于圖像預處理網絡對所述初始圖像序列進行預處理，得到所述圖像序列；
25、基于超分辨率還原網絡對所述圖像序列進行處理，得到所述圖像序列中各個幀對應的還原幀；
26、基于各個幀對應的還原幀，生成所述待傳輸視頻在地面站對應的還原視頻；
27、其中，所述圖像預處理網絡包括多個殘差塊；所述預處理包括降噪和去偽影。
28、在一些實施例中，所述基于圖像預處理網絡對所述初始圖像序列進行預處理，得到所述圖像序列，包括：
29、確定所述初始圖像序列中的當前幀；
30、基于所述圖像預處理網絡對所述當前幀進行預處理，得到所述當前幀的當前迭代處理結果；
31、在所述當前迭代處理結果與所述當前幀的上一迭代處理結果的差值大于預設差值的情況下，基于所述圖像預處理網絡繼續對所述當前幀的當前迭代處理結果進行預處理；
32、在所述當前迭代處理結果與所述當前幀的上一迭代處理結果的差值小于預設差值的情況下，將所述當前迭代處理結果作為所述當前幀的預處理結果，并將所述初始圖像序列中的下一幀確定為當前幀；
33、基于所述初始圖像序列中各個幀的預處理結果，確定所述圖像序列。
34、在一些實施例中，所述方法還包括：
35、在所述超分辨率還原網絡的訓練過程中，對訓練樣本進行隨機退化處理。
36、本申請提供一種車地協同視頻壓縮還原傳輸系統，包括：
37、關鍵幀提取模塊，用于對車輛采集的待傳輸視頻中的各個視頻幀進行特征提取，基于提取到的特征進行聚類，確定所述待傳輸視頻中的關鍵幀；
38、視頻傳輸模塊，用于基于車地之間的信道狀態參數確定所述待傳輸視頻中關鍵幀與普通幀的傳輸比例，基于所述傳輸比例確定所述待傳輸視頻中的傳輸幀；
39、中間幀插入模塊，用于基于相鄰傳輸幀之間的光流和可見性圖，生成所述相鄰傳輸幀之間的中間幀；
40、視頻還原模塊，用于基于所述傳輸幀和所述中間幀生成圖像序列，對所述圖像序列進行超分辨率還原，得到所述待傳輸視頻在地面站對應的還原視頻。
41、本申請提供一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現所述的車地協同視頻壓縮還原傳輸方法。
42、本申請提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現所述的車地協同視頻壓縮還原傳輸方法。
43、本申請提供的車地協同視頻壓縮還原傳輸方法和系統，對車輛采集的待傳輸視頻中的各個視頻幀進行特征提取，基于提取到的特征進行聚類，確定待傳輸視頻中的關鍵幀；基于車地之間的信道狀態參數確定待傳輸視頻中關鍵幀與普通幀的傳輸比例，基于傳輸比例確定待傳輸視頻中的傳輸幀；基于相鄰傳輸幀之間的光流和可見性圖，生成相鄰傳輸幀之間的中間幀；基于傳輸幀和中間幀生成圖像序列，對圖像序列進行超分辨率還原，得到待傳輸視頻在地面站對應的還原視頻；由于對待傳輸視頻中的各個視頻幀進行了特征提取和聚類，能夠在復雜視頻內容中準確提取關鍵幀，減少傳輸數據量，提高了視頻的傳輸效率和質量；由于根據車地之間的信道狀態參數實時地確定關鍵幀與普通幀的傳輸比例，使得視頻的傳輸與網絡通信質量相適應，提高了視頻在各種本文檔來自技高網...
【技術保護點】
1.一種車地協同視頻壓縮還原傳輸方法，其特征在于，包括：
2.根據權利要求1所述的車地協同視頻壓縮還原傳輸方法，其特征在于，所述對車輛采集的待傳輸視頻中的各個視頻幀進行特征提取，基于提取到的特征進行聚類，確定所述待傳輸視頻中的關鍵幀，包括：
3.根據權利要求1所述的車地協同視頻壓縮還原傳輸方法，其特征在于，所述基于車地之間的信道狀態參數確定所述待傳輸視頻中關鍵幀與普通幀的傳輸比例，基于所述傳輸比例確定所述待傳輸視頻中的傳輸幀，包括：
4.根據權利要求1所述的車地協同視頻壓縮還原傳輸方法，其特征在于，所述基于相鄰傳輸幀之間的光流和可見性圖，生成所述相鄰傳輸幀之間的中間幀，包括：
5.根據權利要求1所述的車地協同視頻壓縮還原傳輸方法，其特征在于，所述基于所述傳輸幀和所述中間幀生成圖像序列，對所述圖像序列進行超分辨率還原，得到所述待傳輸視頻在地面站對應的還原視頻，包括：
6.根據權利要求5所述的車地協同視頻壓縮還原傳輸方法，其特征在于，所述基于圖像預處理網絡對所述初始圖像序列進行預處理，得到所述圖像序列，包括：
7
8.一種車地協同視頻壓縮還原傳輸系統，其特征在于，包括：
9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7任一項所述的車地協同視頻壓縮還原傳輸方法。
10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7任一項所述的車地協同視頻壓縮還原傳輸方法。
...【技術特征摘要】
1.一種車地協同視頻壓縮還原傳輸方法，其特征在于，包括：
2.根據權利要求1所述的車地協同視頻壓縮還原傳輸方法，其特征在于，所述對車輛采集的待傳輸視頻中的各個視頻幀進行特征提取，基于提取到的特征進行聚類，確定所述待傳輸視頻中的關鍵幀，包括：
3.根據權利要求1所述的車地協同視頻壓縮還原傳輸方法，其特征在于，所述基于車地之間的信道狀態參數確定所述待傳輸視頻中關鍵幀與普通幀的傳輸比例，基于所述傳輸比例確定所述待傳輸視頻中的傳輸幀，包括：
4.根據權利要求1所述的車地協同視頻壓縮還原傳輸方法，其特征在于，所述基于相鄰傳輸幀之間的光流和可見性圖，生成所述相鄰傳輸幀之間的中間幀，包括：
5.根據權利要求1所述的車地協同視頻壓縮還原傳輸方法，其特征在于，所述基于所述傳輸幀和所述中間幀生成圖像序列，對所述圖像序列進行超...
【專利技術屬性】
技術研發人員：沈曉宇，咸曉雨，樊玉明，劉琦，李思維，張文博，
申請(專利權)人：中車工業研究院有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。