【技術實現步驟摘要】
本專利技術涉及人工智能，尤其涉及一種基于自監督學習的光場圖像實時超分辨率重建方法及裝置。
技術介紹
1、近年來，三維顯示的質量隨著三維光場顯示技術的進步在逐步提高。三維光場顯示是目前能夠實現大尺寸動態真三維顯示的一種主流實現方式，它可以向觀看者提供接近真實場景的立體視覺體驗，符合人們觀察客觀世界的真實感受，充分滿足人類視覺系統的生理和心理深度線索暗示，能夠提供更完備的生理和心理的三維感知信息，在醫療、國防、通信、展覽展示等領域已實現示范性應用。其中提升人眼觀看效果的重要因素之一是切換視角時的觀看平滑度。這取決于角分辨率的大小，也就是視點數，理論上是在一定的觀看視角內，視點數越多越平滑。
2、但當前以相機陣列捕獲的密集視點受到硬件設備的運輸、成本等限制，并不能方便快捷的獲取。同時以光場相機采集的光場圖像質量會較大受損，且總基線太短，導致觀看視角太小。
3、因此，通過輸入稀疏視點進行角超分辨率重建，也就是生成密集虛擬視點是有效提高一定觀看視角內視點數量的方法之一。同時人們對時延性的要求提高，顯示內容高質量實時展示更能滿足當前人們對技術發展的心里預期。
技術實現思路
1、本專利技術提供一種基于自監督學習的光場圖像實時超分辨率重建方法及裝置，用以解決現有技術中角超分辨率重建的時延性較高的缺陷，實現顯示內容高質量實時展示。
2、本專利技術提供一種基于自監督學習的光場圖像實時超分辨率重建方法，包括如下步驟：
3、獲取高分辨率光場圖像，對所述高分辨
4、將所述高分辨率光場圖像的中心視點圖像和所述宏圖像輸入至角超分辨率重建模型中，得到所述角超分辨率重建模型輸出的高分辨率虛擬視點圖像；
5、所述角超分辨率重建模型包括超分辨率紋理提取器層、雙向視差估計網絡層、融合上采樣層和反向映射層；
6、所述雙向視差估計網絡層用于將所述宏圖像輸入至雙向視差估計網絡中，得到所述雙向視差估計網絡輸出的雙向低分辨率視差圖；
7、所述超分辨率紋理提取器層用于將連續的所述高分辨率光場圖像的中心視點圖像輸入至超分辨率紋理提取器，得到所述超分辨率紋理提取器輸出的含有高分辨率圖像紋理信息的特征圖；
8、所述融合上采樣層用于對所述特征圖和所述雙向低分辨率視差圖進行融合上采樣，得到雙向高分辨率視差圖；
9、所述反向映射層用于將所述高分辨率光場圖像通過所述雙向高分辨率視差圖反向映射到相應視點位置，得到所述高分辨率虛擬視點圖像。
10、根據本專利技術提供的一種基于自監督學習的光場圖像實時超分辨率重建方法，所述角超分辨率重建模型的訓練步驟，包括：
11、獲取樣本高分辨率光場圖像，對所述樣本高分辨率光場圖像進行下采樣，得到樣本低分辨率光場圖像，并將所述樣本低分辨率光場圖像轉化為樣本宏圖像，并確定初始角超分辨率重建模型；
12、將所述樣本高分辨率光場圖像的中心視點圖像和所述樣本宏圖像輸入至初始角超分辨率重建模型中，得到所述初始角超分辨率重建模型輸出的預測虛擬視點圖像；
13、基于所述樣本高分辨率光場圖像與所述預測虛擬視點圖像之間的差異，確定目標損失，并基于所述目標損失，對所述初始角超分辨率重建模型進行參數迭代，得到所述角超分辨率重建模型。
14、根據本專利技術提供的一種基于自監督學習的光場圖像實時超分辨率重建方法，所述預測虛擬視點圖像包括多張第一預測虛擬視點圖像和多張第二預測虛擬視點圖像；
15、所述多張第一預測虛擬視點圖像和所述多張第二預測虛擬視點圖像均基于預測雙向高分辨率視差圖和所述樣本高分辨率光場圖像通過反向映射逐張映射得到；所述第一預測虛擬視點圖像是正向的預測虛擬視點圖像，所述第二預測虛擬視點圖像是反向的預測虛擬視點圖像；所述正向為從左向右映射，所述反向為從右向左映射；
16、所述預測雙向高分辨率視差圖是所述初始角超分辨率重建模型中的融合上采樣層輸出的；
17、所述基于所述樣本高分辨率光場圖像與所述預測虛擬視點圖像之間的差異，確定目標損失，包括：
18、基于所述樣本高分辨率光場圖像與所述第一預測虛擬視點圖像之間的差異，確定第一損失；
19、基于所述樣本高分辨率光場圖像與所述第二預測虛擬視點圖像之間的差異，確定第二損失；
20、基于所述第一損失和所述第二損失，確定所述目標損失。
21、根據本專利技術提供的一種基于自監督學習的光場圖像實時超分辨率重建方法，所述基于所述第一損失和所述第二損失，確定所述目標損失，包括：
22、將所述第一預測虛擬視點圖像、所述第二預測虛擬視點圖像分別在高度維度上堆疊，得到第一堆疊圖像和第二堆疊圖像；
23、將所述第一預測虛擬視點圖像、所述第二預測虛擬視點圖像對應相同視點位置的所述樣本高分辨率光場圖像在高度維度上堆疊，得到第三堆疊圖像和第四堆疊圖像；
24、基于所述第一堆疊圖像和所述第三堆疊圖像之間的差異，以及所述第二堆疊圖像和所述第四堆疊圖像之間的差異，確定堆疊損失；
25、基于所述第一損失、所述第二損失，以及所述堆疊損失，確定所述目標損失。
26、根據本專利技術提供的一種基于自監督學習的光場圖像實時超分辨率重建方法，所述超分辨率紋理提取器包括第一卷積層和多層的殘差塊，所述殘差塊順次包括第二卷積層、批量歸一化層和激活層。
27、根據本專利技術提供的一種基于自監督學習的光場圖像實時超分辨率重建方法，所述雙向視差估計網絡層包括水平空間特征提取模塊、代價體構建模塊、聚合模塊和回歸模塊；
28、所述水平空間特征提取模塊用于提取所述宏圖像水平方向上的空間特征信息，得到第一特征圖；
29、所述代價體構建模塊用于基于視差等級、空洞率、填充值，以及所述第一特征圖，得到空角高維特征體；
30、所述聚合模塊用于對所述空角高維特征體進行全局聚合，得到目標聚合體；
31、所述回歸模塊用于對所述目標聚合體進行回歸，得到所述雙向低分辨率視差圖。
32、本專利技術還提供一種基于自監督學習的光場圖像實時超分辨率重建裝置，包括如下單元：
33、獲取單元，用于獲取高分辨率光場圖像，對所述高分辨率光場圖像進行下采樣，得到低分辨率光場圖像，并將所述低分辨率光場圖像轉化為宏圖像；
34、輸入單元，用于將所述高分辨率光場圖像的中心視點圖像和所述宏圖像輸入至角超分辨率重建模型中，得到所述角超分辨率重建模型輸出的高分辨率虛擬視點圖像；
35、所述角超分辨率重建模型包括超分辨率紋理提取器層、雙向視差估計網絡層、融合上采樣層和反向映射層；
36、所述雙向視差估計網絡層用于將所述宏圖像輸入至雙向視差估計網絡中，得到所述雙向視差估計網絡輸出的雙向低分辨率視差圖；
37、所述超分辨率紋理提取器層用于將連續本文檔來自技高網...
【技術保護點】
1.一種基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，包括：
2.根據權利要求1所述的基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，所述角超分辨率重建模型的訓練步驟，包括：
3.根據權利要求2所述的基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，所述預測虛擬視點圖像包括多張第一預測虛擬視點圖像和多張第二預測虛擬視點圖像；
4.根據權利要求3所述的基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，所述基于所述第一損失和所述第二損失，確定所述目標損失，包括：
5.根據權利要求1至4中任一項所述的基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，所述超分辨率紋理提取器包括第一卷積層和多層的殘差塊，所述殘差塊順次包括第二卷積層、批量歸一化層和激活層。
6.根據權利要求1至4中任一項所述的基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，所述雙向視差估計網絡層包括水平空間特征提取模塊、代價體構建模塊、聚合模塊和回歸模塊；
7.一種基于自監督學習的光場圖像實時超分
8.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至6任一項所述基于自監督學習的光場圖像實時超分辨率重建方法。
9.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述基于自監督學習的光場圖像實時超分辨率重建方法。
10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述基于自監督學習的光場圖像實時超分辨率重建方法。
...【技術特征摘要】
1.一種基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，包括：
2.根據權利要求1所述的基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，所述角超分辨率重建模型的訓練步驟，包括：
3.根據權利要求2所述的基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，所述預測虛擬視點圖像包括多張第一預測虛擬視點圖像和多張第二預測虛擬視點圖像；
4.根據權利要求3所述的基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，所述基于所述第一損失和所述第二損失，確定所述目標損失，包括：
5.根據權利要求1至4中任一項所述的基于自監督學習的光場圖像實時超分辨率重建方法，其特征在于，所述超分辨率紋理提取器包括第一卷積層和多層的殘差塊，所述殘差塊順次包括第二卷積層、批量歸一化層和激活層。
6.根據權利要求1至4中任一項所述的基于自...
【專利技術屬性】
技術研發人員：顏玢玢，楊路，陳碩，王昕軻，易湘誠，黃子毅，周伽奕，邢樹軍，于迅博，高鑫，桑新柱，
申請(專利權)人：北京郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。