【技術實現步驟摘要】
本專利技術涉及計算機視覺與計算機圖形學，特別是涉及一種基于神經混合相機的動態鳥群觀測方法和系統。
技術介紹
1、在動態鳥群觀測中，實現大視場、高分辨率和三維成像面臨諸多挑戰。首先，鳥群通常在廣闊的空間中進行復雜的飛行活動，要求觀測系統具備廣泛的視場以捕捉整個群體的動態變化。傳統成像設備很難兼顧大視場與高分辨率之間的平衡，過小的視場可能無法全面覆蓋鳥群活動，而視場擴大則通常導致分辨率下降。此外，鳥群飛行軌跡復雜，常伴隨高度的形變和快速運動，這使得觀測系統在進行三維成像時更為困難。高質量的三維成像需要同時具備高空間和時間分辨率，以確保捕捉鳥群的精細運動軌跡及其在三維空間中的分布，但這一需求往往會帶來大量的數據處理和存儲壓力。
2、神經混合光場相機在動態鳥群觀測中具有顯著優勢。首先，它能夠大幅提升成像視場，使得更大范圍內的鳥群活動都能被精確捕捉，同時保持高分辨率的光場輸出，確保觀測系統可以獲取鳥群的細節信息。此外，神經混合光場相機能夠將光場數據存儲在神經網絡中，大幅減少了傳統光場存儲所需的數據量。這種存儲方式不僅有效緩解了高分辨率和大視場觀測中所產生的數據處理和存儲瓶頸，還能提升數據傳輸和處理的效率，使得動態鳥群的觀測在大規模和高精度需求下得以高效實現。
技術實現思路
1、本專利技術的目的在于提供一種一種基于神經混合相機的動態鳥群觀測方法和系統，來滿足動態鳥群觀測實現大視場、高分辨率和三維成像的需求。
2、為實現上述目的，本專利技術提供一種基于神經混合相機的動態鳥
3、步驟1，通過混合相機系統采集不同分辨率的鳥群圖像數據，混合相機系統包括布置在中心視點(u0,v0)位置的相機，用于獲取中心視圖混合相機系統還包括布置在中心視點(u0,v0)周圍位置的相機，用于獲取周圍視圖
4、步驟2，利用步驟1的中心視圖對神經光場網絡模型的神經中心視圖場ciθ(x,y)進行訓練，θ表示神經中心視圖場ciθ(x,y)的網絡參數集合，利用步驟1獲得的周圍視圖對神經光場網絡模型的神經視差場進行訓練，φ表示神經視差場的網絡參數集合；其中，神經光場網絡模型的獲取方式包括：
5、將雙平面光場的位置坐標(u,v,x,y)作為式(2)描述的抗遮擋和抗朗播輻射的視差傳播方程l(u,v,x,y)的輸入，通過神經中心視圖場ciθ(x,y)和神經視差場分別表示中心視圖函數和視差函數du,v(x,y)，如式(3)和式(4)所示，得到式(1)描述的神經光場網絡模型
6、
7、式中，表示由中心視圖和相對于中心視點的視差圖得到光場視點(u,v)的周圍視圖的物理過程；
8、步驟3，根據新視角下的雙平面光場坐標(u,v,x,y)，利用步驟2的神經光場網絡模型將雙平面光場坐標(u,v,x,y)映射為對應的顏色值，從而獲取該位置上動態鳥群的圖像信息，進而輸出動態鳥群在新視角下的全景視圖。
9、進一步地，步驟2的神經中心視圖場ciθ(x,y)的訓練方法具體包括：使用式(5)描述的損失函數獲取神經中心視圖場ciθ(x,y)：
10、
11、式中，為ciθ(x,y)與的重建損失，表示分辨率為αh×αw的中心視圖在雙平面光場中的πxy平面的坐標集合，||表示取絕對值。
12、進一步地，步驟2的神經視差場的訓練方法具體包括：使用式(9)描述的損失函數獲取神經視差場
13、
14、其中，λ1,λ2,λ3是超參數，是式(6)描述的結構感知平滑度損失，是式(7)描述的結構相似性指數損失，是式(8)描述的周圍視圖的預測值和周圍視圖的的重建損失；
15、
16、式中，xs分別表示為分辨率為h×w的周圍視圖分別在雙平面光場中的πuv平面、πxy平面的坐標集合，表示沿水平和垂直方向的梯度，⊙表示hadamard乘積，η表示控制邊緣敏感度的強弱的調節參數，表示光場視點(u,v)相對于中心視點(u0,v0)的視差圖，||表示取絕對值，ssim用于衡量兩幅圖像相似度的指標。
17、進一步地，λ1＝1,λ2＝0.1,λ3＝0.01。
18、本專利技術還提供一種基于神經混合相機的動態鳥群觀測系統，其包括：
19、鳥群圖像采集單元，其用于通過混合相機系統采集不同分辨率的鳥群圖像數據，混合相機系統包括布置在中心視點(u0,v0)位置的相機，用于獲取中心視圖混合相機系統還包括布置在中心視點(u0,v0)周圍位置的相機，用于獲取周圍視圖
20、神經光場網絡模型創建單元，其用于利用鳥群圖像采集單元的中心視圖對神經光場網絡模型的神經中心視圖場ciθ(x,y)進行訓練，θ表示神經中心視圖場ciθ(x,y)的網絡參數集合，利用鳥群圖像采集單元的周圍視圖對神經光場網絡模型的神經視差場進行訓練，φ表示神經視差場的網絡參數集合；其中，神經光場網絡模型的獲取方式包括：
21、將雙平面光場的位置坐標(u,v,x,y)作為式(2)描述的抗遮擋和抗朗播輻射的視差傳播方程l(u,v,x,y)的輸入，通過神經中心視圖場ciθ(x,y)和神經視差場分別表示中心視圖函數和視差函數du,v(x,y)，如式(3)和式(4)所示，得到式(1)描述的神經光場網絡模型
22、
23、式中，表示由中心視圖和相對于中心視點的視差圖得到光場視點(u,v)的周圍視圖的物理過程；
24、場景重構單元，其用于根據新視角下的雙平面光場坐標(u,v,x,y)，利用步驟2的神經光場網絡模型將雙平面光場坐標(u,v,x,y)映射為對應的顏色值，從而獲取該位置上動態鳥群的圖像信息，進而輸出動態鳥群在新視角下的全景視圖。
25、進一步地，神經中心視圖場ciθ(x,y)的訓練方法具體包括：使用式(5)描述的損失函數獲取神經中心視圖場ciθ(x,y)：
26、
27、式中，為ciθ(x,y)與的重建損失，表示分辨率為αh×αw的中心視圖在雙平面光場中的πxy平面的坐標集合，||表示取絕對值。
28、進一步地，神經視差場的訓練方法具體包括：使用式(9)描述的損失函數獲取神經視差場
29、
30、其中，λ1,λ2,λ3是超參數，是式(6)描述的結構感知平滑度損失，是式(7)描述的結構相似性指數損失，是式(8)描述的周圍視圖的預測值和周圍視圖的的重建損失；
31、
32、式中，xs分別表示為分辨率為h×w的周圍視圖分別在雙平面光場中的πuv平面、πxy平面的坐標集合，表示沿水平和垂直方向的梯度，⊙表示hadamard乘積，η表示控制邊緣敏感度的強弱的調節參數，表示光場視點(u,v)相對于中心視點(u0,v0)的視差圖，||表示取絕對值，ssim用于衡量兩幅圖像相似度的指標。
33、進一步地，λ1＝1,λ2＝0.1,λ3＝0.01。
34、本專利技術能夠實現不使用大型光場相機陣列，使用混本文檔來自技高網...
【技術保護點】
1.一種基于神經混合相機的動態鳥群觀測方法，其特征在于，包括：
2.如權利要求1所述的基于神經混合相機的動態鳥群觀測方法，其特征在于，步驟2的神經中心視圖場CIθ(x，y)的訓練方法具體包括：使用式(5)描述的損失函數獲取神經中心視圖場CIθ(x，y)：
3.如權利要求1或2所述的基于神經混合相機的動態鳥群觀測方法，其特征在于，步驟2的神經視差場的訓練方法具體包括：使用式(9)描述的損失函數ll獲取神經視差場
4.如權利要求3所述的基于神經混合相機的動態鳥群觀測方法，其特征在于，λ1＝1，λ2＝0.1，λ3＝0.01。
5.一種基于神經混合相機的動態鳥群觀測系統，其特征在于，包括：
6.如權利要求5所述的基于神經混合相機的動態鳥群觀測系統，其特征在于，神經中心視圖場CIθ(x，y)的訓練方法具體包括：使用式(5)描述的損失函數獲取神經中心視圖場CIθ(x，y)：
7.如權利要求5或6所述的基于神經混合相機的動態鳥群觀測系統，其特征在于，神經視差場的訓練方法具體包括：使用式(9)描述的損失函數ll獲取神經視差場
8.如權利要求7所述的基于神經混合相機的動態鳥群觀測方法，其特征在于，λ1＝1，λ2＝0.1，λ3＝0.01。
...【技術特征摘要】
1.一種基于神經混合相機的動態鳥群觀測方法，其特征在于，包括：
2.如權利要求1所述的基于神經混合相機的動態鳥群觀測方法，其特征在于，步驟2的神經中心視圖場ciθ(x，y)的訓練方法具體包括：使用式(5)描述的損失函數獲取神經中心視圖場ciθ(x，y)：
3.如權利要求1或2所述的基于神經混合相機的動態鳥群觀測方法，其特征在于，步驟2的神經視差場的訓練方法具體包括：使用式(9)描述的損失函數ll獲取神經視差場
4.如權利要求3所述的基于神經混合相機的動態鳥群觀測方法，其特征在于，λ1＝1，λ2＝0.1，λ3＝0.01。...
【專利技術屬性】
技術研發人員：劉暢，馬旭冉，周佳紅，孫妮妮，韓雪濤，張瑾，于凱文，邱鈞，
申請(專利權)人：北京信息科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。