【技術實現步驟摘要】
本專利技術涉及魚群感知，尤其涉及一種多維魚群感知裝置與方法。
技術介紹
1、魚群感知是進行海洋生物資源開發與保護的重要手段，它包括魚群檢測、定位、計數、跟蹤以及行為識別等關鍵技術要素。傳統的魚群感知技術多基于水下聲吶，水下聲吶傳感器具有較強的穿透能力與較遠的測量距離，但分辨率較低、時延高且對環境噪聲敏感。近年來，隨著計算機視覺技術的進步，光學傳感器表現出了卓越的感知能力。但在水下應用時，光學傳感器受水體的吸收、折射、散射效應影響顯著，且感知距離較短。因此，亟需一種聲吶與光學傳感器的高效融合手段，并基于此實現魚群的多維要素感知。
技術實現思路
1、（一）要解決的技術問題
2、為解決現有技術中魚群感知所存在的技術問題，本專利技術的實施例提供了一種多維魚群感知裝置與方法，裝置由多云臺相機與全向掃描聲吶構成，相機可主動旋轉以提高全局感知精度或感興趣區域感知精度，可實現聲吶與光學視覺的優勢互補，獲得魚群的空間位置、數量、運動路徑以及高階行為類別等多維信息。本專利技術所提供的裝置與方法可靈活部署于各類水下機器人，進行魚類資源監測。
3、（二）技術方案
4、針對上述技術問題，本專利技術的實施例提出一種多維魚群感知裝置與方法。
5、根據本專利技術的第一個方面提供了一種多維魚群感知裝置，包括：固定工作臺、多個云臺相機以及全向掃描聲吶，其中，全向掃描聲吶位于固定工作臺的中心位置，全向掃描聲吶用于獲取裝置周邊360度范圍的點云信息；多個云臺相機均勻分布于固
6、根據本專利技術的第二個方面提供了一種多維魚群感知方法，包括：利用上述多維魚群感知裝置，獲取魚群的多視角光學圖像和原始聲吶數據；基于多視角光學圖像得到魚群的第一3d特征圖；基于原始聲吶數據得到魚群的第二3d特征圖；基于第一3d特征圖和第二3d特征圖，提取融合特征，得到融合特征圖；以及基于融合特征圖，利用基于自注意力機制的3d目標檢測方法，得到目標魚群的3d檢測結果。
7、在一些示例性的實施例中，獲取魚群的多視角光學圖像和原始聲吶數據，包括，利用搭載上述多維魚群感知裝置的水下機器人對水下環境進行多視角光學圖像和原始聲吶數據采集，以獲取多視角光學圖像和原始聲吶數據。
8、在一些示例性的實施例中，基于多視角光學圖像得到魚群的第一3d特征圖，包括：將多視角光學圖像輸入第一卷積神經網絡，得到多視角光學圖像的特征編碼；基于特征編碼，利用自適應特征金字塔的多尺度特征融合方法，得到融合后的2d特征；以及基于2d特征、多個云臺相機內參及動態外參信息，利用空間投影方法，完成深度預測并得到第一3d特征圖。
9、在一些示例性的實施例中，基于原始聲吶數據得到魚群的第二3d特征圖，包括對原始聲吶數據進行校正，得到時間對齊度更強的點云數據；對點云數據進行體素轉換，得到體素數據；基于體素數據，利用稀疏3d卷積神經網絡，得到第二3d特征圖。
10、在一些示例性的實施例中，對原始聲吶數據進行校正，得到時間對齊度更強的點云數據，包括：對原始聲吶數據進行濾波、去噪、校正以及歸一化處理，得到預處理的聲吶數據；運用自回歸滑動平均模型，預測原始聲吶數據的延遲值；基于延遲值，對預處理的聲吶數據進行校正，得到時間對齊度更強的點云數據。
11、在一些示例性的實施例中，基于第一3d特征圖和第二3d特征圖，提取融合特征，包括，按照通道級聯第一3d特征圖和第二3d特征圖的數據，利用第二卷積神經網絡進一步提取得到融合特征。
12、在一些示例性的實施例中，基于融合特征圖，利用自注意力機制的3d目標檢測方法，得到目標魚群的3d檢測結果，包括：基于當前時刻的融合特征圖，經過多層卷積、全局池化以及全連接層凝練得到融合特征中的空間特征；利用連續的融合特征圖序列，得到基于位移矢量場的光流特征；基于光流特征，經過多層卷積、全局池化以及全連接層凝練得到融合特征中的時間特征；以及對時間特征和空間特征逐層合并，輸入特征融合層，得到目標魚群的行為檢測結果，其中，空間特征包括魚群的相對位置與場景信息；時間特征包括魚群在不同時刻的位置變化，用于反映魚群的運動信息。
13、根據本專利技術的第三個方面提供了一種多維魚群感知系統，包括：獲取模塊，用于利用上述多維魚群感知裝置，獲取魚群的多視角光學圖像和原始聲吶數據；第一特征提取模塊，用于基于多視角光學圖像得到魚群的第一3d特征圖；第二特征提取模塊，用于基于原始聲吶數據得到魚群的第二3d特征圖；特征融合模塊，用于基于第一3d特征圖和第二3d特征圖，提取融合特征，得到融合特征圖；以及結果檢測模塊，用于基于融合特征圖，利用基于自注意力機制的3d目標檢測方法，得到目標魚群的3d檢測結果。
14、根據本專利技術的第四個方面提供了一種電子設備，包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，處理器運行計算機程序時執行以實現上述的方法。
15、根據本專利技術的第五個方面提供了一種存儲介質，其特征在于：存儲介質中存儲有計算機可讀指令，計算機可讀指令被一個或多個處理器執行時，使得一個或多個處理器執行上述的方法。
16、（三）有益效果
17、從上述技術方案可以看出，本專利技術實施例提供的一種多維魚群感知裝置與方法，至少具有如下有益效果：
18、（1）感知裝置由多云臺相機與全向掃描聲吶構成，相機可主動旋轉以提高全局感知精度或感興趣區域感知精度，感知方法基于光學圖像數據與聲吶點云數據的融合框架，分為視覺支路、聲吶支路與融合支路，可完成光學與聲吶特征的融合與魚群的三維目標檢測。
19、（2）光學圖像數據來源于云臺相機，模型中顯式考慮了相機內參與動態外參信息；聲吶點云數據則利用自回歸滑動平均模型進行了延遲矯正以提高時間對齊度。
20、（3）提供了基于自回歸滑動模型的聲吶數據延遲校正方法。為實現魚群的行為識別，在數據融合框架的基礎上，設計了時空雙流識別網絡。能夠實現聲吶與光學視覺的優勢互補，獲得魚群的空間位置、數量、運動路徑以及高階行為類別等多維信息。
21、（4）本專利技術所提供的裝置與方法可靈活部署于各類水下機器人，進行魚類資源監測。
本文檔來自技高網...【技術保護點】
1.一種多維魚群感知裝置，其特征在于，包括：固定工作臺、多個云臺相機以及全向掃描聲吶，
2.一種多維魚群感知方法，其特征在于，所述方法包括：
3.根據權利要求2所述的方法，其特征在于，所述獲取魚群的多視角光學圖像和原始聲吶數據，包括，利用搭載權利要求1所述的裝置的水下機器人對水下環境進行多視角光學圖像和原始聲吶數據采集，以獲取多視角光學圖像和原始聲吶數據。
4.根據權利要求3所述的方法，其特征在于，所述基于所述多視角光學圖像得到魚群的第一3D特征圖，包括：
5.根據權利要求2所述的方法，其特征在于，所述基于所述原始聲吶數據得到魚群的第二3D特征圖，包括：
6.根據權利要求5所述的方法，其特征在于，所述對所述原始聲吶數據進行校正，得到時間對齊度更強的點云數據，包括：
7.根據權利要求2所述的方法，其特征在于，所述基于所述第一3D特征圖和所述第二3D特征圖，提取融合特征，包括，按照通道級聯第一3D特征圖和所述第二3D特征圖的數據，利用第二卷積神經網絡進一步提取得到融合特征。
8.根據權利要求2所述的方
9.一種多維魚群感知系統，其特征在于，所述系統包括：
10.一種電子設備，包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器運行所述計算機程序時執行以實現如權利要求2至8中任一項所述的方法。
...【技術特征摘要】
1.一種多維魚群感知裝置，其特征在于，包括：固定工作臺、多個云臺相機以及全向掃描聲吶，
2.一種多維魚群感知方法，其特征在于，所述方法包括：
3.根據權利要求2所述的方法，其特征在于，所述獲取魚群的多視角光學圖像和原始聲吶數據，包括，利用搭載權利要求1所述的裝置的水下機器人對水下環境進行多視角光學圖像和原始聲吶數據采集，以獲取多視角光學圖像和原始聲吶數據。
4.根據權利要求3所述的方法，其特征在于，所述基于所述多視角光學圖像得到魚群的第一3d特征圖，包括：
5.根據權利要求2所述的方法，其特征在于，所述基于所述原始聲吶數據得到魚群的第二3d特征圖，包括：
6.根據權利要求5所述的方法，其特征在于，所述對所述原始聲吶數...
【專利技術屬性】
技術研發人員：安冬，孟巖，劉金存，位耀光，李道亮，
申請(專利權)人：中國農業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。