一種基于AIS、深度學習和單目測距的船舶自動瞭望系統和方法技術方案

本發明專利技術提出一種基于AIS、深度學習和單目測距的船舶自動瞭望系統和方法，所述系統包括：海面目標檢測單元：通過深度學習技術識別該目標并進行目標跟蹤；AIS數據處理單元：對接收到的船舶AIS數據進行處理、篩選和計算篩選后本船和對方船舶之間的距離和角度；單目測距單元：所述單目測距單元通過單目測距方法計算所述對方船舶與本船之間的距離和角度；視頻船體和AIS數據匹配單元：將所述AIS數據處理單元計算的本船和對方船舶之間的距離和角度與所述單目測距單元計算結果進行匹配，并將所述匹配結果輸出到可視化視頻界面；可視化視頻界面。本發明專利技術將AIS、深度學習和單目測距技術深度結合，實現了船舶不間斷的自動瞭望，特別是惡劣天氣下也具有一定的觀測范圍。劣天氣下也具有一定的觀測范圍。劣天氣下也具有一定的觀測范圍。

【技術實現步驟摘要】
一種基于AIS、深度學習和單目測距的船舶自動瞭望系統和方法


[0001]本專利技術涉及智能船舶領域，具體涉及一種基于AIS、深度學習和單目測距的船舶自動瞭望系統和方法。

技術介紹

[0002]在智能船舶領域，船舶駕駛主要還是靠人工瞭望，隨著深度學習算法對于圖像的處理的成熟，將深度學習技術運用于智能船舶駕駛領域，實現AIS信息和視頻圖像的融合，使得周圍船舶信息直觀化、可視化，使得船舶駕駛更加智能化、便捷化、高效化，大大增強船舶行駛過程中的安全性。
[0003]傳統的人工瞭望，主要靠駕駛人員每間隔一定時間就要觀察一下駕駛艙外的情況。但是人工的瞭望方式主要依賴于駕駛人員的主動性，而一旦有絲毫的疏漏，就有可能造成船舶安全事故的發生。而自動瞭望技術可以24小時不間斷全方位瞭望，以輔助駕駛員觀測海面情況，并且在夜間也具備一定的可觀測范圍。同時在惡劣天氣下仍可正常工作，輔助船舶的駕駛員觀測海面情況。算法能夠識別各種海面上的船舶，以警示船舶的駕駛人員。
[0004]深度學習的出現使得計算機能夠像人類一樣較精準的識別船舶等目標，完全排除了光線、船舶晃動等干擾。視頻測距算法可以精準的計算出視頻內的船舶距離本船的距離和角度。
[0005]但目前還未有技術將AIS、深度學習和視頻測距即單目測距結合起來形成匹配的算法，輔助船員在船舶行駛過程中，協助觀察船舶周圍的情況，以提高船員警惕，大大提升了船舶行駛過程中的安全性和可靠性。

技術實現思路

[0006]為彌補人工瞭望的間斷性和非實時性，以及夜間瞭望和惡劣天氣下瞭望不清楚、可視范圍狹窄導致船舶駕駛人員不能直觀、可視化的了解海面船舶信息的問題，本專利技術提供了一種基于AIS、深度學習和單目測距的船舶自動瞭望系統和方法。將AIS數據與目標識別和單目測距方法計算的對方船舶到本船的距離和角度深度融合，實現24小時自動瞭望。也具備一定的可觀測范圍；減少了駕駛人員工作量，增強了船舶行駛過程中的安全性和可靠性。
[0007]一種基于AIS、深度學習和單目測距的船舶自動瞭望系統，包括：
[0008]海面目標檢測單元：所述海面目標檢測單元利用攝像機實時拍攝附近海面，捕捉拍攝海面視頻圖像，并檢測視頻中是否存在船舶目標，若存在船舶目標將其視為對方船舶，通過深度學習技術識別該目標并進行目標跟蹤；
[0009]AIS數據處理單元：所述AIS數據處理單元包括接收船舶AIS數據的AIS數據接收模塊，并對接收到的船舶AIS數據進行處理、篩選和計算的AIS數據處理模塊；所述接收到的船舶AIS數據包括本船和對方船舶AIS數據；所述計算是根據篩選后本船和對方船舶的AIS數
據計算兩船之間的距離和角度；
[0010]單目測距單元：所述單目測距單元獲取所述海面目標檢測單元中包含對方船舶信息的視頻圖像，通過單目測距方法計算所述對方船舶與本船之間的距離和角度；
[0011]視頻船體和AIS數據匹配單元：將所述AIS數據處理單元計算的本船和對方船舶之間的距離和角度與所述單目測距單元計算的所述對方船舶與本船之間的距離和角度進行匹配，并將所述匹配結果輸出到可視化視頻界面；
[0012]可視化視頻界面：接收所述視頻船體和AIS數據匹配單元的對方船舶與本船之間的距離和角度匹配結果和海面目標檢測單元的視頻畫面，并實時顯示在可視化視頻界面。
[0013]進一步地，所述海面目標檢測單元通過目標識別訓練模塊和目標跟蹤模塊識別視頻中船舶目標；所述目標識別訓練模塊采用深度學習Yolov5算法進行移動目標的打標、訓練；所述目標跟蹤模塊借助經過訓練的Yolov5算法對視頻中的船舶目標識別并進行目標跟蹤，給出跟蹤的目標框坐標及跟蹤id。
[0014]進一步地，所述Yolov5算法利用NVIDIA的Deepstream框架進行視頻分析，使用了Deepstream中讀取數據源、視頻解碼、圖像預處理、模型推理、預測結果可視化和結果后的目標跟蹤單元。
[0015]進一步地，所述AIS數據接收模塊使用無線電設備,以TDMA的通信方式接收海面上規定范圍內的實時船舶AIS數據；所述AIS數據內容包含船舶識別編碼、海上移動業務識別碼、呼號、船名、船寬及船舶類型、定位儀天線在船上的位置、船吃水深度等靜態信息，船舶經緯度、UTC時間和真航向的動態信息。
[0016]進一步地，所述AIS數據處理模塊對接收到的船舶AIS數據進行處理、篩選和計算的方法為：
[0017]S1：實時更新本船的AIS信息，記錄本船經緯度、真航向、吃水深度等信息；
[0018]S2：對除本船外的所有船舶AIS信息進行記錄，并根據篩選條件對AIS數據進行篩選，根據經緯度數據描繪其行駛軌跡；根據本船的的經緯度，以及對方船舶的經緯度，計算對方船舶相對于本船的距離Da，以及兩船連線和地球正北方向的夾角；根據本船真航向Ts，計算對方船舶相對于本船的角度Aa；
[0019]S3：對于丟失的AIS數據，根據船舶經緯度信息及航速信息，預測船舶的實時經緯度，描繪出預測行駛軌跡。
[0020]進一步地，所述篩選條件包括：
[0021]d.去除經緯度不合規的數據，包括經度小于0，或者大于180度；
[0022]e.去除經緯度跳變較大的數據，比如兩次AIS數字中經緯度距離大于N海里；
[0023]f.AIS軌跡線路有不正常折角，船只的行駛時為一條圓滑的直線或者曲線，若出現忽然的跳變，計算軌跡線的夾角角度，角度小于某一閾值，則此軌跡有異常；出現一次異常則降低此軌跡的置信度，置信度降低到某一閾值Ta，此軌跡作廢。
[0024]進一步地，所述單目測距方法步驟包括：
[0025]S1：計算相機的安裝角度：
[0026]S2：計算世界坐標系下相機到視頻下邊緣的距離C；
[0027]S3：計算在世界坐標系下對方船舶位置pt1到相機的縱向距離Dy；
[0028]S4：計算在世界坐標系下對方船舶位置pt1到相機的橫向距離Dx；
[0029]S5：利用S3
?
S4計算的縱向距離Dy和橫向距離Dx計算在世界坐標系下點pt1到相機的距離Do和角度Ao。
[0030]進一步地，計算相機安裝角度的方法為：
[0031]S1:根據攝像機的成像原理：根據攝像機自帶參數獲取視頻畫面分辨率WI*HI，相機垂直視場角度為2γ，相機焦距F；
[0032]S2：取視頻畫面的縱向中軸線上的某條水平橫線作為參考目標，此橫線的左右兩點坐標分別為pta、ptb，此目標中心點坐標為ptc，目標在世界坐標系中寬度為W1；
[0033]S3：通過相機的垂直視場角計算攝像機的cmos寬度Ws：Ws＝2Ftanγ；
[0034]S4：根據攝像機的視場角等計算目標在cmos上成像寬度W0：
[0035]S5：根據S1
?
S4計算鏡頭到ptc的實際距離D1：
[0036][0037]S6：根據相機高度Hc與D1計算相機安裝本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于AIS、深度學習和單目測距的船舶自動瞭望系統，其特征在于，包括：海面目標檢測單元：所述海面目標檢測單元利用攝像機實時拍攝附近海面，捕捉拍攝海面視頻圖像，并檢測視頻中是否存在船舶目標，若存在船舶目標將其視為對方船舶，通過深度學習技術識別該目標并進行目標跟蹤；AIS數據處理單元：所述AIS數據處理單元包括接收船舶AIS數據的AIS數據接收模塊，并對接收到的船舶AIS數據進行處理、篩選和計算的AIS數據處理模塊；所述接收到的船舶AIS數據包括本船和對方船舶AIS數據；所述計算是根據篩選后本船和對方船舶的AIS數據計算兩船之間的距離和角度；單目測距單元：所述單目測距單元獲取所述海面目標檢測單元中包含對方船舶信息的視頻圖像，通過單目測距方法計算所述對方船舶與本船之間的距離和角度；視頻船體和AIS數據匹配單元：將所述AIS數據處理單元計算的本船和對方船舶之間的距離和角度與所述單目測距單元計算的所述對方船舶與本船之間的距離和角度進行匹配，并將所述匹配結果輸出到可視化視頻界面；可視化視頻界面：接收所述視頻船體和AIS數據匹配單元的對方船舶與本船之間的距離和角度匹配結果和海面目標檢測單元的視頻畫面，并實時顯示在可視化視頻界面。2.由權利要求1所述的一種基于AIS、深度學習和單目測距的船舶自動瞭望系統，其特征在于，所述海面目標檢測單元通過目標識別訓練模塊和目標跟蹤模塊識別視頻中船舶目標；所述目標識別訓練模塊采用深度學習Yolov5算法進行移動目標的打標、訓練；所述目標跟蹤模塊借助經過訓練的Yolov5算法對視頻中的船舶目標識別并進行目標跟蹤，給出跟蹤的目標框坐標及跟蹤id。3.由權利要求2所述的一種基于AIS、深度學習和單目測距的船舶自動瞭望系統，其特征在于，所述Yolov5算法利用NVIDIA的Deepstream框架進行視頻分析，使用了Deepstream中讀取數據源、視頻解碼、圖像預處理、模型推理、預測結果可視化和結果后的目標跟蹤單元。4.由權利要求1或3所述的一種基于AIS、深度學習和單目測距的船舶自動瞭望系統，其特征在于，所述AIS數據接收模塊使用無線電設備,以TDMA的通信方式接收海面上規定范圍內的實時船舶AIS數據；所述AIS數據內容包含船舶識別編碼、海上移動業務識別碼、呼號、船名、船寬及船舶類型、定位儀天線在船上的位置、船吃水深度等靜態信息，船舶經緯度、UTC時間和真航向的動態信息。5.由權利要求1或4所述的一種基于AIS、深度學習和單目測距的船舶自動瞭望系統，其特征在于，所述AIS數據處理模塊對接收到的船舶AIS數據進行處理、篩選和計算的方法為：S1：實時更新本船的AIS信息，記錄本船經緯度、真航向、吃水深度等信息；S2：對除本船外的所有船舶AIS信息進行記錄，并根據篩選條件對AIS數據進行篩選，根據經緯度數據描繪其行駛軌跡；根據本船的的經緯度，以及對方船舶的經緯度，計算對方船舶相對于本船的距離Da，以及兩船連線和地球正北方向的夾角；根據本船真航向Ts，計算對方船舶相對于本船的角度Aa；S3：對于丟失的AIS數據，根據船舶經緯度信息及航速信息，預測船舶的實時經緯度，描繪出預測行駛軌跡。6.由權利要求5所述的一種基于AIS、深度學習和單目測距的船舶自動瞭望系統，其特
征在于，所述篩選條件包括：a.去除經緯度不合規的數據，包括經度小于0，或者大于180度；b.去除經緯度跳變較大的數據，比如兩次AIS數字中經緯度距離大于N海里；c.AIS軌跡線路有不正常折角，船只的行駛時為一條圓滑的直線或者曲線，若出現忽然的跳變，計算軌跡線的夾角角度，角度小于某一閾值，則此軌跡有異常；出現一次異常則降低此軌跡的置信度，置信度降低到某一閾值Ta，此軌跡作廢。7.由權利要求1或6所述的一種基于AIS、深度學習和單目測距的船舶自動瞭望系統，其特征在于，所述單目測距方法步驟包括：S1：計算相機的安裝角度：S2：計算世界坐標系下相機到視頻下邊緣的距離C；S3：計算在世界坐標系下對方船舶位置pt1到相機的縱向距離Dy；S4：計算在世界坐標系下對方船舶位置pt1到相機的橫向距離Dx；S5：利用S3
?
S4計算...

【專利技術屬性】
技術研發人員：于艷玲，李川，
申請(專利權)人：上海船舶運輸科學研究所有限公司，
類型：發明
國別省市：