本發明專利技術提供一種多傳感器融合的高速鐵路周界入侵報警方法、系統、設備及介質，方法包括：獲取高速鐵路周界的待檢測圖像；在高速鐵路為第一場景的情況下，利用第一模型對待檢測圖像進行檢測，以獲得檢測結果；其中，第一模型基于激光相機采集到的第一訓練圖像以及紅外相機采集到的第二訓練圖像訓練得到；在高速鐵路為第二場景的情況下，利用第二模型對待檢測圖像進行檢測，以獲得檢測結果；其中，第二模型基于三維點云訓練集以及二維彩色圖像訓練得到，第一場景所對應的防護區域范圍大于第二場景。本發明專利技術能夠充分利用不同傳感器的優勢，適用于各類高鐵典型場景和各類天氣條件，提升周界入侵監測的準確率。
【技術實現步驟摘要】
本專利技術涉及圖像處理，尤其涉及一種多傳感器融合的高速鐵路周界入侵報警方法、系統、設備及介質。
技術介紹
1、高速鐵路的運營安全備受關注，然而入侵高鐵周界的人員和異物嚴重威脅運營安全。目前，周界入侵常用的探測手段包括脈沖電子圍欄、振動光纖、紅外、毫米波雷達、激光雷達、智能視頻分析等，這些方法各有優缺點，但任何單一感知手段都無法滿足上述各類場景在全天候條件下零漏報、低誤報的周界入侵報警需求。針對高鐵不同環境及場景研究適用的多傳感器融合策略并進行相關產品研制具有迫切的需求，也是極具挑戰性的工作。
2、針對上述各類單傳感對入侵監測的不足，基于多傳感技術融合進行高速鐵路周界入侵監測已成為新方向，常見的多傳感融合與聯動方案包括：
3、(1)振動光纖與可見光視頻智能分析的聯動，其通過振動光纖實現大場景的入侵監測，在初步確認發生入侵的區域聯動視頻分析進行局部確認。該方案的優點在于覆蓋范圍大、誤報率低，但無法感知跨越護欄從空中進入的目標。
4、(2)紅外熱成像與可見光視頻智能分析的聯動，其通過紅外熱成像實現大場景的入侵監測，在初步確認發生入侵的區域聯動視頻分析進行局部確認，其優點在于覆蓋范圍大，誤報率低，然而由于高速鐵路沿線場景的高復雜度，對存在遮擋的區域紅外熱成像技術不能完全做到入侵目標的捕獲，同時，對和背景溫度差異較小的目標，對比度不夠明顯。
5、綜上，亟需一種能夠適用于各種場景且探測準確性高的多傳感器融合的高速鐵路周界入侵報警方法。
技術實現思路
<
p>1、本專利技術的目的在于克服現有技術的不足，提供一種多傳感器融合的高速鐵路周界入侵報警方法、系統、設備及介質。2、為了實現上述目的，本專利技術采取了如下技術方案。
3、第一方面，本專利技術提供一種多傳感器融合的高速鐵路周界入侵報警方法，包括：
4、獲取高速鐵路周界的待檢測圖像；
5、在高速鐵路為第一場景的情況下，利用第一模型對所述待檢測圖像進行檢測，以獲得檢測結果；其中，所述第一模型基于激光相機采集到的第一訓練圖像以及紅外相機采集到的第二訓練圖像訓練得到；
6、在高速鐵路為第二場景的情況下，利用第二模型對所述待檢測圖像進行檢測，以獲得檢測結果；其中，所述第二模型基于三維點云訓練集以及二維彩色圖像訓練得到，所述第一場景所對應的防護區域范圍大于所述第二場景。
7、進一步地，在所述待檢測圖像中防護區域無遮擋物時，所述第一模型包括第一主干網絡、第二主干網絡以及跨模態融合模塊，所述待檢測圖像包括通過激光相機采集得到的第一待檢測圖像以及通過紅外相機采集得到的第二待檢測圖像；
8、所述利用第一模型對所述待檢測圖像進行檢測，包括：
9、將所述第一待檢測圖像輸入至所述第一主干網絡，以獲得第一特征；將所述第二待檢測圖像輸入至所述第二主干網絡，以獲得第二特征；
10、通過所述跨模態融合模塊對所述第一特征與所述第二特征進行跨模態融合，以獲得融合特征，并根據所述融合特征獲得檢測結果。
11、進一步地，所述通過所述跨模態融合模塊對所述第一特征與所述第二特征進行跨模態融合，以獲得融合特征，包括：
12、將所述第一特征與所述第二特征進行拼接，并從拼接后特征中獲得局部信息作為位置編碼信息，基于拼接后特征以及位置編碼信息獲得編碼特征；
13、利用注意力機制對所述編碼特征進行處理，以捕獲第一待檢測圖像與第二待檢測圖像之間的相互作用和依賴關系，獲得注意力特征，并根據所述注意力特征以及編碼特征獲得第三特征；
14、根據所述第三特征以及所述拼接后特征獲得融合特征。
15、進一步地，在所述待檢測圖像中防護區域有遮擋物時，所述第一模型包括第一子模型與第二子模型，所述第一子模型為激光圖像檢測模型，所述第二子模型為紅外圖像檢測模型；所述待檢測圖像包括通過激光相機采集得到的第一待檢測圖像以及通過紅外相機采集得到的第二待檢測圖像；
16、所述利用第一模型對所述待檢測圖像進行檢測，以獲得檢測結果，包括：
17、通過振動光纖確定預警區域信息；
18、將所述預警區域信息與所述第一待檢測圖像輸入至第一子模型，并將所述預警區域信息與所述第二待檢測圖像輸入至第二子模型，對應獲得第一檢測結果以及第二檢測結果，將所述第一檢測結果與所述第二檢測結果融合，以獲得最終的檢測結果。
19、進一步地，所述第二模型包括第三子模型與第四子模型，所述第三子模型為三維目標檢測模型，所述第四子模型為二維目標檢測模型；所述待檢測圖像包括三維點云以及二維圖像；
20、所述利用第二模型對所述待檢測圖像進行檢測，包括：
21、從所述三維點云中提取得到點云特征，從所述二維圖像中提取得到圖像特征；基于所述點云特征與所述圖像特征獲得標定信息；
22、將所述點云特征輸入至所述第三子模型，以獲得三維點云檢測結果；將所述圖像特征輸入至第四子模型，以獲得二維圖像檢測結果；
23、基于所述標定信息將所述三維點云檢測結果投影至所述二維圖像檢測結果以獲得最終的檢測結果。
24、進一步地，所述點云特征為三維直線特征，所述圖像特征為二維直線特征；
25、所述基于所述點云特征與圖像特征獲得標定信息，包括：
26、通過最近鄰搜索算法對所述三維直線特征與所述二維直線特征進行匹配，獲得多對直線特征對；
27、對所述多對直線特征對進行最優化求解，以獲得最優的直線特征對，并基于所述最優的直線特征對獲得對應的標定信息。
28、進一步地，方法還包括；
29、比較當前待檢測圖像所指示的防護區域與區域閾值，在所述防護區域超過所述區域閾值時，確定為第一場景；在所述防護區域不超過所述區域閾值時，確定為第二場景。
30、第二方面，本專利技術還提供一種多傳感器融合的高速鐵路周界入侵報警系統，包括：
31、圖像獲取單元，用于獲取高速鐵路周界的待檢測圖像；
32、第一檢測單元，用于在高速鐵路為第一場景的情況下，利用第一模型對所述待檢測圖像進行檢測，以獲得檢測結果；其中，所述第一模型基于激光相機采集到的第一訓練圖像以及紅外相機采集到的第二訓練圖像訓練得到；
33、第二檢測單元，在高速鐵路為第二場景的情況下，利用第二模型對所述待檢測圖像進行檢測，以獲得檢測結果；其中，所述第二模型基于三維點云訓練集以及二維彩色圖像訓練得到，所述第一場景所對應的防護區域范圍大于所述第二場景。
34、第三方面，本專利技術還提供一種電子設備，包括存儲器和處理器，處理器和存儲器相互通信，存儲器存儲有可被處理器執行的程序指令，處理器調用程序指令執行如上的多傳感器融合的高速鐵路周界入侵報警方法。
35、第四方面，本專利技術還提供一種計算機可讀存儲介質，其存儲有計算機程序，計算機程序被處理器執行時實現如上的多傳感器融合的高速鐵路周界入侵報警方本文檔來自技高網
...
【技術保護點】
1.一種多傳感器融合的高速鐵路周界入侵報警方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，在所述待檢測圖像中防護區域無遮擋物時，所述第一模型包括第一主干網絡、第二主干網絡以及跨模態融合模塊，所述待檢測圖像包括通過激光相機采集得到的第一待檢測圖像以及通過紅外相機采集得到的第二待檢測圖像；
3.根據權利要求2所述的方法，其特征在于，所述通過所述跨模態融合模塊對所述第一特征與所述第二特征進行跨模態融合，以獲得融合特征，包括：
4.根據權利要求1所述的方法，其特征在于，在所述待檢測圖像中防護區域有遮擋物時，所述第一模型包括第一子模型與第二子模型，所述第一子模型為激光圖像檢測模型，所述第二子模型為紅外圖像檢測模型；所述待檢測圖像包括通過激光相機采集得到的第一待檢測圖像以及通過紅外相機采集得到的第二待檢測圖像；
5.根據權利要求1所述的方法，其特征在于，所述第二模型包括第三子模型與第四子模型，所述第三子模型為三維目標檢測模型，所述第四子模型為二維目標檢測模型；所述待檢測圖像包括三維點云以及二維圖像；
6.根據權利要求5所述的方法，其特征在于，所述點云特征為三維直線特征，所述圖像特征為二維直線特征；
7.根據權利要求1所述的方法，其特征在于，方法還包括；
8.一種多傳感器融合的高速鐵路周界入侵報警系統，其特征在于，包括：
9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7任一項所述的方法。
10.一種計算機可讀存儲介質，其特征在于，其存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1-7任一項所述的方法。
...
【技術特征摘要】
1.一種多傳感器融合的高速鐵路周界入侵報警方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，在所述待檢測圖像中防護區域無遮擋物時，所述第一模型包括第一主干網絡、第二主干網絡以及跨模態融合模塊，所述待檢測圖像包括通過激光相機采集得到的第一待檢測圖像以及通過紅外相機采集得到的第二待檢測圖像；
3.根據權利要求2所述的方法，其特征在于，所述通過所述跨模態融合模塊對所述第一特征與所述第二特征進行跨模態融合，以獲得融合特征，包括：
4.根據權利要求1所述的方法，其特征在于，在所述待檢測圖像中防護區域有遮擋物時，所述第一模型包括第一子模型與第二子模型，所述第一子模型為激光圖像檢測模型，所述第二子模型為紅外圖像檢測模型；所述待檢測圖像包括通過激光相機采集得到的第一待檢測圖像以及通過紅外相機采集得到的第二待檢測圖像；
【專利技術屬性】
技術研發人員：郭保青，余祖俊，朱力強，王堯，孫濤，白丁元，
申請(專利權)人：北京交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。