【技術實現步驟摘要】
本專利技術屬于室外agv的安全防護領域，具體說是一種多傳感器融合的戶外agv極端天氣下的安全防護方法。
技術介紹
1、agv安全防護是agv安全運行的前提條件，安全防護要求在agv在運行的過程中，能夠利用各種傳感器采集周圍環境以及障礙物的信息，能夠根據這些信息按照一定的策略實現agv的自主避障、繞障等動作，保證agv安全、可靠、高效的運行。安全防護需要通過傳感器獲取周圍環境信息，包括障礙物的尺寸、形狀和位置等信息，一般來說，使用的傳感器主要包括相機、激光雷達以及接觸式安全防撞裝置等。
2、當面對惡劣天氣時，如雨、雪、霧、塵暴等，都會對傳感器造成不同程度的影響，降低感知精度和范圍。雨水、雪花或霧氣會在攝像頭鏡頭上形成水珠或霜凍，導致圖像模糊不清，影響環境以及障礙物的識別。雨滴或雪花可以散射激光雷達的激光束，使得激光雷達難以穿透較遠距離的雨幕或雪霧，導致回波信號減弱，減少有效測量工作范圍，影響對遠處物體的識別和跟蹤。在濃霧環境中，激光雷達可能只能探測到近距離的物體，遠距離感知能力大幅下降。綜上所述，極端天氣對agv安全防護提出了極大的挑戰，影響了agv決策的準確性和可靠性，這些都是室外agv安全防護所面臨的問題。
技術實現思路
1、本專利技術目的是提供一種多傳感器融合的戶外agv極端天氣下的安全防護方法，利用多傳感器融合技術，極大的提高了室外agv在異常天氣(雨、雪、霧等)中安全防護的魯棒性、準確性，保證安全防護的同時，實現agv平穩運行。
2、本專利技術為實現
3、1)將設置在agv上的激光雷達、紅外熱成像相機、4d毫米波雷傳感器進行時間的同步；
4、2)對各個傳感器進行內參以及外參標定，保證激光雷達、紅外熱成像、4d毫米波雷傳感器實現空間的同步；
5、3)對各個傳感器數據進行原始數據采集后進行傳感器狀態異常判斷并對數據異常進行判斷，并對異常數據進行處理，以避免后續的計算錯誤引起防護區計算異常；
6、4)在agv執行的任務以及行走的路線時，通過調度系統中實時得到周邊的agv運行狀態；結合agv運行狀態，將各個傳感器數據進行特征級和決策級的數據融合，得到安全防護區域或者存在障礙物信息；
7、5)對防護區域范圍進行合理性判斷，若該防護區域范圍符合合理性，則根據得到的安全防護區域，進一步計算agv可行駛區域，并規劃安全防護區中的agv行駛路線以及速度規劃，控制agv運行；反之，若不符合合理性，則認定防護區域范圍小于要求大小，控制agv停車保護。
8、所述步驟1)，具體為：
9、通過npt的client/server授時方式實現agv上的激光雷達、紅外熱成像相機、4d毫米波雷傳感器時間的同步，即將各個傳感器作為client端，agv內部的主控制器作為server端，各個傳感器與主控器通訊，獲取請求包和回復包的延時，進而達到各個傳感器和主控制器時間同步的目的。
10、在步驟2)中，以激光雷達作為主傳感器，先將一個主激光雷達進行標定，然后其它雷達向主激光雷達依次標定，最終實現將所有傳感器都標定到agv坐標系下。
11、對激光雷達進行內參以及外參標定，具體為：
12、激光雷達標定時選取一個垂直于地面的平面作為標定平面，通過激光點云數據擬合平面，計算法向量，從而對俯仰角pitch、橫滾角roll、z方向偏移進行標定，即：
13、激光點云數據擬合平面為：
14、ax+by+cz+d＝0
15、其中，a、b、c、d分別為平面方程參數，(x，y，z)為點云坐標；
16、1-1)獲取俯仰角為：
17、
18、其中，pitchi為單次計算的俯仰角，pitch為平均俯仰角；
19、1-2)獲取橫滾角為：
20、
21、其中，rolli為單次計算的橫滾角，roll為平均橫滾角；
22、1-3)獲取激光雷達高度為：
23、
24、其中，zi為單次計算的高度，z為平均高度。
25、對紅外熱成像相機進行內參以及外參標定，具體為：
26、對于紅外熱成像相機利用基于參照物的標定方法，通過已知尺寸和形狀的參照物，從2d圖像中提取特征點，并在激光雷達點云中找到特征點的對應位置，利用pnp算法計算出傳感器間的轉換矩陣，進而求解相機的位姿，即：
27、2-1)紅外相機像素坐標系(u，v)和激光雷達世界坐標系(x，y，z)的兩個坐標點的齊次坐標表達下滿足下式：
28、
29、2-2)經整理得到下列二式，其中[pi]表示投影矩陣p3×4的第i行，即：
30、
31、2-3)考慮矩陣p3×4共有12個未知數，因此至少要有6組對應點，即n≥6，對應矩陣表示為：
32、
33、2-4)綜上，記
34、其中，p3×4的第i列為(pi)；
35、2-5)通過凸優化方法求解p3×4中的12個未知數，由于投影矩陣的前三列本質上是旋轉矩陣，所以約束條件為旋轉矩陣的正交性，即：
36、minimize∑((ui-k1)2+(vi-k2)2)
37、
38、對4d毫米波雷傳感器進行內參以及外參標定，具體為：
39、4d毫米波雷采用以激光雷達數據為依據的手動標定方法，將4d毫米波雷達數據和激光雷達時時采集的數據在同一個窗口顯示，手動調整4d毫米波雷達的安裝位置參數，當4d毫米波雷數據和激光點云數據對齊時，標定結束。
40、所述agv運行狀態，包括：agv運行過程中的位置以及速度、加速、以及局部的環境模型。
41、步驟4)中，所述結合agv運行狀態，將各個傳感器數據進行特征級和決策級的數據融合，具體為：
42、3-1)所述紅外熱成像相機的數據處理通過基于深度學習的熱紅外圖像增強算法進行特征提取；
43、3-2)4d毫米波雷達采用dbscan方法對點云數據進行聚類，區分出潛在的目標，并進行特征提取，將毫米波雷達得到的特征以及所包含距離和速度信息與紅外熱成像相機的特征信息進行融合，生成高層次的環境感知特征；
44、3-3)激光雷達主要經過濾波、點云分割方式進行特征提取，并將提取出的特征與提取的紅外熱成像相機和4d毫米波雷達的特征進行數據關聯，進行數據融合，即：
45、考慮到決策融合，由于每個傳感器均基于自身的測量結果進行特征提取和分類判決；
46、因此，對每個傳感器的判決結果計算概率分配值，然后用dempster算法融合，即：
47、假設對兩個傳感器i和j進行融合：
48、d.生成傳感器的基礎概率決策：傳感器i對命題h的支持度為mi(h)，傳本文檔來自技高網...
【技術保護點】
1.一種多傳感器融合的戶外AGV極端天氣下的安全防護方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種多傳感器融合的戶外AGV極端天氣下的安全防護方法，其特征在于，所述步驟1)，具體為：
3.根據權利要求1所述的一種多傳感器融合的戶外AGV極端天氣下的安全防護方法，其特征在于，在步驟2)中，以激光雷達作為主傳感器，先將一個主激光雷達進行標定，然后其它雷達向主激光雷達依次標定，最終實現將所有傳感器都標定到AGV坐標系下。
4.根據權利要求1所述的一種多傳感器融合的戶外AGV極端天氣下的安全防護方法，其特征在于，對激光雷達進行內參以及外參標定，具體為：
5.根據權利要求1所述的一種多傳感器融合的戶外AGV極端天氣下的安全防護方法，其特征在于，對紅外熱成像相機進行內參以及外參標定，具體為：
6.根據權利要求1所述的一種多傳感器融合的戶外AGV極端天氣下的安全防護方法，其特征在于，對4d毫米波雷傳感器進行內參以及外參標定，具體為：
7.根據權利要求1所述的一種多傳感器融合的戶外AGV極端天氣下的安全防護方
8.根據權利要求1所述的一種多傳感器融合的戶外AGV極端天氣下的安全防護方法，其特征在于，步驟4)中，所述結合AGV運行狀態，將各個傳感器數據進行特征級和決策級的數據融合，具體為：
9.根據權利要求8所述的一種多傳感器融合的戶外AGV極端天氣下的安全防護方法，其特征在于，所述步驟3-4)，對預測行駛區域中不同區域采用不同的數據融合方法，具體為：
10.根據權利要求1所述的一種多傳感器融合的戶外AGV極端天氣下的安全防護方法，其特征在于，步驟5)中，所述根據得到的安全防護區域，進一步計算AGV可行駛區域，并規劃安全防護區中的AGV行駛路線以及速度規劃，控制AGV運行，具體為：
...【技術特征摘要】
1.一種多傳感器融合的戶外agv極端天氣下的安全防護方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種多傳感器融合的戶外agv極端天氣下的安全防護方法，其特征在于，所述步驟1)，具體為：
3.根據權利要求1所述的一種多傳感器融合的戶外agv極端天氣下的安全防護方法，其特征在于，在步驟2)中，以激光雷達作為主傳感器，先將一個主激光雷達進行標定，然后其它雷達向主激光雷達依次標定，最終實現將所有傳感器都標定到agv坐標系下。
4.根據權利要求1所述的一種多傳感器融合的戶外agv極端天氣下的安全防護方法，其特征在于，對激光雷達進行內參以及外參標定，具體為：
5.根據權利要求1所述的一種多傳感器融合的戶外agv極端天氣下的安全防護方法，其特征在于，對紅外熱成像相機進行內參以及外參標定，具體為：
6.根據權利要求1所述的一種多傳感器融合的戶外agv極端天氣下的安全防護方法，其特征在于，...
【專利技術屬性】
技術研發人員：呂祥仁，趙茜，董亮，劉帥，宋昌健，
申請(專利權)人：沈陽新松機器人自動化股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。