【技術實現步驟摘要】
本專利技術涉及視頻編碼與信息融合，具體為一種面向車輛超限預警的雷達與視頻信息融合編碼方法。
技術介紹
1、隨著智能交通系統（its）和道路安全監控技術的迅速發展，車輛超限檢測已經成為交通管理領域的重要任務。超限車輛（如超高、超寬、超長等）不僅會對道路設施造成損壞，還可能危及公共安全。因此，準確及時地檢測并預警超限車輛對于維護道路通行安全、減少交通事故具有重要意義。
2、現有的超限檢測系統大多依賴單一的技術，如雷達檢測技術或視頻監控技術。雷達技術主要通過測量目標車輛的距離、速度和三維尺寸（如高度、寬度和長度）來判斷是否超限，但雷達的精度和檢測能力受環境干擾較大，尤其是在復雜的道路場景中，其準確性較低。另一方面，視頻監控技術通過圖像識別進行車牌識別和外觀特征提取，雖然在視覺效果上較為精細，但在復雜背景或低光照條件下，車輛識別的準確性也會大打折扣。
技術實現思路
1、針對上述存在的技術不足，本專利技術提出了一種雷達與視頻信息融合編碼方法，旨在通過高效的數據融合與編碼技術，解決現有車輛超限檢測系統中的數據處理效率低、實時性差、帶寬需求高等問題。
2、為解決上述技術問題，本專利技術采用如下技術方案：
3、本專利技術提供一種面向車輛超限預警的雷達與視頻信息融合編碼方法，包括以下步驟：
4、step1、通過雷達模塊對車輛進行實時掃描，獲取車輛的三維尺寸數據；
5、step2、使用可見光攝像頭模塊捕獲車輛影像，通過改進yolo的深度學習的
6、step3、數據處理模塊根據車牌號碼檢索數據庫中的標準尺寸，并計算車輛實際尺寸與標準尺寸的差異；
7、step4、通過對車輛尺寸差異值進行閾值比較，判斷車輛是否超限；
8、step5、若判定車輛超限，則觸發報警并記錄車輛信息，包括車牌號碼、實際三維尺寸、超限維度及幅度、檢測時間和地點；
9、step6、通過自適應配準算法和加權融合算法將雷達數據和視頻數據進行有效融合，并使用h.265/hevc視頻編碼對融合后的數據進行編碼。
10、進一步地，所述step1中的雷達模塊具體包括以下內容：
11、（1）激光雷達數據采集：使用無人機，配備機械式激光雷達，無人機繞被測車輛進行飛行，激光雷達掃描獲得車輛的側面和尾部點云數據；
12、（2）數據格式轉換：原始數據格式為激光雷達掃描獲得的點云數據為pcap格式。轉換工具是在烏班圖系統中，使用機器人操作系統中的相關指令，通過rosbag指令將pcap文件轉換為bag文件，然后使用bag_to_pcd指令將bag文件轉換為pcd文件，pcd文件支持n維類型擴展機制，能夠存儲并處理有序點云數據，便于后續點云處理；
13、（3）點云數據預處理：使用點云庫中的條件濾波器，設定多個字段的條件閾值，剔除距離目標車輛點云較遠的明顯離群點，計算每個點到其k鄰域所有鄰近點的平均距離，設定距離閾值，剔除離群點。設定鄰域半徑閾值（eps）和形成聚類最小點的數目（minpts），對點云數據進行聚類，獲得完整的車輛點云數據；
14、（4）極坐標轉笛卡爾坐標：將激光雷達掃描獲得的點云數據從極坐標格式轉換為笛卡爾坐標系格式，轉換公式如下：
15、；
16、其中，r為被測點距激光雷達中心的距離，θ為水平旋轉角度，為垂直角度；
17、（5）主成分分析（pca）：計算點云數據的質心m，計算公式為：
18、；
19、其中，為點云數據集中的點，n為點的數量；
20、對點云集合中的n個點進行去中心化處理，構建協方差矩陣?c，公式如下：
21、；
22、求解協方差矩陣的特征值λ及對應的特征向量v；將特征向量進行正交標準化，得到正交矩陣a；將點云數據轉換至坐標系原點附近，點云數據的三個主方向即為新坐標系的方向；
23、（6）最小包圍盒構建：調用pcl庫中pcl::getminmax3d函數，通過遍歷最小包圍盒中所有的點云數據，得到包圍盒的8個頂點坐標，根據包圍盒頂點坐標，計算車輛的長度l、寬度w和高度h，公式如下：
24、；
25、進一步地，所述step2中可見光攝像頭模塊車牌識別算法采用改進的yolo深度學習模型，具體包括以下內容：
26、（1）添加多尺度特征融合模塊：在網絡中增加多尺度特征融合模塊，利用高分辨率特征圖對小車牌區域的細節特征進行增強，同時融合低分辨率特征圖中的上下文信息，提高對小車牌區域的檢測能力。在實現過程中，通過pytorch或onnx框架訓練帶有fpn（特征金字塔網絡）的檢測模型，結合視頻流實時處理模塊，支持多分辨率輸入；
27、（2）引入注意力機制：使用通道注意力機制（如se模塊）和空間注意力機制（如cbam模塊）優化特征圖權重分配，抑制復雜背景中無關區域的影響。例如，針對視頻流中的車牌檢測任務，注意力機制會強化車牌區域特征，同時通過實時點云數據進行背景過濾；調用檢測結果的可視化功能，將注意力優化后的特征輸出為車牌區域的高亮矩形框；
28、（3）利用預訓練模型進行遷移學習：采用imagenet或common?objects?in?context預訓練權重，通過遷移學習適配不同國家車牌樣式，包括不同字體、顏色和字符排列；遷移學習通過微調高層檢測頭層的權重，在復雜環境（如光照不均勻、模糊影像）中仍能保持99%以上的識別準確率；
29、（4）基于線程的實時檢測與結果繪制：實現一個多線程車牌檢測框架，通過pyqt5的qthread?模塊管理檢測線程，確保車牌檢測與繪制任務的高效并行執行：qthreadmodelpredict處理檢測線程，包括從視頻流讀取幀數據、調用檢測模型進行推理、繪制檢測結果；
30、信號機制確保檢測完成后立即更新ui顯示檢測結果，包括車牌號、車牌置信度和定位框坐標；
31、使用cnn_predict_image_drawed_sig信號將繪制的檢測結果通過ui模塊實時呈現；
32、（5）優化視頻流與實時交互：增強對多種圖像來源的兼容性，包括圖像文件、視頻流和實時攝像頭輸入，在視頻模式下，使用跨平臺計算機視覺庫的videocapture管理幀捕獲，通過cnn_infer_thread在多線程環境中調用檢測算法，實現檢測結果的實時動態更新，包括車牌號、車牌顏色和檢測置信度，調用show_infer_res和?show_image函數展示檢測結果，確保檢測框與車牌信息準確對應；
33、（6）數據準確性校驗與動態閾值調節：支持動態調整置信度（confidence）和iou（intersection?over?union）閾值，適應不同環境下的檢測需求。
34、進一步地，所述step4中數據處理模塊結合動態閾值調整算法，對超限判斷進行優化，尺寸差異和閾值調整本文檔來自技高網...
【技術保護點】
1.一種面向車輛超限預警的雷達與視頻信息融合編碼方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種面向車輛超限預警的雷達與視頻信息融合編碼方法，其特征在于，步驟Step?1具體包括：
3.如權利要求1所述的一種面向車輛超限預警的雷達與視頻信息融合編碼方法，其特征在于，所述Step?2中可見光攝像頭模塊車牌識別算法采用改進的YOLO深度學習模型，其優化包括以下內容：
4.如權利要求1所述的一種面向車輛超限預警的雷達與視頻信息融合編碼方法，其特征在于，所述Step?4中數據處理模塊結合動態閾值調整算法，對超限判斷進行優化步驟中，尺寸差異和閾值調整公式如下：
5.如權利要求1所述的一種面向車輛超限預警的雷達與視頻信息融合編碼方法，其特征在于，步驟Step?6具體包括：
【技術特征摘要】
1.一種面向車輛超限預警的雷達與視頻信息融合編碼方法，其特征在于，包括如下步驟：
2.如權利要求1所述的一種面向車輛超限預警的雷達與視頻信息融合編碼方法，其特征在于，步驟step?1具體包括：
3.如權利要求1所述的一種面向車輛超限預警的雷達與視頻信息融合編碼方法，其特征在于，所述step?2中可見光攝像頭模塊車牌識別算法采用改進的yol...
【專利技術屬性】
技術研發人員：寧茂財，李露，成曉涵，李曉雨，高珩杰，李菊，趙作鵬，王晨軒，
申請(專利權)人：中國礦業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。