【技術實現步驟摘要】
本專利技術屬于自動駕駛領域，具體涉及一種用于自動駕駛和adas的視頻信號處理系統及方法。
技術介紹
1、近年來，自動駕駛（autonomous?driving）技術和高級駕駛輔助系統（advanceddriving?assistant?system，adas）憑借其不斷創新和完善的功能，展現出巨大的市場潛力。作為自動駕駛/無人駕駛技術的基礎和前提，adas通過集成多種傳感器、計算平臺、算法和軟件以及操作系統，實現對車輛周圍環境進行感知、決策與控制，從而提升駕駛的安全性、舒適度及效率。
2、目前主流的自動駕駛和adas解決方案有：華為ads?3.0、mobileye?eyeq5、waymo、百度apollo、特斯拉autopilot、nvidia?drive?autopilot?/?drive?agx?xavier/orin和地平線的superdrive智駕方案等。隨著ai人工智能、深度學習和大數據技術的不斷融合與發展,?l4和l5級別的自動駕駛汽車將逐步進入市場，實現更高程度的自動化和智能化，可以期待。然而，現有的自動駕駛和adas解決方案面臨以下問題或痛點：（1）傳統計算平臺的性能限制：在ai人工智能、深度學習和大數據技術快速發展的背景下，傳統的cpu和gpu在處理日益復雜的計算任務時顯得力不從心。尤其在算力、實時性和功耗方面，這些平臺難以滿足日益嚴苛的應用需求。（2）adas系統的高成本與集成挑戰：目前市面上的adas系統普遍價格昂貴，且各系統間的兼容性問題突出，導致集成工作、debug調試既困難又耗時。這無疑增
技術實現思路
1、本專利技術的目的在于提供一種用于自動駕駛和adas的視頻信號處理系統及方法，以解決現有自動駕駛和adas平臺在處理視頻信號時存在計算平臺性能限制（算力和實時性不足、功耗高）以及adas系統的高成本與集成挑戰的問題。
2、為達到上述目的，本專利技術采用以下技術方案：
3、第一方面，本專利技術提供一種用于自動駕駛和adas的視頻信號處理系統，包括：視頻采集裝置、信號均衡器（?equalizer，eq）?、ahd解碼器、fpga芯片和rk3588芯片；
4、其中信號均衡器接收來自每路sdi相機或4k?hdmi信號源提供的輸入信號，實現單端信號轉換為差分信號和eq均衡的功能，然后輸出給fpga芯片；
5、通過利用fpga內部豐富的gtp/gtx/gth/gty高速串行收發器（serdes）來接收車載視頻信號，完成圖像采集、圖像預處理以及信號傳輸后，將視頻數據通過pcie接口輸出。同時，fpga芯片還通過ahd解碼器采集ahd相機的視頻信號，以便進行后續處理。
6、rk3588芯片的pcie接口與fpga芯片的pcie接口連接。
7、rk3588芯片通過pcie接口接收車載視頻的實時數據流，并對接收到的視頻數據進行h.265/h.264編碼處理、基于深度學習的目標識別與跟蹤算法處理、osd（屏幕顯示）、存儲和人機交互處理，為后續的視頻傳輸、存儲或顯示提供基礎。
8、在一些實施方式中，所述視頻信號處理系統與視頻采集裝置連接，該視頻采集裝置包括sdi相機、hdmi視頻源和ahd相機，這些視頻源可以根據不同的應用場景靈活配置為其他類型的視頻源。所有這些視頻源都通過各自專用的接口電路與fpga相連。系統能夠實現在車載環境下低延遲、高分辨率（如4k）的視頻圖像數據采集，滿足自動駕駛/adas系統中圖像采集的性能要求，并具有良好的適應性和可擴展性。
9、在一些實施方式中，所述信號均衡器包括4k?hdmi接收端信號均衡器和sdi相機接收端信號均衡器。信號均衡器接收來自每路sdi相機或4k?hdmi信號源的輸入信號，實現單端信號到差分信號的轉換或eq均衡功能，補償信號在傳輸過程中的損失，確保輸出信號的完好性和質量。然后，信號均衡器將處理后的信號輸出給fpga芯片進行進一步處理。
10、在一些實施方式中，所述4k?hdmi接收端信號均衡器的型號為ps8409a，sdi相機接收端信號均衡器的型號為gv8601a。
11、在一些實施方式中，ahd解碼器用于采集并解碼車載ahd相機的視頻信號，以供后續處理，其芯片型號為xs9922a。
12、在一些實施方式中，所述fpga芯片包括gtx解串器、sdi解碼單元、hdmi解碼單元、ahd解碼單元、視頻格式轉換單元、視頻處理單元、視頻縮放單元和視頻存儲傳輸單元；
13、gtx解串器將sdi視頻信號和hdmi視頻信號轉換為sdi并行數字信號和hdmi并行數字信號后分別傳輸至sdi解碼單元和hdmi解碼單元；
14、sdi解碼單元將sdi并行數字信號解碼為標準.1120格式視頻信號傳輸至所述視頻格式轉換單元；
15、hdmi解碼單元將hdmi并行數字信號解碼為標準ycbcr422格式視頻信號傳輸至所述視頻格式轉換單元；
16、ahd解碼單元將ahd視頻信號解碼為標準bt.656格式視頻信號傳輸至所述視頻格式轉換單元；
17、視頻格式轉換單元將標準.1120格式視頻信號和標準bt.656格式視頻信號轉換為標準ycbcr422格式視頻信號，然后將標準ycbcr422格式視頻信號轉換為rgb格式視頻信號輸出至圖像處理單元；
18、視頻處理單元將所述rgb格式視頻信號根據預設參數裁剪得到roi數據后傳輸至視頻縮放單元；
19、視頻縮放單元調整roi數據的分辨率和尺寸后得到縮放后roi數據并傳輸至視頻存儲傳輸單元；
20、視頻存儲傳輸單元將縮放后roi數據轉換為符合axi4總線傳輸標準的格式，并對多路axi4總線數據進行仲裁與調度得到仲裁后的視頻數據并將其存儲至外部存儲器，將外部存儲器內部的所述仲裁后的視頻數據傳輸至fpga芯片的pcie接口。
21、對于上述fpga處理過程進行詳細說明，包括：
22、圖像采集。fpga芯片通過專用的接口電路和連接器連接到sdi相機或4k?hdmi信號源，將接收到的數字視頻信號送入相應的gtx解串器進行處理。所述gtx解串器為fpga內部的gtp/gtx/gth/gty高速串行收發器（serdes）。
23、gtx解串，gtx解串器負責將輸入的高速串行差分信號轉換為并行數字信號，然后送入相應的解碼單元進行處理。
24、視頻解碼，對于sdi視頻流，smpte?sdi解碼單元接收來自gtx解串器的并行數據，并將sdi視頻流解碼為標準bt.1120格式的視頻輸出；對于hdmi視頻流，hdmi解碼單元接收來自gtx解串器的本文檔來自技高網...
【技術保護點】
1.一種用于自動駕駛和ADAS的視頻信號處理系統，其特征在于，包括：視頻采集裝置、信號均衡器、AHD解碼器、FPGA芯片和RK3588芯片；
2.根據權利要求1所述的一種用于自動駕駛和ADAS的視頻信號處理系統，其特征在于，所述信號均衡器包括4K?HDMI接收端信號均衡器和SDI相機接收端信號均衡器；
3.根據權利要求2所述的一種用于自動駕駛和ADAS的視頻信號處理系統，其特征在于，所述視頻采集裝置包括SDI相機、HDMI視頻源和AHD相機；
4.根據權利要求1所述的一種用于自動駕駛和ADAS的視頻信號處理系統，其特征在于，所述FPGA芯片包括GTX解串器、SDI解碼單元、HDMI解碼單元、AHD解碼單元、視頻格式轉換單元、視頻處理單元、視頻縮放單元和視頻存儲傳輸單元；
5.根據權利要求4所述的一種用于自動駕駛和ADAS的視頻信號處理系統，其特征在于，所述視頻處理單元還包括信號檢測模塊，所述信號檢測模塊用于檢測RGB格式視頻信號，若檢測到所述RGB格式視頻信號，則處理所述RGB格式視頻信號并輸出至視頻縮放單元，若未檢測到所述RGB格
6.一種用于自動駕駛和ADAS的視頻信號處理方法，其特征在于，基于權利要求4所述的視頻信號處理系統，包括以下步驟：
7.根據權利要求6所述的一種視頻信號處理方法，其特征在于，所述標準.1120格式視頻信號和標準BT.656格式視頻信號按照CEA-861和VESA的視頻信號時序標準轉換為標準YCBCR422格式視頻信號。
8.根據權利要求6所述的一種視頻信號處理方法，其特征在于，采用輪詢算法對多路AXI4總線數據進行仲裁與調度。
9.根據權利要求6所述的一種視頻信號處理方法，其特征在于，所述仲裁后的視頻數據通過XDMA傳輸至RK3588芯片的PCIE接口。
10.根據權利要求6所述的一種視頻信號處理方法，其特征在于，還包括以下步驟：
...【技術特征摘要】
1.一種用于自動駕駛和adas的視頻信號處理系統，其特征在于，包括：視頻采集裝置、信號均衡器、ahd解碼器、fpga芯片和rk3588芯片；
2.根據權利要求1所述的一種用于自動駕駛和adas的視頻信號處理系統，其特征在于，所述信號均衡器包括4k?hdmi接收端信號均衡器和sdi相機接收端信號均衡器；
3.根據權利要求2所述的一種用于自動駕駛和adas的視頻信號處理系統，其特征在于，所述視頻采集裝置包括sdi相機、hdmi視頻源和ahd相機；
4.根據權利要求1所述的一種用于自動駕駛和adas的視頻信號處理系統，其特征在于，所述fpga芯片包括gtx解串器、sdi解碼單元、hdmi解碼單元、ahd解碼單元、視頻格式轉換單元、視頻處理單元、視頻縮放單元和視頻存儲傳輸單元；
5.根據權利要求4所述的一種用于自動駕駛和adas的視頻信號處理系統，其特征在于，所述視頻處理單元還包括信號檢測模塊，所述信號檢測模塊用于檢測rgb格...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。