【技術實現步驟摘要】
本專利技術涉及非結構化場景下的自動駕駛可通過區域檢測領域，特別涉及一種基于融合引導的非結構化場景可通過區域檢測方法。
技術介紹
1、相比結構化道路環境，非結構化場景的地貌動態多變、數據樣本規模有限，且模型泛化能力較弱，這些因素對非結構化環境的可通過區域檢測提出了嚴峻挑戰。因此，精準識別無人自主載具周圍地形的可通過性對于實現可靠的路徑規劃和控制至關重要。近年來，可通過區域檢測方法主要分為單模態和多模態兩類。單模態方法進一步細分為基于圖像和基于激光雷達點云兩種路徑。基于圖像的方法將可通過區域檢測視作一種像素級分類問題，屬于語義分割任務；早期的基于激光雷達點云的檢測算法多依賴于規則設定，而如今已逐漸采用深度學習網絡進行點云分割。然而，單模態方法在處理復雜非結構化場景時表現出不足，無法充分理解和解析場景的復雜性，導致可通過區域檢測精度下降，難以達到實際需求。為了解決這些問題，部分研究探索了融合多模態信息的方法。然而，這些方法的檢測精度仍有提升空間，且往往只能在特定數據集上取得較好效果，缺乏跨場景的泛化能力。大型視覺模型作為生成式人工智能的一種新范式，憑借在超大規模數據集上的預訓練基礎，結合跨模態提示學習，與下游任務緊密相連。因此，如何設計一個能夠融合大模型的可通過區域檢測方法并適用于非結構化場景，提升可通過區域檢測的精度與泛化能力，成為亟待解決的關鍵問題。
技術實現思路
1、為解決現有技術中的上述問題，本專利技術要提出一種提升可通過區域檢測的精度與泛化能力的基于融合引導的非結構化場景可通過
2、本專利技術的基本思路是：采用級聯融合方式，通過時序多幀動態自適應關鍵幀策略構建稠密局部點云地圖，結合地面分割操作預提取概率可通過區域，并通過動態關鍵點采樣生成特征點云，將其作為先驗知識引導sam大模型的分割推理，從而顯著提升可通過區域檢測的精度和泛化能力。
3、為了實現上述目的，本專利技術的技術方案如下：一種基于融合引導的非結構化場景可通過區域檢測方法，包括以下步驟：
4、a、構建稠密點云
5、a1、為提升地面分割算法的點云數據質量，對稀疏點云數據進行稠密化處理。
6、使用激光慣導里程計接收激光點云和慣性導航數據，并利用這些數據估計車輛不同時刻的狀態和運動軌跡，計算得到最優位姿變換矩陣。
7、a2、利用所述最優位姿變換矩陣，將當前幀點云轉換到全局坐標系下并將轉換后的點云插入到雙端隊列容器中。所述雙端隊列容器的大小由預設的容量限值閾值控制，采用先進先出原則，當保存的點云數量超過容量限值時，雙端隊列容器內的全部點云被累加，構建稠密局部點云地圖。由于點云地面分割算法需要車體坐標系下的點云坐標，因此，根據激光慣導里程計保存的車輛位姿獲取激光雷達坐標系相對于全局坐標系的變換關系，并以雙端隊列容器中的頭部第一幀的變換關系，將稠密點云地圖的坐標從全局坐標系變換到激光雷達坐標系下，然后利用通過標定獲得的從激光雷達坐標系到車體坐標系的靜態位姿變換矩陣，計算出點云在車體坐標系下的坐標，具體公式如下：
8、
9、
10、其中，xv、yv、zv分別為第ti時刻的激光點原始位置的x坐標、y坐標、z坐標，xw、yw、zw分別為變換到全局地圖坐標系下的激光點位置的x坐標、y坐標、z坐標，r(ti)為最優位姿變換矩陣中的旋轉矩陣，為最優位姿變換矩陣中的平移向量。代表當前時刻tc稠密化后的激光點云，p′t代表t時刻的激光點云幀，tc代表了當前時刻，bn表示雙端隊列容器中存儲的第一幀和最后一幀點云的時間戳之間的間隔，代表tc-bn時刻全局坐標系到激光雷達坐標系的位姿變換矩陣，代表t時刻激光雷達坐標系到全局坐標系的位姿變換矩陣，tbl代表激光雷達坐標系到車體坐標系的靜態位姿變換矩陣。
11、b、地面分割
12、對所述稠密局部點云地圖進行可通過區域檢測，以粗粒度方式預提取由地面點與非地面點組成的概率可通過區域，如下式所示：
13、
14、其中，代表地面分割后的點云，segment代表地面分割操作，代表步驟a生成的稠密點云。
15、c、動態關鍵點采樣
16、首先對步驟b生成的地面點云和非地面點云分別執行三維體素劃分，接著計算每個體素內的點云體素密度并根據預設的體素密度閾值進行過濾篩選，將小于體素密度閾值的體素刪除，不作為后續采樣的輸入。然后循環遍歷過濾后的體素，對每個體素執行最遠點采樣算法，同時根據各體素內點云的平均距離密度，動態調整最遠點采樣算法的采樣點數量，具體計算公式如下：
17、
18、
19、其中，代表步驟b地面分割后生成的點云；voxel代表三維體素劃分操作，通過點云中每個點在車體坐標系下的x、y、z位置坐標，確定該點所在體素的索引位置；v代表三維體素結構；vn代表三維體素結構中的某一特定體素；fps表示最遠點采樣操作；為最終生成的特征點云；n代表在三維體素結構中所有體素的總數量。
20、所述點云平均距離密度通過計算點云各點的距離平均值來估算點云分布疏密程度，點云各點的距離表示為點云某一點p與點云中距離點p最近的點的距離，計算公式如下：
21、dp＝min(dis(p，q))，q＝1，2，…，n，p≠q
22、
23、在點數為n的點云中，用dis(p，q)表示點p與其他任意點q之間的距離，用dp表示點p與其他點的最小距離，表示點云平均距離密度。通過對各個體素中采樣得到的所有地面點和非地面點進行累積，構建出特征點云。然后，將該特征點云與sam大模型的輸入圖像進行時空同步轉換，將特征點云中的地面點和非地面點從激光雷達坐標系投影到圖像坐標系中，生成感興趣區域，這些感興趣區域將分別作為后續引導sam大模型推理的正提示信息和負提示信息。雷達點云與相機圖像的坐標系不同，通過激光雷達相機的聯合標定獲取到二者的相對位姿，所述相對位姿包括旋轉矩陣和平移向量。
24、d、sam大模型分割
25、將步驟c生成的正提示信息和負提示信息，統一輸入到sam大模型的參數當中，引導sam大模型分割推理，生成融合后的可通過區域地圖。
26、進一步地，步驟b所述地面分割操作segment，采用改進的基于局部平面擬合的patchwork++地面濾波算法作為地面分割算法。
27、與現有技術相比，本專利技術具有以下有益效果：
28、1、本專利技術基于融合引導大模型的設計，通過構建稠密點云以增加待檢測目標的點云占比，從而豐富目標的結構信息與語義信息，增強地面分割算法的點云數據質量和有效性。同時，利用動態關鍵點采樣，對點云分割所獲得的概率可通過區域生成特征點云，減少點云分割誤判對sam大模型的錯誤引導。
29、2、本專利技術將動態關鍵點采樣生成的特征點云作為先驗知識，引導sam大模型的分割推理，從而有效提升非結構化場景中的可通過區域檢測的精度和泛化能力。
本文檔來自技高網...【技術保護點】
1.一種基于融合引導的非結構化場景可通過區域檢測方法，其特征在于：包括以下步驟：
2.根據權利要求1所述一種基于融合引導的非結構化場景可通過區域檢測方法，其特征在于：步驟B所述地面分割操作Segment，采用改進的基于局部平面擬合的Patchwork++地面濾波算法作為地面分割算法。
【技術特征摘要】
1.一種基于融合引導的非結構化場景可通過區域檢測方法，其特征在于：包括以下步驟：
2.根據權利要求1所述一種基于融合引導的非結構化場景可...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。