【技術實現步驟摘要】
本專利技術屬于智能交通中輔助駕駛系統的交通場景理解，具體涉及一種交通法規知識圖譜增強的駕駛決策推理問答方法及裝置。
技術介紹
1、交通示意圖駕駛決策推理問答旨在捕獲交通示意圖和問題文本之間的關聯，以便獲得準確的駕駛決策，在輔助駕駛和自動駕駛等應用領域發揮著重要作用。當前通用大模型具有強學習能力，但忽略了交通領域的專業背景知識且交通示意圖存在語義混淆的難表征問題。
2、因此，亟需一種解決交通示意圖語義混淆難題以及提升答案可解釋性的交通示意圖駕駛決策推理問答方法。
技術實現思路
1、為了解決現有技術中存在的上述問題，本專利技術提供了一種交通法規知識圖譜增強的駕駛決策推理問答方法及裝置。本專利技術要解決的技術問題通過以下技術方案實現：
2、第一方面，本專利技術提供了一種交通法規知識圖譜增強的駕駛決策推理問答方法包括：
3、s100，利用電子設備接收用戶輸入的待回答的交通示意圖問題；
4、s200，將所述待回答的交通示意圖問題輸入至訓練好的交通示意圖駕駛決策推理問答模型中，以輸出推理回答；
5、其中，所述訓練好的交通示意圖駕駛決策推理問答模型的訓練過程包括：
6、獲取包含多張交通示意圖、多個問題文本以及一個交通法規知識圖譜的樣本集；利用所述樣本集構建多模態特征數據集；利用所述多模態特征數據集對預先構建的交通示意圖駕駛決策推理問答模型進行訓練，得到訓練好的交通示意圖駕駛決策推理問答模型；
7、s300，利用所
8、第二方面，本專利技術提供了一種交通法規知識圖譜增強的駕駛決策推理問答裝置包括：設置在電子設備上的接收模塊、問答模塊和顯示模塊；
9、所述接收模塊，被配置為接收用戶輸入的待回答的交通示意圖問題；
10、所述問答模塊，被配置為將所述待回答的交通示意圖問題輸入至訓練好的交通示意圖駕駛決策推理問答模型中，以輸出推理回答；
11、其中，所述訓練好的交通示意圖駕駛決策推理問答模型的訓練過程包括：
12、獲取包含多張交通示意圖、多個問題文本以及一個交通法規知識圖譜的樣本集；利用所述樣本集構建多模態特征數據集；利用所述多模態特征數據集對預先構建的交通示意圖駕駛決策推理問答模型進行訓練，得到訓練好的交通示意圖駕駛決策推理問答模型；
13、所述顯示模塊，被配置為利用所述電子設備顯示所述推理回答，以使用戶參考所述推理回答完成駕駛決策。
14、本專利技術中提供的一個或多個技術方案，至少具有如下技術效果或優點：
15、(1)本專利技術設計了基于交通法規知識圖譜和語義自增強的交通示意圖表征模塊，采用大語言模型為交通示意圖生成圖塊描述，在避免額外標注成本的前提下豐富交通示意圖中蘊含的語義知識，并借助交通法規知識圖譜保障交通示意圖語義知識的準確性。
16、(2)本專利技術設計了選擇性多模態問題融合模塊，以問題文本和交通示意圖視覺區域之間的相關性為依據，判斷問題文本和視覺區域之間是否充分包含彼此的信息，以此來約束選擇性多模態問題融合模塊采用普通融合機制或多模態補充融合機制。
17、以下將結合附圖及實施例對本專利技術做進一步詳細說明。
本文檔來自技高網...【技術保護點】
1.一種交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，包括：
2.根據權利要求1所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，所述利用所述樣本集構建多模態特征數據庫包括：
3.根據權利要求2所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，所述利用所述多模態特征數據集對預先構建的交通示意圖駕駛決策推理問答模型進行訓練，得到訓練好的交通示意圖駕駛決策推理問答模型包括：
4.根據權利要求3所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，b2包括：
5.根據權利要求3所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，c2包括：
6.根據權利要求3所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，d2包括：
7.根據權利要求6所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，
8.根據權利要求3所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，e1包括：
9.根據權利要求1所述的交通法規知識圖譜
10.一種交通法規知識圖譜增強的駕駛決策推理問答裝置，其特征在于，包括：設置在電子設備上的接收模塊、問答模塊和顯示模塊；
...【技術特征摘要】
1.一種交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，包括：
2.根據權利要求1所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，所述利用所述樣本集構建多模態特征數據庫包括：
3.根據權利要求2所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，所述利用所述多模態特征數據集對預先構建的交通示意圖駕駛決策推理問答模型進行訓練，得到訓練好的交通示意圖駕駛決策推理問答模型包括：
4.根據權利要求3所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特征在于，b2包括：
5.根據權利要求3所述的交通法規知識圖譜增強的駕駛決策推理問答方法，其特...
【專利技術屬性】
技術研發人員：胡欣，朱黛潔，成靜賢，李建新，高濤，崔雪，
申請(專利權)人：長安大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。