本發(fā)明專利技術(shù)公開了基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，包括多模態(tài)數(shù)據(jù)采集與情境預(yù)測(cè)模塊、自適應(yīng)策略生成與遠(yuǎn)程優(yōu)化模塊、協(xié)同駕駛與多車策略協(xié)調(diào)模塊、云端駕駛智能監(jiān)控與反饋模塊和動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估與路徑優(yōu)化模塊；本發(fā)明專利技術(shù)通過(guò)云端處理來(lái)自車輛和環(huán)境的多種輸入數(shù)據(jù)，提前預(yù)測(cè)自動(dòng)駕駛情境中的風(fēng)險(xiǎn)因素，如突發(fā)障礙、天氣惡化、復(fù)雜交通狀況等，云端計(jì)算提供了強(qiáng)大的數(shù)據(jù)處理能力和存儲(chǔ)資源，云端部署的大模型能對(duì)車輛采集的數(shù)據(jù)進(jìn)行訓(xùn)練，從而提高自動(dòng)駕駛系統(tǒng)的感知和預(yù)測(cè)能力，并生成針對(duì)這些風(fēng)險(xiǎn)的多種應(yīng)對(duì)策略，還通過(guò)自適應(yīng)策略的動(dòng)態(tài)生成與遠(yuǎn)程優(yōu)化，幫助車輛在復(fù)雜場(chǎng)景中做出更安全、智能的駕駛決策。
1、當(dāng)前多模態(tài)大型語(yǔ)言模型(mllms)在提高自動(dòng)駕駛系統(tǒng)的可解釋性方面顯示出巨大潛力，這些模型能夠生成控制預(yù)測(cè)和自然語(yǔ)言解釋，但同時(shí)也面臨著數(shù)據(jù)標(biāo)注成本高和領(lǐng)域差異大的挑戰(zhàn)。
2、如公開號(hào)為cn116394979a的中國(guó)專利公開一種基于路側(cè)融合感知的自動(dòng)駕駛決策控制方法，該專利技術(shù)涉及一種基于路側(cè)融合感知的自動(dòng)駕駛決策控制方法，包括：步驟s1：獲取車輛周圍的路況信息及環(huán)境信息和車輛自身的狀態(tài)信息；步驟s2：根據(jù)所述車輛周圍的路況信息及環(huán)境信息和車輛自身的狀態(tài)信息，確定車輛的駕駛行為；步驟s3：根據(jù)確定好的駕駛行為規(guī)劃車輛的最優(yōu)駕駛路徑；步驟s4：通過(guò)控制車輛運(yùn)動(dòng)的縱向軌跡和車輛運(yùn)動(dòng)的橫向軌跡，使車輛按所述最優(yōu)駕駛路徑行駛。本專利技術(shù)能夠基于當(dāng)前場(chǎng)景控制車輛的駕駛行為，并基于駕駛行為規(guī)劃出車輛的最優(yōu)路徑，并控制車輛按最優(yōu)路徑行駛。
3、該專利使用的的自動(dòng)駕駛系統(tǒng)在處理復(fù)雜和多變的交通環(huán)境時(shí)，面臨著數(shù)據(jù)稀缺、領(lǐng)域差異顯著、訓(xùn)練成本高昂以及災(zāi)難性遺忘等問題，這些問題限制了系統(tǒng)的泛化能力和實(shí)時(shí)性，尤其是在需要快速響應(yīng)的駕駛情境中。
4、現(xiàn)有自動(dòng)駕駛技術(shù)在常規(guī)環(huán)境下已經(jīng)具備較高的處理能力，但在動(dòng)態(tài)、復(fù)雜的駕駛情境(如突發(fā)障礙物、極端天氣、交通擁堵、事故等)中，車輛仍然可能面臨處理不當(dāng)?shù)膯栴}，現(xiàn)有系統(tǒng)往往依賴本地傳感器和算法進(jìn)行決策，缺乏對(duì)更大范圍的交通、天氣、環(huán)境變化的提前感知能力。
/>技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供了基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，用以解決現(xiàn)有技術(shù)中存在的上述問題。
2、本申請(qǐng)具體是這樣的：
3、基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，包括多模態(tài)數(shù)據(jù)采集與情境預(yù)測(cè)模塊、自適應(yīng)策略生成與遠(yuǎn)程優(yōu)化模塊、協(xié)同駕駛與多車策略協(xié)調(diào)模塊、云端駕駛智能監(jiān)控與反饋模塊和動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估與路徑優(yōu)化模塊；
4、所述多模態(tài)數(shù)據(jù)采集與情境預(yù)測(cè)模塊，通過(guò)在車輛上部署的攝像頭、激光雷達(dá)、傳感器和gps采集車輛行駛數(shù)據(jù)、天氣數(shù)據(jù)和交通數(shù)據(jù)，并利用多模態(tài)大模型技術(shù)對(duì)所采集車輛行駛數(shù)據(jù)、天氣數(shù)據(jù)和交通數(shù)據(jù)進(jìn)行情境分析與預(yù)測(cè)，生成多模態(tài)大模型分析結(jié)果；
5、所述自適應(yīng)策略生成與遠(yuǎn)程優(yōu)化模塊，通過(guò)所述多模態(tài)大模型分析結(jié)果，生成應(yīng)對(duì)復(fù)雜情境的多種策略，針對(duì)所述多種策略，自動(dòng)選擇和優(yōu)化多種策略，并且生成最佳策略；
6、所述協(xié)同駕駛與多車策略協(xié)調(diào)模塊，用于在多輛自動(dòng)駕駛車輛之間協(xié)調(diào)應(yīng)對(duì)復(fù)雜情境的策略，確保多個(gè)車輛在同一復(fù)雜情境下能夠協(xié)同工作，避免多個(gè)車輛之間沖突并優(yōu)化整體安全性；
7、所述云端駕駛智能監(jiān)控與反饋模塊，通過(guò)云端對(duì)車輛的行駛狀態(tài)、環(huán)境變化和應(yīng)對(duì)策略進(jìn)行智能監(jiān)控，并實(shí)時(shí)提供反饋；
8、所述動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估與路徑優(yōu)化模塊，通過(guò)所述多模態(tài)大模型的預(yù)測(cè)與分析，對(duì)車輛行駛路徑中的動(dòng)態(tài)風(fēng)險(xiǎn)進(jìn)行實(shí)時(shí)評(píng)估，并生成最優(yōu)的路徑優(yōu)化方案；
9、所述多模態(tài)數(shù)據(jù)采集與情境預(yù)測(cè)模塊、所述自適應(yīng)策略生成與遠(yuǎn)程優(yōu)化模塊、所述協(xié)同駕駛與多車策略協(xié)調(diào)模塊、所述云端駕駛智能監(jiān)控與反饋模塊和所述動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估與路徑優(yōu)化模塊之間相互連接。
10、進(jìn)一步地，所述多模態(tài)數(shù)據(jù)采集與情境預(yù)測(cè)模塊包括圖像與傳感器數(shù)據(jù)融合子模塊、情境預(yù)測(cè)子模塊和危險(xiǎn)預(yù)警子模塊；
11、所述圖像與傳感器數(shù)據(jù)融合子模塊，通過(guò)多模態(tài)大模型融合分析所述車輛行駛數(shù)據(jù)、天氣數(shù)據(jù)和交通數(shù)據(jù)，生成三維環(huán)境感知結(jié)果；
12、所述情境預(yù)測(cè)子模塊，結(jié)合所述三維環(huán)境感知結(jié)果，預(yù)測(cè)可能出現(xiàn)的風(fēng)險(xiǎn)情境；
13、所述危險(xiǎn)預(yù)警子模塊，當(dāng)所述情境預(yù)測(cè)子模塊預(yù)測(cè)到即將發(fā)生的危險(xiǎn)情境時(shí)，提前發(fā)出預(yù)警信號(hào)，通知車輛和乘客采取預(yù)防措施；
14、所述圖像與傳感器數(shù)據(jù)融合子模塊包括圖像數(shù)據(jù)處理單元、激光雷達(dá)數(shù)據(jù)處理單元和數(shù)據(jù)融合單元；
15、所述圖像數(shù)據(jù)處理單元，采用對(duì)攝像頭捕獲的二維圖像數(shù)據(jù)使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行不同層級(jí)的圖像特征，所述卷積神經(jīng)網(wǎng)絡(luò)包括resnet-50和efficientnet，所述resnet-50與所述efficientnet通過(guò)串聯(lián)的方式連接，所述resnet-50的輸出作為為所述efficientnet的輸入；
16、所述激光雷達(dá)數(shù)據(jù)處理單元，用于對(duì)激光雷達(dá)捕獲的三維點(diǎn)云數(shù)據(jù)采用pointnet++網(wǎng)絡(luò)進(jìn)行特征提取，得到每個(gè)點(diǎn)的空間信息特征和幾何特征，形成三維點(diǎn)云特征；
17、所述數(shù)據(jù)融合單元，用于對(duì)圖像特征和三維點(diǎn)云特征進(jìn)行融合，形成多模態(tài)特征，所述融合采用earlyfusion策略加自注意力機(jī)制方式，公式為：
18、ffusion＝selfattention(fimg，flidar，f其他傳感器)，
19、其中，ffusion是融合后的多模態(tài)特征，selfattention為自注意力函數(shù)，ffusion是圖像特征，flidar是三維點(diǎn)云特征，f其他傳感器是其他傳感器特征；
20、所述情境預(yù)測(cè)子模塊實(shí)現(xiàn)的具體過(guò)程為：
21、使用基于bevtransformer模型對(duì)車輛周圍的空間進(jìn)行建模和預(yù)測(cè)，該模型能夠處理長(zhǎng)距離依賴，并有效捕捉復(fù)雜場(chǎng)景中的全局信息：
22、h＝transformer(ffusion)，
23、其中h是車輛周圍的空間表示，基于該表示生成的預(yù)測(cè)將用于后續(xù)的駕駛決策；
24、通過(guò)基于貝葉斯神經(jīng)網(wǎng)絡(luò)bnn模型評(píng)估潛在風(fēng)險(xiǎn)情境的概率分布：
25、p(y|h)＝∫p(y|z)p(z|h)dz，其中，z是隱變量，用于描述潛在的風(fēng)險(xiǎn)情境。
26、進(jìn)一步地，所述自適應(yīng)策略生成與遠(yuǎn)程優(yōu)化模塊包括多策略生成子模塊、實(shí)時(shí)遠(yuǎn)程優(yōu)化子模塊和自適應(yīng)駕駛子模塊；
27、所述多策略生成子模塊，用于檢測(cè)到車輛遇到不同的情境，生成多種應(yīng)對(duì)策略，所述多種應(yīng)對(duì)策略包括路徑重新規(guī)劃、速度調(diào)整和緊急制動(dòng)，所述不同的情境包括復(fù)雜情境或車輛遇到潛在危險(xiǎn)；
28、所述實(shí)時(shí)遠(yuǎn)程優(yōu)化子模塊，通過(guò)云端優(yōu)化所述多種應(yīng)對(duì)策略，動(dòng)態(tài)調(diào)整車輛的行駛方案，并實(shí)時(shí)向車輛發(fā)送優(yōu)化后的策略所對(duì)應(yīng)的控制指令。
29、進(jìn)一步地，所述自適應(yīng)駕駛子模塊，基于不同的情境，生成不同級(jí)別的自適應(yīng)駕駛策略；
30、所述多策略生成子模塊的具體實(shí)現(xiàn)過(guò)程為：
31、使用強(qiáng)化學(xué)習(xí)中的深度q網(wǎng)絡(luò)生成不同的駕駛策略，所述駕駛策略生成過(guò)程將考慮不同的駕駛場(chǎng)景，并根據(jù)當(dāng)前環(huán)境狀態(tài)選擇最優(yōu)策略：
32、q(s,a)＝e[r+βmax'aq(s'，a')]，
33、其中，s表示當(dāng)前車輛的狀態(tài)，包括速度、位置、傳感器數(shù)據(jù)，a表示可采取的動(dòng)作集合，包括剎車、轉(zhuǎn)向、加速、減速，β是折扣因子，r是即時(shí)獎(jiǎng)勵(lì)，max'aq(s'，a')表示下一個(gè)狀態(tài)s'中所有可能動(dòng)作的最大q值本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，包括多模態(tài)數(shù)據(jù)采集與情境預(yù)測(cè)模塊、自適應(yīng)策略生成與遠(yuǎn)程優(yōu)化模塊、協(xié)同駕駛與多車策略協(xié)調(diào)模塊、云端駕駛智能監(jiān)控與反饋模塊和動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估與路徑優(yōu)化模塊；
2.根據(jù)權(quán)利要求1所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述多模態(tài)數(shù)據(jù)采集與情境預(yù)測(cè)模塊包括圖像與傳感器數(shù)據(jù)融合子模塊、情境預(yù)測(cè)子模塊和危險(xiǎn)預(yù)警子模塊；
3.根據(jù)權(quán)利要求2所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述自適應(yīng)策略生成與遠(yuǎn)程優(yōu)化模塊包括多策略生成子模塊、實(shí)時(shí)遠(yuǎn)程優(yōu)化子模塊和自適應(yīng)駕駛子模塊；
4.根據(jù)權(quán)利要求3所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述自適應(yīng)駕駛子模塊，基于不同的情境，生成不同級(jí)別的自適應(yīng)駕駛策略；
5.根據(jù)權(quán)利要求4所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述協(xié)同駕駛與多車策略協(xié)調(diào)模塊包括協(xié)同情境預(yù)測(cè)子模塊、策略協(xié)調(diào)子模塊和集體路徑規(guī)劃子模塊；p>
6.根據(jù)權(quán)利要求5所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述協(xié)同情境預(yù)測(cè)子模塊的具體實(shí)現(xiàn)過(guò)程為：
7.根據(jù)權(quán)利要求6所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述云端駕駛智能監(jiān)控與反饋模塊包括全局監(jiān)控與調(diào)度子模塊、反饋優(yōu)化子模塊和緊急遠(yuǎn)程接管子模塊；
8.根據(jù)權(quán)利要求7所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述全局監(jiān)控與調(diào)度子模塊中通過(guò)交通數(shù)據(jù)和天氣數(shù)據(jù)持續(xù)監(jiān)控車輛的運(yùn)行情況具體實(shí)現(xiàn)過(guò)程為：
9.根據(jù)權(quán)利要求8所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估與路徑優(yōu)化模塊包括動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估子模塊、路徑規(guī)劃與優(yōu)化子模塊和應(yīng)急路線生成子模塊；
10.根據(jù)權(quán)利要求9所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估子模塊的具體實(shí)現(xiàn)過(guò)程為：
...
【技術(shù)特征摘要】
1.基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，包括多模態(tài)數(shù)據(jù)采集與情境預(yù)測(cè)模塊、自適應(yīng)策略生成與遠(yuǎn)程優(yōu)化模塊、協(xié)同駕駛與多車策略協(xié)調(diào)模塊、云端駕駛智能監(jiān)控與反饋模塊和動(dòng)態(tài)風(fēng)險(xiǎn)評(píng)估與路徑優(yōu)化模塊；
2.根據(jù)權(quán)利要求1所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述多模態(tài)數(shù)據(jù)采集與情境預(yù)測(cè)模塊包括圖像與傳感器數(shù)據(jù)融合子模塊、情境預(yù)測(cè)子模塊和危險(xiǎn)預(yù)警子模塊；
3.根據(jù)權(quán)利要求2所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述自適應(yīng)策略生成與遠(yuǎn)程優(yōu)化模塊包括多策略生成子模塊、實(shí)時(shí)遠(yuǎn)程優(yōu)化子模塊和自適應(yīng)駕駛子模塊；
4.根據(jù)權(quán)利要求3所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述自適應(yīng)駕駛子模塊，基于不同的情境，生成不同級(jí)別的自適應(yīng)駕駛策略；
5.根據(jù)權(quán)利要求4所述的基于云端多模態(tài)大模型的駕駛情境預(yù)測(cè)與自適應(yīng)策略生成系統(tǒng)，其特征在于，所述協(xié)同駕駛與多車策略協(xié)調(diào)模塊包括協(xié)同...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：梁曉輝，陳榮波，蔡軼佳，楊昊，
申請(qǐng)(專利權(quán))人：廣州智體科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。