【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)屬于智能交通系統(tǒng)，具體涉及一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法。
技術(shù)介紹
1、在智能交通系統(tǒng)中，車(chē)聯(lián)網(wǎng)能提升車(chē)輛全方位網(wǎng)絡(luò)連接的互聯(lián)性，使車(chē)輛具備更高水平的智能化，最終實(shí)現(xiàn)人、車(chē)、環(huán)境的深度融合。同一區(qū)域內(nèi)的車(chē)輛彼此共享協(xié)同感知消息(cooperative?perception?messages,cpms)，以協(xié)同感知周?chē)h(huán)境，稱(chēng)為多車(chē)超視距協(xié)同感知。盡管協(xié)同感知技術(shù)的發(fā)展為車(chē)輛感知能力帶來(lái)很大提升，但是同時(shí)面臨實(shí)際系統(tǒng)通信帶寬限制帶來(lái)的一些挑戰(zhàn)。在實(shí)際情況下，如果要傳輸完整的原始感知數(shù)據(jù)或大量的感知中間特征將難以承受實(shí)時(shí)的巨大通信消耗。因此，現(xiàn)實(shí)中不能只提高車(chē)輛的環(huán)境感知性能，而不評(píng)估寶貴的通信帶寬成本。為了減輕車(chē)輛間因廣播cpm而造成的負(fù)面影響，并實(shí)現(xiàn)感知性能和通信帶寬間的平衡，車(chē)輛應(yīng)該智能地選擇協(xié)作的車(chē)輛和數(shù)據(jù)內(nèi)容。
2、由于車(chē)聯(lián)網(wǎng)中協(xié)同感知環(huán)境的迫切需求，現(xiàn)有技術(shù)已經(jīng)提出了一些車(chē)輛協(xié)同感知方法。為提升感知精度和保證感知的可靠性，需要從協(xié)同感知內(nèi)容和協(xié)同感知對(duì)象兩個(gè)方面進(jìn)行選擇。在協(xié)同感知內(nèi)容選擇方面，actor-critic強(qiáng)化學(xué)習(xí)的算法在高度動(dòng)態(tài)車(chē)聯(lián)網(wǎng)環(huán)境下自適應(yīng)調(diào)整原始數(shù)據(jù)、特征數(shù)據(jù)和對(duì)象級(jí)數(shù)據(jù)數(shù)據(jù)的傳輸比例，從而增強(qiáng)平均檢測(cè)精度。cobevt在多個(gè)視角的攝像頭的感知框架中通過(guò)車(chē)與車(chē)之間通信與周?chē)?chē)輛協(xié)同生成鳥(niǎo)瞰圖地圖預(yù)測(cè)，利用transformer架構(gòu)融合來(lái)自多視圖和多車(chē)的圖像特征，設(shè)計(jì)了一個(gè)融合軸向注意力模塊，捕捉稀疏局部特征和全局空間交互。上述方法只考慮了協(xié)作內(nèi)容的選擇，將所選的協(xié)作消
技術(shù)實(shí)現(xiàn)思路
1、為了克服上述現(xiàn)有技術(shù)存在的問(wèn)題和挑戰(zhàn)，為了能夠提升車(chē)輛平均感知精度，節(jié)約協(xié)作數(shù)據(jù)量的消耗，本專(zhuān)利技術(shù)提出一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，使用基于無(wú)效動(dòng)作屏蔽的深度強(qiáng)化學(xué)習(xí)方法，以減少車(chē)輛計(jì)算資源的消耗。為了解決協(xié)作對(duì)象和協(xié)作內(nèi)容聯(lián)合選擇中維度過(guò)大的問(wèn)題，本專(zhuān)利技術(shù)將該動(dòng)作空間建模為二維離散動(dòng)作空間，將協(xié)作對(duì)象和協(xié)作內(nèi)容的選擇問(wèn)題解耦，設(shè)計(jì)基于rsu的協(xié)作對(duì)象選擇方法和基于車(chē)輛的協(xié)作內(nèi)容選擇方法。其中，基于rsu的協(xié)作對(duì)象方法根據(jù)rsu的狀態(tài)空間使用dueling?dqn選出最佳的車(chē)輛協(xié)作對(duì)象，車(chē)輛接受到協(xié)作對(duì)象后，得知需要協(xié)作的對(duì)象，向協(xié)作對(duì)象發(fā)送協(xié)作內(nèi)容，由于實(shí)際的動(dòng)作選取只有自車(chē)感知到的結(jié)果，因此采用無(wú)效動(dòng)作屏蔽來(lái)縮小選擇的動(dòng)作范圍，提出基于無(wú)效動(dòng)作屏蔽的dueling?dqn來(lái)選擇需要向其協(xié)作對(duì)象發(fā)送3d邊界框和對(duì)應(yīng)的置信度分?jǐn)?shù)。
2、本專(zhuān)利技術(shù)涉及一種v2x(vehicle?to?everything，車(chē)聯(lián)網(wǎng))中的協(xié)同感知方法，將協(xié)作對(duì)象選擇與協(xié)作內(nèi)容選擇兩個(gè)動(dòng)作解耦分離，提出一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，用于提升自動(dòng)駕駛車(chē)輛的感知能力。首先使用基于路側(cè)單元的協(xié)作對(duì)象選擇方法，路側(cè)單元獲取所有自動(dòng)駕駛車(chē)輛的位置，使用深度q網(wǎng)絡(luò)為每輛自動(dòng)駕駛車(chē)輛分配最佳的協(xié)作對(duì)象，自動(dòng)駕駛車(chē)輛獲取自身與協(xié)作車(chē)輛的雷達(dá)位姿和自身感知結(jié)果，使用基于無(wú)效動(dòng)作屏蔽的深度q網(wǎng)絡(luò)選擇最佳的三維檢測(cè)框和對(duì)應(yīng)的置信度分?jǐn)?shù)，將最佳的三維檢測(cè)框和對(duì)應(yīng)的置信度分?jǐn)?shù)發(fā)送給協(xié)作對(duì)象。本專(zhuān)利技術(shù)有效提升自動(dòng)駕駛車(chē)輛協(xié)同感知的準(zhǔn)確性和減少協(xié)同感知的通信量。
3、本專(zhuān)利技術(shù)解決其技術(shù)問(wèn)題具體采用的技術(shù)方案是：
4、一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法：通過(guò)基于路側(cè)單元rsu的協(xié)作對(duì)象選擇方法，由路側(cè)單元rsu獲取所有自動(dòng)駕駛車(chē)輛cav的位置，使用dqn網(wǎng)絡(luò)為每輛自動(dòng)駕駛車(chē)輛cav分配最佳的協(xié)作對(duì)象，自動(dòng)駕駛車(chē)輛cav獲知需要協(xié)作的對(duì)象后，使用基于無(wú)效動(dòng)作屏蔽的dqn網(wǎng)絡(luò)選擇最佳的三維檢測(cè)框和對(duì)應(yīng)的置信度分?jǐn)?shù)，將最佳的三維檢測(cè)框和對(duì)應(yīng)的置信度分?jǐn)?shù)發(fā)送給協(xié)作對(duì)象以實(shí)現(xiàn)車(chē)路協(xié)同感知。
5、進(jìn)一步地，設(shè)在時(shí)隙t，n輛自動(dòng)駕駛車(chē)輛cav在路側(cè)單元rsu的服務(wù)覆蓋范圍內(nèi)，rsu用于實(shí)時(shí)獲取每輛車(chē)的位置信息pn(t)＝[xn(t),yn(t)]，每輛cav在時(shí)隙t獨(dú)立感知且允許向rsu覆蓋范圍內(nèi)的其他cav通信；
6、所述rsu根據(jù)rsu狀態(tài)空間使用dqn網(wǎng)絡(luò)為每輛車(chē)分配感知對(duì)象，將分配的協(xié)作cav的編號(hào)無(wú)延時(shí)地發(fā)送給對(duì)應(yīng)cav；
7、對(duì)應(yīng)的cav接收到來(lái)自rsu分配的協(xié)作對(duì)象編號(hào)后，獲知需要協(xié)作的對(duì)象，在此基礎(chǔ)上，cav?n根據(jù)車(chē)輛狀態(tài)空間通過(guò)基于無(wú)效動(dòng)作屏蔽的dqn網(wǎng)絡(luò)選擇需要向其協(xié)作對(duì)象發(fā)送3d邊界框和對(duì)應(yīng)的置信度分?jǐn)?shù)，以實(shí)現(xiàn)車(chē)路協(xié)同感知。
8、進(jìn)一步地，所述基于路側(cè)單元rsu的協(xié)作對(duì)象選擇方法包括：
9、所述rsu的狀態(tài)空間由rsu服務(wù)的所有cav的位置給出，在時(shí)隙t時(shí)rsu-agent的狀態(tài)空間表示為：
10、srsu(t)＝{pn(t)}，n∈n
11、基于每個(gè)時(shí)隙開(kāi)始時(shí)間的rsu狀態(tài)，rsu采取協(xié)同感知車(chē)輛關(guān)聯(lián)動(dòng)作矩陣e(t)：
12、e(t)＝[enn′(t)]
13、其中，e(t)為rsu在時(shí)隙t控制的全局車(chē)輛關(guān)聯(lián)矩陣，當(dāng)enn′(t)＝1時(shí)，表示cav?n在時(shí)隙t向cav?n′發(fā)送協(xié)同感知消息，相反，當(dāng)enn′(t)＝0時(shí)，表示cav?n在時(shí)隙t沒(méi)有向cav?n′發(fā)送協(xié)同感知消息；rsu在時(shí)隙t將每輛車(chē)的協(xié)作對(duì)象關(guān)聯(lián)通過(guò)v2i鏈路發(fā)送給對(duì)應(yīng)的cav；
14、假設(shè)rsu動(dòng)作限定車(chē)輛間的關(guān)聯(lián)選擇是雙向的，即enn′(t)＝en′n(t)，表示cav?n在時(shí)隙t向cav?n′發(fā)送時(shí)，cav?n′也向cav?n發(fā)送；則rsu在時(shí)隙t的動(dòng)作空間的維度大小為rsu在時(shí)隙t允許的動(dòng)作arsu(t)表示為：
15、
16、由此，rsu在每個(gè)時(shí)隙開(kāi)始時(shí)為每輛車(chē)分配協(xié)作對(duì)象后，將分配的協(xié)作cav的編號(hào)本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：通過(guò)基于路側(cè)單元RSU的協(xié)作對(duì)象選擇方法，由路側(cè)單元RSU獲取所有自動(dòng)駕駛車(chē)輛CAV的位置，使用DQN網(wǎng)絡(luò)為每輛自動(dòng)駕駛車(chē)輛CAV分配最佳的協(xié)作對(duì)象，自動(dòng)駕駛車(chē)輛CAV獲知需要協(xié)作的對(duì)象后，使用基于無(wú)效動(dòng)作屏蔽的DQN網(wǎng)絡(luò)選擇最佳的三維檢測(cè)框和對(duì)應(yīng)的置信度分?jǐn)?shù)，將最佳的三維檢測(cè)框和對(duì)應(yīng)的置信度分?jǐn)?shù)發(fā)送給協(xié)作對(duì)象以實(shí)現(xiàn)車(chē)路協(xié)同感知。
2.根據(jù)權(quán)利要求1所述的基于一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：
3.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：
4.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：
5.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：
6.一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知系統(tǒng)，其特征在于，包括：至少一個(gè)路側(cè)單元RSU和多輛自動(dòng)駕駛車(chē)輛CAV；通過(guò)基于路側(cè)單元RSU的協(xié)作對(duì)象選擇方法，由所述路側(cè)單元RSU獲取所有自動(dòng)駕駛車(chē)輛CAV的位置，使用DQN網(wǎng)絡(luò)為每輛自
7.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法的步驟。
8.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法的步驟。
...【技術(shù)特征摘要】
1.一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：通過(guò)基于路側(cè)單元rsu的協(xié)作對(duì)象選擇方法，由路側(cè)單元rsu獲取所有自動(dòng)駕駛車(chē)輛cav的位置，使用dqn網(wǎng)絡(luò)為每輛自動(dòng)駕駛車(chē)輛cav分配最佳的協(xié)作對(duì)象，自動(dòng)駕駛車(chē)輛cav獲知需要協(xié)作的對(duì)象后，使用基于無(wú)效動(dòng)作屏蔽的dqn網(wǎng)絡(luò)選擇最佳的三維檢測(cè)框和對(duì)應(yīng)的置信度分?jǐn)?shù)，將最佳的三維檢測(cè)框和對(duì)應(yīng)的置信度分?jǐn)?shù)發(fā)送給協(xié)作對(duì)象以實(shí)現(xiàn)車(chē)路協(xié)同感知。
2.根據(jù)權(quán)利要求1所述的基于一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：
3.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：
4.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：
5.根據(jù)權(quán)利要求1所述的一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知方法，其特征在于：
6.一種基于深度強(qiáng)化學(xué)習(xí)的車(chē)路協(xié)同感知系...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭海峰，劉洋，徐帆，馮心欣，
申請(qǐng)(專(zhuān)利權(quán))人：福州大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。