【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及交通信號(hào)燈控制，特別涉及一種交通信號(hào)燈控制方法、裝置、介質(zhì)和設(shè)備。
技術(shù)介紹
1、交通信號(hào)控制是現(xiàn)代城市交通管理中的一個(gè)重要問題，傳統(tǒng)的交通信號(hào)控制方法通常是基于固定的信號(hào)周期或流量預(yù)測。隨著智能交通系統(tǒng)和深度強(qiáng)化學(xué)習(xí)的快速發(fā)展，基于數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化方法逐漸成為信號(hào)控制的主流方向。近年來，基于近端策略優(yōu)化的方法被廣泛應(yīng)用于動(dòng)態(tài)交通信號(hào)控制中，它能夠通過對(duì)環(huán)境的實(shí)時(shí)反饋進(jìn)行學(xué)習(xí)和調(diào)整，從而實(shí)現(xiàn)更加高效的交通管理。
2、在現(xiàn)有技術(shù)中，中國專利cn115578870b公開了一種基于近端策略優(yōu)化的交通信號(hào)控制方法，包括：建立經(jīng)驗(yàn)存儲(chǔ)集合，包括交叉路口信號(hào)相位數(shù)據(jù)和交通流狀態(tài)數(shù)據(jù)；構(gòu)建基于lstm神經(jīng)網(wǎng)絡(luò)的信號(hào)策略網(wǎng)絡(luò)actor和信號(hào)價(jià)值網(wǎng)絡(luò)critic；以經(jīng)驗(yàn)存儲(chǔ)集合中第n回合下t時(shí)刻的樣本{sn,t,an,t,rn,t,sn,t+1}作為輸入訓(xùn)練信號(hào)策略網(wǎng)絡(luò)actor和信號(hào)價(jià)值網(wǎng)絡(luò)critic；將當(dāng)前回合數(shù)n+1賦值給n，循環(huán)執(zhí)行上述步驟，直到n＝n，保存信號(hào)策略網(wǎng)絡(luò)actor的模型參數(shù)，用于真實(shí)場景中輸出不同交通狀態(tài)下的信號(hào)相位。
3、但是，上述方法所提出的交通信號(hào)燈控制策略是基于車輛的通行時(shí)間所設(shè)計(jì)的，無法解決在通過交通信號(hào)燈的過程中車輛由于變速而產(chǎn)生的燃油效率問題。
技術(shù)實(shí)現(xiàn)思路
1、基于此，為了解決現(xiàn)有技術(shù)中的技術(shù)問題，本專利技術(shù)提供一種交通信號(hào)燈控制方法、裝置、介質(zhì)和設(shè)備。
2、本專利技術(shù)提供了一種交通信號(hào)燈控制方法，包括：>
3、將交通信號(hào)控制問題轉(zhuǎn)化為馬爾科夫決策過程，并獲得馬爾科夫決策過程中的狀態(tài)s、動(dòng)作a和獎(jiǎng)勵(lì)r；其中，狀態(tài)s由所在交叉口的車輛實(shí)時(shí)位置與速度構(gòu)成；動(dòng)作a由控制交通信號(hào)燈相位動(dòng)作組成，包括切換相位與延長相位兩個(gè)動(dòng)作；獎(jiǎng)勵(lì)r為由于交通信號(hào)燈相位動(dòng)作變化而產(chǎn)生的變速增量油耗；所述車輛由于交通信號(hào)燈相位動(dòng)作變化而產(chǎn)生的變速增量油耗的計(jì)算方式為：
4、
5、其中，fadd表示所有車輛由于交通信號(hào)燈相位動(dòng)作變化而產(chǎn)生的變速增量油耗，m表示路口中處于怠速狀態(tài)的車輛隊(duì)列，n表示路口中處于加速或減速狀態(tài)的車輛隊(duì)列；fidling表示路口的車輛怠速油耗，fdriving表示路口的車輛加速或減速油耗，i代表第i輛怠速車輛，j代表第，輛加速或減速車輛；
6、l表示交叉路口的所有進(jìn)口車道集合，d1表示車道l中的累積怠速時(shí)間，t表示時(shí)間步，qt表示t時(shí)刻的車輛隊(duì)列長度，qt+1表示t+1時(shí)刻的車輛隊(duì)列長度，δt表示執(zhí)行延長綠燈相位動(dòng)作的時(shí)間；fidle表示車輛處于怠速狀態(tài)下的油耗率；v是車輛發(fā)動(dòng)機(jī)排量，f是車輛處于怠速狀態(tài)時(shí)的發(fā)動(dòng)機(jī)怠速；
7、facce和fdece分別表示加速油耗率和減速油耗率；t1和t2分別表示減速和加速所需時(shí)間；stotal表示減速與加速過程的總位移，v0表示車輛減速前的速度，v1表示車輛起步的速度，a1和a2分別表示減速度和加速度；vnormal表示車輛勻速行駛速度；fnormal表示勻速行駛油耗率；vehhalted_num表示停車數(shù)；v0表示車輛減速前的速度。
8、基于改進(jìn)近端策略優(yōu)化算法獲得預(yù)訓(xùn)練好的actor-critic網(wǎng)絡(luò)模型，包括：
9、i：使用正交初始化方法初始化actor-critic網(wǎng)絡(luò)模型的權(quán)重；
10、ii：對(duì)狀態(tài)s進(jìn)行歸一化處理和特征提取處理后輸入到actor分支中：
11、
12、其中，s表示原始狀態(tài)，μs和σs分別是狀態(tài)的均值和標(biāo)準(zhǔn)差，snorm表示歸一化后的狀態(tài)；
13、iii：基于actor分支的權(quán)重輸出動(dòng)作，并獲得動(dòng)作對(duì)應(yīng)的獎(jiǎng)勵(lì)r和下一個(gè)狀態(tài)st+1；
14、iv：使用critic分支計(jì)算優(yōu)勢估計(jì)值at：
15、
16、δt＝rt+γv(st+1)-v(st)；
17、其中，at是基于廣義優(yōu)勢估計(jì)所計(jì)算得到的時(shí)間步t的優(yōu)勢估計(jì)值；γ是折扣因子；λ是廣義優(yōu)勢估計(jì)的參數(shù)衰減；δt是時(shí)序差分誤差；rt為時(shí)間步t的即時(shí)獎(jiǎng)勵(lì)；v(st)和v(st+1)分別為critic分支對(duì)st和st+1的價(jià)值估計(jì)；
18、v：對(duì)優(yōu)勢函數(shù)進(jìn)行歸一化處理：
19、
20、其中，表示歸一化后的優(yōu)勢函數(shù)；μa表示優(yōu)勢估計(jì)值的均值，σa表示優(yōu)勢估計(jì)值的標(biāo)準(zhǔn)差；
21、vi：actor分支利用優(yōu)勢函數(shù)at更新策略參數(shù)：
22、
23、其中，rt(θ)為新舊策略的比率，∈為用于限制策略更新的幅度的超參數(shù)；為期望函數(shù)；clip(·)為裁剪函數(shù)；
24、vii：使用adam優(yōu)化器更新critic分支和actor分支的權(quán)重，更新過程中對(duì)學(xué)習(xí)率執(zhí)行線性衰減操作，并設(shè)置adam優(yōu)化器的epsilon為1e-5；
25、viii：重復(fù)步驟ii-vii，直到網(wǎng)絡(luò)收斂或達(dá)到預(yù)定的迭代次數(shù)。
26、將狀態(tài)s輸入到預(yù)訓(xùn)練好的actor-critic網(wǎng)絡(luò)模型的actor分支中，通過對(duì)狀態(tài)s進(jìn)行特征提取，輸出狀態(tài)s對(duì)應(yīng)的動(dòng)作a；將actor分支輸出的動(dòng)作a輸入到actor-critic網(wǎng)絡(luò)模型的critic分支中，通過對(duì)動(dòng)作a所對(duì)應(yīng)的變速增量油耗進(jìn)行分析，輸出對(duì)應(yīng)動(dòng)作a的價(jià)值。
27、根據(jù)critic分支輸出的價(jià)值調(diào)整交通信號(hào)燈相位動(dòng)作以改變交通信號(hào)燈相位。
28、本專利技術(shù)提供了一種交通信號(hào)燈控制裝置，包括：
29、參數(shù)初始化模塊，用于將交通信號(hào)控制問題轉(zhuǎn)化為馬爾科夫決策過程，并獲得馬爾科夫決策過程中的狀態(tài)s、動(dòng)作a和獎(jiǎng)勵(lì)r；其中，狀態(tài)s由所在交叉口的車輛實(shí)時(shí)位置與速度構(gòu)成；動(dòng)作a由控制交通信號(hào)燈相位動(dòng)作組成，包括切換相位與延長相位兩個(gè)動(dòng)作；獎(jiǎng)勵(lì)r為由于交通信號(hào)燈相位動(dòng)作變化而產(chǎn)生的變速增量油耗；
30、信號(hào)燈相位動(dòng)作評(píng)價(jià)模塊，用于將狀態(tài)s輸入到預(yù)訓(xùn)練好的actor-critic網(wǎng)絡(luò)模型的actor分支中，通過對(duì)狀態(tài)s進(jìn)行特征提取，輸出狀態(tài)s對(duì)應(yīng)的動(dòng)作a；將actor分支輸出的動(dòng)作a輸入到actor-critic網(wǎng)絡(luò)模型的critic分支中，通過對(duì)動(dòng)作a所對(duì)應(yīng)的變速增量油耗進(jìn)行分析，輸出對(duì)應(yīng)動(dòng)作a的價(jià)值；
31、信號(hào)燈相位動(dòng)作控制模塊，用于根據(jù)critic分支輸出的價(jià)值調(diào)整交通信號(hào)燈相位動(dòng)作以改變交通信號(hào)燈相位。
32、本專利技術(shù)提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述交通信號(hào)燈控制方法。
33、本專利技術(shù)提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述交通信號(hào)燈控制方法。
34、本專利技術(shù)采用的上述至少一個(gè)技術(shù)方案能夠達(dá)到以下有益效果：
35、在本專利技術(shù)提供的交通信號(hào)燈控制方法中，將交通信號(hào)控制問題轉(zhuǎn)化為馬爾科夫決策過程，從而引入強(qiáng)化學(xué)習(xí)技術(shù)到交通信號(hào)自適應(yīng)控制領(lǐng)域中，尤其是通本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種交通信號(hào)燈控制方法，其特征在于，包括：
2.如權(quán)利要求1所述的交通信號(hào)燈控制方法，其特征在于，所述由于交通信號(hào)燈相位動(dòng)作變化而產(chǎn)生的變速增量油耗，具體包括：
3.如權(quán)利要求2所述的交通信號(hào)燈控制方法，其特征在于，所述車輛怠速油耗，具體包括：
4.如權(quán)利要求2所述的交通信號(hào)燈控制方法，其特征在于，所述車輛加速或減速油耗，具體包括：
5.如權(quán)利要求1所述的交通信號(hào)燈控制方法，其特征在于，在所述將狀態(tài)S輸入到預(yù)訓(xùn)練好的Actor-Critic網(wǎng)絡(luò)模型的Actor分支中之前，使用神經(jīng)網(wǎng)絡(luò)對(duì)狀態(tài)S進(jìn)行特征提取，具體包括：
6.如權(quán)利要求5所述的交通信號(hào)燈控制方法，其特征在于，所述預(yù)訓(xùn)練好的Actor-Critic網(wǎng)絡(luò)模型，是基于改進(jìn)近端策略優(yōu)化算法所得到的，具體包括：
7.一種交通信號(hào)燈控制裝置，其特征在于，包括：
8.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述權(quán)利要求1～6任一項(xiàng)所述的方法。
9.一種計(jì)算機(jī)設(shè)備，其特征在于，包
...【技術(shù)特征摘要】
1.一種交通信號(hào)燈控制方法，其特征在于，包括：
2.如權(quán)利要求1所述的交通信號(hào)燈控制方法，其特征在于，所述由于交通信號(hào)燈相位動(dòng)作變化而產(chǎn)生的變速增量油耗，具體包括：
3.如權(quán)利要求2所述的交通信號(hào)燈控制方法，其特征在于，所述車輛怠速油耗，具體包括：
4.如權(quán)利要求2所述的交通信號(hào)燈控制方法，其特征在于，所述車輛加速或減速油耗，具體包括：
5.如權(quán)利要求1所述的交通信號(hào)燈控制方法，其特征在于，在所述將狀態(tài)s輸入到預(yù)訓(xùn)練好的actor-critic網(wǎng)絡(luò)模型的actor分支中之前，使用神經(jīng)網(wǎng)絡(luò)對(duì)狀態(tài)s進(jìn)行特征提取...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：趙紅星，段林，聶江龍，梁瑞艷，何瑞春，
申請(專利權(quán))人：蘭州交通大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。