【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及交通控制，具體而言，涉及一種分布式多智能體的區(qū)域交通控制方法、系統(tǒng)及電子設(shè)備。
技術(shù)介紹
1、在現(xiàn)代交通系統(tǒng)中，城市交通控制變得愈發(fā)復(fù)雜，如何提高交通管理效率以及城市交通的運(yùn)行效能成為亟待解決的問題。
2、現(xiàn)有技術(shù)中，提出了利用多智能體進(jìn)行交通協(xié)調(diào)控制的方案。具體地，采用多智能體模擬交通參與者之間的信息交互，并基于預(yù)設(shè)的控制策略對各交通參與者進(jìn)行控制。
3、但是，現(xiàn)有技術(shù)中通過多智能體進(jìn)行交通控制無法實(shí)現(xiàn)自適應(yīng)策略調(diào)整，且無法適應(yīng)復(fù)雜的交通環(huán)境，且各個(gè)智能體之間的協(xié)調(diào)和通信受到規(guī)則或者模型的限制，使控制系統(tǒng)整體性能受限。
技術(shù)實(shí)現(xiàn)思路
1、本申請的目的在于，針對上述現(xiàn)有技術(shù)中的不足，提供一種分布式多智能體的區(qū)域交通控制方法、系統(tǒng)及電子設(shè)備，以解決現(xiàn)有技術(shù)中無法實(shí)現(xiàn)自適應(yīng)交通控制的問題。
2、為實(shí)現(xiàn)上述目的，本申請采用的技術(shù)方案如下：
3、第一方面，本申請?zhí)峁┝艘环N分布式多智能體的區(qū)域交通控制方法，所述方法應(yīng)用于區(qū)域交通協(xié)調(diào)控制系統(tǒng)，所述區(qū)域交通協(xié)調(diào)控制系統(tǒng)包括：子區(qū)智能體、多個(gè)路口智能體集合以及各所述路口智能體集合對應(yīng)的被控設(shè)備，各所述路口智能體集合中分別包括：路口智能體、至少一個(gè)車道智能體以及至少一個(gè)流向智能體，所述方法包括：
4、所述子區(qū)智能體通過預(yù)先部署在所述子區(qū)智能體中的子區(qū)決策模型，根據(jù)獲取到的目標(biāo)區(qū)域的當(dāng)前交通信息選擇至少一個(gè)路口智能體作為目標(biāo)路口智能體，并向各所述目標(biāo)路口智能體發(fā)送區(qū)域協(xié)同控制指令，
5、所述目標(biāo)路口智能體接收關(guān)聯(lián)路口智能體發(fā)送的關(guān)聯(lián)策略信息，所述關(guān)聯(lián)策略信息用于指示所述關(guān)聯(lián)路口智能體的控制策略、當(dāng)前任務(wù)及偏好信息；
6、所述目標(biāo)路口智能體通過預(yù)先部署在所述目標(biāo)路口智能體中的路口決策模型，根據(jù)所述當(dāng)前交通信息、所述區(qū)域協(xié)同控制指令、偏好信息以及所述關(guān)聯(lián)策略信息，確定目標(biāo)策略信息，所述目標(biāo)策略信息指示所述目標(biāo)路口智能體的控制策略；
7、所述目標(biāo)路口智能體根據(jù)所述目標(biāo)策略信息，向至少一個(gè)車道智能體和/或至少一個(gè)流向智能體發(fā)送目標(biāo)控制指令；
8、所述車道智能體通過預(yù)先部署在所述車道智能體中的車道決策模型，根據(jù)所述目標(biāo)控制指令對所述被控設(shè)備進(jìn)行控制，和/或，所述流向智能體通過預(yù)先部署在所述流向智能體中的流向決策模型，根據(jù)所述目標(biāo)控制指令對所述被控設(shè)備進(jìn)行控制。
9、可選地，所述子區(qū)決策模型、路口決策模型、車道決策模型以及流向決策模型的訓(xùn)練過程包括：
10、利用漸進(jìn)式遷移學(xué)習(xí)將預(yù)先獲得的智能體參數(shù)庫移植到初始子區(qū)決策模型、初始路口決策模型及初始車道流向決策模型中，所述初始子區(qū)決策模型、初始路口決策模型及初始車道流向決策模型均部署在云端服務(wù)器上；
11、基于分布式算法，根據(jù)預(yù)設(shè)動(dòng)作集合、預(yù)設(shè)反饋集合及各決策模型之間的預(yù)設(shè)關(guān)聯(lián)關(guān)系對初始子區(qū)決策模型、初始路口決策模型及初始車道流向智能體決策模型進(jìn)行迭代融合訓(xùn)練，得到子區(qū)中間模型、路口中間模型及車道流向決策模型；
12、將所述路口中間模型部署至各路口智能體中，將所述車道中間模型部署至各車道智能體中，將所述流向中間模型部署至各流向智能體中；
13、對所述子區(qū)中間模型進(jìn)行迭代調(diào)整，得到所述子區(qū)決策模型；
14、對所述路口中間模型、車道中間模型和流向中間模型分別進(jìn)行迭代調(diào)整，得到各所述路口中間模型對應(yīng)的路口決策模型、各車道中間模型對應(yīng)的車道決策模型以及各流向中間模型對應(yīng)流向決策模型。
15、可選地，所述對所述子區(qū)中間模型進(jìn)行迭代調(diào)整，得到所述子區(qū)決策模型，包括：
16、根據(jù)路口預(yù)設(shè)學(xué)習(xí)率、各路口智能體對應(yīng)的獎(jiǎng)勵(lì)函數(shù)參數(shù)及最小批處理數(shù)量，確定多個(gè)路口智能體對應(yīng)的權(quán)重；
17、根據(jù)各所述路口智能體對應(yīng)的權(quán)重、各路口的智能體的數(shù)量、各路口的當(dāng)前交通信息、所述目標(biāo)區(qū)域的當(dāng)前交通信息、預(yù)設(shè)的區(qū)域控制策略集合、所述區(qū)域控制策略集合對應(yīng)各路口控制策略集合、所述各路口控制策略集合對應(yīng)的評價(jià)系數(shù)，確定各路口控制策略集合中各路口控制策略的價(jià)值；
18、基于各路口控制策略集合中各路口控制策略的價(jià)值對所述子區(qū)中間模型進(jìn)行迭代修正，得到子區(qū)決策模型。
19、可選地，對所述路口中間模型進(jìn)行迭代調(diào)整，得到各所述路口中間模型對應(yīng)的路口決策模型，包括：
20、根據(jù)當(dāng)前交通信息確定預(yù)測交通態(tài)勢，并根據(jù)所述預(yù)測交通態(tài)勢以及歷史交通信息確定當(dāng)前區(qū)域控制狀態(tài)；
21、判斷策略知識(shí)庫中是否包含當(dāng)前區(qū)域控制狀態(tài)，所述策略知識(shí)庫中包括區(qū)域控制狀態(tài)集合和各所述區(qū)域控制狀態(tài)對應(yīng)的策略；
22、若是，則在所述策略知識(shí)庫中確定與當(dāng)前區(qū)域控制狀態(tài)匹配的當(dāng)前區(qū)域控制策略，并基于當(dāng)前區(qū)域控制狀態(tài)及當(dāng)前區(qū)域控制策略對所述路口中間模型進(jìn)行迭代調(diào)整，得到各所述路口中間模型對應(yīng)的路口決策模型；
23、若否，則根據(jù)所述當(dāng)前區(qū)域控制狀態(tài)對所述路口中間模型進(jìn)行迭代調(diào)整，得到各所述路口中間模型對應(yīng)的路口決策模型。
24、可選地，所述根據(jù)所述當(dāng)前區(qū)域控制狀態(tài)對所述路口中間模型進(jìn)行迭代調(diào)整，得到各所述路口中間模型對應(yīng)的路口決策模型，包括：
25、基于多智能體強(qiáng)化學(xué)習(xí)策略，根據(jù)所述當(dāng)前區(qū)域控制狀態(tài)、預(yù)設(shè)的區(qū)域控制策略集合、預(yù)先設(shè)置的價(jià)值函數(shù)和控制策略集合對應(yīng)的模型參數(shù)集合，生成目標(biāo)函數(shù)；
26、根據(jù)所述目標(biāo)函數(shù)對所述路口中間模型進(jìn)行迭代修正，生成路口決策模型。
27、可選地，對流向中間模型進(jìn)行迭代調(diào)整，得到流向中間模型對應(yīng)流向決策模型，包括：
28、基于馬爾科夫決策策略，根據(jù)當(dāng)前交通信息、流向動(dòng)作集合、流向控制策略集合、流向控制策略集合對應(yīng)的綠燈延長時(shí)間、各流向智能體的被激活時(shí)間、各流向智能體的占有率、各流向智能體的流量、各流向智能體在當(dāng)前交通信息下的權(quán)重及各流向智能體的關(guān)聯(lián)關(guān)系，確定各流向智能體的累積獎(jiǎng)賞；
29、根據(jù)所述累積獎(jiǎng)賞對所述流向中間模型進(jìn)行迭代修正，得到流向決策模型。
30、可選地，所述車道智能體通過預(yù)先部署在所述車道智能體中的車道決策模型，根據(jù)所述目標(biāo)控制指令對所述被控設(shè)備進(jìn)行控制，包括：
31、所述車道智能體通過所述車道決策模型，根據(jù)所述目標(biāo)控制指令以及所述當(dāng)前交通信息，對所述被控設(shè)備進(jìn)行控制。
32、第二方面，本申請?zhí)峁┮环N區(qū)域交通協(xié)調(diào)控制系統(tǒng)，所述區(qū)域交通協(xié)調(diào)控制系統(tǒng)包括：子區(qū)智能體、多個(gè)路口智能體集合以及各所述路口智能體集合對應(yīng)的被控設(shè)備，各所述路口智能體集合中分別包括：路口智能體、至少一個(gè)車道智能體以及至少一個(gè)流向智能體，其中：
33、所述子區(qū)智能體通過預(yù)先部署在所述子區(qū)智能體中的子區(qū)決策模型，根據(jù)獲取到的目標(biāo)區(qū)域的當(dāng)前交通信息選擇至少一個(gè)路口智能體作為目標(biāo)路口智能體，并向各所述目標(biāo)路口智能體發(fā)送區(qū)域協(xié)同控制指令，所述當(dāng)前交通信息包括各個(gè)車道的擁堵狀態(tài)；...
【技術(shù)保護(hù)點(diǎn)】
1.一種分布式多智能體的區(qū)域交通控制方法，其特征在于，所述方法應(yīng)用于區(qū)域交通協(xié)調(diào)控制系統(tǒng)，所述區(qū)域交通協(xié)調(diào)控制系統(tǒng)包括：子區(qū)智能體、多個(gè)路口智能體集合以及各所述路口智能體集合對應(yīng)的被控設(shè)備，各所述路口智能體集合中分別包括：路口智能體、至少一個(gè)車道智能體以及至少一個(gè)流向智能體，所述方法包括：
2.根據(jù)權(quán)利要求1所述的分布式多智能體的區(qū)域交通控制方法，其特征在于，所述子區(qū)決策模型、路口決策模型、車道決策模型以及流向決策模型的訓(xùn)練過程包括：
3.根據(jù)權(quán)利要求2所述的分布式多智能體的區(qū)域交通控制方法，其特征在于，所述對所述子區(qū)中間模型進(jìn)行迭代調(diào)整，得到所述子區(qū)決策模型，包括：
4.根據(jù)權(quán)利要求2所述的分布式多智能體的區(qū)域交通控制方法，其特征在于，對所述路口中間模型進(jìn)行迭代調(diào)整，得到各所述路口中間模型對應(yīng)的路口決策模型，包括：
5.根據(jù)權(quán)利要求4所述的分布式多智能體的區(qū)域交通控制方法，其特征在于，所述根據(jù)所述當(dāng)前區(qū)域控制狀態(tài)對所述路口中間模型進(jìn)行迭代調(diào)整，得到各所述路口中間模型對應(yīng)的路口決策模型，包括：
6.根據(jù)權(quán)利要求2所述的分
7.根據(jù)權(quán)利要求1所述的分布式多智能體的區(qū)域交通控制方法，其特征在于，所述車道智能體通過預(yù)先部署在所述車道智能體中的車道決策模型，根據(jù)所述目標(biāo)控制指令對所述被控設(shè)備進(jìn)行控制，包括：
8.一種區(qū)域交通協(xié)調(diào)控制系統(tǒng)，其特征在于，所述區(qū)域交通協(xié)調(diào)控制系統(tǒng)包括：子區(qū)智能體、多個(gè)路口智能體集合以及各所述路口智能體集合對應(yīng)的被控設(shè)備，各所述路口智能體集合中分別包括：路口智能體、至少一個(gè)車道智能體以及至少一個(gè)流向智能體，其中：
9.一種電子設(shè)備，其特征在于，包括：處理器和存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)有所述處理器可執(zhí)行的機(jī)器可讀指令，當(dāng)電子設(shè)備運(yùn)行時(shí)，所述處理器執(zhí)行所述機(jī)器可讀指令，以執(zhí)行如權(quán)利要求1至7任一所述的分布式多智能體的區(qū)域交通控制方法的步驟。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器運(yùn)行時(shí)執(zhí)行如權(quán)利要求1至7任一所述的分布式多智能體的區(qū)域交通控制方法的步驟。
...【技術(shù)特征摘要】
1.一種分布式多智能體的區(qū)域交通控制方法，其特征在于，所述方法應(yīng)用于區(qū)域交通協(xié)調(diào)控制系統(tǒng)，所述區(qū)域交通協(xié)調(diào)控制系統(tǒng)包括：子區(qū)智能體、多個(gè)路口智能體集合以及各所述路口智能體集合對應(yīng)的被控設(shè)備，各所述路口智能體集合中分別包括：路口智能體、至少一個(gè)車道智能體以及至少一個(gè)流向智能體，所述方法包括：
2.根據(jù)權(quán)利要求1所述的分布式多智能體的區(qū)域交通控制方法，其特征在于，所述子區(qū)決策模型、路口決策模型、車道決策模型以及流向決策模型的訓(xùn)練過程包括：
3.根據(jù)權(quán)利要求2所述的分布式多智能體的區(qū)域交通控制方法，其特征在于，所述對所述子區(qū)中間模型進(jìn)行迭代調(diào)整，得到所述子區(qū)決策模型，包括：
4.根據(jù)權(quán)利要求2所述的分布式多智能體的區(qū)域交通控制方法，其特征在于，對所述路口中間模型進(jìn)行迭代調(diào)整，得到各所述路口中間模型對應(yīng)的路口決策模型，包括：
5.根據(jù)權(quán)利要求4所述的分布式多智能體的區(qū)域交通控制方法，其特征在于，所述根據(jù)所述當(dāng)前區(qū)域控制狀態(tài)對所述路口中間模型進(jìn)行迭代調(diào)整，得到各所述路口中間模型對應(yīng)的路口決策模型，包括：
6.根據(jù)權(quán)利要求2所...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：翟潛，張曉強(qiáng)，金峻臣，張潤涵，吳昊，
申請(專利權(quán))人：浙江中控信息產(chǎn)業(yè)股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。