【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及強(qiáng)化學(xué)習(xí)和路徑規(guī)劃，尤其涉及一種路徑規(guī)劃方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品。
技術(shù)介紹
1、隨著無人駕駛技術(shù)的發(fā)展，無人駕駛車輛被廣泛應(yīng)用在礦山場景中，用以解決在礦山場景運(yùn)輸過程中遇到的招工難、事故多以及成本高等問題。無人駕駛礦車的核心環(huán)節(jié)是路徑規(guī)劃，路徑規(guī)劃技術(shù)的作用是根據(jù)環(huán)境信息規(guī)劃出一條從起點(diǎn)到終點(diǎn)的安全、高效且具備運(yùn)動(dòng)學(xué)可行性的路徑。
2、現(xiàn)有技術(shù)包括許多路徑規(guī)劃算法，例如圖搜索算法中的a*算法。然而由于a*算法需要遍歷大量的節(jié)點(diǎn)來尋找最優(yōu)路徑，但是隨著環(huán)境復(fù)雜度的增加，節(jié)點(diǎn)的數(shù)量也會(huì)急劇增加。這個(gè)過程在節(jié)點(diǎn)數(shù)量龐大的情況下會(huì)變得非常耗時(shí)，最終導(dǎo)致規(guī)劃時(shí)間較長。
3、而由于礦山場景環(huán)境復(fù)雜多變，路徑規(guī)劃時(shí)間過長，會(huì)導(dǎo)致實(shí)際規(guī)劃路徑與實(shí)際礦山場景脫節(jié)，無法有效應(yīng)對礦山環(huán)境變化，進(jìn)而降低無人駕駛礦車的運(yùn)輸效率。
技術(shù)實(shí)現(xiàn)思路
1、本申請?zhí)峁┮环N路徑規(guī)劃方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品，用以解決現(xiàn)有路徑規(guī)劃算法時(shí)間過長，導(dǎo)致實(shí)際規(guī)劃路徑與實(shí)際礦山場景脫節(jié)，進(jìn)而降低無人駕駛礦車的運(yùn)輸效率問題。
2、第一方面，本申請?zhí)峁┮环N路徑規(guī)劃方法，包括：
3、獲取路徑規(guī)劃所對應(yīng)的起始位姿、目標(biāo)位姿、預(yù)設(shè)的探索方向集和行駛環(huán)境的柵格地圖，并將所述起始位姿作為當(dāng)前位姿；
4、從所述柵格地圖中確定所述當(dāng)前位姿距離最近的障礙物位置，以將所述當(dāng)前位姿、所述探索方向集和所述障礙物位置輸入到預(yù)先訓(xùn)練的探索模型中，得到所述探索方向集中
5、根據(jù)所述當(dāng)前位姿和多個(gè)所述候選探索方向，確定所述當(dāng)前位姿的多個(gè)候選下一位姿，并根據(jù)各所述候選下一位姿和所述目標(biāo)位姿，確定各所述候選下一位姿的剩余距離，所述剩余距離為所述候選下一位姿與所述目標(biāo)位姿之間的距離；
6、根據(jù)各所述剩余距離從多個(gè)候選下一位姿中選取下一位姿，并將所述下一位姿添加到規(guī)劃路徑中；
7、在所述下一位姿位于所述目標(biāo)位姿的預(yù)設(shè)距離范圍外時(shí)，將所述當(dāng)前位姿更新為所述下一位姿，并返回所述從所述柵格地圖中確定所述當(dāng)前位姿距離最近的障礙物位置的步驟；
8、在所述下一位姿位于所述目標(biāo)位姿的預(yù)設(shè)距離范圍內(nèi)時(shí)，通過rs曲線連接所述下一位姿和所述目標(biāo)位姿，并在連接成功時(shí)，結(jié)束路徑規(guī)劃。
9、在一種可能的實(shí)施方式中，所述將所述下一位姿添加到規(guī)劃路徑中，包括：
10、從所述下一位姿中提取下一位置和下一姿態(tài)，并從預(yù)先生成的碰撞檢測表中提取車輛以所述下一姿態(tài)位于所述下一位置時(shí)占用的柵格與車軸之間的第一距離；
11、根據(jù)所述第一距離確定所述車輛以所述下一姿態(tài)位于所述下一位置時(shí)占用的第一柵格范圍；
12、從柵格地圖中提取位于所述第一柵格范圍內(nèi)的障礙物信息；
13、若所述第一柵格范圍內(nèi)不存在障礙物信息，則將所述下一位姿添加到規(guī)劃路徑中；
14、所述通過rs曲線連接所述下一位姿和所述目標(biāo)位姿，包括：
15、將所述rs曲線劃分為多個(gè)連續(xù)的位姿點(diǎn)；
16、從每個(gè)所述位姿點(diǎn)中提取第一位置和第一姿態(tài)，并從預(yù)先生成的碰撞檢測表中提取車輛以所述第一姿態(tài)位于所述第一位置時(shí)占用的柵格與車軸之間的第二距離；
17、根據(jù)所述第二距離確定所述車輛以所述第一姿態(tài)位于所述第一位置時(shí)占用的第二柵格范圍；
18、從柵格地圖中提取位于所述第二柵格范圍內(nèi)的障礙物信息；
19、若各所述rs曲線的所述第二柵格范圍內(nèi)均不存在障礙物信息，則通過rs曲線連接所述下一位姿和所述目標(biāo)位姿。
20、在一種可能的實(shí)施方式中，所述探索模型的預(yù)先訓(xùn)練過程包括：
21、獲取訓(xùn)練起始位姿，并將所述訓(xùn)練起始位姿作為訓(xùn)練當(dāng)前位姿；
22、從所述柵格地圖中確定所述訓(xùn)練當(dāng)前位姿距離最近的障礙物位置作為訓(xùn)練障礙物位置，以將所述訓(xùn)練當(dāng)前位姿、所述探索方向集和所述訓(xùn)練障礙物位置輸入到所述探索模型中，得到所述探索方向集中的目標(biāo)探索方向；
23、根據(jù)所述訓(xùn)練當(dāng)前位姿和所述目標(biāo)探索方向，確定所述訓(xùn)練當(dāng)前位姿的下一位姿，作為訓(xùn)練下一位姿，并根據(jù)所述訓(xùn)練下一位姿計(jì)算所述訓(xùn)練下一位姿的獎(jiǎng)勵(lì)值；
24、在路徑規(guī)劃結(jié)束時(shí)，根據(jù)規(guī)劃得到的路徑上的各個(gè)位姿的獎(jiǎng)勵(lì)值確定總獎(jiǎng)勵(lì)值；
25、若所述總獎(jiǎng)勵(lì)值不滿足預(yù)設(shè)收斂條件，則對所述探索模型進(jìn)行調(diào)整，并返回從所述柵格地圖中確定所述訓(xùn)練當(dāng)前位姿距離最近的障礙物位置作為訓(xùn)練障礙物位置的步驟，以進(jìn)行下一輪迭代；
26、若所述總獎(jiǎng)勵(lì)值滿足預(yù)設(shè)收斂條件，則訓(xùn)練結(jié)束。
27、在一種可能的實(shí)施方式中，所述根據(jù)所述訓(xùn)練下一位姿計(jì)算所述下一位姿的獎(jiǎng)勵(lì)值，包括：
28、根據(jù)所述訓(xùn)練下一位姿從所述柵格地圖中確定距離所述訓(xùn)練下一位姿最近的障礙物位置；
29、根據(jù)所述訓(xùn)練下一位姿最近的障礙物位置和所述訓(xùn)練下一位姿確定訓(xùn)練下一位姿的障礙物碰撞獎(jiǎng)勵(lì)；
30、根據(jù)所述訓(xùn)練下一位姿和所述目標(biāo)位姿，確定所述訓(xùn)練下一位姿的剩余距離獎(jiǎng)勵(lì)；
31、根據(jù)所述訓(xùn)練下一位姿的障礙物碰撞獎(jiǎng)勵(lì)和訓(xùn)練下一位姿的剩余距離獎(jiǎng)勵(lì)，計(jì)算所述訓(xùn)練下一位姿的獎(jiǎng)勵(lì)值；
32、所述訓(xùn)練下一位姿的獎(jiǎng)勵(lì)值的計(jì)算公式如下：
33、
34、其中，robs為訓(xùn)練下一位姿的障礙物碰撞獎(jiǎng)勵(lì)，rgoal為訓(xùn)練下一位姿的剩余距離獎(jiǎng)勵(lì)，xct+1和yct+1是訓(xùn)練下一位姿中包括的位置的二維坐標(biāo)，xot+1和yot+1為訓(xùn)練下一位姿最近的障礙物位置的二維坐標(biāo)，d為預(yù)設(shè)的障礙物檢測半徑，hreward為大于0的系數(shù)，hmax、hmin分別為柵格地圖中的各位置與所述目標(biāo)位置之間的最大距離和最小距離，dt+1為訓(xùn)練下一位姿與目標(biāo)位姿之間的距離；
35、所述根據(jù)規(guī)劃得到的路徑上的各個(gè)位姿的獎(jiǎng)勵(lì)值確定總獎(jiǎng)勵(lì)值，包括：
36、獲取預(yù)設(shè)的規(guī)劃成功獎(jiǎng)勵(lì)、預(yù)設(shè)的規(guī)劃失敗獎(jiǎng)勵(lì)、預(yù)設(shè)的單次探索獎(jiǎng)勵(lì)，在路徑規(guī)劃成功時(shí)，所述規(guī)劃成功獎(jiǎng)勵(lì)大于0，所述規(guī)劃失敗獎(jiǎng)勵(lì)為0，在路徑規(guī)劃失敗時(shí)，所述規(guī)劃成功獎(jiǎng)勵(lì)為0，所述規(guī)劃失敗獎(jiǎng)勵(lì)小于0，所述預(yù)設(shè)的單次探索獎(jiǎng)勵(lì)小于0；
37、根據(jù)所述規(guī)劃成功獎(jiǎng)勵(lì)、所述規(guī)劃失敗獎(jiǎng)勵(lì)、單次探索獎(jiǎng)勵(lì)和各所述位姿的獎(jiǎng)勵(lì)值，確定總獎(jiǎng)勵(lì)值；
38、其中，所述總獎(jiǎng)勵(lì)值的計(jì)算公式如下：
39、
40、其中，r為總獎(jiǎng)勵(lì)值，rterminated為預(yù)設(shè)的規(guī)劃成功獎(jiǎng)勵(lì)，rtruncated為預(yù)設(shè)的規(guī)劃失敗獎(jiǎng)勵(lì)，rt+1為第t+1個(gè)位姿的獎(jiǎng)勵(lì)值，n是訓(xùn)練時(shí)本次規(guī)劃路徑包括的位姿數(shù)量，t是大于或等于1且小于或等于n-1的整數(shù)。
41、在一種可能的實(shí)施方式中，所述結(jié)束路徑規(guī)劃之后，還包括：
42、從所述規(guī)劃路徑中提取一個(gè)或多個(gè)離散位姿對；
43、對于每個(gè)離本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種路徑規(guī)劃方法，其特征是，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述下一位姿添加到規(guī)劃路徑中，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征是，所述探索模型的預(yù)先訓(xùn)練過程包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述訓(xùn)練下一位姿計(jì)算所述下一位姿的獎(jiǎng)勵(lì)值，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述結(jié)束路徑規(guī)劃之后，還包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，其特征在于，所述方法還包括：
8.一種路徑規(guī)劃裝置，其特征在于，包括：
9.一種電子設(shè)備，其特征在于，包括：處理器，以及與所述處理器通信連接的存儲(chǔ)器；
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的方法。
11.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)
...【技術(shù)特征摘要】
1.一種路徑規(guī)劃方法，其特征是，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述下一位姿添加到規(guī)劃路徑中，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征是，所述探索模型的預(yù)先訓(xùn)練過程包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述訓(xùn)練下一位姿計(jì)算所述下一位姿的獎(jiǎng)勵(lì)值，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述結(jié)束路徑規(guī)劃之后，還包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
7.根據(jù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳浩然，林洪振，田磊，楊孟，張志存，趙玉超，
申請(專利權(quán))人：中國重汽集團(tuán)濟(jì)南動(dòng)力有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。