【技術(shù)實現(xiàn)步驟摘要】
本申請涉及人工智能以及智能車輛領(lǐng)域，特別涉及一種行人意圖的預(yù)測方法、裝置及電子設(shè)備。
技術(shù)介紹
1、在車輛的自動駕駛系統(tǒng)中，行人的意圖預(yù)測是必不可少的。它在提高系統(tǒng)的安全性方面起著至關(guān)重要的作用。行人的穿行意圖預(yù)測是估計行人的未來位置和未來是否過馬路，為自動駕駛的規(guī)劃控制做出決策提供幫助，以便避免交通事故的發(fā)生。
2、然而，由于行人具有動態(tài)性較高、受交通規(guī)則的約束差異較大等特點，對行人的穿行意圖進(jìn)行預(yù)測具有相當(dāng)大的挑戰(zhàn)。如果預(yù)測不準(zhǔn)確，車輛很容易發(fā)生撞人事件，這將對車輛帶來很大的隱患。
技術(shù)實現(xiàn)思路
1、本申請實施例的目的在于提供一種行人意圖的預(yù)測方法、裝置及電子設(shè)備。該方法能夠基于多種不同類型的場景信息，有效提高對行人的意圖預(yù)測的準(zhǔn)確度。
2、為了實現(xiàn)上述目的，本申請?zhí)峁┝艘环N行人意圖的預(yù)測方法，包括：
3、基于獲取的場景信息的數(shù)據(jù)屬性，將所述場景信息劃分為至少一個視覺信息和至少一個非視覺信息，所述場景信息與應(yīng)用場景中的行人和/或車輛相關(guān)聯(lián)；
4、將所述視覺信息和非視覺信息分別輸入到融合神經(jīng)網(wǎng)絡(luò)模型的不同處理通路中；
5、基于所述融合神經(jīng)網(wǎng)絡(luò)模型預(yù)測所述行人的意圖，其中包括：
6、通過所述融合神經(jīng)網(wǎng)絡(luò)模型中的第一處理通路對所述視覺信息進(jìn)行分階段處理，通過所述融合神經(jīng)網(wǎng)絡(luò)模型中的第二處理通路對所述非視覺信息進(jìn)行分階段處理，其中，所述第一處理通路和第二處理通路之間設(shè)置有至少一個融合模塊，所述融合模塊用于在至少一個
7、作為可選，所述基于獲取的場景信息的數(shù)據(jù)屬性，將所述場景信息劃分為至少一個視覺信息和至少一個非視覺信息，包括：
8、確定每種類型的所述場景信息的圖像屬性，其中所述圖像屬性用于表征信息的圖像身份；
9、基于所述圖像屬性，對每種類型的所述場景信息分別進(jìn)行信息種類的劃分，以確定所述視覺信息和所述非視覺信息。
10、作為可選，所述場景信息包括以下至少一個：自車信息、駕駛場景信息以及行人信息；
11、所述自車信息包括：車輛行駛速度；
12、所述駕駛場景信息包括：對車輛的外部環(huán)境進(jìn)行語義分割的全局上下文信息；
13、所述行人信息包括以下至少一種：局部上下文信息、局部框信息、邊界框信息和行人姿態(tài)關(guān)鍵點信息，其中，所述局部上下文信息表征鄰近所述行人的外部信息，所述局部框信息表征所述行人的形態(tài)，所述邊界框信息表征所述行人移動過程中的位置變化，所述行人姿態(tài)關(guān)鍵點信息表征所述行人的姿態(tài)以及所述姿態(tài)的變化趨勢。
14、作為可選，所述通過所述融合神經(jīng)網(wǎng)絡(luò)模型中的第一處理通路對所述視覺信息進(jìn)行分階段處理，包括：
15、基于卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)對多個所述視覺信息進(jìn)行分階段的特征提取，并將提取的特征依次拼接，其中，所述循環(huán)神經(jīng)網(wǎng)絡(luò)包括門控循環(huán)單元；
16、相應(yīng)的，所述通過所述融合神經(jīng)網(wǎng)絡(luò)模型中的第二處理通路對所述非視覺信息進(jìn)行分階段處理，包括：
17、基于所述循環(huán)神經(jīng)網(wǎng)絡(luò)對多個所述非視覺信息進(jìn)行分階段的特征提取，并將提取的特征依次拼接。
18、作為可選，所述視覺信息包括以下至少一種：行人姿態(tài)關(guān)鍵點信息、車輛行駛速度以及邊界框信息；
19、所述基于卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)對多個所述視覺信息進(jìn)行分階段的特征提取，并將提取的特征依次拼接，包括：
20、將所述行人姿態(tài)關(guān)鍵點信息，所述車輛行駛速度以及所述邊界框信息分別進(jìn)行特征提取；
21、將提取的特征均進(jìn)行向量化操作；
22、基于所述行人姿態(tài)關(guān)鍵點信息，所述車輛行駛速度以及所述邊界框信息各自的信息詳細(xì)程度和/或權(quán)重，依次對向量化的特征進(jìn)行拼接。
23、作為可選，所述非視覺信息包括以下至少一種：全局上下文信息、局部上下文信息、局部框信息；
24、所述基于所述循環(huán)神經(jīng)網(wǎng)絡(luò)對多個所述非視覺信息進(jìn)行分階段的特征提取，并將提取的特征依次拼接，包括：
25、將所述全局上下文信息、所述局部上下文信息以及所述局部框信息分別進(jìn)行特征提取；
26、將提取的特征均進(jìn)行向量化操作；
27、基于所述全局上下文信息、所述局部上下文信息以及所述局部框信息各自的信息詳細(xì)程度和/或權(quán)重，依次對向量化的特征進(jìn)行拼接。
28、作為可選，所述基于所述融合神經(jīng)網(wǎng)絡(luò)模型預(yù)測所述行人的意圖，還包括：
29、在對所述視覺信息和所述非視覺信息分別進(jìn)行特征提取的多個階段，通過多個所述融合模塊，對所述視覺信息和相應(yīng)的所述非視覺信息分別進(jìn)行多次信息融合，以在所述第一處理通路和所述第二處理通路之間進(jìn)行數(shù)據(jù)共享。
30、作為可選，所述基于所述融合神經(jīng)網(wǎng)絡(luò)模型預(yù)測所述行人的意圖，還包括：
31、將所述第一處理通路的第一處理結(jié)果，與所述第二處理通路的第二處理結(jié)果進(jìn)行拼接，生成第一預(yù)測結(jié)果；
32、將所述第一預(yù)測結(jié)果進(jìn)行關(guān)鍵點提取操作，以確定行人意圖，其中所述行人意圖包括預(yù)測所述行人是否實施穿行動作。
33、本申請實施例還提供了一種行人意圖的預(yù)測裝置，包括：
34、劃分模塊，其配置為基于獲取的場景信息的數(shù)據(jù)屬性，將所述場景信息劃分為至少一個視覺信息和至少一個非視覺信息，所述場景信息與應(yīng)用場景中的行人和/或車輛相關(guān)聯(lián)；
35、預(yù)處理模塊，其配置為將所述視覺信息和非視覺信息分別輸入到融合神經(jīng)網(wǎng)絡(luò)模型的不同處理通路中；
36、預(yù)測模塊，其配置為基于所述融合神經(jīng)網(wǎng)絡(luò)模型預(yù)測所述行人的意圖，其中包括：
37、通過所述融合神經(jīng)網(wǎng)絡(luò)模型中的第一處理通路對所述視覺信息進(jìn)行分階段處理，通過所述融合神經(jīng)網(wǎng)絡(luò)模型中的第二處理通路對所述非視覺信息進(jìn)行分階段處理，其中，所述第一處理通路和第二處理通路之間設(shè)置有至少一個融合模塊，所述融合模塊用于在至少一個處理階段對所述視覺信息和所述非視覺信息進(jìn)行融合，以使所述融合神經(jīng)網(wǎng)絡(luò)模型基于融合結(jié)果預(yù)測所述行人的意圖。
38、本申請實施例還提供了一種電子設(shè)備，包括處理器和存儲器，所述存儲器中存儲有可執(zhí)行程序，所述存儲器執(zhí)行所述可執(zhí)行程序以進(jìn)行如上所述的方法的步驟。
39、本申請實施例的行人意圖的預(yù)測方法，能夠使用融合神經(jīng)網(wǎng)絡(luò)模型將場景信息進(jìn)行分類處理，同時還可以將多個不同處理通路的處理結(jié)果進(jìn)行分階段的融合，有效提高了融合神經(jīng)網(wǎng)絡(luò)模型預(yù)測行人意圖的準(zhǔn)確度。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.一種行人意圖的預(yù)測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于獲取的場景信息的數(shù)據(jù)屬性，將所述場景信息劃分為至少一個視覺信息和至少一個非視覺信息，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述場景信息包括以下至少一個：自車信息、駕駛場景信息以及行人信息；
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過所述融合神經(jīng)網(wǎng)絡(luò)模型中的第一處理通路對所述視覺信息進(jìn)行分階段處理，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述視覺信息包括以下至少一種：行人姿態(tài)關(guān)鍵點信息、車輛行駛速度以及邊界框信息；
6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述非視覺信息包括以下至少一種：全局上下文信息、局部上下文信息、局部框信息；
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述融合神經(jīng)網(wǎng)絡(luò)模型預(yù)測所述行人的意圖，還包括：
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述融合神經(jīng)網(wǎng)絡(luò)模型預(yù)測所述行人的意圖，還包括：
9.一種行人意圖的預(yù)測裝置，其特
10.一種電子設(shè)備，其特征在于，包括處理器和存儲器，所述存儲器中存儲有可執(zhí)行程序，所述存儲器執(zhí)行所述可執(zhí)行程序以進(jìn)行如權(quán)利要求1至8任意一項所述的方法的步驟。
...【技術(shù)特征摘要】
1.一種行人意圖的預(yù)測方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于獲取的場景信息的數(shù)據(jù)屬性，將所述場景信息劃分為至少一個視覺信息和至少一個非視覺信息，包括：
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述場景信息包括以下至少一個：自車信息、駕駛場景信息以及行人信息；
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過所述融合神經(jīng)網(wǎng)絡(luò)模型中的第一處理通路對所述視覺信息進(jìn)行分階段處理，包括：
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述視覺信息包括以下至少一種：行人姿態(tài)關(guān)鍵點信息、車輛行駛速度以及邊界框信息...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃毅，呂寧，溫福喜，
申請(專利權(quán))人：清華大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。