【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及具身智能，尤其涉及一種具身機(jī)器人任務(wù)規(guī)劃方法、系統(tǒng)、控制器及具身機(jī)器人。
技術(shù)介紹
1、隨著科技的發(fā)展，具身機(jī)器人出現(xiàn)在人們生活的不同場景中，不同場景中的具身機(jī)器人基于用戶下發(fā)的任務(wù)指令執(zhí)行相應(yīng)的任務(wù)，從而服務(wù)于用戶。在用戶下發(fā)任務(wù)指令后，具身機(jī)器人的控制器接收任務(wù)指令，并利用大模型對(duì)任務(wù)指令進(jìn)行推理分析，從而為具身機(jī)器人制定相應(yīng)的任務(wù)規(guī)劃。而相關(guān)技術(shù)中，根據(jù)任務(wù)規(guī)劃控制具身機(jī)器人執(zhí)行任務(wù)時(shí)的靈活性仍有待提高。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)?zhí)峁┮环N具身機(jī)器人任務(wù)規(guī)劃方法、系統(tǒng)、控制器及具身機(jī)器人，其根據(jù)層級(jí)場景圖對(duì)具身機(jī)器人的任務(wù)指令進(jìn)行任務(wù)規(guī)劃，解決了相關(guān)技術(shù)中進(jìn)行任務(wù)規(guī)劃時(shí)缺乏對(duì)實(shí)際環(huán)境的實(shí)時(shí)感知能力的技術(shù)問題，從而能夠根據(jù)實(shí)際環(huán)境對(duì)任務(wù)規(guī)劃進(jìn)行調(diào)整，提高具身機(jī)器人完成任務(wù)指令的效果。
2、為了達(dá)到上述目的，本申請(qǐng)采用的主要技術(shù)方案包括：
3、第一方面，本申請(qǐng)實(shí)施例提供一種具身機(jī)器人任務(wù)規(guī)劃方法，所述方法包括：
4、基于預(yù)先構(gòu)建的層級(jí)場景圖和任務(wù)知識(shí)庫，對(duì)所述具身機(jī)器人的任務(wù)指令進(jìn)行任務(wù)解耦和規(guī)劃，得到包含多個(gè)子任務(wù)的初步任務(wù)規(guī)劃；其中，所述子任務(wù)對(duì)應(yīng)有在所述層級(jí)場景圖中的初步執(zhí)行對(duì)象，所述初步執(zhí)行對(duì)象為在執(zhí)行所述任務(wù)指令過程中所述具身機(jī)器人需要到達(dá)的物體或位置；
5、根據(jù)所述初步任務(wù)規(guī)劃控制所述具身機(jī)器人執(zhí)行所述多個(gè)子任務(wù)，并反饋所述多個(gè)子任務(wù)的初步執(zhí)行結(jié)果；
6、在所述初步執(zhí)行結(jié)果表示所述具身機(jī)器人完成所述初
7、在所述層級(jí)場景圖中存在所述候補(bǔ)執(zhí)行對(duì)象的情況下，根據(jù)所述候補(bǔ)執(zhí)行對(duì)象進(jìn)行動(dòng)態(tài)規(guī)劃調(diào)整，得到調(diào)整任務(wù)規(guī)劃，以控制所述具身機(jī)器人完成所述任務(wù)指令。
8、本申請(qǐng)實(shí)施例提出的具身機(jī)器人任務(wù)規(guī)劃方法，利用預(yù)先構(gòu)建的層級(jí)場景圖和任務(wù)知識(shí)庫對(duì)具身機(jī)器人進(jìn)行任務(wù)規(guī)劃，得到初步任務(wù)規(guī)劃，并根據(jù)初步任務(wù)規(guī)劃中子任務(wù)的執(zhí)行結(jié)果進(jìn)行推理，判斷是否可對(duì)初步任務(wù)規(guī)劃進(jìn)行調(diào)整。本方法通過對(duì)具身機(jī)器人所處場景構(gòu)建層級(jí)場景圖，提高了具身機(jī)器人對(duì)實(shí)際環(huán)境的掌握能力，從而提高了具身機(jī)器人在復(fù)雜環(huán)境下的執(zhí)行表現(xiàn)。此外，與相關(guān)技術(shù)中依賴初步任務(wù)規(guī)劃的技術(shù)方案相比，本方法還通過初步任務(wù)規(guī)劃中子任務(wù)的執(zhí)行結(jié)果和層級(jí)場景圖進(jìn)行推理，從而能夠根據(jù)實(shí)際場景中的環(huán)境變化對(duì)初步任務(wù)規(guī)劃進(jìn)行調(diào)整，提高了具身機(jī)器人對(duì)實(shí)際環(huán)境變化的響應(yīng)能力，提高了具身機(jī)器人執(zhí)行任務(wù)時(shí)的靈活性。
9、可選地，所述基于預(yù)先構(gòu)建的層級(jí)場景圖和任務(wù)知識(shí)庫，對(duì)所述具身機(jī)器人的任務(wù)指令進(jìn)行任務(wù)解耦和規(guī)劃，得到包含多個(gè)子任務(wù)的初步任務(wù)規(guī)劃，包括：
10、利用大模型對(duì)所述任務(wù)指令進(jìn)行任務(wù)解耦和對(duì)象識(shí)別，得到所述任務(wù)指令中的目標(biāo)對(duì)象和執(zhí)行范圍；其中，所述執(zhí)行范圍為所述具身機(jī)器人執(zhí)行所述任務(wù)指令的空間范圍；
11、根據(jù)所述目標(biāo)對(duì)象、所述執(zhí)行范圍和所述任務(wù)知識(shí)庫，在所述層級(jí)場景圖中進(jìn)行對(duì)象篩選，得到所述初步執(zhí)行對(duì)象；
12、根據(jù)所述目標(biāo)對(duì)象和所述初步執(zhí)行對(duì)象進(jìn)行任務(wù)規(guī)劃，得到所述多個(gè)子任務(wù)，并制定所述初步任務(wù)規(guī)劃。
13、可選地，所述根據(jù)所述目標(biāo)對(duì)象、所述執(zhí)行范圍和所述任務(wù)知識(shí)庫，在所述層級(jí)場景圖中進(jìn)行對(duì)象篩選，得到所述初步執(zhí)行對(duì)象，包括：
14、確定所述目標(biāo)對(duì)象在所述層級(jí)場景圖中所處的目標(biāo)層級(jí)；
15、在所述層級(jí)場景圖中所述目標(biāo)層級(jí)的上一層級(jí)上，確定所述執(zhí)行范圍內(nèi)存在的多個(gè)候選執(zhí)行對(duì)象；
16、根據(jù)所述任務(wù)知識(shí)庫對(duì)所述多個(gè)候選執(zhí)行對(duì)象與所述目標(biāo)對(duì)象進(jìn)行逐一關(guān)聯(lián)分析，從所述多個(gè)候選執(zhí)行對(duì)象中確定滿足關(guān)聯(lián)性條件的所述初步執(zhí)行對(duì)象。
17、可選地，根據(jù)以下方式得到所述層級(jí)場景圖：
18、對(duì)所述具身機(jī)器人所處場景進(jìn)行圖像采集，得到多張場景圖像；
19、利用大模型對(duì)所述多張場景圖像進(jìn)行圖像描述，得到描述結(jié)果；
20、基于所述任務(wù)知識(shí)庫，根據(jù)所述描述結(jié)果對(duì)所述具身機(jī)器人所處場景中的物體或位置進(jìn)行層次分級(jí)，確定各物體或位置對(duì)應(yīng)的場景層級(jí)；
21、根據(jù)各物體或位置之間的相關(guān)性以及對(duì)應(yīng)的場景層級(jí)構(gòu)建場景圖結(jié)構(gòu)，得到所述層級(jí)場景圖。
22、可選地，所述具身機(jī)器人具備多種預(yù)設(shè)任務(wù)工具；所述根據(jù)所述目標(biāo)對(duì)象和所述初步執(zhí)行對(duì)象進(jìn)行任務(wù)規(guī)劃，得到所述多個(gè)子任務(wù)，并制定所述初步任務(wù)規(guī)劃，包括：
23、根據(jù)所述目標(biāo)對(duì)象、所述初步執(zhí)行對(duì)象和所述任務(wù)指令，從所述預(yù)設(shè)任務(wù)工具中確定對(duì)應(yīng)的第一任務(wù)工具，以生成第一子任務(wù)；
24、利用大模型和所述任務(wù)知識(shí)庫對(duì)所述第一子任務(wù)進(jìn)行任務(wù)解析，從所述預(yù)設(shè)任務(wù)工具中確定第二任務(wù)工具，以生成第二子任務(wù)；
25、按照?qǐng)?zhí)行順序?qū)⑺龅诙尤蝿?wù)關(guān)聯(lián)至所述第一子任務(wù)，得到所述初步任務(wù)規(guī)劃。
26、可選地，所述判斷所述層級(jí)場景圖中是否存在候補(bǔ)執(zhí)行對(duì)象，包括：
27、根據(jù)所述初步執(zhí)行對(duì)象在所述層級(jí)場景圖中所處的層級(jí)和所述任務(wù)指令的執(zhí)行范圍，從所述層級(jí)場景圖中確定待確定執(zhí)行對(duì)象；
28、利用大模型，根據(jù)所述任務(wù)知識(shí)庫對(duì)所述待確定執(zhí)行對(duì)象進(jìn)行關(guān)聯(lián)分析，判斷所述層級(jí)場景圖中是否存在所述候補(bǔ)執(zhí)行對(duì)象；其中，所述候補(bǔ)執(zhí)行對(duì)象與所述任務(wù)指令中目標(biāo)對(duì)象的關(guān)聯(lián)性弱于所述初步執(zhí)行對(duì)象與所述目標(biāo)對(duì)象的關(guān)聯(lián)性。
29、可選地，所述方法還包括：
30、根據(jù)所述調(diào)整任務(wù)規(guī)劃，控制所述具身機(jī)器人執(zhí)行所述調(diào)整任務(wù)規(guī)劃中的子任務(wù)，并反饋調(diào)整執(zhí)行結(jié)果；
31、在所述調(diào)整執(zhí)行結(jié)果表示所述具身機(jī)器人完成所述調(diào)整任務(wù)規(guī)劃但依舊未完成所述任務(wù)指令的情況下，再次執(zhí)行上述的動(dòng)態(tài)規(guī)劃調(diào)整過程，得到新的調(diào)整任務(wù)規(guī)劃，作為調(diào)整任務(wù)規(guī)劃，以重復(fù)控制所述具身機(jī)器人執(zhí)行相應(yīng)的子任務(wù)直至滿足任務(wù)指令結(jié)束條件。
32、第二方面，本申請(qǐng)實(shí)施例提供一種具身機(jī)器人任務(wù)規(guī)劃系統(tǒng)，其特征在于，所述系統(tǒng)包括：
33、初步任務(wù)規(guī)劃模塊，用于基于預(yù)先構(gòu)建的層級(jí)場景圖和任務(wù)知識(shí)庫，對(duì)所述具身機(jī)器人的任務(wù)指令進(jìn)行任務(wù)解耦和規(guī)劃，得到包含多個(gè)子任務(wù)的初步任務(wù)規(guī)劃；其中，所述子任務(wù)對(duì)應(yīng)有在所述層級(jí)場景圖中的初步執(zhí)行對(duì)象，所述初步執(zhí)行對(duì)象為在執(zhí)行所述任務(wù)指令過程中所述具身機(jī)器人需要到達(dá)的物體或位置；
34、初步任務(wù)執(zhí)行模塊，用于根據(jù)所述初步任務(wù)規(guī)劃控制所述具身機(jī)器人執(zhí)行所述多個(gè)子任務(wù)，并反饋所述多個(gè)子任務(wù)的初步執(zhí)行結(jié)果；
35、動(dòng)態(tài)規(guī)劃調(diào)整模塊，用于在所述初步執(zhí)行結(jié)果表示所述具身機(jī)器人完成所述初步任務(wù)規(guī)劃但未完成所述任務(wù)指令的情況下，判斷所述層級(jí)場景圖中是否存在候補(bǔ)執(zhí)行對(duì)象；其中，所述候補(bǔ)執(zhí)行對(duì)象是能夠替代所述初步執(zhí)行對(duì)象的物體或位置；
36、任務(wù)規(guī)劃調(diào)整模塊，用于在所述層級(jí)場景圖中存在所述候補(bǔ)執(zhí)行對(duì)象的情況下，根據(jù)所述候補(bǔ)執(zhí)行對(duì)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種具身機(jī)器人任務(wù)規(guī)劃方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)先構(gòu)建的層級(jí)場景圖和任務(wù)知識(shí)庫，對(duì)所述具身機(jī)器人的任務(wù)指令進(jìn)行任務(wù)解耦和規(guī)劃，得到包含多個(gè)子任務(wù)的初步任務(wù)規(guī)劃，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述目標(biāo)對(duì)象、所述執(zhí)行范圍和所述任務(wù)知識(shí)庫，在所述層級(jí)場景圖中進(jìn)行對(duì)象篩選，得到所述初步執(zhí)行對(duì)象，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)以下方式得到所述層級(jí)場景圖：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述具身機(jī)器人具備多種預(yù)設(shè)任務(wù)工具；所述根據(jù)所述目標(biāo)對(duì)象和所述初步執(zhí)行對(duì)象進(jìn)行任務(wù)規(guī)劃，得到所述多個(gè)子任務(wù)，并制定所述初步任務(wù)規(guī)劃，包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述判斷所述層級(jí)場景圖中是否存在候補(bǔ)執(zhí)行對(duì)象，包括：
7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的方法，其特征在于，所述方法還包括：
8.一種具身機(jī)器人任務(wù)規(guī)劃系統(tǒng)，其特征在于，所述系統(tǒng)包括：
9.一種控制器，其特征在于
10.一種具身機(jī)器人，其特征在于，包括權(quán)利要求9中所述的控制器。
...【技術(shù)特征摘要】
1.一種具身機(jī)器人任務(wù)規(guī)劃方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)先構(gòu)建的層級(jí)場景圖和任務(wù)知識(shí)庫，對(duì)所述具身機(jī)器人的任務(wù)指令進(jìn)行任務(wù)解耦和規(guī)劃，得到包含多個(gè)子任務(wù)的初步任務(wù)規(guī)劃，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述目標(biāo)對(duì)象、所述執(zhí)行范圍和所述任務(wù)知識(shí)庫，在所述層級(jí)場景圖中進(jìn)行對(duì)象篩選，得到所述初步執(zhí)行對(duì)象，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)以下方式得到所述層級(jí)場景圖：
5.根據(jù)權(quán)利要求2所述的方法...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：謝雪梅，蘭寧，歐寶山，石光明，
申請(qǐng)(專利權(quán))人：琶洲實(shí)驗(yàn)室黃埔，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。