【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及人形機器人，尤其是涉及一種機器人動作生成模型訓(xùn)練方法和動作生成方法。
技術(shù)介紹
1、目前，線束在現(xiàn)代汽車尤其是電動汽車中石至關(guān)重要的，其用于傳輸電力和信號以實現(xiàn)關(guān)鍵功能。隨著智能汽車快速發(fā)展，汽車車門、發(fā)動機和整車車身等多部位的線束數(shù)量呈指數(shù)增長。然而，目前的汽車線束組裝依賴大量人工，對于操作員和工廠來說都面臨較大的壓力。一種顯著的解決方法是通過機器人自動化減少人工需求和提高生產(chǎn)力。可變形的汽車線束要求機器人具有靈巧性和智能性，因此對于如何實現(xiàn)機器人智能靈巧組裝線束是至關(guān)重要的。
2、基于生成式的方法在機器人技能學(xué)習(xí)領(lǐng)域有顯著成果，且在多種實體機械臂上證明了其提高機器人操作的有效性。中國申請專利《cn106600000a》公開了一種人-機器人運動數(shù)據(jù)映射的方法，將人體運動數(shù)據(jù)作為深度學(xué)習(xí)模型輸入，以機器人樣本數(shù)據(jù)作為深度學(xué)習(xí)模型的期望的輸出，雖然實現(xiàn)獲取人-機器人運動數(shù)據(jù)之間的映射關(guān)系，但該方法并未結(jié)合文本信息指導(dǎo)機器人動作生成，不適用于汽車線束組裝，泛化性不強。
3、因此，提供一種能夠適用于汽車線束組裝且能具備泛化性的機器人動作生成方法是需要解決的問題。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種機器人動作生成模型訓(xùn)練方法和動作生成方法，在語言-動作理解的基礎(chǔ)上，以人體姿態(tài)構(gòu)建提示數(shù)據(jù)，有效提高了機器人動作生成的準確性。
2、本專利技術(shù)的目的可以通過以下技術(shù)方案來實現(xiàn)：
3、根據(jù)本專
4、構(gòu)建汽車線束操作數(shù)據(jù)集，所述的數(shù)據(jù)集包括工人操作線束時的動作數(shù)據(jù)集和文本數(shù)據(jù)集，基于所述的動作數(shù)據(jù)提取人體姿態(tài)；
5、基于所述的文本數(shù)據(jù)集、動作數(shù)據(jù)集和人體姿態(tài)構(gòu)建指令集，所述的指令集的數(shù)據(jù)類型包括所述的語言模型的功能描述、功能標簽、功能類別、輸入和輸出；
6、獲取所述的語言模型模塊中的文本詞匯表，基于所述的文本詞匯表以及動作數(shù)據(jù)集預(yù)訓(xùn)練所述的運動分詞器，并生成包含動作語義的文本詞匯表以及動作詞匯表；
7、基于所述的文本詞匯表、包含動作語義的文本詞匯表以及動作詞匯表，利用所述的詞匯表整合模塊進行整合得到文本-動作詞匯表；
8、基于所述的數(shù)據(jù)集、指令集和文本-動作詞匯表預(yù)訓(xùn)練語言模型；
9、構(gòu)建操作數(shù)據(jù)集，基于所述的操作數(shù)據(jù)集對預(yù)訓(xùn)練后的語言模型進行微調(diào)，完成訓(xùn)練，所述的操作數(shù)據(jù)集中的數(shù)據(jù)類型包括人類汽車線束布線、線束端子插接和線束纏繞操作數(shù)據(jù)。
10、作為優(yōu)選的技術(shù)方案，所述的人體姿態(tài)為三維數(shù)據(jù)。
11、作為優(yōu)選的技術(shù)方案，所述的運動分詞器的預(yù)訓(xùn)練方法包括：
12、隨機選取所述的動作數(shù)據(jù)集中多個動作序列作為訓(xùn)練集；
13、將所述的動作序列表示為其中f表示f幀動作序列，i表示第i個動作序列，x表示動作；
14、將動作序列離散為預(yù)設(shè)長度的動作離散詞元其中，t表示離散詞元中的單個數(shù)據(jù)；i表示離散詞元中的第i個數(shù)據(jù)；f表示預(yù)設(shè)長度且f＝f/l，l表示采樣時間；
15、將所述的動作離散詞元解碼為動作序列并基于解碼得到的動作序列與動作序列m1:f計算損失；
16、基于所述的損失優(yōu)化所述的運動分詞器。
17、作為優(yōu)選的技術(shù)方案，生成所述的動作詞匯表的方法為：利用預(yù)訓(xùn)練好的運動分詞器將所述的動作數(shù)據(jù)集中的每一動作序列離散化為動作離散詞元，整合所有的動作離散詞元即獲取動作詞匯表。
18、作為優(yōu)選的技術(shù)方案，獲取所述的包含動作語義的文本詞匯表的方法為：隨機給定所述的運動分詞器包含時間信息的語言文本描述，并基于所述的文本詞匯表和動作詞匯表重復(fù)進行文本-動作匹配，直至文本詞匯表的文本序列和運動編碼書中的動作序列在時間上保持順序一致。
19、作為優(yōu)選的技術(shù)方案，獲取所述的文本-動作詞匯表的方法為：
20、獲取所述的文本詞匯表和包含動作語義的文本詞匯表中所有文本離散詞元；
21、將所述的所有文本離散詞元編碼為基本單元；
22、獲取所述的動作詞匯表中所有的動作離散詞元，并將所述的動作離散詞元和基本單元輸入詞匯表整合模塊按照時間順序進行整合。
23、作為優(yōu)選的技術(shù)方案，所述的語言模型的預(yù)訓(xùn)練中采用對數(shù)似然計算預(yù)訓(xùn)練的損失，其表達式為：
24、
25、其中，表示t時刻的動作序列中第i個離散詞元；表示t時刻的動作序列中前i個離散詞元；lt表示當前動作序列長度；表示t時刻的概率。
26、根據(jù)本專利技術(shù)的第二方面，提供了一種機器人動作生成方法，該方法利用經(jīng)上述生成模型訓(xùn)練方法訓(xùn)練后的機器人動作生成模型生成機器人動作，包括：
27、獲取操作線束的指令輸入所述的運動分詞器，輸出離散的動作詞元；
28、將所述的動作詞元輸入所述的語言模型模塊，輸出3d人形動作序列；
29、基于所述的3d人形動作序列利用重定向法生成機器人動作。
30、作為優(yōu)選的技術(shù)方案，所述的生成機器人動作的方法為：
31、以機器人當前關(guān)節(jié)末端執(zhí)行器的位置與目標位置之間的最小距離為目標函數(shù)，其表達式為：
32、f(θ)＝||ptarget-p(θ)||2，
33、其中，ptarget表示目標位置，p(θ)表示當前關(guān)節(jié)角度下的末端執(zhí)行器的位置；
34、基于所述的目標函數(shù)獲取每一末端執(zhí)行器的位置；
35、集成每一末端執(zhí)行器的位置生成機器人動作。
36、作為優(yōu)選的技術(shù)方案，所述的基于所述的目標函數(shù)獲取每一關(guān)節(jié)關(guān)鍵點的位置的方法為：利用梯度下降法尋找使得目標函數(shù)為最小值的末端執(zhí)行器的位置。
37、與現(xiàn)有技術(shù)相比，本專利技術(shù)具有以下優(yōu)點：
38、1)、本專利技術(shù)在生成模型訓(xùn)練過程中，將人類姿態(tài)作為語言模型的提示數(shù)據(jù)，綜合了動作生成模型生成機器人動作過程中包括文本到文本、文本到動作和動作到動作等方面的指令，用以構(gòu)建指令集，基于該指令集和人類姿態(tài)訓(xùn)練機器人動作生成模型，使得其在理解動作描述語法的基礎(chǔ)上生成更符合汽車線束的動作，且通過本專利技術(shù)所提供的模型訓(xùn)練方法，能夠確保機器人動作生成模型有效學(xué)習(xí)和泛化到多種汽車線束相關(guān)任務(wù)；
39、2)、本專利技術(shù)在機器人動作生成過程中，以重定向方式將機器人動作生成模型生成的動作映射至人形機器人上，不僅提高了機器人動作生成的準確性，還能生成更豐富的汽車線束操作動作并提升了機器人操作汽車線束的靈活性；
40、3)、本專利技術(shù)對機器人動作生成模型進行預(yù)訓(xùn)練，使得其在進行汽車線束操作時，無需針對給定的任務(wù)文本指令進行在線匹配和訓(xùn)練，有效節(jié)省了時間和操作效率。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種機器人動作生成模型訓(xùn)練方法，其特征在于，所述的機器人動作生成模型包括運動分詞器、語言模型模塊和詞匯表整合模塊，步驟包括：
2.根據(jù)權(quán)利要求1所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，所述的人體姿態(tài)為三維數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，所述的運動分詞器的預(yù)訓(xùn)練方法包括：
4.根據(jù)權(quán)利要求1所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，生成所述的動作詞匯表的方法為：利用預(yù)訓(xùn)練好的運動分詞器將所述的動作數(shù)據(jù)集中的每一動作序列離散化為動作離散詞元，整合所有的動作離散詞元即獲取動作詞匯表。
5.根據(jù)權(quán)利要求1所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，獲取所述的包含動作語義的文本詞匯表的方法為：隨機給定所述的運動分詞器包含時間信息的語言文本描述，并基于所述的文本詞匯表和動作詞匯表重復(fù)進行文本-動作匹配，直至文本詞匯表的文本序列和運動編碼書中的動作序列在時間上保持順序一致。
6.根據(jù)權(quán)利要求5所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，獲取所述的文本-動作詞
7.根據(jù)權(quán)利要求1所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，所述的語言模型的預(yù)訓(xùn)練中采用對數(shù)似然計算預(yù)訓(xùn)練的損失，其表達式為：
8.一種機器人動作生成方法，其特征在于，該方法利用經(jīng)權(quán)利要求1～7中任一項所述的方法訓(xùn)練后的機器人動作生成模型生成機器人動作，包括：
9.根據(jù)權(quán)利要求8所述的一種機器人動作生成方法，其特征在于，所述的生成機器人動作的方法為：
10.根據(jù)權(quán)利要求9所述的一種機器人動作生成方法，其特征在于，所述的基于所述的目標函數(shù)獲取每一末端執(zhí)行器的位置的方法為：利用梯度下降法尋找使得目標函數(shù)為最小值的末端執(zhí)行器的位置。
...【技術(shù)特征摘要】
1.一種機器人動作生成模型訓(xùn)練方法，其特征在于，所述的機器人動作生成模型包括運動分詞器、語言模型模塊和詞匯表整合模塊，步驟包括：
2.根據(jù)權(quán)利要求1所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，所述的人體姿態(tài)為三維數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，所述的運動分詞器的預(yù)訓(xùn)練方法包括：
4.根據(jù)權(quán)利要求1所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，生成所述的動作詞匯表的方法為：利用預(yù)訓(xùn)練好的運動分詞器將所述的動作數(shù)據(jù)集中的每一動作序列離散化為動作離散詞元，整合所有的動作離散詞元即獲取動作詞匯表。
5.根據(jù)權(quán)利要求1所述的一種機器人動作生成模型訓(xùn)練方法，其特征在于，獲取所述的包含動作語義的文本詞匯表的方法為：隨機給定所述的運動分詞器包含時間信息的語言文本描述，并基于所述的文本詞匯表和動作詞匯表重復(fù)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：何斌，趙容鋒，朱忠攀，周艷敏，王志鵬，蔣爍，
申請(專利權(quán))人：同濟大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。