【技術實現步驟摘要】
本專利技術涉及人機交互，具體涉及一種基于肢體語言與指令對齊的機器人編程方法、裝置及介質。
技術介紹
1、當今社會機器人技術發展日新月異，越來越多的機器人走進了千家萬戶。用戶可以通過對機器人進行編程，即通過特定的方式向機器人描述一個具體的任務，從而驅使機器人幫助其完成相應任務，例如清理桌面，傳遞工具等。雖然這樣一種驅動機器人為自身服務的模式為人們日常活動提供了便利，但是這對于沒有機器人編程經驗的人們而言是個巨大的挑戰。盡管目前機器人生產廠商為機器人控制和任務描述提供了豐富的控制程序接口，但是這種基于代碼的編程需要用戶對機器人基本知識和程序語言擁有一定程度的了解，并且具備機器人控制代碼編程、調試、仿真、部署的能力。這些要求限制了日常生活機器人處理用戶個性化任務的應用。
2、為了克服這些挑戰，許多研究者提出了各種策略，如利用人類對環境的知識來指導機器人的運動規劃，或者通過示范來更積極地向機器人展示他們的意圖，而不是依賴機器人的主動估計。他們使用模仿學習/強化學習等技術通過向服務機器人演示(demo)如何處理一項任務以期望實現機器人習得處理該任務的能力。但是這種方法需要大量的演示來教學機器人，并且機器人習得的處理事物的能力泛化性能差，即不能很好的處理多樣化的用戶私人任務。
3、近年來，一些基于人類表現(如注視、聲音和手勢)的非編碼機器人編程方法已經得到了推廣。然而，這些方法仍然存在一些挑戰。一些研究使用增強現實/虛擬現實技術實現人與機器人交互，即通過增強現實技術通過預定義的機器人運動單元描述機器人的運動，從而達到
技術實現思路
1、為了降低非專業用戶對于機器人編程的難度，更好的處理用戶個性化任務，本專利技術提出了一種基于肢體語言與指令對齊的機器人編程方法，將人機交互任務分解為若干子任務，具體包括步驟：
2、s1：采集當前子任務所對應的實時視頻信息，并對實時視頻信息中的用戶肢體語言進行采集；
3、s2：根據采集的肢體語言對其中的目標位置、運動軌跡策略、目標操作策略進行識別；
4、s3：將識別的目標位置、運動軌跡策略、操作執行策略進行識別根據識別順序轉換為相應對齊的編程指令；
5、s4：判斷是否接收到進行下一子任務編程的指令信息，若是，進入下一子任務編程并返回s1步驟，若否，結束當前人機交互任務。
6、進一步地，所述s1步驟之前還包括步驟：
7、s0：判斷是否接收到人機交互任務的起始指令信息，若是，進入s1步驟，若否，返回s0步驟。
8、進一步地，所述s2步驟中，目標位置通過如下步驟獲取：
9、識別肢體語言中的頭部姿態與手部姿態，并根據識別結果對視線方向和手指方向分別進行估計；
10、根據估計結果生成視線方向概率圖和手指方向概率圖，并進行融合概率圖獲取；
11、將融合概率圖與肢體語言對應的圖像幀相結合，并通過熱度圖生成網絡生成熱度圖；
12、將熱度圖中熱度值最大的位置識別為目標位置。
13、進一步地，所述s2步驟中，當需要編程目標旋轉操作指令時，通過兩個連續的手勢指令進行手勢坐標系下期望旋轉角的編程，所述手勢坐標系由手指進行歐拉角的構建。
14、進一步地，所述期望旋轉角通過如下公式獲取：
15、
16、式中，r(α,β,γ)為基于歐拉角構建手勢坐標系下的期望旋轉角，為第一個手勢指令坐標f1到第二個手勢指令坐標f2的旋轉矩陣，ri為手勢坐標系fi與機器人坐標系fr對應的旋轉矩陣。
17、進一步地，所述s2步驟中，運動軌跡策略的獲取包括如下步驟：
18、根據肢體語言中的手勢指令進行指尖的相機三維坐標系坐標點集獲取；
19、提取由坐標點集構成的運動軌跡中的若干關鍵點作為運動軌跡策略。
20、進一步地，所述s3步驟中，運動軌跡策略相應對齊的編程指令通過如下方式轉換：
21、通過對運動軌跡策略進行相機坐標系至機器人坐標系的映射轉換，基于機器人坐標系下的運動軌跡策略進行碰撞檢驗下的編程指令編寫。
22、本專利技術還包括一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現所述一種基于肢體語言與指令對齊的機器人編程方法的步驟。
23、還包括一種處理數據的裝置，包括：
24、存儲器，其上存儲有計算機程序；
25、處理器，用于執行所述存儲器中的計算機程序，以實現所述一種基于肢體語言與指令對齊的機器人編程方法的步驟。
26、與現有技術相比，本專利技術至少含有以下有益效果：
27、(1)本專利技術所述的一種基于肢體語言與指令對齊的機器人編程方法、裝置及介質，讓用戶可以依據自身偏好將復雜的人機交互任務分解為若干個子任務，并通過預定義的標準化肢體語言對這些子任務進行編程進而完成該復雜交互任務；
28、(2)基于肢體語言-編程指令數據集且考慮肢體語言-編程指令對齊的機器人編程方法對于無機器人知識和編程經驗的普通用戶是友好且易使用的；
29、(3)使用多通道肢體語言信息對機器人進行編程，不僅提高了機器人編程指令表達準確性，還允許用戶表示更加復雜的編程指令。
本文檔來自技高網...【技術保護點】
1.一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，將人機交互任務分解為若干子任務，具體包括步驟：
2.如權利要求1所述的一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，所述S1步驟之前還包括步驟：
3.如權利要求1所述的一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，所述S2步驟中，目標位置通過如下步驟獲取：
4.如權利要求1所述的一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，所述S2步驟中，當需要編程目標旋轉操作指令時，通過兩個連續的手勢指令進行手勢坐標系下期望旋轉角的編程，所述手勢坐標系由手指進行歐拉角的構建。
5.如權利要求4所述的一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，所述期望旋轉角通過如下公式獲取：
6.如權利要求1所述的一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，所述S2步驟中，運動軌跡策略的獲取包括如下步驟：
7.如權利要求6所述的一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，所述S3步驟中，運動軌跡策略相應對齊的編程指令
8.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現權利要求1至7中任一項所述編程法的步驟。
9.一種處理數據的裝置，其特征在于，包括：
...【技術特征摘要】
1.一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，將人機交互任務分解為若干子任務，具體包括步驟：
2.如權利要求1所述的一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，所述s1步驟之前還包括步驟：
3.如權利要求1所述的一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，所述s2步驟中，目標位置通過如下步驟獲取：
4.如權利要求1所述的一種基于肢體語言與指令對齊的機器人編程方法，其特征在于，所述s2步驟中，當需要編程目標旋轉操作指令時，通過兩個連續的手勢指令進行手勢坐標系下期望旋轉角的編程，所述手勢坐標系由手指進行歐拉角的構建。
【專利技術屬性】
技術研發人員：呂仕鵬，郭國棟，
申請(專利權)人：寧波數字孿生東方理工研究院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。