【技術實現步驟摘要】
本專利技術屬于機器人人機協作，尤其涉及一種面向人機協作的機器人智能物品傳遞方法和系統。
技術介紹
1、隨著協作機器人技術的發展，越來越多的機器人將參與到我們日常的生活、生產中。在人機協作任務中，機器人和人的物品傳遞是人機協作過程中的重要環節。如何開發設計合理的末端執行器，選擇合適的感知通道，開發魯棒的抓取狀態、人的意圖感知算法，對保障機器人和人在協作過程中的物品傳遞的效率，提升機器人的用戶體驗具有重要意義。人和人之間的物品傳遞可以分為接近，抵達，以及傳遞三個過程。然而，當前對機器人向人的物品傳遞多集中于傳遞過程，通常使用基于視覺或者力覺的方法評估機器人是否已經完成了傳遞過程。且通常采用預設的固定的時間，或者接收到人的力覺和語音提示后才被動的觸發機器人打開夾爪，這種被動的傳遞方式與人和人之間基于多模態的推斷主動傳遞方式極不相符，且會大大降低了用戶體驗。
2、因此，有必要建立一個面向人機協作的機器人智能物品傳遞算法，且該系統因該包含多模態的人手接近感知、包含基于人手、物品數字孿生的抵達狀態評估、包含不同物品人和人傳遞時間的數據集，以及基于強化學習的機器人自主傳遞控制算法。從而通過設計具備智能接近感知能力的機器人末端執行器，借助基于數字孿生與空間關系學的抵達狀態評估，以及基于強化學習的傳遞時機動態預測，使機器人具備類人的接近、抵達，以及傳遞的自主控制，最終實現提升協作機器人交互體驗的目的。
3、現已有采用從機器人結構上著手提升其傳遞物品能力的嘗試，如申請公布號為
4、cn111301838a的專利申
5、為了估計人手接近，申請公布號為cn113681565a公開的一種實現機器人與人之間物品傳遞的人機協作方法及裝置，通過視覺識別人手位姿的方式，控制機械臂運動到人手位置，實現物品傳遞。該方法更關注傳遞過程中的接近過程，且人在傳遞過程中屬于被動等待角色。而物品傳遞過程涉及到人手接近的感知，達到傳遞位置的評估，以及傳遞時機的主動選擇等方面，為提升用戶體驗，需要設計更加全面的物品傳遞的算法及系統使機器人具備主動選擇傳遞時機的能力。
技術實現思路
1、鑒于上述，本專利技術的目的是提供了一種面向人機協作的機器人智能物品傳遞方法和系統，能夠實現對人手接近的快速感知，人手到達傳遞點的準確估計，以及傳遞時機的主動選取，保障機器人傳遞過程魯棒性，從而提升機器人的交互體驗。
2、為實現上述專利技術目的，按照本專利技術的一個方面，提供一種面向人機協作的機器人智能物品傳遞方法，所述方法包括以下步驟：
3、s1，構建具備接近傳感和壓力傳感的機械手，并融合視覺進行多模態感知，實時感知人手的接近；
4、s2，基于物體、人手和機器人的虛擬包圍盒構建物體傳遞過程中的人和機器人數字孿生系統，該數字孿生系統可基于視覺更新的人手位置和基于機器人運動學更新的被抓取物品位置，以及兩者之間的空間幾何關系，實時評估人手的到達狀態；
5、s3，根據人-人不同物品傳遞過程中，接收者到傳遞點的位姿，以及傳遞者完成傳遞時機即松開物體的時機為核心指標收集數據，上述核心指標數據包含三個核心指標，即基于視覺計算的人手位置、基于電容變感知的人手接近狀態，以及人手在該位置停留的時間，并以此構建數據集，基于深度確定性策略梯度ddpg開發出改進的ddpg算法，使用所構建的數據集訓練類人的傳遞時機選取模型，該模型能夠使機器人具備主動選取傳遞時機的能力。
6、進一步，所述s1包括：選取合適的接近電容極板材料和壓電材料，并設計機械手實現接近電容極板材料對夾手手指的包覆，壓電材料貼附于電容極板材料表面作為壓力傳感器，借助人手接近會改變接近電容，并結合視覺傳感器實現人手的接近狀態的實時、多模態感知。
7、進一步，所述s1具體包括：以金屬材料作為接近電容傳感極板材料包覆的機械手結構，并設置視覺傳感器，通過電容變化和機器視覺算法融合的多模態人手接近感知算法；
8、在所述多模態人手接近感知算法中，以如下公式求解人手與機器人夾手之間的距離，其中d指求解出的人手與機器人夾手之間的距離，d1指基于視覺算法計算的人手距離，d2指基于接近電容測試的人手距離；
9、
10、視覺算法中，按照公式d1＝inf{‖x-y‖2:x∈traa(t),y∈trab(t)}，其中traa(t)和trab(t)分別是時間段t[t0，t1]內人手a和物體或夾手b的軌跡，求解人手與機械手的實時距離；基于接近電容c的變化，參考等式關系其中∈為介電常數，k為靜電力常數，s為包覆極板面積，求解d2。
11、進一步，所述s2包括：將人手、被抓物體、包含機械手的機械臂構建虛擬包圍盒，并按照機械臂的正運動學建立被抓物體和機械臂各關節的空間關系，以此構建人手、被抓物體以及機械臂的數字孿生系統，計算公式與步驟s1中d1的計算公式相同，求解人手包圍盒和被抓物體的距離關系，按照數字空間內被抓物體與人手的距離關系評估人手到達狀態。
12、進一步，在步驟s3中，利用人手位姿識別模塊、ddpg模塊和機器人控制模塊實現物品智能傳遞算法；
13、利用人手位姿識別模塊識別接收者達到抓取點位置停止時的位姿，并以接收者手部停止運動的時刻開始計時，記錄傳遞者釋放物體的時間，計算接收者人手在該位置停留的時間，構建數據集；
14、ddpg模塊包含改進的ddpg算法和獎勵值函數；其中，改進的ddpg算法包括如下步驟：
15、首先將人機智能物品傳遞問題描述為馬爾可夫決策問題，設每個時間步長智能體所執行的動作為at，所對應的狀態為：
16、st＝[θ,d,dmin,ki,p,q]
17、式中：θ為機械人當前關節角；d為人手和機器人各關節間包圍盒最小距離；dmin為當前狀態下人手和機器人各關節最小距離d中的最小值；ki為dmin所對應的關節編號；p為機械臂末端位置，包含x，y，z的坐標值；q為機械人末端姿態，以四元數方式x，y，z，w表示；
18、接著，構建獎勵值函數，動作為at＝[δθ,δp,δq]獎勵值rk可通過如下公式求解：
19、rk＝rk+γrk-1+…+γn-krn
20、式中：γ∈[0,1]為衰減因子；第k步長的回報為：
21、
22、其中，s為當前時刻狀態；p0為機械臂到達傳遞狀態時的末端位姿；表示當前狀態下人手的末端位姿；t0表示機器人達到傳遞位置的時刻，表示當前時刻，me和mk分別代表人手末端位置和傳遞時機在獎勵函數中所占比重，在獎勵值函數為構建數據集的過程中，接收者按照給定的李克特評分量表對傳遞時人手的末端位姿以及機器人傳遞時機進行評分，該評分量化后即為me和mk的值；
23、改進的ddpg算法對接收者姿態和傳遞時機進行強化，由于獎勵值函數為人類對不同傳本文檔來自技高網...
【技術保護點】
1.一種面向人機協作的機器人智能物品傳遞方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，所述S1包括：選取合適的接近電容極板材料和壓電材料，并設計機械手實現接近電容極板材料對夾手手指的包覆，壓電材料貼附于電容極板材料表面作為壓力傳感器，借助人手接近會改變接近電容，并結合視覺傳感器實現人手的接近狀態的實時、多模態感知。
3.根據權利要求2所述的方法，其特征在于，所述S1包括：以金屬材料作為接近電容傳感極板材料包覆的機械手結構，并設置視覺傳感器，通過電容變化和機器視覺算法融合的多模態人手接近感知算法；
4.根據權利要求3所述的方法，其特征在于，所述S2包括：將人手、被抓物體、包含機械手的機械臂構建虛擬包圍盒，并按照機械臂的正運動學建立被抓物體和機械臂各關節的空間關系，以此構建人手、被抓物體以及機械臂的數字孿生系統，計算公式與步驟S1中d1的計算公式相同，求解人手包圍盒和被抓物體的距離關系，按照數字空間內被抓物體與人手的距離關系評估人手到達狀態。
5.根據權利要求4所述的方法，其特征在于，在步驟S3中，
6.一種根據權利要求1-5中任一項所述的面向人機協作的機器人智能物品傳遞方法的傳遞系統，其特征在于，所述系統包括層級人手接近感知模塊、系統數字孿生模塊、主動傳遞指令模塊、機器人控制模塊以及數據采集模塊；其中，
...【技術特征摘要】
1.一種面向人機協作的機器人智能物品傳遞方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，所述s1包括：選取合適的接近電容極板材料和壓電材料，并設計機械手實現接近電容極板材料對夾手手指的包覆，壓電材料貼附于電容極板材料表面作為壓力傳感器，借助人手接近會改變接近電容，并結合視覺傳感器實現人手的接近狀態的實時、多模態感知。
3.根據權利要求2所述的方法，其特征在于，所述s1包括：以金屬材料作為接近電容傳感極板材料包覆的機械手結構，并設置視覺傳感器，通過電容變化和機器視覺算法融合的多模態人手接近感知算法；
4.根據權利要求3所述的方法，其特征在于，所述s2包括：將人手、被抓...
【專利技術屬性】
技術研發人員：張帥，陶飛，左穎，張賀，周堯明，
申請(專利權)人：天目山實驗室，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。