【技術實現步驟摘要】
本申請實施例涉及人形機器人靈巧手，尤其涉及一種靈巧手控制方法、設備、智能體及存儲介質。
技術介紹
1、隨著科技的飛速進步，機器人技術正以前所未有的速度發展，靈巧手作為這一領域的杰出代表，其復雜精細的操作能力令人矚目。然而，這種高自由度也帶來了前所未有的控制挑戰，特別是在需要迅速響應和高度協調的任務場景中。傳統的控制策略，盡管在某些場景下表現出色，但往往受限于復雜的數學模型和固定的算法框架，難以靈活應對多變的操作環境。
2、相關技術中，可以采用傳統的控制策略，例如比例、積分和微分(proportion-integral-differential，pid)控制、經典自適應控制、開環控制等，對靈巧手進行控制。
3、然而，實現本申請過程中，專利技術人發現現有技術中至少存在如下問題：針對高自由度的靈巧手，上述方式在應用迅速響應和高度協調的任務場景中精度和靈活性有所欠缺。
技術實現思路
1、本申請提供一種靈巧手控制方法、設備、智能體及存儲介質，以提高靈巧手控制的精度和靈活性。
2、第一方面，本申請提供一種靈巧手控制方法，包括：
3、獲取傳感器數據；
4、對所述傳感器數據進行預處理，獲得輸入信息；所述輸入信息包括環境信息和靈巧手的狀態信息；
5、將所述輸入信息輸入小腦模型中，獲得對應的控制指令；所述小腦模型包括軌跡規劃模型和運動控制器；所述軌跡規劃模型用于根據所述輸入信息輸出對應的軌跡規劃結果，所述運動控制器用于將所述軌跡規
6、根據所述控制指令對所述靈巧手的執行機構模塊進行驅動控制。
7、在一種可能的設計中，所述環境信息包括靈巧手所處真實環境中物體的以下中至少一項參數：位置、形狀、大小；所述狀態信息包括以下中至少一項參數：靈巧手的手指的位置、力度、速度、加速度。
8、在一種可能的設計中，所述將所述輸入信息輸入小腦模型中，獲得對應的控制指令之前，還包括：
9、根據靈巧手的物理結構和機械臂的物理結構，構建物理模型；
10、構建小腦待訓練神經網絡和軌跡規劃待訓練模型；
11、獲取訓練樣本集；
12、基于所述訓練樣本集和所述物理模型，對所述小腦待訓練神經網絡和所述軌跡規劃待訓練模型進行訓練，獲得所述小腦模型神經網絡和所述軌跡規劃模型；
13、基于模型預測控制算法將所述小腦模型神經網絡與全身動力學模型相結合，獲得運動控制器，根據運動控制器和所述軌跡規劃模型確定所述小腦模型。
14、在一種可能的設計中，所述基于模型預測控制算法將小腦模型神經網絡與全身動力學模型相結合，獲得運動控制器，包括：
15、將逆運動學模塊和逆動力學模塊串聯后與小腦模型神經網絡進行并聯，獲得運動控制器；其中，逆動力學模塊還用于與正動力學模塊和正運動學模塊依次串聯，所述正動力學模塊用于反饋輸出給所述逆動力學模塊，所述正運動學模塊用于反饋輸出給所述逆運動學模塊和所述小腦模型神經網絡。
16、在一種可能的設計中，所述基于模型預測控制算法將小腦模型神經網絡與全身動力學模型相結合，獲得運動控制器，包括：
17、將小腦模型神經網絡與正動力學模塊和正運動學模塊依次串聯，獲得運動控制器；其中，所述正運動學模塊用于反饋輸出給所述小腦模型神經網絡。
18、在一種可能的設計中，所述軌跡規劃待訓練模型的骨干網絡包括卷積神經網絡和注意力網絡；所述卷積神經網絡為殘差網絡；所述注意力網絡包括第一預設層數的自注意力網絡和第二預設層數的交叉注意力網絡；所述第一預設層數大于或等于4，所述第二預設層數大于或等于7。
19、在一種可能的設計中，所述獲取訓練樣本集，包括：
20、通過遙操作系統控制靈巧手和機械臂在多個場景下執行抓取和操作任務，在任務執行過程中采集傳感器數據；不同場景中任務對象不同或操作環境不同；不同的任務對象是指任務對象的以下中至少一個參數不同：形狀、材質、位置；
21、對所述傳感器數據進行預處理，獲得訓練樣本集。
22、在一種可能的設計中，所述訓練樣本集包括多組圖像序列和對應的期望軌跡，以及多組軌跡和對應的期望力矩；所述基于所述訓練樣本集和所述物理模型，對所述小腦待訓練神經網絡和所述軌跡規劃待訓練模型進行訓練，獲得所述小腦模型神經網絡和所述軌跡規劃模型，包括：
23、基于第一損失函數和反向傳播算法，根據多組軌跡和對應的期望力矩，對所述小腦待訓練神經網絡進行訓練，獲得所述小腦模型神經網絡；所述第一損失函數包括所述小腦待訓練神經網絡輸出的實際力矩與期望力矩之間的誤差；
24、基于第二損失函數和反向傳播算法，根據多組所述圖像序列和對應的期望軌跡，對所述軌跡規劃待訓練模型進行訓練，獲得所述軌跡規劃模型；所述第二損失函數包括所述軌跡規劃待訓練模型輸出的實際軌跡與期望軌跡之間的誤差。
25、在一種可能的設計中，所述訓練樣本集包括多組軌跡和對應的期望力矩，以及多組圖像序列和對應的期望力矩；所述基于所述訓練樣本集和所述物理模型，對所述小腦待訓練神經網絡和所述軌跡規劃待訓練模型進行訓練，獲得所述小腦模型神經網絡和所述軌跡規劃模型，包括：
26、基于第一損失函數和反向傳播算法，根據多組軌跡和對應的期望力矩，對所述小腦待訓練神經網絡進行訓練，獲得初始小腦模型神經網絡；所述第一損失函數包括所述小腦待訓練神經網絡輸出的實際力矩與期望力矩之間的誤差；
27、基于第二損失函數和反向傳播算法，根據多組所述圖像序列和對應的期望力矩，對所述軌跡規劃待訓練模型和所述初始小腦模型神經網絡進行聯合訓練，獲得所述軌跡規劃模型和所述小腦模型神經網絡；所述第二損失函數包括所述軌跡規劃待訓練模型輸出的實際軌跡與期望軌跡之間的誤差。
28、第二方面，本申請提供一種靈巧手控制設備，包括：
29、獲取模塊，用于獲取傳感器數據；
30、確定模塊，用于對所述傳感器數據進行預處理，獲得輸入信息；所述輸入信息包括環境信息和靈巧手的狀態信息；
31、處理模塊，用于將所述輸入信息輸入小腦模型中，獲得對應的控制指令；所述小腦模型包括軌跡規劃模型和運動控制器；所述軌跡規劃模型用于根據所述輸入信息輸出對應的軌跡規劃結果，所述運動控制器用于將所述軌跡規劃結果轉換為對應的控制指令；所述運動控制器是基于模型預測控制算法將小腦模型神經網絡與全身動力學模型相結合得到的；
32、驅動控制模塊，用于根據所述控制指令對所述靈巧手的執行機構模塊進行驅動控制。
33、第三方面，本申請提供一種靈巧手控制設備，包括：至少一個處理器和存儲器；
34、所述存儲器存儲計算機執行指令；
35、所述至少一個處理器執行所述存儲器存儲的計算機執行指令，使得所述至少一本文檔來自技高網...
【技術保護點】
1.一種靈巧手控制方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述環境信息包括靈巧手所處真實環境中物體的以下中至少一項參數：位置、形狀、大小；所述狀態信息包括以下中至少一項參數：靈巧手的手指的位置、力度、速度、加速度；所述將所述輸入信息輸入小腦模型中，獲得對應的控制指令之前，還包括：
3.根據權利要求2所述的方法，其特征在于，所述基于模型預測控制算法將小腦模型神經網絡與全身動力學模型相結合，獲得運動控制器，包括：
4.根據權利要求2所述的方法，其特征在于，所述基于模型預測控制算法將小腦模型神經網絡與全身動力學模型相結合，獲得運動控制器，包括：
5.根據權利要求2所述的方法，其特征在于，所述獲取訓練樣本集，包括：
6.根據權利要求2-5任一項所述的方法，其特征在于，所述訓練樣本集包括多組圖像序列和對應的期望軌跡，以及多組軌跡和對應的期望力矩；所述基于所述訓練樣本集和所述物理模型，對所述小腦待訓練神經網絡和所述軌跡規劃待訓練模型進行訓練，獲得所述小腦模型神經網絡和所述軌跡規劃模型，包括：
8.一種靈巧手控制設備，其特征在于，包括：至少一個處理器和存儲器；
9.一種智能體，其特征在于，包括靈巧手、手臂、傳感器、執行機構和如權利要求8所述的靈巧手控制設備。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中存儲有計算機執行指令，當處理器執行所述計算機執行指令時，實現如權利要求1至7任一項所述的靈巧手控制方法。
...【技術特征摘要】
1.一種靈巧手控制方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述環境信息包括靈巧手所處真實環境中物體的以下中至少一項參數：位置、形狀、大小；所述狀態信息包括以下中至少一項參數：靈巧手的手指的位置、力度、速度、加速度；所述將所述輸入信息輸入小腦模型中，獲得對應的控制指令之前，還包括：
3.根據權利要求2所述的方法，其特征在于，所述基于模型預測控制算法將小腦模型神經網絡與全身動力學模型相結合，獲得運動控制器，包括：
4.根據權利要求2所述的方法，其特征在于，所述基于模型預測控制算法將小腦模型神經網絡與全身動力學模型相結合，獲得運動控制器，包括：
5.根據權利要求2所述的方法，其特征在于，所述獲取訓練樣本集，包括：
6.根據權利要求2-5任一項所述的方法，其特征在于，所述訓練樣本集包括多組圖像序列和對應的期望軌跡，以及多組軌跡和對應的...
【專利技術屬性】
技術研發人員：宋旭，江磊，李泳耀，周海，黎楊，
申請(專利權)人：人形機器人上海有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。