本發(fā)明專利技術公開了一種機器人長程任務的操縱大模型構建方法、系統(tǒng)和智能機器人，屬于機器人導航技術和多模態(tài)大模型技術領域。本發(fā)明專利技術通過識別待操控物體的幾何特性，并根據(jù)操控動作，識別與待操控物體對應的可操作圖，為智能機器人在操作過程中，提供對待操控物體的全面理解，提高了智能機器人末端執(zhí)行器的姿態(tài)的準確性；在目標函數(shù)的監(jiān)督下，根據(jù)可操作圖，對多模態(tài)大模型訓練，得到操縱大模型，以控制智能機器人末端執(zhí)行器的姿態(tài)，進一步提高了智能機器人末端執(zhí)行器的姿態(tài)的準確性。
【技術實現(xiàn)步驟摘要】
本專利技術涉及機器人導航技術和多模態(tài)大模型，特別涉及一種機器人長程任務的操縱大模型構建方法、系統(tǒng)和智能機器人。
技術介紹
1、機器人在執(zhí)行長程移動操縱任務時，主要利用預訓練大語言模型作為代理進行導航任務，以及利用多模態(tài)大模型進行操縱，并對待操控物體進行操作。
2、現(xiàn)有技術仍然存在下述問題：
3、多模態(tài)大模依然無法實現(xiàn)機器人的自主行動，特別是機器人在開放復雜場景下的長程任務處理中，智能機器人末端執(zhí)行器姿態(tài)的計算能力較差，使得機器人在執(zhí)行操作的過程中，無法準確的對待操控物體進行操作，無法滿足實際應用對于智能機器人的需求。
技術實現(xiàn)思路
1、為了解決現(xiàn)有技術的問題，本專利技術實施例提供了一種機器人長程任務的操縱大模型構建方法、系統(tǒng)和智能機器人，包括：
2、一方面，提供了一種機器人長程任務的操縱大模型構建方法，所述方法包括：
3、識別待操控物體的幾何特性；
4、根據(jù)所述幾何特性，生成與操作動作所對應的可操作圖，所述操作動作包括面向所述待操控物體的旋轉操作和直動操作；
5、設置目標函數(shù)；
6、在所述目標函數(shù)的監(jiān)督下，根據(jù)所述可操作圖，對多模態(tài)大模型訓練，得到操縱大模型，以控制智能機器人末端執(zhí)行器的姿態(tài)。
7、可選的，所述識別待操控物體的幾何特性包括：
8、從拍攝得到的圖像中，識別出待操控物體的像素；
9、識別所述像素所指示的幾何特性，所述幾何特性用于指示待操控物體的形狀。</p>10、可選的，所述根據(jù)所述幾何特性，生成與操作動作所對應的可操作圖包括：
11、根據(jù)所述幾何特性，生成與旋轉操作對應的第一可操作圖；
12、根據(jù)所述幾何特性，生成與直動操作對應的第二可操作圖。
13、可選的，所述根據(jù)所述幾何特性，生成與旋轉操作對應的第一可操作包括：
14、根據(jù)所述幾何特性，識別所述待操控物體的軸心線；
15、模擬所述待操控物體沿所述軸心線的旋轉；
16、計算旋轉后所述待操控物體的第一可操作圖，所述第一可操作圖包括圖內各個區(qū)域的可操作性概率。
17、可選的，所述根據(jù)所述幾何特性，生成與直動操作對應的第二可操作圖包括：
18、識別所述待操控物體的直動區(qū)域；
19、計算所述待操控物體的第二可操作圖，并設置所述第二可操作圖中所述直動區(qū)域的可操作性概率為預設值。
20、可選的，所述設置目標函數(shù)包括：
21、通過第一交叉熵損失函數(shù)，訓練所述多模態(tài)大模型學習區(qū)分操控點，并記錄所述第一交叉熵損失函數(shù)對應的第一損失張量；
22、通過第二交叉熵損失函數(shù)，獲取操作成功時的rgb圖像以及所述智能機器人末端執(zhí)行器的姿態(tài)，并記錄所述第二交叉熵損失函數(shù)對應的第二損失張量；
23、通過第三交叉熵損失函數(shù)，獲取所述多模態(tài)大模型的預測值和真實值，并記錄所述第三交叉熵損失函數(shù)對應的第三損失張量；
24、根據(jù)所述第一損失張量、所述第二損失張量和所述第三損失張量，設置目標函數(shù)。
25、可選的，所述在所述目標函數(shù)的監(jiān)督下，根據(jù)所述可操作圖，對多模態(tài)大模型訓練，得到操縱大模型包括：
26、設置訓練步驟；
27、在所述目標函數(shù)的監(jiān)督下，根據(jù)所述可操作圖，按照所述訓練步驟，對所述多模態(tài)大模型訓練，得到所述操縱大模型。
28、可選的，所述設置訓練步驟包括：
29、所述多模態(tài)大模型輸出所預測的可操作點的坐標值；
30、確定所述智能機器人末端執(zhí)行器的方向矢量；
31、通過深度圖像數(shù)據(jù)將所述可操作點的坐標值從圖像坐標系投影到三維空間坐標系中。
32、另一方面，提供了一種機器人長程任務的操縱大模型構建系統(tǒng)，所述系統(tǒng)包括智能機器人和操縱大模型構建裝置，其中：
33、所述智能機器人用于：
34、獲取所在環(huán)境的圖像數(shù)據(jù)和三維空間數(shù)據(jù)；圖像和三維空間內至少包括待操控物體；
35、所述操縱大模型構建裝置用于：
36、識別待操控物體的幾何特性；
37、根據(jù)所述幾何特性，生成與操作動作所對應的可操作圖，所述操作動作包括面向所述待操控物體的旋轉操作和直動操作；
38、設置目標函數(shù)；
39、在所述目標函數(shù)的監(jiān)督下，根據(jù)所述可操作圖，對多模態(tài)大模型訓練，得到操縱大模型，以控制智能機器人末端執(zhí)行器的姿態(tài)。
40、另一方面，提供了一種智能機器人，所述智能機器人包括：
41、攝像頭，用于獲取所在環(huán)境的多個圖像，所述多個圖像內至少包括待操控物體；
42、計算模塊，用于通過所述多個圖像，計算所在環(huán)境的圖像數(shù)據(jù)和三維空間數(shù)據(jù)；以使得操縱大模型構建裝置通過所述圖像數(shù)據(jù)和所述三維空間數(shù)據(jù)，識別待操控物體的幾何特性；根據(jù)所述幾何特性，生成與操作動作所對應的可操作圖，所述操作動作包括面向所述待操控物體的旋轉操作和直動操作；設置目標函數(shù)；在所述目標函數(shù)的監(jiān)督下，根據(jù)所述可操作圖，對多模態(tài)大模型訓練，得到操縱大模型，以控制智能機器人末端執(zhí)行器的姿態(tài)。
43、本專利技術至少具有以下有益效果：
44、1、通過識別待操控物體的幾何特性，并根據(jù)操控動作，識別與待操控物體對應的可操作圖，為智能機器人在操作過程中，提供對待操控物體的全面理解，提高了智能機器人末端執(zhí)行器的姿態(tài)的準確性；
45、2、在目標函數(shù)的監(jiān)督下，根據(jù)可操作圖，對多模態(tài)大模型訓練，得到操縱大模型，以控制智能機器人末端執(zhí)行器的姿態(tài)，進一步提高了智能機器人末端執(zhí)行器的姿態(tài)的準確性。
本文檔來自技高網(wǎng)...
【技術保護點】
1.一種機器人長程任務的操縱大模型構建方法，其特征在于，所述方法包括：
2.根據(jù)權利要求1所述的方法，其特征在于，所述識別待操控物體的幾何特性包括：
3.根據(jù)權利要求2所述的方法，其特征在于，所述根據(jù)所述幾何特性，生成與操作動作所對應的可操作圖包括：
4.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述幾何特性，生成與旋轉操作對應的第一可操作包括：
5.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述幾何特性，生成與直動操作對應的第二可操作圖包括：
6.根據(jù)權利要去4或5所述的方法，其特征在于，所述設置目標函數(shù)包括：
7.根據(jù)權利要去6所述的方法，其特征在于，所述在所述目標函數(shù)的監(jiān)督下，根據(jù)所述可操作圖，對多模態(tài)大模型訓練，得到操縱大模型包括：
8.根據(jù)權利要求7所述的方法，其特征在于，所述設置訓練步驟包括：
9.一種機器人長程任務的操縱大模型構建系統(tǒng)，其特征在于，所述系統(tǒng)包括智能機器人和操縱大模型構建裝置，其中：
10.一種智能機器人，其特征在于，所述智能機器人包括：
...
【技術特征摘要】
1.一種機器人長程任務的操縱大模型構建方法，其特征在于，所述方法包括：
2.根據(jù)權利要求1所述的方法，其特征在于，所述識別待操控物體的幾何特性包括：
3.根據(jù)權利要求2所述的方法，其特征在于，所述根據(jù)所述幾何特性，生成與操作動作所對應的可操作圖包括：
4.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述幾何特性，生成與旋轉操作對應的第一可操作包括：
5.根據(jù)權利要求3所述的方法，其特征在于，所述根據(jù)所述幾何特性，生成與直動操作對應的第二可操作圖...
【專利技術屬性】
技術研發(fā)人員：周華，韓子天，李玄鋒，盧桂斌，周意航，劉瑞斌，
申請(專利權)人：中醫(yī)藥廣東省實驗室，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。