【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于機器人視覺，具體涉及一種基于視覺imu的機械臂抓取工件方法。
技術(shù)介紹
1、在目前智能化的機械臂中，傳感器是智能機械臂的重要組成部分，通過不同的傳感器，機械臂可以感知外部環(huán)境的變化并做出相應(yīng)的反應(yīng)，比如視覺傳感器、慣性傳感器，光電傳感器、負(fù)載傳感器、力覺傳感器等。雖然市場上已有的感知模塊，比如深度相機、激光雷達(dá)和雙目相機能夠有效做出載體的運動估計和深度估計，但由于其感知空間受限、反射敏感、感知單元尺寸過大等原因而無法適用于機械臂隨動感知系統(tǒng)。
2、yolov5是一款實時并且高精度的目標(biāo)檢測模型，這意味著它可以實時處理視頻流并檢測工件。這對需要快速響應(yīng)環(huán)境變化的機械臂至關(guān)重要。單目攝像機的方法由于其體積小、成本低和易于硬件設(shè)置而備受關(guān)注。然而，單目視覺系統(tǒng)無法恢復(fù)度量尺度，因此限制了它們在現(xiàn)實世界機器人應(yīng)用中的使用。近年來，低成本慣性測量單元(imu)輔助單目視覺系統(tǒng)的發(fā)展趨勢日益明顯。這種單目視覺慣性系統(tǒng)的主要優(yōu)點是具有公制尺度，是可觀察的。這支持需要度量狀態(tài)估計的機械臂抓取任務(wù)。
3、基于上述背景，本專利技術(shù)研究出一種基于視覺imu的機械臂抓取工件方法。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的在于提供一種基于視覺imu的機械臂抓取工件方法，以解決上述
技術(shù)介紹
中提出的問題。
2、為達(dá)到上述目的本專利技術(shù)采用了以下技術(shù)方案：
3、本專利技術(shù)提供了一種基于視覺imu的機械臂抓取工件方法，包括以下步驟：
4、步驟1，初
5、步驟2，獲取相機與imu數(shù)據(jù)，以及相機拍攝的多張待抓取目標(biāo)工件圖像；
6、步驟3，基于相機拍攝的多張待抓取目標(biāo)工件圖像，使用yolov5算法進(jìn)行目標(biāo)識別，定位待抓取目標(biāo)工件；
7、步驟4，對相機與imu數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，通過相機與imu緊耦合估計機械臂末的位置；
8、步驟5，計算待抓取目標(biāo)工件和機械臂末端之間的距離，估計待抓取目標(biāo)工件的位置；
9、步驟6，控制機械臂按照估計待抓取目標(biāo)工件位置進(jìn)行抓取。
10、進(jìn)一步，所述步驟3，具體為：
11、步驟3.1，對待抓取目標(biāo)工件圖像中需要抓取的目標(biāo)工件進(jìn)行手動框選，并為每個目標(biāo)工件分配相應(yīng)的類別標(biāo)簽；
12、步驟3.2，對待抓取目標(biāo)工件圖像進(jìn)行剪裁和數(shù)據(jù)增強操作，以擴充訓(xùn)練數(shù)據(jù)集；
13、步驟3.3，使用訓(xùn)練集對yolov5網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，迭代優(yōu)化模型權(quán)重參數(shù)；
14、步驟3.4，確定模型權(quán)重參數(shù)后，使用yolov5網(wǎng)絡(luò)模型進(jìn)行目標(biāo)識別，定位待抓取目標(biāo)工件。
15、進(jìn)一步，所述步驟4，具體為：
16、步驟4.1，將相機與imu固定到機械臂末端，初步設(shè)定一個機械臂運動軌跡，運動過程中相機與imu聯(lián)合初始化，選擇包含足夠特征視差的兩幀圖像，利用五點法來計算出本質(zhì)矩陣e，之后對本質(zhì)矩陣e進(jìn)行svd分解，求得相機的旋轉(zhuǎn)矩陣r和平移向量t；
17、步驟4.2，對imu數(shù)據(jù)的加速度a、角速度ω進(jìn)行預(yù)積分，獲得預(yù)積分量，計算公式如下：
18、
19、其中，表示imu在時間間隔t∈[tk,tk+1]中的位移量、速度量與旋轉(zhuǎn)量，at表示t時刻的加速度測量值，是從ik到當(dāng)前時間t的增量旋轉(zhuǎn)，表示ω的反對稱矩陣，計算公式如下：
20、
21、其中，ωx、ωy、ωz分別表示imu繞x、y、z三軸的旋轉(zhuǎn)速率；
22、步驟4.3，對步驟4.1和步驟4.2的結(jié)果來進(jìn)行相機與imu校準(zhǔn)，計算公式如下：
23、
24、其中，表示imu與相機的相對旋轉(zhuǎn)，分別為步驟4.1得到的相機的旋轉(zhuǎn)矩陣和步驟4.2得到的imu旋轉(zhuǎn)量；
25、步驟4.4，基于步驟4.3所獲得相對旋轉(zhuǎn)對imu預(yù)積分量進(jìn)行校準(zhǔn)，再與步驟4.1的相機測量值一起進(jìn)行非線性優(yōu)化，求解出所有幀的p、v、q，至此獲得機械臂末端的位置信息。
26、進(jìn)一步，所述步驟5，具體為：
27、步驟5.1，對于目標(biāo)識別出的待抓取目標(biāo)工件，提取目標(biāo)工件上的特征點并計算特征點的歸一化坐標(biāo)；
28、步驟5.2，在相機的運動過程中，通過對不同位置對同一個特征點進(jìn)行觀測，并且相機觀測點與特征點形成三角形，則它們滿足：
29、l2x2＝l1rx1+t
30、其中，x1、x2為兩個特征點的歸一化坐標(biāo)，l1、l2為連續(xù)兩幀圖像下觀測的特征點深度，即獲取目標(biāo)工件的深度信息；
31、步驟5.3，根據(jù)手眼變換矩陣將機械臂末端的位置信息和目標(biāo)工件的深度信息從相機坐標(biāo)系轉(zhuǎn)換到機械臂末端坐標(biāo)系，再轉(zhuǎn)換到機械臂基坐標(biāo)系，估計出待抓取目標(biāo)工件的位置。
32、再進(jìn)一步，所述步驟5.3中手眼變換矩陣，通過以下公式求得：
33、
34、其中，為機械臂基坐標(biāo)系到標(biāo)定板坐標(biāo)系的變換矩陣，為機械臂基坐標(biāo)系到機械臂末端坐標(biāo)系的變換矩陣，通過機械臂正運動學(xué)解算求得，為手眼變換矩陣，為相機坐標(biāo)系到標(biāo)定板坐標(biāo)系的變換矩陣，通過相機標(biāo)定來獲得；
35、通過記錄各個位姿之間的變化關(guān)系進(jìn)行求解，與在機械臂運動過程中保持不變：
36、
37、聯(lián)立方程組，求得手眼變換矩陣
38、與現(xiàn)有技術(shù)相比本專利技術(shù)具有以下優(yōu)點：
39、1.本專利技術(shù)是基于yolov5網(wǎng)絡(luò)的目標(biāo)識別：該算法可以實現(xiàn)單階段的目標(biāo)檢測，對識別的工件進(jìn)行框選并且對每個工件進(jìn)行分類，yolov5是一款實時并且高精度的目標(biāo)檢測模型，這意味著它可以實時處理視頻流并檢測工件。這對需要快速響應(yīng)環(huán)境變化的機械臂至關(guān)重要。
40、2.通過融合imu測量值和特征觀測值，獲得高精度的視覺慣性里程計，不僅為機械臂提供準(zhǔn)確的姿態(tài)、速度和方向估計，還可以在線進(jìn)行相機-imu外部校準(zhǔn)和imu偏差校正。能夠在各種復(fù)雜環(huán)境中工作，包括光照不足、遮擋物多等。
41、3.單目視覺系統(tǒng)無法恢復(fù)度量尺度，利用低成本imu輔助單目視覺系統(tǒng)來恢復(fù)公制尺度，獲得穩(wěn)定并且準(zhǔn)確的結(jié)果。這樣就使用了小的傳感套件來達(dá)到使機械臂視覺抓取的目標(biāo)。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.一種基于視覺IMU的機械臂抓取工件方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于視覺IMU的機械臂抓取工件方法，其特征在于，所述步驟3，具體為：
3.根據(jù)權(quán)利要求1所述的一種基于視覺IMU的機械臂抓取工件方法，其特征在于，所述步驟4，具體為：
4.根據(jù)權(quán)利要求3所述的一種基于視覺IMU的機械臂抓取工件方法，其特征在于，所述步驟5，具體為：
5.根據(jù)權(quán)利要求4所述的一種基于視覺IMU的機械臂抓取工件方法，其特征在于，所述步驟5.3中手眼變換矩陣，通過以下公式求得：
【技術(shù)特征摘要】
1.一種基于視覺imu的機械臂抓取工件方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于視覺imu的機械臂抓取工件方法，其特征在于，所述步驟3，具體為：
3.根據(jù)權(quán)利要求1所述的一種基于視覺imu的機械臂抓取工件方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王小燕，鄒易峰，張鵬，李孟委，劉鵬，
申請(專利權(quán))人：中北大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。