一種輸電線路巡檢機器人視覺伺服抓線控制方法技術

本發明專利技術公開了一種輸電線路巡檢機器人視覺伺服抓線控制方法.屬于自動化控制領域，目的在于克服現有人工控制機器人抓線的缺點，提高輸電線路巡檢與作業機器人的自主化程度，擴大機器人巡檢與作業的應用范圍。本發明專利技術用于機器人在識別輸電線路的基礎上進行自主抓線。抓線控制流程如下：(1)機器人本體運動學建模；(2)建立抓線運動的手眼模型；(3)構建伺服抓線控制器框架；(4)設計視覺伺服控制器。本發明專利技術將數字圖像處理技術引入到機器人自主控制，利用機器人采集的圖像信息獲取線路與機器人的相對位姿關系，通過視覺伺服控制器的設計，使機器人可以自主完成落線動作，為機器人在線路上開展自主化巡檢與作業提供了一種智能化的技術手段。

Visual servo grasping line control method for inspection robot of power transmission line

The invention discloses a power transmission line inspection robot visual servo line grasping control method. Which belongs to the field of automation and control, in order to overcome the existing manual control of robot grasping line defects, improve the degree of autonomy and power transmission line inspection robot, expanding the scope of application of the robot inspection and operation. The invention is used for the robot to carry out the self grasping line on the basis of identifying the transmission line. The grasping line control process is as follows: (1) kinematics modeling of robot body; (2) establish hand eye model of line grasping motion; (3) build frame of servo line controller; (4) design visual servo controller. The invention of the digital image processing technology is introduced into the robot control, the relative pose relation acquisition line and robot based on image information collected by the robot, through the design of visual servo controller, the robot can independently complete the fall line of action, provides a technical means for the intelligent robot on the line to carry out independent inspection and operation.

【技術實現步驟摘要】
一種輸電線路巡檢機器人視覺伺服抓線控制方法
本專利技術屬于自動化控制領域，具體涉及一種輸電線路巡檢機器人視覺伺服抓線控制方法，用于輸電線路巡檢與維護機器人基于視覺圖像自主伺服抓線。
技術介紹
截止2014年底，我國220kV及以上輸電回路長度已經超過60萬千米，輸電網絡需要定期巡視維護。目前，這項工作主要由通過人工使用望遠鏡在地面對線路進行觀察，必要時工人還要登塔走線開展檢測作業，工作勞動強度大、危險性高、維護成本高。為了解決以上問題，并提高線路檢測和維護的精細化和自動化水平，輸電線巡檢機器人成為研究熱點。為了跨越線路上防振錘、懸垂線夾等金具障礙，機器人需要通過行走輪脫線躲避障礙，越障后的行走輪抓線是自動越障中的關鍵環節，抓線的準確性和可靠性是研究的要點。已有文獻研究了基于光電開關的輸電線定位與抓線方法[孫翠蓮等.一種改進的超高壓輸電線路巡檢機器人越障方法.機器人，2006，28(4)：379-384.]和基于電磁傳感器的機器人手臂與相線位姿判斷方法[陳中偉等.高壓巡線機器人電磁傳感器導航方法.傳感器與微系統，2006，25(9)：33-35,39.]，而這些方法都是利用局部信息，可靠性容易受外界環境的干擾，可能會產生偽真的信息，且缺乏直觀性。另有文獻采用傅里葉描述子構造具有不變性的輪廓形狀特征矢量，識別機器人驅動輪，進而抽取圖像特征和估計驅動輪-相線在圖像空間中的相對位姿，并設計了帶有死區的比例控制律來實現驅動輪-相線“對中”控制[張運楚等.架空輸電線路巡線機器人越障視覺伺服控制.機器人，2007，29(2)：111-116.]。而該方法僅對行走輪的位置進行控制，沒有考慮姿態對于抓線的影響。
技術實現思路
為了克服現有機器人伺服抓線控制方法的問題，提高機器人抓線的自動化程度與準確性，本專利技術要解決的技術問題是提供一種輸電線路巡檢機器人視覺伺服抓線控制方法。本專利技術為實現上述目的所采用的技術方案是：一種輸電線路巡檢機器人視覺伺服抓線控制方法，包括以下步驟：(1)機器人運動學建模：根據機器人本體設計特征，建立機器人關節坐標系，獲取機器人的運動學方程；(2)建立抓線運動的手眼模型：利用機器人相機獲取的包含輸電線路與機器人手臂的圖像，建立采集圖像坐標系與世界坐標系的相對關系，描述機器人旋轉關節角與輸電線圖像特征變化的關系；(3)構建伺服抓線控制器：根據機器人運動學模型與抓線運動的手眼模型，建立雙層閉環構架的控制閉環，由機器人伺服控制器控制巡檢機器人本體組成第一層閉環，通過視覺伺服控制器分析圖像自動生成控制指令，并傳送給機器人伺服控制器，組成第二層閉環。(4)設計視覺伺服控制器：通過圖像處理計算抓線圖像的特征偏差，設計伺服控制器。所述機器人運動學建模包括以下步驟：在機器人各關節處建立關節坐標系，獲取各關節處D-H參數；以機器人在線手臂作為基座，計算機器人脫線手臂的運動學方程，獲取脫線手臂的末端位姿：其中，α與β分別為線路傾角與箱體傾角，Cα+β與Sα+β分別代表cos(α+β)與sin(α+β)，dm為雙臂間距，Cij與Sij分別代表cos(θi+θj)與sin(θi+θj)，質心移動距離dac＝l6+l4-l3-l2+d4-d3，l2與l5為上臂長度，l3與l4為下臂長度，l6與l7為相機距離，d3與d4為移動關節伸縮量，θ3與θ4為旋轉關節轉動量，rw為驅動輪輪徑。所述機器人抓線運動的手眼模型為：抓線運動的中心透視投影關系模型為：若設輸電線路上一點為目標點，則u與v是目標點在圖像坐標系中的坐標，sx與sy是X和Y方向上的采樣頻率；f是相機焦距，fx＝f·sx與fy＝f·sy為等效焦距，u0與v0是圖像物理坐標系原點在圖像坐標系中的坐標，(xc，yc，zc)是目標點在攝像機坐標系中的坐標；設輸電線上目標點P，在基礎坐標系與攝像機坐標系中的坐標分別為LP和CP，根據建立的運動學模型可以得到：其中，為攝像機坐標到基礎坐標系的齊次變換矩陣；結合聯立以上兩方程，并進行求導計算，得到機器人旋轉關節角θ3和θ4的導數與輸電線圖像特征變化的關系，即抓線運動的手眼模型：其中，J為圖像雅克比矩陣，描述機器人旋轉關節角與輸電線圖像特征變化的關系。所述設計視覺伺服控制器包括以下步驟：(1)對機器人采集的線路圖像進行預處理，采用Ostu方法將預處理后的灰度圖像分割為二值圖像，然后進行形態學濾波，用以減弱背景的影響；(2)提取圖像中的直線特征，利用sobel算子提取抓線圖像的邊緣，通過霍夫變換提取亮度最大的兩條直線，作為輸電線路的兩邊緣；(3)計算圖像的特征偏差，建立偏差坐標系，偏差坐標系原點為驅動輪中心點，x軸y軸分別為驅動輪輪槽與軸線方向；根據偏差坐標系原點與輸電線中軸線中心點計算位移偏差值，定義輸電線中心點偏離行走輪橫向中心線的像素為λd；根據輸電線兩邊沿斜率的平均值計算姿態偏差值，定義輸電線相對行走輪橫向中心線偏轉的角度為θd，通過[λdθd]T來定義圖像空間中特征的變化；(4)設計基于圖像雅克比矩陣J的伺服控制器，定義圖像特征誤差為e＝fd-f(t)＝[λdθd]T，其中，fd＝[λ0θ0]T為期望的位姿特征值，λ0是驅動輪處于最佳落線狀態時輸電線中心點偏離行走輪橫向中心線的像素數，θ0是驅動輪處于最佳落線狀態時輸電線相對行走輪橫向中心線偏轉的角度，f(t)＝[λ(t)θ(t)]T為視覺反饋的位姿特征值，設位姿控制變量為u(t)＝Δq，設計控制器u=KJ+e，其中K為正比例系數，J+為圖像雅克比矩陣的逆陣；定義圖像特征誤差的容差為[εdδd]T，εd是安全落線時輸電線中心點偏離行走輪橫向中心線的最大容許像素數，δd是安全落線狀態時輸電線相對行走輪橫向中心線偏轉的最大容許角度，利用控制器自主調節機器人行走輪與輸電線的相對位姿，使λd＜εd，θd＜δd，從而保證機器人驅動輪處于線路上方適合落線位置，完成自主抓線動作。本專利技術具有以下優點及有益效果：1.本專利技術提供的基于圖像的視覺伺服抓線控制方法，克服了現有采用人工控制機器人的缺點，提高了輸電線巡檢與維護機器人的自動化程度。2.本專利技術利用機器人自身攜帶的相機對線路進行圖像采集，通過對采集的巡檢圖像進行預處理、直線特征提取、特征偏差計算等步驟獲取位姿偏差，相比于其他傳感器，視覺傳感器獲取的信息具有數據直觀、抗干擾強等優點，采用本方法獲取的特征偏差穩定可靠，有利于控制器的設計。3.本專利技術已在輸電線機器人上進行試驗，試驗結果表明，采用本專利技術的機器人系統可以快速穩定的實現自主抓線，體現了設計的視覺伺服抓線控制器的準確性與魯棒性。附圖說明圖1是本專利技術的流程示意圖；圖2是機器人運動學模型；圖3是機器人抓線運動原理圖；圖4是機器人抓線手眼模型；圖5是機器人伺服抓線控制閉環結構；圖6是圖像處理結果；圖7是視覺抓線控制原理；圖8是視覺伺服控制器框圖。具體實施方式下面結合附圖及實施例對本專利技術做進一步的詳細說明。本專利技術通過視覺傳感器采集線路圖像，通過圖像處理技術獲得特征偏差，并以此為基礎，結合機器人的運動學模型與抓線運動手眼模型，設計視覺伺服抓線控制器，實現輸電線路巡檢與維護機器人的自主抓線。該方法克服了現有采用人工控制機器人的缺點，提高了輸電線巡檢與維護機器人的自動化程度，如圖1所示本文檔來自技高網...

【技術保護點】
一種輸電線路巡檢機器人視覺伺服抓線控制方法，其特征在于，包括以下步驟：(1)機器人運動學建模：根據機器人本體設計特征，建立機器人關節坐標系，獲取機器人的運動學方程；(2)建立抓線運動的手眼模型：利用機器人相機獲取的包含輸電線路與機器人手臂的圖像，建立采集圖像坐標系與世界坐標系的相對關系，描述機器人旋轉關節角與輸電線圖像特征變化的關系；(3)構建伺服抓線控制器：根據機器人運動學模型與抓線運動的手眼模型，建立雙層閉環構架的控制閉環，由機器人伺服控制器控制巡檢機器人本體組成第一層閉環，通過視覺伺服控制器分析圖像自動生成控制指令，并傳送給機器人伺服控制器，組成第二層閉環。(4)設計視覺伺服控制器：通過圖像處理計算抓線圖像的特征偏差，設計伺服控制器。

【技術特征摘要】
1.一種輸電線路巡檢機器人視覺伺服抓線控制方法，其特征在于，包括以下步驟：(1)機器人運動學建模：根據機器人本體設計特征，建立機器人關節坐標系，獲取機器人的運動學方程；(2)建立抓線運動的手眼模型：利用機器人相機獲取的包含輸電線路與機器人手臂的圖像，建立采集圖像坐標系與世界坐標系的相對關系，描述機器人旋轉關節角與輸電線圖像特征變化的關系；(3)構建伺服抓線控制器：根據機器人運動學模型與抓線運動的手眼模型，建立雙層閉環構架的控制閉環，由機器人伺服控制器控制巡檢機器人本體組成第一層閉環，通過視覺伺服控制器分析圖像自動生成控制指令，并傳送給機器人伺服控制器，組成第二層閉環。(4)設計視覺伺服控制器：通過圖像處理計算抓線圖像的特征偏差，設計伺服控制器。2.根據權利要求1所述的一種輸電線路巡檢機器人視覺伺服抓線控制方法，其特征在于，所述機器人運動學建模包括以下步驟：在機器人各關節處建立關節坐標系，獲取各關節處D-H參數；以機器人在線手臂作為基座，計算機器人脫線手臂的運動學方程，獲取脫線手臂的末端位姿：其中，α與β分別為線路傾角與箱體傾角，Cα+β與Sα+β分別代表cos(α+β)與sin(α+β)，dm為雙臂間距，Cij與Sij分別代表cos(θi+θj)與sin(θi+θj)，質心移動距離dac＝l6+l4-l3-l2+d4-d3，l2與l5為上臂長度，l3與l4為下臂長度，l6與l7為相機距離，d3與d4為移動關節伸縮量，θ3與θ4為旋轉關節轉動量，rw為驅動輪輪徑。3.根據權利要求1所述的一種輸電線路巡檢機器人視覺伺服抓線控制方法，其特征在于，所述機器人抓線運動的手眼模型為：抓線運動的中心透視投影關系模型為：若設輸電線路上一點為目標點，則u與v是目標點在圖像坐標系中的坐標，sx與sy是X和Y方向上的采樣頻率；f是相機焦距，fx＝f·sx與fu＝f·sy為等效焦距，u0與v0是圖像物理坐標系原點在圖像坐標系中的坐標，(xc，yc，z...

【專利技術屬性】
技術研發人員：王洪光，李瀚儒，宋屹峰，許繼葵，姜勇，張鈺，郭偉斌，孫鵬，張成巍，羅紅，伍衡，寧宇，
申請(專利權)人：中國科學院沈陽自動化研究所，廣州供電局有限公司，
類型：發明
國別省市：遼寧,21