【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及機(jī)械臂控制，具體為一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制系統(tǒng)及方法。
技術(shù)介紹
1、隨著機(jī)器人技術(shù)的迅速發(fā)展，電力檢修機(jī)械臂已逐步應(yīng)用于輸電線路檢修作業(yè)中，在提高輸電線路檢修工作效率的同時(shí)，降低了專業(yè)人員培養(yǎng)成本，提高了作業(yè)安全性。但機(jī)械臂的運(yùn)動(dòng)軌跡需要根據(jù)作業(yè)任務(wù)的不同進(jìn)行調(diào)整，因此，電力檢修機(jī)械臂動(dòng)作的快速規(guī)劃成為一種新的發(fā)展需求。帶機(jī)械臂的無(wú)人機(jī)協(xié)同運(yùn)檢人員控制來(lái)抓取物體飛行，目前在國(guó)內(nèi)外處于起步階段，可用于多種電力運(yùn)檢場(chǎng)景，未來(lái)應(yīng)用領(lǐng)域?qū)?huì)非常廣泛，具有巨大轉(zhuǎn)化前景。
2、然而，在實(shí)際應(yīng)用中，現(xiàn)有的無(wú)人機(jī)機(jī)械臂控制系統(tǒng)存在以下不足之處：現(xiàn)有系統(tǒng)在復(fù)雜環(huán)境下(如光線變化、陰影干擾等)對(duì)電力設(shè)施的特征識(shí)別能力有限，尤其是在對(duì)小型物體(如絕緣子、螺栓等)的檢測(cè)和定位中，容易出現(xiàn)漏檢或誤檢的情況，這直接導(dǎo)致機(jī)械臂抓取精度下降，增加了作業(yè)風(fēng)險(xiǎn)；另外，現(xiàn)有系統(tǒng)通常依賴于靜態(tài)環(huán)境模型，對(duì)于動(dòng)態(tài)環(huán)境的適應(yīng)能力較弱，在電力巡檢作業(yè)中，環(huán)境可能會(huì)因天氣、設(shè)備變化等因素而不斷變化，現(xiàn)有系統(tǒng)往往無(wú)法快速調(diào)整軌跡，導(dǎo)致作業(yè)效率降低。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制系統(tǒng)及方法，以解決上述
技術(shù)介紹
中提出的問題。
2、為了解決上述技術(shù)問題，本專利技術(shù)提供如下技術(shù)方案：
3、一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，方法包括以下步驟：
4、步驟s100.獲取無(wú)人機(jī)電力巡檢作業(yè)的參照?qǐng)D像數(shù)據(jù)，從參照?qǐng)D像數(shù)據(jù)中
5、步驟s200.獲取無(wú)人機(jī)電力巡檢作業(yè)的實(shí)時(shí)圖像數(shù)據(jù)，從實(shí)時(shí)圖像數(shù)據(jù)中提取實(shí)時(shí)圖像特征點(diǎn)，將實(shí)時(shí)圖像特征點(diǎn)與目標(biāo)物體特征集進(jìn)行匹配分析，篩選出匹配特征點(diǎn)，并根據(jù)匹配特征點(diǎn)標(biāo)記實(shí)時(shí)歷史圖像數(shù)據(jù)中的目標(biāo)物體；
6、步驟s300.根據(jù)匹配分析得到的匹配特征點(diǎn)，分析無(wú)人機(jī)電力巡檢作業(yè)中機(jī)械臂的實(shí)際位姿，并利用無(wú)人機(jī)相機(jī)的內(nèi)外參數(shù)，將目標(biāo)物體的三維坐標(biāo)轉(zhuǎn)換為期望抓取位置坐標(biāo)系下的位姿信息，從而得到期望位姿；
7、步驟s400.計(jì)算無(wú)人機(jī)機(jī)械臂的實(shí)際位姿與期望位姿之間的偏差，基于兩者之間的偏差調(diào)整無(wú)人機(jī)機(jī)械臂的運(yùn)動(dòng)控制參數(shù)；根據(jù)調(diào)整后的運(yùn)動(dòng)控制參數(shù)，對(duì)當(dāng)前無(wú)人機(jī)機(jī)械臂的運(yùn)動(dòng)軌跡進(jìn)行相應(yīng)的調(diào)整。
8、進(jìn)一步的，步驟s100包括：
9、s101.使用無(wú)人機(jī)的相機(jī)設(shè)備，按照預(yù)設(shè)飛行路徑進(jìn)行電力巡檢，采集目標(biāo)區(qū)域多角度、多時(shí)刻的圖像數(shù)據(jù)，并將采集到的圖像數(shù)據(jù)作為參照?qǐng)D像數(shù)據(jù)；對(duì)參照?qǐng)D像數(shù)據(jù)進(jìn)行預(yù)處理，從經(jīng)過預(yù)處理的參照?qǐng)D像數(shù)據(jù)if(x,y)開始，構(gòu)建金字塔的每一層；每一層的圖像gk(x,y)通過高斯模糊和降采樣得到，具體過程如下：
10、對(duì)第一層圖像g0(x,y)＝if(x,y)進(jìn)行高斯模糊，降采樣得到下一層圖像：gk(x,y)＝downsample(gk-1(2x,2y))；對(duì)于每一層k，使用以下高斯公式進(jìn)行計(jì)算：
11、gk(x,y)＝(1/2πσk2)e^[-(x2+y2)/(2σk2)，
12、其中(x,y)表示在高斯圖像中某個(gè)像素的位置坐標(biāo)，σk表示第k層的標(biāo)準(zhǔn)差；
13、s102.對(duì)每層高斯圖像進(jìn)行四叉樹劃分，且每個(gè)網(wǎng)格區(qū)域s定義為：s＝{(x,y)|0≤x＜w，0≤y＜h}，其中w和h分別為高斯圖像的寬和高；在每個(gè)網(wǎng)格區(qū)域內(nèi)執(zhí)行fast算法，在每個(gè)檢測(cè)到的候選特征點(diǎn)周圍，使用非極大值抑制方法，保留響應(yīng)值最高的特征點(diǎn)作為目標(biāo)物體特征點(diǎn)；對(duì)于特征點(diǎn)檢測(cè)數(shù)量少的網(wǎng)格，降低閾值進(jìn)行再次檢測(cè)；計(jì)算所有目標(biāo)物體特征點(diǎn)的圖像矩，具體公式如下：
14、mpq＝∑x∈[0,w1]∑y∈[0,h1]i(x,y)·xp·yq，
15、其中i(x,y)表示當(dāng)前網(wǎng)格區(qū)域在坐標(biāo)(x,y)的像素值，w1和h1分別表示當(dāng)前網(wǎng)格區(qū)域的寬度和高度，p和q是矩的階數(shù)；根據(jù)圖像矩，計(jì)算所有目標(biāo)物體特征點(diǎn)的質(zhì)心點(diǎn)位c，具體公式為：
16、c＝(cx,cy)＝(m10/m00,m01/m00)，
17、其中cx表示質(zhì)心在x方向的坐標(biāo)，cy表示質(zhì)心在y方向的坐標(biāo)；m10表示一階矩，當(dāng)前網(wǎng)格區(qū)域在x方向的重心；m00表示當(dāng)前網(wǎng)格區(qū)域的零階矩，等于所有像素值的總和；m01表示一階矩，當(dāng)前網(wǎng)格區(qū)域在y方向的重心；計(jì)算目標(biāo)物體特征點(diǎn)的方向角θ，具體計(jì)算公式為：
18、θ＝arctan(cy/cx)＝arctan(m01/m10)；
19、s103.根據(jù)每個(gè)目標(biāo)物體特征點(diǎn)的質(zhì)心點(diǎn)位和方向角，生成相應(yīng)的特征點(diǎn)描述子，將同一個(gè)目標(biāo)物體的特征點(diǎn)和特征點(diǎn)描述子進(jìn)行匯總，從而構(gòu)成目標(biāo)物體特征集kd。
20、進(jìn)一步的，在每個(gè)網(wǎng)格區(qū)域內(nèi)執(zhí)行fast算法，在每個(gè)檢測(cè)到的候選特征點(diǎn)周圍，使用非極大值抑制方法，保留響應(yīng)值最高的特征點(diǎn)作為目標(biāo)物體特征點(diǎn)；具體的分析過程如下：
21、對(duì)于每個(gè)檢測(cè)到的候選特征點(diǎn)i(x,y)，在其周圍定義一個(gè)半徑為r的圓形區(qū)域，通常，選用r＝3，即考慮其周圍的16個(gè)像素點(diǎn)；對(duì)于每個(gè)候選特征點(diǎn)i(x,y)，獲取對(duì)應(yīng)的亮度值ic，在圓形區(qū)域內(nèi)，獲取對(duì)應(yīng)n個(gè)鄰域像素的亮度值ii，其中i表示鄰域像素編號(hào)，取1到n的正整數(shù)；若存在n個(gè)鄰域像素滿足：ii＞ic+t，或ii＜ic-t；其中t為設(shè)定閾值，則將當(dāng)前候選特征點(diǎn)i(x,y)進(jìn)行保留，作為候選角點(diǎn)；
22、計(jì)算每個(gè)候選角點(diǎn)的邊緣響應(yīng)度r，具體計(jì)算公式為：
23、r＝det(m)-k·trace(m)2，
24、其中m為圖像的結(jié)構(gòu)張量，det(m)表示結(jié)構(gòu)張量的行列式，trace(m)表示結(jié)構(gòu)張量的跡，k表示經(jīng)驗(yàn)常數(shù)；對(duì)于每個(gè)候選角點(diǎn)，在其周圍的r半徑內(nèi)進(jìn)行非極大值抑制，具體過程為：在候選角點(diǎn)的r半徑圓形區(qū)域內(nèi)，比較該點(diǎn)的響應(yīng)值r與鄰域內(nèi)所有其他點(diǎn)的響應(yīng)值大小關(guān)系，只有當(dāng)該點(diǎn)的響應(yīng)值r在其鄰域內(nèi)是最大的，才會(huì)被保留。
25、進(jìn)一步的，步驟s200包括：
26、s201.通過無(wú)人機(jī)的相機(jī)設(shè)備，捕捉電力巡檢作業(yè)中的實(shí)時(shí)圖像數(shù)據(jù)，并將這些圖像存儲(chǔ)為圖像序列it，且it＝{i_1,i_2,...,i_h}，其中i_1表示第1個(gè)時(shí)間點(diǎn)對(duì)應(yīng)的實(shí)時(shí)圖像，i_2表示第2個(gè)時(shí)間點(diǎn)對(duì)應(yīng)的實(shí)時(shí)圖像，以此類推，i_h表示第h個(gè)時(shí)間點(diǎn)對(duì)應(yīng)的實(shí)時(shí)圖像,h表示時(shí)間索引；對(duì)圖像序列it中的每個(gè)實(shí)時(shí)圖像，進(jìn)行步驟s100中目標(biāo)物體特征點(diǎn)的分析，從而得到實(shí)時(shí)圖像特征點(diǎn)以及相應(yīng)的描述子；
27、s202.獲取目標(biāo)物體特征集kd，將目標(biāo)物體特征集kd中的每個(gè)目標(biāo)物體對(duì)應(yīng)的描述子依次與圖像序列it中的每個(gè)實(shí)時(shí)圖像的描述子進(jìn)行暴力匹配，計(jì)算兩者對(duì)應(yīng)的描述子之間的漢明距離dh，并且篩選出小于閾值dh0的匹配對(duì)；使用ransac算法去除錯(cuò)配點(diǎn)，基于匹配點(diǎn)對(duì)找到內(nèi)點(diǎn)集合nd，并統(tǒng)計(jì)內(nèi)點(diǎn)集合中的內(nèi)點(diǎn)數(shù)量，若內(nèi)點(diǎn)數(shù)量大于等于4，則視為有效匹本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述步驟S100包括：
3.根據(jù)權(quán)利要求2所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述在每個(gè)網(wǎng)格區(qū)域內(nèi)執(zhí)行FAST算法，在每個(gè)檢測(cè)到的候選特征點(diǎn)周圍，使用非極大值抑制方法，保留響應(yīng)值最高的特征點(diǎn)作為目標(biāo)物體特征點(diǎn)；具體的分析過程如下：
4.根據(jù)權(quán)利要求2所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述步驟S200包括：
5.根據(jù)權(quán)利要求4所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述步驟S300包括：
6.根據(jù)權(quán)利要求5所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述步驟S400包括：
7.一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制系統(tǒng)，應(yīng)用于權(quán)利要求1-6中任一項(xiàng)所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述系統(tǒng)包括：圖像采集模塊、特征點(diǎn)提取與匹配模塊、位姿分析模塊、控制參數(shù)計(jì)算與調(diào)整
8.根據(jù)權(quán)利要求7所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制系統(tǒng)，其特征在于：所述圖像采集模塊包括圖像獲取單元和圖像存儲(chǔ)單元；
9.根據(jù)權(quán)利要求7所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制系統(tǒng)，其特征在于：所述位姿分析模塊包括坐標(biāo)系映射單元、實(shí)際位姿計(jì)算單元和期望位姿計(jì)算單元；
10.根據(jù)權(quán)利要求7所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制系統(tǒng)，其特征在于：所述控制參數(shù)計(jì)算與調(diào)整模塊包括偏差計(jì)算單元和控制參數(shù)調(diào)整單元；
...【技術(shù)特征摘要】
1.一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述方法包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述步驟s100包括：
3.根據(jù)權(quán)利要求2所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述在每個(gè)網(wǎng)格區(qū)域內(nèi)執(zhí)行fast算法，在每個(gè)檢測(cè)到的候選特征點(diǎn)周圍，使用非極大值抑制方法，保留響應(yīng)值最高的特征點(diǎn)作為目標(biāo)物體特征點(diǎn)；具體的分析過程如下：
4.根據(jù)權(quán)利要求2所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述步驟s200包括：
5.根據(jù)權(quán)利要求4所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特征在于：所述步驟s300包括：
6.根據(jù)權(quán)利要求5所述的一種基于機(jī)器視覺的無(wú)人機(jī)機(jī)械臂控制方法，其特...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：韓金釜，張博聞，陽(yáng)薇，任希廣，于培永，孫世勛，胡旻昊，黃晨洋，徐新雷，劉松楠，王夢(mèng)洋，王震宇，柳長(zhǎng)寶，王海寬，梁國(guó)棟，夏德明，遲新宇，李楠，周熙悅，王文澤，唐宇，
申請(qǐng)(專利權(quán))人：國(guó)網(wǎng)黑龍江省電力有限公司超高壓公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。