【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及無人機及機械臂，尤其是涉及一種基于視覺引導(dǎo)的無人機及其控制方法。
技術(shù)介紹
1、玉米產(chǎn)量已超過水稻和小麥成為中國第一大糧食作物，在保障糧食安全方面意義重大。雜交育種是提高玉米產(chǎn)量和改善籽粒品質(zhì)的有效方法，玉米是最早利用雜種優(yōu)勢的作物之一，而純度是評價玉米雜交種子質(zhì)量的重要指標，玉米母本去雄是雜交玉米制種生產(chǎn)過程中保證種子純度最關(guān)鍵、最難控制的環(huán)節(jié)。
2、目前我國針對制種玉米去雄的方式主要有人工去雄和機械去雄兩種，人工去雄是傳統(tǒng)的去雄方法，也是我國目前主要的去雄方式，這種方法需要大量勞動力，作業(yè)效率低并且難以保障去雄質(zhì)量；機械化去雄作業(yè)效率高，受自然條件和人為因素影響小，然而由于玉米植株形態(tài)的多樣性和雄穗分布的不均勻性，機械去雄存在單次漏、錯去雄的情況，需要多次補漏去雄。
3、為了保證玉米制種的質(zhì)量，需要人工進行勘察查找遺漏的雄穗并及時去除，這種方式將耗費大量的人力物力，可能導(dǎo)致錯過去雄的窗口期，造成遺漏的母本雄穗進行散粉從而污染制種田，對大范圍的玉米種子質(zhì)量造成影響。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的就是為了克服上述現(xiàn)有技術(shù)存在的機械化去除裝置在處理少量遺漏雄穗時無法實現(xiàn)精準定位和高效去除等缺陷而提供一種基于視覺引導(dǎo)的無人機及其控制方法，實現(xiàn)對散落在農(nóng)田中的遺漏雄穗進行準確、快速、自動化的精準去除。
2、本專利技術(shù)提供一種基于視覺引導(dǎo)的無人機，包括：無人機主體、與無人機主體連接的機械臂組件、機械臂固定平臺和控制主板；
4、所述回旋定位模塊包括：伺服電機、行星減速機和聯(lián)軸器，所述聯(lián)軸器安裝在所述行星減速機末端的驅(qū)動軸上；
5、所述水平導(dǎo)引模塊包括：步進電機、螺旋傳動滑軌、水平連接板和滑塊，所述螺旋傳動滑軌中部通過水平連接板與回旋定位模塊連接；
6、所述軸向伸縮模塊垂直固定于所述水平導(dǎo)引模塊底部的滑塊上，所述軸向伸縮模塊包括：推桿電機、第一連接件、電機安裝座、第二連接件和交剪式伸縮單元；所述旋轉(zhuǎn)切割模塊通過第二連接件固定在軸向伸縮模塊的末端，所述旋轉(zhuǎn)切割模塊包括：切割電機、護罩和刀片；
7、所述雙目相機模塊包括：相機架、雙目相機、相機底座和相機轉(zhuǎn)座，所述雙目相機安裝在相機轉(zhuǎn)座上；步進電機的一側(cè)末端通過相機架連接雙目相機模塊；
8、所述控制主板包括：控制模塊、定位模塊、路徑規(guī)劃模塊、通信模塊和深度學(xué)習(xí)模塊，所述控制主板固定在機械臂固定平臺上。
9、進一步的，所述機械臂固定平臺包括安裝橫梁和平臺固定件；通過直流電源為控制主板、雙目相機、伺服電機、步進電機、推桿電機和切割電機供電。
10、進一步的，所述無人機主體包括無人機機身、槳葉、rtk和無刷電機。八片槳葉安裝在無人機的機臂末端，并由四個無刷電機驅(qū)動，為無人機提供動力。
11、進一步的，所述交剪式伸縮單元包括：第一級連桿、第二級連桿、第三級連桿、第四級連桿、緩沖銷軸、轉(zhuǎn)軸連接件、支架和轉(zhuǎn)軸固定件，所述第一級連桿、第二級連桿、第三級連桿、第四級連桿均為重疊的雙層且由支架進行加固連接，并通過緩沖銷軸鉸接；推桿電機固定在電機安裝座并垂直固定于第一連接件上，且推桿電機驅(qū)動軸末端與轉(zhuǎn)軸固定件連接；第一級連桿末端與電機安裝座兩側(cè)的轉(zhuǎn)軸連接件鉸接，第四級連桿通過轉(zhuǎn)軸連接件與第二連接件鉸接。
12、本專利技術(shù)還提供一種基于視覺引導(dǎo)的無人機的控制方法，包括以下步驟：
13、s1：機械臂組件歸位，無人機飛行至目標上空懸停；
14、s2：通過雙目相機(82)拍攝下方目標物實時圖片；在深度學(xué)習(xí)模塊(35)識別到目標物后，獲取目標在圖像中的像素坐標信息，進而通過坐標轉(zhuǎn)換模塊獲取目標距離設(shè)定坐標原點的距離，則無人機根據(jù)信息調(diào)整懸停高度；坐標轉(zhuǎn)換公式為：
15、
16、其中，zc為目標在相機坐標系下z軸方向的坐標，(u,v)是目標在像素坐標系下的坐標，(u0,v0)為像素中點，f為雙目相機焦距，r表示旋轉(zhuǎn)矩陣，t表示偏移矩陣，(xw,yw,zw)為目標在世界坐標系下的坐標。
17、s3：無人機獲取目標的三維信息后，計算刀片末端與目標之間的誤差，通過驅(qū)動模塊驅(qū)動機械臂運行，當末端刀片位置到達目標位置前啟動末端裝備的旋轉(zhuǎn)切割模塊，通過刀片將雄穗進行去除；
18、s4：完成去雄任務(wù)后，雙目相機拍照記錄當前任務(wù)點去除情況，上傳后供工作人員確認；機械臂組件歸位；
19、s5：無人機爬升，切換至飛行模式飛往下一個雄穗遺漏點，重復(fù)s1～s5。
20、進一步的，s1中，無人機起飛前機械臂組件開始自檢，確認機械臂組件各個模塊處于初始狀態(tài)；無人機中控加載遺漏雄穗的經(jīng)緯度坐標，規(guī)劃每個工作點的路徑；之后，無人機沿著路徑飛行至目標雄穗上空。
21、進一步的，s2中，雙目相機獲取的目標圖像通過深度學(xué)習(xí)模塊分割目標雄穗，并通過坐標轉(zhuǎn)換模塊將目標在圖像中的像素坐標轉(zhuǎn)換成目標相對于機械臂坐標原點的世界坐標系坐標。
22、進一步的，s3中，控制主板根據(jù)目標點的三維坐標計算機械臂組件各個模塊的運動參數(shù)并由電機驅(qū)動；機械臂末端裝載的切割刀具啟動時機由軸向伸縮模塊進行判斷，當伸縮長度到達指令的三分之二距離時啟動切割電機，以對雄穗進行切割。同時雙目相機實時對目標進行識別，控制主板計算刀片與目標的距離，若差值小于預(yù)設(shè)的誤差閾值，則判定當前刀片位置為切割點；s4中，控制主板在完成切割指令后對機械臂組件進行歸位操作，雙目相機在運動過程中對下方區(qū)域進行拍攝并由深度學(xué)習(xí)模塊進行檢測，若再次檢測到遺漏雄穗且目標與刀片距離大于預(yù)設(shè)的誤差閾值，則判斷當前任務(wù)點切除任務(wù)未完成；返回s2和s3，重新對目標雄穗進行切除。
23、進一步的，任務(wù)開始前載入待去雄目標的坐標信息，由定位模塊和路徑規(guī)劃模塊基于無人機起飛點、地塊地形、目標分布狀況劃分任務(wù)組別并規(guī)劃路徑；抵達目標點上空后，雙目相機模塊用于采集雄穗的圖像數(shù)據(jù)，并通過所述深度學(xué)習(xí)模塊計算雄穗的三維點云信息，再對獲取到的點云信息進行濾波操作，提取雄穗精確的位置信息；控制模塊根據(jù)視覺識別結(jié)果，通過機械臂組件進行雄穗去除，并根據(jù)規(guī)劃的路徑繼續(xù)執(zhí)行下一個去雄任務(wù)。
24、進一步的，所述深度學(xué)習(xí)模塊通過構(gòu)建雄穗數(shù)據(jù)集并進行卷積神經(jīng)網(wǎng)絡(luò)cnn模型訓(xùn)練，以實現(xiàn)對玉米雄穗目標的精準分割與擬合判斷，訓(xùn)練過程如下：建立初始網(wǎng)絡(luò)結(jié)構(gòu)模型，并對該模型的各層權(quán)重進行隨機初始化，將訓(xùn)練集中的雄穗圖像經(jīng)過預(yù)處理并輸入初始模型中，通過卷積操作對輸入圖像進行特征提取，通過反向傳播更新參數(shù)并迭代訓(xùn)練，不斷對神經(jīng)網(wǎng)絡(luò)中的參數(shù)進行優(yōu)化更新，得到最優(yōu)模型，并在使用過程中不斷加載上一次的訓(xùn)練權(quán)重進行遷移學(xué)習(xí)，持續(xù)優(yōu)化模型以保持較高的泛化能力。
25、與現(xiàn)有技術(shù)相比，本專利技術(shù)具有以下優(yōu)本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于視覺引導(dǎo)的無人機，其特征在于，包括：無人機主體(1)、與無人機主體(1)連接的機械臂組件、機械臂固定平臺(2)和控制主板(3)；
2.根據(jù)權(quán)利要求1所述的一種基于視覺引導(dǎo)的無人機，其特征在于，所述機械臂固定平臺(2)包括安裝橫梁(21)和平臺固定件(22)。
3.根據(jù)權(quán)利要求1所述的一種基于視覺引導(dǎo)的無人機，其特征在于，所述無人機主體(1)包括無人機機身(11)、槳葉(12)、RTK(13)和無刷電機(14)。
4.根據(jù)權(quán)利要求1所述的一種基于視覺引導(dǎo)的無人機，其特征在于，所述交剪式伸縮單元(65)包括：第一級連桿(651)、第二級連桿(652)、第三級連桿(653)、第四級連桿(654)、緩沖銷軸(655)、轉(zhuǎn)軸連接件(656)、支架(657)和轉(zhuǎn)軸固定件(658)，所述第一級連桿(651)、第二級連桿(652)、第三級連桿(653)、第四級連桿(654)均為重疊的雙層且由支架(657)進行加固連接，并通過緩沖銷軸(655)鉸接；推桿電機(61)固定在電機安裝座(63)并垂直固定于第一連接件(62)上，且推桿電機(61)驅(qū)動軸末端
5.一種如權(quán)利要求1～4任一項所述的基于視覺引導(dǎo)的無人機的控制方法，其特征在于，包括以下步驟：
6.根據(jù)權(quán)利要求5所述的一種基于視覺引導(dǎo)的無人機的控制方法，其特征在于，S1中，無人機起飛前機械臂組件開始自檢，確認機械臂組件各個模塊處于初始狀態(tài)；無人機中控加載遺漏雄穗的經(jīng)緯度坐標，規(guī)劃每個工作點的路徑；之后，無人機沿著路徑飛行至目標雄穗上空。
7.根據(jù)權(quán)利要求5所述的一種基于視覺引導(dǎo)的無人機的控制方法，其特征在于，S2中，雙目相機(82)獲取的目標圖像通過深度學(xué)習(xí)模塊(35)分割目標雄穗，并通過坐標轉(zhuǎn)換模塊將目標在圖像中的像素坐標轉(zhuǎn)換成目標相對于機械臂坐標原點的世界坐標系坐標。
8.根據(jù)權(quán)利要求5所述的一種基于視覺引導(dǎo)的無人機的控制方法，其特征在于，S3中，控制主板(3)根據(jù)目標點的三維坐標計算機械臂組件各個模塊的運動參數(shù)并由電機驅(qū)動；機械臂末端裝載的切割刀具啟動時機由軸向伸縮模塊(6)進行判斷，當伸縮長度到達指令的三分之二距離時啟動切割電機，以對雄穗進行切割；同時雙目相機(82)實時對目標進行識別，控制主板(3)計算刀片(73)與目標的距離，若差值小于預(yù)設(shè)的誤差閾值，則判定當前刀片(73)位置為切割點；S4中，控制主板(3)在完成切割指令后對機械臂組件進行歸位操作，雙目相機(82)在運動過程中對下方區(qū)域進行拍攝并由深度學(xué)習(xí)模塊(35)進行檢測，若再次檢測到遺漏雄穗且目標與刀片(73)距離大于預(yù)設(shè)的誤差閾值，則判斷當前任務(wù)點切除任務(wù)未完成；返回S2和S3，重新對目標雄穗進行切除。
9.根據(jù)權(quán)利要求5所述的一種基于視覺引導(dǎo)的無人機的控制方法，其特征在于，任務(wù)開始前載入待去雄目標的坐標信息，由定位模塊(32)和路徑規(guī)劃模塊(33)基于無人機起飛點、地塊地形、目標分布狀況劃分任務(wù)組別并規(guī)劃路徑；抵達目標點上空后，雙目相機模塊(8)用于采集雄穗的圖像數(shù)據(jù)，并通過所述深度學(xué)習(xí)模塊(34)計算雄穗的三維點云信息，再對獲取到的點云信息進行濾波操作，提取雄穗精確的位置信息；控制模塊(31)根據(jù)視覺識別結(jié)果，通過機械臂組件進行雄穗去除，并根據(jù)規(guī)劃的路徑繼續(xù)執(zhí)行下一個去雄任務(wù)。
10.根據(jù)權(quán)利要求5所述的一種基于視覺引導(dǎo)的無人機的控制方法，其特征在于，所述深度學(xué)習(xí)模塊(34)通過構(gòu)建雄穗數(shù)據(jù)集并進行卷積神經(jīng)網(wǎng)絡(luò)CNN模型訓(xùn)練，以實現(xiàn)對玉米雄穗目標的精準分割與擬合判斷，訓(xùn)練過程如下：建立初始網(wǎng)絡(luò)結(jié)構(gòu)模型，并對該模型的各層權(quán)重進行隨機初始化，將訓(xùn)練集中的雄穗圖像經(jīng)過預(yù)處理并輸入初始模型中，通過卷積操作對輸入圖像進行特征提取，通過反向傳播更新參數(shù)并迭代訓(xùn)練，不斷對神經(jīng)網(wǎng)絡(luò)中的參數(shù)進行優(yōu)化更新，得到最優(yōu)模型，并在使用過程中不斷加載上一次的訓(xùn)練權(quán)重進行遷移學(xué)習(xí)，持續(xù)優(yōu)化模型以保持較高的泛化能力。
...【技術(shù)特征摘要】
1.一種基于視覺引導(dǎo)的無人機，其特征在于，包括：無人機主體(1)、與無人機主體(1)連接的機械臂組件、機械臂固定平臺(2)和控制主板(3)；
2.根據(jù)權(quán)利要求1所述的一種基于視覺引導(dǎo)的無人機，其特征在于，所述機械臂固定平臺(2)包括安裝橫梁(21)和平臺固定件(22)。
3.根據(jù)權(quán)利要求1所述的一種基于視覺引導(dǎo)的無人機，其特征在于，所述無人機主體(1)包括無人機機身(11)、槳葉(12)、rtk(13)和無刷電機(14)。
4.根據(jù)權(quán)利要求1所述的一種基于視覺引導(dǎo)的無人機，其特征在于，所述交剪式伸縮單元(65)包括：第一級連桿(651)、第二級連桿(652)、第三級連桿(653)、第四級連桿(654)、緩沖銷軸(655)、轉(zhuǎn)軸連接件(656)、支架(657)和轉(zhuǎn)軸固定件(658)，所述第一級連桿(651)、第二級連桿(652)、第三級連桿(653)、第四級連桿(654)均為重疊的雙層且由支架(657)進行加固連接，并通過緩沖銷軸(655)鉸接；推桿電機(61)固定在電機安裝座(63)并垂直固定于第一連接件(62)上，且推桿電機(61)驅(qū)動軸末端與轉(zhuǎn)軸固定件(658)連接；第一級連桿(651)末端與電機安裝座(63)兩側(cè)的轉(zhuǎn)軸連接件(656)鉸接，第四級連桿(654)通過轉(zhuǎn)軸連接件(656)與第二連接件(64)鉸接。
5.一種如權(quán)利要求1～4任一項所述的基于視覺引導(dǎo)的無人機的控制方法，其特征在于，包括以下步驟：
6.根據(jù)權(quán)利要求5所述的一種基于視覺引導(dǎo)的無人機的控制方法，其特征在于，s1中，無人機起飛前機械臂組件開始自檢，確認機械臂組件各個模塊處于初始狀態(tài)；無人機中控加載遺漏雄穗的經(jīng)緯度坐標，規(guī)劃每個工作點的路徑；之后，無人機沿著路徑飛行至目標雄穗上空。
7.根據(jù)權(quán)利要求5所述的一種基于視覺引導(dǎo)的無人機的控制方法，其特征在于，s2中，雙目相機(82)獲取的目標圖像通過深度學(xué)習(xí)模塊(35)分割目標雄穗，并通過坐標轉(zhuǎn)換模塊將目標在圖像中的像素坐標轉(zhuǎn)換成目標相對于機械臂坐標原點的世...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李楠，海錦輝，苗中華，何創(chuàng)新，
申請(專利權(quán))人：上海大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。