一種基于光流法和地平線檢測的無人機(jī)著陸方法技術(shù)

本發(fā)明專利技術(shù)公開了一種基于光流法和地平線檢測的無人機(jī)著陸方法，其步驟為：一、對飛行過程中固定在無人機(jī)底部的相機(jī)拍攝出的視頻進(jìn)行圖像預(yù)處理；二、對每張圖像進(jìn)行直線檢測，獲取圖像中的地平線信息；三、通過對地平線信息進(jìn)行計(jì)算，得到當(dāng)前無人機(jī)的飛行姿態(tài)；四、采用光流法檢測出無人機(jī)的姿態(tài)信息；五、結(jié)合無人機(jī)運(yùn)動模型，采用擴(kuò)展卡爾曼濾波方法對光流法和地平線檢測的無人機(jī)姿態(tài)進(jìn)行濾波，挑選出正確的地平線信息；六、實(shí)現(xiàn)基于無人機(jī)的自主著陸過程。本發(fā)明專利技術(shù)是一種用于飛行過程中動態(tài)物體探測固定目標(biāo)的情況，采用基于梯度的光流法可以很好地配合探測器的運(yùn)動，與傳統(tǒng)基于地平線檢測的視覺算法相比，在著陸過程中可以有效提高精度，適用于無人機(jī)自主著陸應(yīng)用。

【技術(shù)實(shí)現(xiàn)步驟摘要】

本專利技術(shù)涉及一種無人機(jī)的著陸方法，具體涉及一種基于地平線檢測和光流法測速的圖像處理方法，用于無人機(jī)的著陸過程中。
技術(shù)介紹
無人機(jī)是“無人駕駛空中飛行器”(UAV)的簡稱。1917年英國研制出了第一架無人機(jī)，當(dāng)時的作用是作為“靶機(jī)”，而真正作為可供實(shí)戰(zhàn)的飛行武器是20世紀(jì)60～70年代，真正開始獲得各國軍方普遍重視的是從20世紀(jì)80年代。各國對無人機(jī)的重視很好的推動了無人機(jī)的發(fā)展和使用，如今，無人機(jī)的發(fā)展勢頭日趨強(qiáng)勁，無人機(jī)偵察機(jī)研究趨于成熟。無人機(jī)由于其自身的諸多優(yōu)點(diǎn)，如擁有隱蔽性好、生命力強(qiáng)、造價低廉、不懼傷亡，起降簡單、動作靈活，已經(jīng)成為各國競相發(fā)展的熱點(diǎn)。具體而言就是，一方面，無人機(jī)具有體積小、機(jī)動靈活、不易被發(fā)現(xiàn)的優(yōu)點(diǎn)，可以完成在敵占區(qū)上空進(jìn)行長時間低空偵察；另一方面，無人機(jī)可以攜帶多種傳感器，能提供多種形式高分辨率的目標(biāo)信息；其次無人機(jī)造價低廉，不會造成人員傷亡，具有經(jīng)濟(jì)、安全的特點(diǎn)。眾所周知，著陸是載人和無人駕駛飛機(jī)的事故多發(fā)階段，因?yàn)樗且粋€微妙的過程，在各種動態(tài)和操作約束的存在下，大量的飛機(jī)的動能和勢能的消散。因此，商業(yè)航空公司嚴(yán)重依賴于儀表著陸系統(tǒng)(ILS)的地方使用。著陸回收是一種主要的自動收回方法，分為進(jìn)場、下滑、拉平、飄落和著陸滑跑五個階段，它通過自動駕駛儀的位置、姿態(tài)、速度等瞬間運(yùn)動狀態(tài)來完成精確的狀態(tài)控制。目前主要的著陸導(dǎo)航系統(tǒng)包括<br>慣性導(dǎo)航系統(tǒng)、全球?qū)Ш叫l(wèi)星系統(tǒng)(GPS，GLONASS，等)的微分系統(tǒng)、組合導(dǎo)航系統(tǒng)。其中最常用的方法是GPS/INS組合導(dǎo)航，但GPS信號很容易堵塞，在作戰(zhàn)時不可用，而且低高度精度。隨著時間的推移，慣導(dǎo)系統(tǒng)往往會隨著時間的推移而漂移。基于無源傳感器的視覺導(dǎo)航系統(tǒng)具有低功耗、體積小、非接觸、易于隱蔽、對干擾不敏感等優(yōu)點(diǎn)，成為近年來研究的一個熱點(diǎn)。地平線是地球上不會消失的視覺物體，所以選用地平線作為視覺導(dǎo)航的參照物成為了一大研究方向。下面針對采用地平線獲得飛行姿態(tài)的方法進(jìn)行闡述。首先，我們定義世界坐標(biāo)系與地球表變的局部切線重合在一個點(diǎn)，即飛機(jī)的重力矢量與地球表面的交點(diǎn)。也就是說，飛機(jī)被假定為直接在世界坐標(biāo)以上，即飛行器的重力矢量焦玉地球坐標(biāo)系原點(diǎn)。此外，我們假設(shè)攝像機(jī)(傳感器)的軸線與飛機(jī)的本體固定坐標(biāo)框架的軸重合。通常認(rèn)為地球表面是個平面，一個球形體的平面顯示為圓形，對應(yīng)的，地平線出現(xiàn)在圖像平面則為曲線。但是，因?yàn)橐晹z像機(jī)的觀察區(qū)域狹窄，所以地平線就可以近似為圖像的切線，導(dǎo)航坐標(biāo)系示意圖如圖2所示。世界坐標(biāo)系的z軸被定義為從原點(diǎn)到由所述照相機(jī)觀察的地平線的圓弧的中心的線。y軸是向下朝向地球的中心，垂直于表面平面和x軸完成右手坐標(biāo)系。相機(jī)的z軸被定義為攝像機(jī)的光軸和位于相同的平面內(nèi)的世界坐標(biāo)系的z軸。照相機(jī)幀的x軸平行于攝像機(jī)的圖像平面的頂部邊緣和y軸完成右手坐標(biāo)系。從世界坐標(biāo)系(xw，yw，zw)到攝像機(jī)坐標(biāo)系(xc，yc，zc)變換，可以用一個正交旋轉(zhuǎn)矩陣和平移變換矩陣來表示。為了表示旋轉(zhuǎn)過程，所以定義xw為旋轉(zhuǎn)狀態(tài)矩陣，其中φ、θ、ψ分別為繞yc軸、xc軸、zc軸旋轉(zhuǎn)的角度；是從世界坐標(biāo)系轉(zhuǎn)換到攝像機(jī)坐標(biāo)系的旋轉(zhuǎn)。rw表示了攝像機(jī)的位置，可以表示為rw＝[0-h0]T。地平線可以用向量dw和lw表示，令dw＝[x0d]T，lw＝[100]。同時dw也可表示為在地平線上，當(dāng)投射到攝像機(jī)的圖像平面上，可以由一個點(diǎn)uc和方向矢量mc描述：uc＝[uvf]T，mc＝[[mxmy0]]T。u和v分別為圖像像素坐標(biāo)系x軸上和y軸上的實(shí)際距離，mx和my為地平線在圖像中的二維位置向量；f為攝像機(jī)的焦距。因?yàn)閐w在地球表面，所以一定垂直于地面的法向量nw。令nw＝[010]T，則：nw·dw＝0nw·(Rcwxc+rω)=0.]]>nw·lw＝0假設(shè)d0和d1是地平線上的兩點(diǎn)，d0w=x00dT,d1w=x10dT,]]>因?yàn)榉较蛲颍钥梢栽O(shè)lw=k(d1w-d0w)=k(x1w-x0w).]]>另一方面，若將攝像機(jī)平面圖像轉(zhuǎn)化為由飛行器坐標(biāo)表示，可得：u=uvf=fZXYZ=fZxc;]]>所以，xc=Zfu.]]>將式子代入之前的地平線兩點(diǎn)坐標(biāo)公式可得：lw=k(x1w-x0w)=kRcw(x1c-x0c)=kRcw(Zf(u1-u0)).]]>又因?yàn)閳D像上的兩點(diǎn)的距離矢量可以視為是圖像方向坐標(biāo)的縮放，則：u1-u0＝k2·mc。所以代回原式，地平線與圖像上的投影之間的關(guān)系是：lw=kk2ZfRcwmc.]]>又nw·dw＝0，則所以，-1cos(θ)(mxsin(φ)+mycos(φ))＝0。假設(shè)，cos(θ)不為0，則：φ=arctan(-mymx),]]>滾轉(zhuǎn)角可得。另一方面，如果從另一個角度改變nw·(RcwZfu+rω)=0,]]>xc=Rwc(d1w-rw).]]>可得：Z＝dcos(θ)-hsin(θ)。則可以解出：θ=arctan(±-hf+udsin(φ)+vdcos(φ)df+uhsin(φ)+vhcos(φ)).]]>如果地平線的距離是遠(yuǎn)遠(yuǎn)飛行器高度(d＞＞h)，那么上式可以變?yōu)椋?theta;=arctan(±usin(φ)+vcos(φ)f).]]>用這個方法即可求解出方位角的大小。以上就是由地平線位置信息得到無人機(jī)的飛行角度的方法。然而僅僅采用地平線位置信息并不能獲得非常精確的無人機(jī)的姿態(tài)信息，同時在提取地平線直線信息還會出現(xiàn)將檢測錯誤等問題，常見的一種干擾就是跑道。光流法是運(yùn)動目標(biāo)檢測和分析的重要方法，它能夠在不知道任何預(yù)先場景情況下檢測出獨(dú)立的運(yùn)動目標(biāo)，并且可適用于動態(tài)場景的情況。因?yàn)楣饬鞯挠?jì)算不需要預(yù)先知道場景的信息，不需要在圖像中建立起特征之間的對應(yīng)關(guān)系，所以光流計(jì)算屬于高層次的視覺表述。常用的光流算法主要有基于梯度方法的、塊匹配方法的、基于能量的以及相位法。常用的方法代表有LucasKanade局部平滑法、HornSchunck全局平滑法、以及Nagel的有向平滑法。假設(shè)t時刻，圖像上一點(diǎn)(x,y)處的灰度值為E(x,y,t)。設(shè)Δt為相機(jī)采樣時間間隔，在t+Δt時，圖像新位置為(x+Δx,y本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種基于光流法和地平線檢測的無人機(jī)著陸方法，其特征在于所述方法步驟如下：一、對飛行過程中固定在無人機(jī)底部的相機(jī)拍攝出的視頻，獲得某一時刻k的圖像，對圖像進(jìn)行顏色轉(zhuǎn)換，轉(zhuǎn)換到Y(jié)CrCb空間中，并對圖像進(jìn)行邊緣檢測；二、對每張圖像進(jìn)行直線檢測，獲取圖像中的地平線信息；三、通過對步驟二獲取的地平線信息進(jìn)行計(jì)算，得到當(dāng)前無人機(jī)的飛行姿態(tài)：滾轉(zhuǎn)角、方位角；四、采用光流法檢測出無人機(jī)的姿態(tài)信息；五、結(jié)合無人機(jī)運(yùn)動模型，采用擴(kuò)展卡爾曼濾波方法對光流法和地平線檢測的無人機(jī)姿態(tài)進(jìn)行濾波，挑選出正確的地平線信息；六、實(shí)現(xiàn)基于無人機(jī)自主著陸過程。

【技術(shù)特征摘要】
1.一種基于光流法和地平線檢測的無人機(jī)著陸方法，其特征在
于所述方法步驟如下：
一、對飛行過程中固定在無人機(jī)底部的相機(jī)拍攝出的視頻，獲得
某一時刻k的圖像，對圖像進(jìn)行顏色轉(zhuǎn)換，轉(zhuǎn)換到Y(jié)CrCb空間中，
并對圖像進(jìn)行邊緣檢測；
二、對每張圖像進(jìn)行直線檢測，獲取圖像中的地平線信息；
三、通過對步驟二獲取的地平線信息進(jìn)行計(jì)算，得到當(dāng)前無人機(jī)
的飛行姿態(tài)：滾轉(zhuǎn)角、方位角；
四、采用光流法檢測出無人機(jī)的姿態(tài)信息；
五、結(jié)合無人機(jī)運(yùn)動模型，采用擴(kuò)展卡爾曼濾波方法對光流法和
地平線檢測的無人機(jī)姿態(tài)進(jìn)行濾波，挑選出正確的地平線信息；
六、實(shí)現(xiàn)基于無人機(jī)自主著陸過程。
2.根據(jù)權(quán)利要求1所述的基于光流法和地平線檢測的無人機(jī)著
陸方法，其特征在于所述步驟一中，采用Canny算子進(jìn)行邊緣檢測。
3.根據(jù)權(quán)利要求1所述的基于光流法和地平線檢測的無人機(jī)著
陸方法，其特征在于所述步驟二中，采用Hough方法進(jìn)行圖像的直線
檢測。
4.根據(jù)權(quán)利要求1所述的基于光流法和地平線檢測的無人機(jī)著
陸方法，其特征在于所述步驟三中，滾轉(zhuǎn)角的計(jì)算公式為：
φ=arctan(-mymx),]]>其中，mx和my為地平線在圖像中的二維位置向量；
方位角的計(jì)算公式為：
θ=arctan(±usin(φ)+vcos(φ)f),]]>其中，u和v分別為圖像像素坐標(biāo)系x軸上和y軸上的距離，f為
攝像機(jī)的焦距。
5.根據(jù)權(quán)利要求1所述的基于光流法和地平線檢測的無人機(jī)著
陸方法，其特征在于所述步驟四中，光流法為LucasKanade局部平滑
法。
6.根據(jù)權(quán)利要求1所述的基于光流法和地平線檢測的無人機(jī)著
陸方法，其特征在于所述步驟五的具體步驟如下：
1)建立無人機(jī)模型：
k+...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張淼，鄭菱莎，沈毅，
申請(專利權(quán))人：哈爾濱工業(yè)大學(xué)，
類型：發(fā)明
國別省市：黑龍江;23