一種基于無人機位姿計算的信標布置及圖像處理方法技術

一種基于無人機位姿計算的信標布置及圖像處理方法，首先對無人機的機器視覺引導著落進行設計，根據所搭建的視覺成像系統在保證圖像敏感性并對視場畸變進行分析的條件下，結合著落過程可能出現的位姿，設計針對視覺引導著落所需的信標結構及布置方法，接著根據所設計的視覺引導系統，針對不同的合作信標構型，提出三個衡量算法適用性的指標來對位姿解算算法進行評價篩選，最后采用的地面合作信標是紅外LED，紅外LED成像效果更加穩定，成像距離更遠，成像精度更高。本方法簡單易行，對著陸場地的配置要求低，從近紅外圖像中提取特征更加方便、快捷，擴大了視覺系統的適用范圍，而且能全天時全天候的檢測識別；精確的解算出無人機姿態信息。

Beacon arrangement and image processing method based on UAV pose calculation

A UAV pose calculation beacon layout and image processing method based on the machine vision guided landing UAV is designed according to the built vision imaging system to ensure image sensitivity and analyze field distortion conditions, combined with the posture of landing process may appear, for the design of structure and layout of the beacon methods required for vision guided landing guidance system, then according to the design of the visual, the beacon different configurations, puts forward three measure algorithm applicability index to evaluate the position and attitude solution algorithm selection, finally uses the ground beacon infrared LED, infrared LED imaging effect is more stable, imaging distance the imaging precision is higher. This method is simple, the landing site configuration requirements low, more convenient and efficient feature extraction from near infrared image, expanding the scope of the visual system, but also can detect the all-weather all day long; accurately calculate UAV attitude information.

【技術實現步驟摘要】
一種基于無人機位姿計算的信標布置及圖像處理方法
本專利技術涉及無人機降落時信標位置確認，具體涉及一種基于無人機位姿計算的信標布置及圖像處理方法。
技術介紹
無人機(UnmannedAerialVehicles，UAV)自問世以來就受到人們廣泛的關注，隨著科學技術的進步，無人機已經應用到了地形探測、災難檢測、空中偵察等多個方面。而無人機著落階段是無人機執行任務中事故率最高的階段，因此研究安全可靠的自動化著落引導方法對于保障無人機安全、減少事故率、有效完成作戰任務、減少無人機使用成本等有著重要的意義。尋求一種簡易、快捷、自主、可靠的無人機著落引導方式，是目前需要解決的重要問題。與傳統著陸導航技術相比，基于視覺的著陸導航技術具有設備簡單便宜、信息量大、無源、隱蔽性好等顯著優點，在抗電子干擾方面和在提高自主化程度方面都有較大的優越性。但是，由于成像受環境的影響，基于視覺的著陸引導系統，其魯棒性是需要解決的關鍵技術。目前多數視覺著陸導航系統都是基于可見光范圍的圖像處理技術，而在自然界中影響可見光成像的因素很多，此外，夜間著陸也是可見光視覺著陸導航系統的難點。目前國內外在研究視覺著陸導引技術中，對于合作信標的設計條件不夠嚴格，大多數僅限于保證可見性即可，對于非可見光紅外信標的研究也多停留在發熱金屬。另外，對于長距離大尺度變換下的視覺著落引導過程中，未考慮到信標的設計對位姿解算的影響。同時國內外對于合作信標特征點檢測、提取和匹配的方法很多，但是對于特定結構的合作信標的檢測、提取和匹配仍然沒有合適的方法。對于位姿解算算法來說，國內外對于其研究同樣十分豐富，但是對于在實際工程問題中如何選擇位姿解算算法并沒有很好的分析。
技術實現思路
為了克服上述現有技術的不足，本專利技術的目的是提供一種基于無人機位姿計算的信標布置及圖像處理方法。首先對無人機機器視覺引導著落進行設計，根據所搭建的視覺成像系統在保證圖像敏感性并對視場畸變進行分析的條件下，結合無人機著落過程中可能出現的位姿，精確嚴格的設計出針對本系統中視覺著落引導所需要的信標結構及布置方法。接著根據所設計的視覺引導系統，針對不同的合作信標構型，提出了三個衡量算法適用性的指標來對位姿解算算法進行評價篩選。根據不同位姿解算算法的三個指標數據，為本方案所設計的系統選擇合適的位姿解算算法：正交迭代法(OI)。最后采用的地面合作信標是紅外LED，相對于采用加熱金屬作為地面合作信標，紅外LED成像效果更加穩定，成像距離更遠，成像精度更高。針對所設計出的視覺系統所產生的特殊的紅外圖像以及設計的合作信標幾何結構，提出一種基于特殊的特征點匹配算法將合作信標的像點與其在真實場景中的位置進行匹配。為了實現上述目的，本專利技術采用的技術方案是：一種基于無人機位姿計算的信標布置及圖像處理方法，包括以下步驟：步驟1、信標設計；根據方案所需滿足的引導條件，通過計算所需要的圖像成像精度選擇成像設備，并對著落過程中成像的變化進行分析從而設計地面信標的布局限制和安放方式；1)近紅外相機、鏡頭和濾鏡選擇；在引導無人機著落過程中，無人機與信標距離變化范圍廣闊，而要在遠距離時達到相關的解算精度要求，則需要所設計的成像系統對信標的檢測精度遠小于解算偏差，根據這種思路，對相關視覺設備的選型進行分析；①圖像分辨率分析；相機所拍攝的圖像中，計算每一像素實際代表的物理距離方法如下所示：式中，FOV為相機視場角，u為水平方向像素個數，v為豎直方向像素個數，h為相機距拍攝物體的距離，p為每像素對應的實際物理尺寸；在對所拍攝的圖像進行處理時，由于計算所造成的舍入誤差，即將圖像物理坐標系下的坐標轉換到圖像像素坐標系的過程中會進行投影取整，在提取信標點質心的過程后進行反解算圖像物理坐標系下的坐標時的計算誤差，因此，在不考慮圖像處理精度時，由舍入誤差造成的影響應該比所要求的位置解算精度小幾個數量級，考慮成像的最苛刻條件，即徑向距離為1000米時的像素分辨率應小于0.1米；②鏡頭視場角分析；在選配相機鏡頭時主要考慮相機的視場角，根據不同焦距相機對應不同的視場角，與不同分辨率相機配合時，在滿足像素分辨率小于0.1米的條件下，選擇相應的鏡頭；視場角越大對于信標的布置范圍可以有更廣闊的選擇，能夠保證在信標設計布置時的彈性，給著落引導條件留有余度；③濾光片濾波光段選擇；希望視覺設備能夠抑制除信標外的成像，即抑制太陽光與可見光的影響，采用800～900納米的帶通濾波片；2)近紅外光源與信標設計；采用的光源為有向光源，有效發光角度為30°，在選定了相關視覺設備后，根據無人機著落過程中視場的變換情況設計近紅外信標光源的安放方式如下：首先需要保證在無人機著落過程中信標一直處于可見狀態；其次需要保證視場變化過程中視覺設備對信標的敏感性，即可以通過位姿解算的最小分辨移動距離；最后則是需要保證敏感性的情況下，避免在不同角度下，由視場旋轉造成的信標光源間遮擋、模糊及敏感性失效；②信標光源間距離；在無人機著落引導過程中，無人機移動一段距離前后所捕獲到的物象大小是否變化，會直接影響位姿解算的精度，考慮視覺系統的精度指標，在縱向距離x米時需要保證縱向距離的計算精度為Δx米，表示在無人機與信標相距x米變化到相距x-Δx米后，視覺設備所捕獲的圖像應該能反映出信標大小的變化，即信標光源間的距離投影到圖像像素坐標系上的變化，本方案中稱此為合作信標的圖像敏感性；當無人機從P1位置移動到P2位置時，即無人機與信標光源間距在與光軸垂直的平面上的投影的距離由x變化到x-Δx時，該投影D在圖像物理坐標平面的成像由h變化到h-Δh，而Δh表示物象的實際變化情況，這種情況表現在圖像像素坐標中則需要考慮真實成像單元的大小，表示為Δh≥5.5μm；上述中，P1為無人機起始位置，P2為無人機移動一段距離后的位置，x為P1位置時無人機與信標光源間距在與光軸垂直的平面上投影的距離，x-Δx為P2位置時無人機與信標光源間距在與光軸垂直的平面上投影的距離，D為信標光源間距投影，h為無人機在P1位置時投影D在圖像物理坐標平面的成像，h-Δh為無人機在P2位置時投影D在圖像物理坐標平面的成像；根據相似三角形原理，可得無人機位移Δx與信標光源間距投影D的關系為：因此D應該滿足的條件是：而在實際情況中，無人機著落時，光軸并不能與信標光源之間的連線垂直，設此時相機光軸與機體有一安裝角α，相機的視場角為FOV，整個著落過程中無人機會調整俯仰角θ，信標光源間的相對位置用lmark和hmark表示，為便于分析，采用弱透視模型投影，根據幾何關系易知：同理，對于無人機有一偏航角ψ的情況，信標光源間的相對位置用wmark表示，使用弱透視模型，采用近似計算，根據幾何關系易知：上述中，α為相機光軸與機體的安裝角，FOV為相機的視場角，θ為無人機的俯仰角，lmark和hmark為信標光源間的相對位置，x實際距離為無人機相對世界坐標系原點的距離；②信標光源布置范圍；視覺引導無人機著落過程中需要保證合作信標始終處于視場中，因此從開始引導，到結束引導的過程中的視場交集便是適宜安放合作信標的范圍；相機光軸與機體有一安裝角α，相機的視場角為FOV，整個著落過程中無人機會調整俯仰角θ，飛機質心與著落點的距離為x1，飛機質心距地高度為h，則信標本文檔來自技高網...

【技術保護點】
一種基于無人機位姿計算的信標布置及圖像處理方法，其特征在于，包括以下步驟：步驟1、信標設計；根據方案所需滿足的引導條件，通過計算所需要的圖像成像精度選擇成像設備，并對著落過程中成像的變化進行分析從而設計地面信標的布局限制和安放方式；1)近紅外相機、鏡頭和濾鏡選擇；在引導無人機著落過程中，無人機與信標距離變化范圍廣闊，而要在遠距離時達到相關的解算精度要求，則需要所設計的成像系統對信標的檢測精度遠小于解算偏差，根據這種思路，對相關視覺設備的選型進行分析；①圖像分辨率分析；相機所拍攝的圖像中，計算每一像素實際代表的物理距離方法如下所示：

【技術特征摘要】
1.一種基于無人機位姿計算的信標布置及圖像處理方法，其特征在于，包括以下步驟：步驟1、信標設計；根據方案所需滿足的引導條件，通過計算所需要的圖像成像精度選擇成像設備，并對著落過程中成像的變化進行分析從而設計地面信標的布局限制和安放方式；1)近紅外相機、鏡頭和濾鏡選擇；在引導無人機著落過程中，無人機與信標距離變化范圍廣闊，而要在遠距離時達到相關的解算精度要求，則需要所設計的成像系統對信標的檢測精度遠小于解算偏差，根據這種思路，對相關視覺設備的選型進行分析；①圖像分辨率分析；相機所拍攝的圖像中，計算每一像素實際代表的物理距離方法如下所示：式中，FOV為相機視場角，u為水平方向像素個數，v為豎直方向像素個數，h為相機距拍攝物體的距離，p為每像素對應的實際物理尺寸；在對所拍攝的圖像進行處理時，由于計算所造成的舍入誤差，即將圖像物理坐標系下的坐標轉換到圖像像素坐標系的過程中會進行投影取整，在提取信標點質心的過程后進行反解算圖像物理坐標系下的坐標時的計算誤差，因此，在不考慮圖像處理精度時，由舍入誤差造成的影響應該比所要求的位置解算精度小幾個數量級，考慮成像的最苛刻條件，即徑向距離為1000米時的像素分辨率應小于0.1米；②鏡頭視場角分析；在選配相機鏡頭時主要考慮相機的視場角，根據不同焦距相機對應不同的視場角，與不同分辨率相機配合時，在滿足像素分辨率小于0.1米的條件下，選擇相應的鏡頭；視場角越大對于信標的布置范圍可以有更廣闊的選擇，能夠保證在信標設計布置時的彈性，給著落引導條件留有余度；③濾光片濾波光段選擇；希望視覺設備能夠抑制除信標外的成像，即抑制太陽光與可見光的影響，采用800～900納米的帶通濾波片；2)近紅外光源與信標設計；采用的光源為有向光源，有效發光角度為30°，在選定了相關視覺設備后，根據無人機著落過程中視場的變換情況設計近紅外信標光源的安放方式如下：首先需要保證在無人機著落過程中信標一直處于可見狀態；其次需要保證視場變化過程中視覺設備對信標的敏感性，即可以通過位姿解算的最小分辨移動距離；最后則是需要保證敏感性的情況下，避免在不同角度下，由視場旋轉造成的信標光源間遮擋、模糊及敏感性失效；①信標光源間距離；在無人機著落引導過程中，無人機移動一段距離前后所捕獲到的物象大小是否變化，會直接影響位姿解算的精度，考慮視覺系統的精度指標，在縱向距離x米時需要保證縱向距離的計算精度為Δx米，表示在無人機與信標相距x米變化到相距x-Δx米后，視覺設備所捕獲的圖像應該能反映出信標大小的變化，即信標光源間的距離投影到圖像像素坐標系上的變化，本方案中稱此為合作信標的圖像敏感性；當無人機從P1位置移動到P2位置時，即無人機與信標光源間距在與光軸垂直的平面上的投影的距離由x變化到x-Δx時，該投影D在圖像物理坐標平面的成像由h變化到h-Δh，而Δh表示物象的實際變化情況，這種情況表現在圖像像素坐標中則需要考慮真實成像單元的大小，表示為Δh≥5.5μm；上述中，P1為無人機起始位置，P2為無人機移動一段距離后的位置，x為P1位置時無人機與信標光源間距在與光軸垂直的平面上投影的距離，x-Δx為P2位置時無人機與信標光源間距在與光軸垂直的平面上投影的距離，D為信標光源間距投影，h為無人機在P1位置時投影D在圖像物理坐標平面的成像，h-Δh為無人機在P2位置時投影D在圖像物理坐標平面的成像；根據相似三角形原理，可得無人機位移Δx與信標光源間距投影D的關系為：因此D應該滿足的條件是：而在實際情況中，無人機著落時，光軸并不能與信標光源之間的連線垂直，設此時相機光軸與機體有一安裝角α，相機的視場角為FOV，整個著落過程中無人機會調整俯仰角θ，信標光源間的相對位置用lmark和hmark表示，為便于分析，采用弱透視模型投影，根據幾何關系易知：同理，對于無人機有一偏航角ψ的情況，信標光源間的相對位置用wmark表示，使用弱透視模型，采用近似計算，根據幾何關系易知：上述中，α為相機光軸與機體的安裝角，FOV為相機的視場角，θ為無人機的俯仰角，lmark和hmark為信標光源間的相對位置，x實際距離為無人機相對世界坐標系原點的距離；②信標光源布置范圍；視覺引導無人機著落過程中需要保證合作信標始終處于視場中，因此從開始引導，到結束引導的過程中的視場交集便是適宜安放合作信標的范圍；相機光軸與機體有一安裝角α，相機的視場角為FOV，整個著落過程中無人機會調整俯仰角θ，飛機質心與著落點的距離為x1，飛機質心距地高度為h，則信標光源布置范圍l1和l2可表示為：另一方面考慮無人機存在需要調整的偏航角ψ，則信標光源布置范圍w1和w2可表示為：其中xlight表示無人機上的相機光心到地面某處的距離，結合式(6)與式(7)可知信標光源的布置范圍,其中：上述情況假設開始進行視覺引導時無人機機頭朝向在地面的投影與機場跑道平行，此外，無人機在整個著落過程中的著落航跡必須在包含機場跑道線且與地面垂直的平面內時，視覺導航方法才有效，因此，考慮無人機的軌跡在一定空間范圍內均有效，當開始進行視覺導航時，無人機與跑道中心線在水平面有一偏移距離d，此時對應無人機需要調整的偏航角為ψ，設偏移距離d與無人機偏航角ψ之間存在某一函數關系，則有：d＝f(ψ)(9)無人機質心與著落點之間的距離x1在水平面上的投影為xflat，即：其與機場中心線間的夾角為γ，則設偏移距離d與xflat間的關系為：d＝xflatsinγ(11)對這種情況下信標光源布置的有效位置進行研究，為方便分析，分別按照著落點與偽著落點為原點建立平面直角坐標系oxy和o'x'y'；設在o'x'y'坐標系中的一點坐標為(x',y')，而該點在oxy坐標系中的坐標為(x,y)，則有：由幾何關系易知：得出(ψ左偏為負值)：a＝xflat(sin(-γ)-sin(-ψ))(14)無人機視場邊界四個點在o'x'y'坐標系中的坐標分別為：(-w1',l2)、(w2',l2)、(-w1,l1)和(w2,-l1)，聯立式(6)至式(14)則可以計算出視場邊界點在oxy坐標系下的坐標；上述中，α為相機光軸與機體之間的安裝角，FOV為相機的視場角，θ為無人機的俯仰角，x為飛機質心與著落點的距離，h為飛機質心距地高度，l1、l2、w1'、w2'、w1和w2為信標光源布置范圍參數，表示光源布置范圍的大小，xlight表示無人機上的相機光心到地面某處的距離，d為無人機與跑道中心線在水平面的偏移距離，xflat為無人機質心與著落點之間的距離x1在水平面上的投影，γ為機場中心線間與xflat的夾角；③信標間光源布置角度；當距離不變時，光源垂直照射感光平面的相對光強最大，信標光源的光軸應該與無人機視覺設備的光軸平行，以保證在捕獲圖像時，信標光源的亮度高，在后續進行圖像處理時，圖像濾波和去噪時具有更高的魯棒性；④信標形狀設計；所設計的信標光源間位置需要滿足上述條件，并制得俯視圖和正視圖，其中：以著落點為原點建立的平面直角坐標oxy中，每一個信標光源在水平面垂直投影的坐標(x,y)，對應于在以偽著落點為原點建立的平面直角坐標系o'x'y'中的坐標為(x',y')，都應該滿足約束：式中，l1、l2、w1'、w2'、w1和w2為信標光源布置范圍參數，表示光源布置范圍的大小，(x',y')為以偽著落點為原點建立的平面直角坐標系o'x'y'中信標光源的坐標；步...

【專利技術屬性】
技術研發人員：徐澤宇，姚順，李沅澔，
申請(專利權)人：徐澤宇，姚順，
類型：發明
國別省市：陜西,61