【技術實現步驟摘要】
本申請涉及無人機飛控，尤其涉及一種無人機空中位姿檢測方法、設備及介質。
技術介紹
1、在無人機飛控系統中，實現對其他無人機對象的精確識別與位姿估計是推動無人機協同作業、自主飛行等高級應用場景發展的關鍵因素。
2、然而，在實際應用中，無人機之間的信息交互往往依賴于網絡通信或預設的協同模式。通過網絡通信，無人機可以實時共享自身的位置、速度、姿態等關鍵信息，從而實現對其他無人機目標的位姿狀態的準確判斷。
3、但在一些特殊場景下，如電磁干擾嚴重的區域、網絡覆蓋不到的偏遠地區或突發故障導致通信中斷的情況下，無人機之間的通信鏈路可能會受到影響甚至中斷。
4、當網絡通信無法建立時，傳統的做法往往依賴于飛手的經驗和判斷來估計目標無人機的位姿狀態。然而，這種通過飛手判斷的方式受到自身經驗、注意力集中程度、視覺感知能力等多種因素的影響，導致對無人機位姿估計結果存在較大的誤差，準確率較低。
技術實現思路
1、本申請實施例提供了一種無人機空中位姿檢測方法、設備及介質，用于解決如下技術問題：當網絡通信無法建立時，通過飛手判斷的方式受到自身經驗、注意力集中程度、視覺感知能力等多種因素的影響，導致對無人機位姿估計結果存在較大的誤差，準確率較低。
2、本申請實施例采用下述技術方案：
3、本申請實施例提供一種無人機空中位姿檢測方法。包括，基于目標無人機的3d點云樣本數據與2d圖像樣本數據，對預設神經網絡模型進行訓練，得到無人機2d關鍵點預測模型；將帶有目標
4、本申請實施例通過無人機2d關鍵點預測模型將目標無人機的3d點云數據映射至2d圖像中，得到d維向量，使得后續的處理和分析能夠在2d平面上進行，降低了計算的復雜性和成本。其次，通過確定d維向量對應的目標類別概率和置信值，對d維向量進行進一步的調節和優化，提高模型對無人機關鍵點預測的準確性和可靠性，減少誤判和漏判的情況。將目標無人機的3d點云數據與調節后的d維向量進行偏移量比對，實現了在無人機之間無法建立正常通信或目標無人機不屬于系統內飛行器的情況下，對目標的運動狀態進行預測，且能確保無人機位姿預測的準確性。
5、在本申請的一種實現方式中，基于目標無人機的3d點云樣本數據與2d圖像樣本數據，對預設神經網絡模型進行訓練，得到無人機2d關鍵點預測模型，具體包括：基于目標無人機的3d點云樣本數據與2d圖像樣本數據，確定出目標無人機在三維坐標系中的最大值與最小值；基于最大值與最小值，確定出目標無人機的3d邊界框；基于旋轉矩陣和平移量，將3d邊界框的角點映射至2d圖像中的坐標，作為標簽數據；基于標簽數據對預設神經網絡模型進行訓練，得到無人機2d關鍵點預測模型。
6、在本申請的一種實現方式中，將帶有目標無人機的待測圖像輸入無人機2d關鍵點預測模型，得到將目標無人機的3d點云數據映射至2d圖像中的d維向量，具體包括：將帶有目標無人機的待測圖像輸入無人機2d關鍵點預測模型，通過2d關鍵點預測模型，使用全卷積架構對待測圖像進行下采樣特征提取；將待測圖像劃分為多個網格，并將2d關鍵點預測模型的輸出存儲至與多個網格對應的張量中；基于目標無人機對應的中心點坐標與網格預置點坐標的位置關系，確定出目標無人機對應的d維向量。
7、在本申請的一種實現方式中，目標無人機對應的d維向量包括：目標無人機對應的目標類別；目標無人機映射至2d圖像中的寬度值；目標無人機映射至2d圖像中的高度值；目標無人機對應的3d邊界框的角點映射至2d圖像中的角點坐標；目標無人機映射至2d圖像中的中心點坐標。
8、在本申請的一種實現方式中，確定出d維向量對應的目標類別概率，以及，基于預置置信度函數確定出d維向量對應的置信值，具體包括：基于d維向量中的目標類別向量，確定出每個網格的目標類別概率；以及基于d維向量中的預測2d點與真實點之間對應的二維歐式距離，確定出距離差值；在距離差值小于預設距離差值閾值的情況下，基于預置置信度函數確定出目標所在區域對應的置信度；在距離差值不小于預設距離差值的情況下，基于預置置信度函數確定出無目標區域對應的置信度。
9、在本申請的一種實現方式中，基于目標類別概率與置信值對d維向量進行調節之后，方法還包括：對中心點坐標進行sigmoid激活映射處理，以將中心點坐標對應的偏移量限制在0-1之間。
10、在本申請的一種實現方式中，得到無人機2d關鍵點預測模型之后，方法還包括：通過均方誤差損失函數確定出坐標損失與置信度損失；以及通過交叉熵損失函數確定出分類損失；基于坐標損失、置信度損失與分類損失，對無人機2d關鍵點預測模型進行優化。
11、在本申請的一種實現方式中，基于坐標損失、置信度損失與分類損失，對無人機2d關鍵點預測模型進行優化，具體包括：基于函數：
12、l＝λptlpt+λconflconf+λidlid；
13、對無人機2d關鍵點預測模型進行優化；其中，lpt為坐標損失；lconf置信度損失；lid為分類損失；λpt為坐標損失對應的權重系數；λid為分類損失對應的權重系數；λconf為置信度損失對應的權重系數；在無目標網格，置信度損失對應的權重系數設置為0.1；在有目標網格，置信度損失對應的權重系數設置為5.0。
14、本申請實施例提供一種無人機空中位姿檢測設備，包括：至少一個處理器；以及，與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠：基于目標無人機的3d點云樣本數據與2d圖像樣本數據，對預設神經網絡模型進行訓練，得到無人機2d關鍵點預測模型；將帶有目標無人機的待測圖像輸入無人機2d關鍵點預測模型，得到將目標無人機的3d點云數據映射至2d圖像中的d維向量；確定出d維向量對應的目標類別概率，以及基于預置置信度函數確定出d維向量對應的置信值，以基于目標類別概率與置信值對d維向量進行調節；將目標無人機的3d點云數據與調節后的d維向量進行偏移量比對，基于比對結果得到目標無人機對應的空中位姿。
15、本申請實施例提供的一種非易失性計算機存儲介質，存儲有計算機可執行指令，計算機可執行指令設置為：基于目標無人機的3d點云樣本數據與2d圖像樣本數據，對預設神經網絡模型進行訓練，得到無人機2d關鍵點預測模型；將帶有目標無人機的待測圖像輸入無人機2d關鍵點預測模型，得到將目標無人機的3d點云數據映射至2d圖像中的d維向量；確定出d維向量對應的目標類別概率，以及基于預置置信度函數確定出d維向量對應的置信值，以基于目標類別概率與本文檔來自技高網...
【技術保護點】
1.一種無人機空中位姿檢測方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種無人機空中位姿檢測方法，其特征在于，所述基于目標無人機的3D點云樣本數據與2D圖像樣本數據，對預設神經網絡模型進行訓練，得到無人機2D關鍵點預測模型，具體包括：
3.根據權利要求1所述的一種無人機空中位姿檢測方法，其特征在于，所述將帶有目標無人機的待測圖像輸入所述無人機2D關鍵點預測模型，得到將所述目標無人機的3D點云數據映射至2D圖像中的D維向量，具體包括：
4.根據權利要求1所述的一種無人機空中位姿檢測方法，其特征在于，所述目標無人機對應的D維向量包括：
5.根據權利要求1所述的一種無人機空中位姿檢測方法，其特征在于，所述確定出所述D維向量對應的目標類別概率，以及，基于預置置信度函數確定出所述D維向量對應的置信值，具體包括：
6.根據權利要求4所述的一種無人機空中位姿檢測方法，其特征在于，所述基于所述目標類別概率與所述置信值對所述D維向量進行調節之后，所述方法還包括：
7.根據權利要求1所述的一種無人機空中位姿檢測方法
8.根據權利要求7所述的一種無人機空中位姿檢測方法，其特征在于，所述基于所述坐標損失、所述置信度損失與所述分類損失，對所述無人機2D關鍵點預測模型進行優化，具體包括：
9.一種無人機空中位姿檢測設備，其特征在于，該設備包括用于存儲計算機程序指令的存儲器和用于執行程序指令的處理器，其中，當該計算機程序指令被該處理器執行時，觸發該設備執行權利要求1-8中的任一項所述的方法。
10.一種非易失性計算機存儲介質，存儲有計算機可執行指令，其特征在于，所述計算機可執行指令能夠執行權利要求1-8任一項所述的方法。
...【技術特征摘要】
1.一種無人機空中位姿檢測方法，其特征在于，所述方法包括：
2.根據權利要求1所述的一種無人機空中位姿檢測方法，其特征在于，所述基于目標無人機的3d點云樣本數據與2d圖像樣本數據，對預設神經網絡模型進行訓練，得到無人機2d關鍵點預測模型，具體包括：
3.根據權利要求1所述的一種無人機空中位姿檢測方法，其特征在于，所述將帶有目標無人機的待測圖像輸入所述無人機2d關鍵點預測模型，得到將所述目標無人機的3d點云數據映射至2d圖像中的d維向量，具體包括：
4.根據權利要求1所述的一種無人機空中位姿檢測方法，其特征在于，所述目標無人機對應的d維向量包括：
5.根據權利要求1所述的一種無人機空中位姿檢測方法，其特征在于，所述確定出所述d維向量對應的目標類別概率，以及，基于預置置信度函數確定出所述d維向量對應的置信值，具體包括：
6.根據權利要求...
【專利技術屬性】
技術研發人員：王云峰，夏天煜，田鈿，閔萬里，
申請(專利權)人：神思電子技術股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。