【技術實現步驟摘要】
本專利技術屬于空間智能感知，具體涉及一種基于多任務分支檢測的非合作航天器三維姿態檢測方法。
技術介紹
1、面向空間非合作目標三維姿態檢測任務是空間態勢感知系統的重要組成部分，也是當前人工智能發展的重要支撐技術。為維護空間安全，必須建設起覆蓋范圍廣、識別準確率高、適應空間環境的智能感知系統，其最重要的手段就是三維目標檢測算法。在現有三維目標檢測算法中，基于單目圖像的檢測算法是其中最輕量化的一種，對傳感器設備的要求最低，只依靠圖像本身的像素分布信息，無其他深度輔助信息的輸入，該算法的難點在于如何僅從二維圖像恢復出物體的三維位姿信息。
2、傳統的檢測算法專注于地面物體的檢測，其有一個重要的約束條件為物體底面始終與地面平行，因此現有地面檢測算法只需預測物體繞地面法向的旋轉角度，在算法設計上，現有算法更傾向于轉化為俯視圖后再進行二維目標檢測。受地面約束限制，對于物體的三維邊界框來說，由“長、寬、高、x偏移、y偏移、z偏移和繞z”這7個量可唯一確定，給檢測過程中所需的損失函數和性能評估計算提供了便捷性。然而，對于空間非合作目標三維檢測問題，由于其運動無約束，僅包含7個分量定義的邊界框無法完整地描述空間旋轉。因此，為滿足空間三維目標檢測任務需求，開發面向多維運動檢測的空間目標三維檢測方法十分必要。
3、對于通用無約束的三維目標檢測，如檢測懸浮物體或者航天器時，物體失去了地面約束，不再能進行二維的轉化，計算復雜度大幅提高。因此在數學原理的層面上，現有三維目標檢測方法屬于通用方法的一個特例，對旋轉的描述只包含繞地面法向的單
技術實現思路
1、為解決上述技術問題，本專利技術提出了基于多任務分支檢測的非合作航天器三維姿態檢測方法，所述方法自主建立了一個空間無約束三維姿態檢測的航天器數據模擬框架，為算法提供原創性的圖片-姿態映射的概率模型。所使用空間飛行器模型覆蓋衛星、火箭、飛船三大類，并建立了適用于無約束三維旋轉的數學模型，對圖片中的姿態進行了標注。以三維邊界框的形式，將傳統7分量帶有約束的三維邊界框擴展得到9分量的無約束三維姿態邊界框，使得新的邊界框可以描述全維度的三維特征，從而實現對三維空間中任意姿態物體的檢測，并提供了適配的編解碼方法。該編碼由一個9維向量和相機標定矩陣組成，其中9維向量包含三個尺寸描述、三個位移描述和三個姿態描述，相機標定矩陣是在相機坐標系下將三維點投影到成像平面的投影矩陣；在三維編解碼框架的基礎上，構建了多分支單目三維目標檢測模型，使用特征統一表征學習的主干網絡模型，通過共享的多任務檢測設計獨立的任務導向頭部(head)，為緩解多任務優化為每個頭部設計平衡不同任務的單個損失函數。最后，應用擴展的通用三維旋轉評估標準對檢測結果進行極大值抑制，得到最終的檢測結果。
2、具體地，本專利技術提出的基于多任務分支檢測的非合作航天器三維姿態檢測方法，包括如下步驟：
3、步驟1：建立空間航天器無約束三維姿態檢測的檢測框架和檢測任務數學模型，包括航天器模型建立、相機參數標定、相機坐標系定義、無約束三維姿態邊界框定義和訓練數據集的標注，以及訓練狀態與測試狀態兩種工作狀態的標記；
4、步驟2：基于多任務分支深度神經網絡，結合所標定的相機參數，在所建立的相機坐標系下，對輸入圖片進行多層次的特征提取和多任務分支檢測的結果回歸，給出輸入圖片航天器的無約束三維姿態邊界框檢測結果；
5、步驟3：建立航天器的無約束三維姿態邊界框的檢測結果評估標準，對步驟2中輸出的航天器的無約束三維姿態邊界框檢測結果進行評估，結合步驟1中工作狀態的不同對檢測結果進行不同的處理，包括，訓練狀態下對多任務分支深度神經網絡進行更新并輸出最可靠的航天器無約束三維姿態邊界框，測試狀態下只輸出最可靠的航天器無約束三維姿態邊界框而不更新多任務分支深度神經網絡。
6、進一步的，所述步驟1包括：
7、設計基礎結構的航天器三維模型并構建虛擬空間場景，所述航天器三維模型包括航天器本體、太陽能帆板、天線結構，所述虛擬空間場景包括空間背景、虛擬攝像頭、以及所述航天器三維模型；設置全角度、多距離、復雜背景，得到覆蓋范圍大、姿態變化多、目標種類豐富的以圖片為主要內容的訓練數據集；
8、對所構建的虛擬空間場景進行數學建模，以相機中軸線為笛卡爾坐標系z軸，以相機所攝矩形圖像的圖像二維坐標系設定xy軸，建立相機坐標系，并在其中計算得到目標航天器的9維無約束三維姿態邊界框編碼向量[x,y,z,w,h,l,rx,ry,rz]，結合相機標定矩陣，對無約束三維姿態邊界框編碼向量邊界框進行編碼和解碼；其中，編碼時，無約束三維姿態邊界框編碼向量的第1至3個量分別描述在物體自身坐標系下無約束三維姿態邊界框的長寬高長度，第4至6個量分別描述物體自身坐標系的原點在相機坐標系中的位置，第7至9個量分別描述物體自身坐標系的三軸與相機坐標系的三軸的旋轉關系；解碼時，通過[x,y,z]得到無約束三維姿態邊界框的中心，通過[w,h,l]得到無旋轉時8個頂點的三維坐標，再經由[rx,ry,rz]計算無約束三維姿態邊界框旋轉后的點坐標；將無約束三維姿態邊界框的8個頂點的三維坐標經過相機標定矩陣投影到二維成像平面后，按照特定次序連接得到無約束三維姿態邊界框在相機所攝二維圖像上的映射結果；
9、在多任務分支深度神經網絡開始工作前，建立訓練數據集所需的二維圖片-三維位姿的映射、標記訓練狀態和測試狀態；包括，在訓練數據集中對用于多任務分支深度神經網絡訓練的二維圖片數據進行三維姿態的標注，其中，二維圖片是數據集中的圖片部分，三維姿態是數據集中的標注部分，其對圖片包含的信息進行記錄。
10、進一步的，所述步驟2包括：
11、使用特征統一表征學習的主干網絡對輸入圖片進行特征提取，輸出若干個特征圖，再通過共享的多任務分支神經網絡設計獨立的任務導向頭部；利用多任務分支神經網絡的任務導向頭部同時對主干網絡所輸出的若干個特征圖進行不同尺度特征的回歸，各卷積層共享卷積參數，并通過各任務導向頭部進行無約束三維姿態邊界框編碼向量中的多任務分支進行回歸，所回歸的多任務分支包括無約束三維姿態邊界框的尺寸分支、無約束三維姿態邊界框中心點的位移分支和無約束三維姿態邊界框的姿態分支，以及完成目標檢測任務所需的類別分支和為進行無約束三維姿態邊界框可信度加權評估所需的中心度分支；所有任務分支的任務導向頭部完成回歸后，輸出對應所輸入圖片的若干個置信概率高于某個可調節閾值的無約束三維姿態邊界框。
12、進一步的，所述步驟3包括：
13、定義無約束三維姿態邊界框的旋轉分量的檢測結果評估標準交并比iou3d：計算兩個無約束三維姿態邊界框a與b間的重合度與差值：
14、
15、其中，iou3d表示交并比，表示令旋轉角與邊界框b相同時的邊界框a，∩表示取交集的運算，∪表示取并集的運算，vo本文檔來自技高網...
【技術保護點】
1.基于多任務分支檢測的非合作航天器三維姿態檢測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于多任務分支檢測的非合作航天器三維姿態檢測方法，其特征在于，所述步驟1包括：
3.根據權利要求1所述的基于多任務分支檢測的非合作航天器三維姿態檢測方法，其特征在于，所述步驟2包括：
4.根據權利要求1所述的基于多任務分支檢測的非合作航天器三維姿態檢測方法，其特征在于，所述步驟3包括：
【技術特征摘要】
1.基于多任務分支檢測的非合作航天器三維姿態檢測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的基于多任務分支檢測的非合作航天器三維姿態檢測方法，其特征在于，所述步驟1包括：
3....
【專利技術屬性】
技術研發人員：李東禹，童尚，胡慶雷，歐陽真超，孟陳，周洺宇，
申請(專利權)人：天目山實驗室，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。