【技術實現步驟摘要】
本專利技術涉及無人機領域，更具體地說，它涉及一種無人機集群置信傳播協同定位方法。
技術介紹
1、架空線路巡視檢查是電力系統中重要的工作，主要包括導線、絕緣子、桿塔、拉線和接地裝置的檢查；在檢查過程中，需要使用多種工具和設備，并遵循安全規范和操作規程；定期進行并做好記錄和分析，及時發現和處理存在的問題，是保障電力系統安全穩定運行的重要措施之一。
2、采用無人機沿架空高壓線路飛行進行巡視檢查，是一種非常高效安全的方式，工作人員通過控制無人機沿架空高壓線路拍攝高壓導線的連續圖像，通過拍得的連續圖像，檢查導線的狀態，例如導線是否松動、斷股、損傷、變色、嚴重腐蝕等；為了進一步提高巡檢效率，使用無人機集群并排沿架空高壓線路中平行的高壓導線飛行進行巡視檢查，通過一架無人機負責一條高壓導線，在無人機上安裝高分辨率相機和傳感器，獲取高質量的圖像和數據，為架空線路的狀況評估提供全面支持；但由于高空中，影響無人機集群的風速和風向很大且不確定，并且每個無人機所飛行的路徑中，受到的風速變化是不同的，導致無人機拍得的高壓導線連續圖像可能會缺失部分，從而容易造成巡檢結果的不準確。
技術實現思路
1、本專利技術提供一種無人機集群置信傳播協同定位方法，解決上述
技術介紹
中提出的技術問題。
2、本專利技術提供了一種無人機集群置信傳播協同定位方法，包括以下步驟：步驟101、采集無人機集群信息和架空線路的高壓導線信息，高壓導線信息包括高壓導線的外觀圖像信息；步驟102、建立圖像修復模型，基于圖像修復
3、在一個優選的實施方式中，在步驟102中，建立圖像修復模型的方法包括以下步驟：步驟201、構建高壓導線圖結構；將每一條高壓導線均分成若干段，將每一段導線段和無人機作為節點；當一個節點表示某一段高壓導線時，節點特征為該高壓導線的導線段的位置、幾何形狀、灰度分布特征；當一個節點表示無人機時，節點特征為該無人機的編號、該無人機的飛行速度和該無人機的位姿；當兩個節點均表示同一根高壓導線的某兩段時，兩個節點的邊表示為這兩段高壓導線的相鄰關系，則兩節點之間有無向邊相連；當兩個節點均表示無人機時，兩個節點的邊表示為兩個無人機相鄰，則兩節點之間有無向邊相連；當兩個節點分別表示某一段高壓導線和無人機時，兩個節點的邊表示該高壓導線段的對應關系，則兩節點之間有有向邊相連；步驟202、圖像修復模型包括線性層、第一隱藏層、第二隱藏層、全連接層，其中線性層輸入所有節點特征構成輸入特征矩陣，輸出中間特征矩陣到第一隱藏層中，第一隱藏層輸出第一更新中間特征矩陣到第二隱藏層中，第二隱藏層輸出第二更新中間特征矩陣到全連接層中，全連接層輸出缺失的導線段的導線狀態分類概率，導線狀態包括完好、斷裂、變形；步驟203、將不同時刻的高壓導線圖結構的節點表示連成序列，輸入到lstm中學習導線狀態的時序模式，通過多層圖卷積層，輸出每一時刻導線圖中所有節點的表示向量；其中，n是導線數量，對于缺失的節點其表示向量可以由其余節點的信息預測得到；步驟204、采集若干個帶標注的高壓導線圖像數據集，通過監督學習的方式，訓練圖像修復模型，獲得訓練好的圖像修復模型；步驟205、對于存在缺失的導線段節點，通過訓練好的圖像修復模型結合存在缺失的導線段節點的鄰居節點信息和時序上下文，預測出該導線段的狀態，完成修復。
4、在一個優選的實施方式中，在步驟202中，對于每個節點從相應導線的圖像提取一個初始特征向量節點的初始特征向量，所有節點特征構成輸入特征矩陣，輸出中間特征矩陣；第一隱藏層：輸入中間特征矩陣，輸出第一更新中間特征矩陣；第一隱藏層的計算公式：；；其中，表示第一更新中間特征矩陣，表示第一隱藏層的注意力權重，表示第一隱藏層的線性變換參數；表示節點的鄰居節點集合，表示節點的注意力系數向量，a表示concat函數，、分別為第一、第二權重矩陣，表示節點的節點特征向量，表示節點的鄰居節點集合中所有節點的特征矩陣，的每一行分別對應一個鄰居節點的特征向量；第二隱藏層：輸入第一更新中間特征矩陣，輸出第二更新中間特征矩陣；全連接層：輸入第二更新中間特征矩陣，輸出缺失的導線段的狀態分類概率；全連接層的計算公式為：；其中，表示節點的狀態分類概率，為全連接層的權重矩陣，為偏置向量，為softmax函數。
5、在一個優選的實施方式中，在步驟203中，包括以下步驟：構建時序模型，將不同時刻的節點表示拼接成序列輸入；對每個節點i，將其不同時刻的表示拼接成序列，輸入到lstm單元中；lstm的隱狀態向量自動捕捉節點表示序列的時序依賴模式：；其中，是t時刻的輸出向量，是單元狀態向量；在最后一個時刻t，解碼lstm的輸出和狀態，通過步驟202中的全連接層預測節點i在該時刻的導線狀態。
6、在一個優選的實施方式中，在步驟103中，構建高壓導線三維模型的方法，包括以下步驟：步驟一、估計每架無人機的初始位姿；利用無人機自身的定位和測量系統估計出每架無人機在拍攝時的大致位姿；步驟二、計算每架無人機的相機內外參數；獲取每架無人機搭載相機的焦距參數、主點參數和相機到機體的轉換關系；步驟三、對可靠的高壓導線的導線段進行三維重建；步驟四、視角配準到統一三維空間；將所有無人機觀測到的可靠導線三維點云，配準融合到一個統一的三維空間坐標系下，得到初始的三維導線骨干模型；步驟五、基于初始的三維導線骨干模型對殘余導線段進行投影；結合已知的相機內外參數和無人機位姿，將該導線段的已有觀測投影到三維空間中，內參數為相機的焦距參數、主點參數，外參數為相機到機體的轉換關系；步驟六、最小化重投影誤差進行優化；在步驟五獲得初始的三維位置候選后，構建目標函數，將無人機位姿和剩余缺失段的三維位置作為優化變量，最小化所有觀測的三維重投影誤差，進行聯合優化求解，得到優化后的高壓導線三維模型和無人機位姿。
7、在一個優選的實施方式中，在構建高壓導線三維模型的方法中，目標函數的計算公式為：；其中，表示第i個無人機的重投影誤差代價分數，表示階梯函數，表示重投影點與在圖像上實際觀測到的導線段之間的距離誤差，表示第i個無人機觀測到的高壓導線的導線段集合。
8、在一個優選的實施方式中，在步驟101中，高壓導線的外觀圖像信息包括斷線信息和傾斜度信息；高壓導線的斷線信息和傾斜度信息均通過無人機拍攝高壓導線的俯視圖像中獲取，采用mask?r-cnn對俯視圖像進行語義分割，將導線區域從背景中分離出來，分割的結果是高壓導線的二值掩碼。
9、在一個優選的實施方式中，高壓導線的斷線信息的判定方法包本文檔來自技高網...
【技術保護點】
1.一種無人機集群置信傳播協同定位方法，其特征在于，包括以下步驟：步驟101、采集無人機集群信息和架空線路的高壓導線信息，高壓導線信息包括高壓導線的外觀圖像信息；步驟102、建立圖像修復模型，基于圖像修復模型修復架空線路中存在缺失高壓導線的導線段，獲得修復后的導線段狀態；步驟103、利用已知的無人機位姿以及相機內外參數，將不同無人機的視角進行配準，融合到同一個三維空間中，建立高壓導線三維模型；步驟104、優化無人機的位姿，優化目標為高置信度的高壓導線段在三維空間中的重投影與對應無人機視角中的實際觀測吻合度最大；步驟105、更新圖像修復模型修復后的高壓導線的導線段的置信度；步驟106、輸出優化后的無人機位姿和架空線路中所有高壓導線的連續圖像。
2.根據權利要求1所述的一種無人機集群置信傳播協同定位方法，其特征在于，在步驟102中，建立圖像修復模型的方法包括以下步驟：步驟201、構建高壓導線圖結構；將每一條高壓導線均分成若干段，將每一段導線段和無人機作為節點；當一個節點表示某一段高壓導線時，節點特征為該高壓導線的導線段的位置、幾何形狀、灰度分布特征；當一個節點表示無人機時
3.根據權利要求2所述的一種無人機集群置信傳播協同定位方法，其特征在于，在步驟202中，對于每個節點從相應導線的圖像提取一個初始特征向量節點的初始特征向量，所有節點特征構成輸入特征矩陣，輸出中間特征矩陣；第一隱藏層：輸入中間特征矩陣，輸出第一更新中間特征矩陣；第一隱藏層的計算公式：；；其中，表示第一更新中間特征矩陣，表示第一隱藏層的注意力權重，表示第一隱藏層的線性變換參數；表示節點的鄰居節點集合，表示節點的注意力系數向量，A表示concat函數，、分別為第一、第二權重矩陣，表示節點的節點特征向量，表示節點的鄰居節點集合中所有節點的特征矩陣，的每一行分別對應一個鄰居節點的特征向量；第二隱藏層：輸入第一更新中間特征矩陣，輸出第二更新中間特征矩陣；全連接層：輸入第二更新中間特征矩陣，輸出缺失的導線段的狀態分類概率；全連接層的計算公式為：；其中，表示節點的狀態分類概率，為全連接層的權重矩陣，b為偏置向量，為softmax函數。
4.根據權利要求3所述的一種無人機集群置信傳播協同定位方法，其特征在于，在步驟203中，包括以下步驟：構建時序模型，將不同時刻的節點表示拼接成序列輸入；對每個節點i，將其不同時刻的表示拼接成序列，輸入到LSTM單元中；LSTM的隱狀態向量自動捕捉節點表示序列的時序依賴模式：；其中，是t時刻的輸出向量，是單元狀態向量；在最后一個時刻T，解碼LSTM的輸出和狀態，通過步驟202中的全連接層預測節點i在該時刻的導線狀態。
5.根據權利要求4所述的一種無人機集群置信傳播協同定位方法，其特征在于，在步驟103中，構建高壓導線三維模型的方法，包括以下步驟：步驟一、估計每架無人機的初始位姿；利用無人機自身的定位和測量系統估計出每架無人機在拍攝時的大致位姿；步驟二、計算每架無人機的相機內外參數；獲取每架無人機搭載相機的焦距參數、主點參數和相機到機體的轉換關系；步驟三、對可靠的高壓導線的導線段進行三維重建；步驟四、視角配準到統一三維空間；將所有無人機觀測到的可靠導線三維點云，配準融合到一個統一的三維空間坐標系下，得到初始的三維導線骨干模型；步驟五、基于初...
【技術特征摘要】
1.一種無人機集群置信傳播協同定位方法，其特征在于，包括以下步驟：步驟101、采集無人機集群信息和架空線路的高壓導線信息，高壓導線信息包括高壓導線的外觀圖像信息；步驟102、建立圖像修復模型，基于圖像修復模型修復架空線路中存在缺失高壓導線的導線段，獲得修復后的導線段狀態；步驟103、利用已知的無人機位姿以及相機內外參數，將不同無人機的視角進行配準，融合到同一個三維空間中，建立高壓導線三維模型；步驟104、優化無人機的位姿，優化目標為高置信度的高壓導線段在三維空間中的重投影與對應無人機視角中的實際觀測吻合度最大；步驟105、更新圖像修復模型修復后的高壓導線的導線段的置信度；步驟106、輸出優化后的無人機位姿和架空線路中所有高壓導線的連續圖像。
2.根據權利要求1所述的一種無人機集群置信傳播協同定位方法，其特征在于，在步驟102中，建立圖像修復模型的方法包括以下步驟：步驟201、構建高壓導線圖結構；將每一條高壓導線均分成若干段，將每一段導線段和無人機作為節點；當一個節點表示某一段高壓導線時，節點特征為該高壓導線的導線段的位置、幾何形狀、灰度分布特征；當一個節點表示無人機時，節點特征為該無人機的編號、該無人機的飛行速度和該無人機的位姿；當兩個節點均表示同一根高壓導線的某兩段時，兩個節點的邊表示為這兩段高壓導線的相鄰關系，則兩節點之間有無向邊相連；當兩個節點均表示無人機時，兩個節點的邊表示為兩個無人機相鄰，則兩節點之間有無向邊相連；當兩個節點分別表示某一段高壓導線和無人機時，兩個節點的邊表示該高壓導線段的對應關系，則兩節點之間有有向邊相連；步驟202、圖像修復模型包括線性層、第一隱藏層、第二隱藏層、全連接層，其中線性層輸入所有節點特征構成輸入特征矩陣，輸出中間特征矩陣到第一隱藏層中，第一隱藏層輸出第一更新中間特征矩陣到第二隱藏層中，第二隱藏層輸出第二更新中間特征矩陣到全連接層中，全連接層輸出缺失的導線段的導線狀態分類概率，導線狀態包括完好、斷裂、變形；步驟203、將不同時刻的高壓導線圖結構的節點表示連成序列，輸入到lstm中學習導線狀態的時序模式，通過多層圖卷積層，輸出每一時刻導線圖中所有節點的表示向量；其中，n是導線數量，對于缺失的節點其表示向量可以由其余節點的信息預測得到；步驟204、采集若干個帶標注的高壓導線圖像數據集，通過監督學習的方式，訓練圖像修復模型，獲得訓練好的圖像修復模型；步驟205、對于存在缺失的導線段節點，通過訓練好的圖像修復模型結合存在缺失的導線段節點的鄰居節點信息和時序上下文，預測出該導線段的狀態，完成修復。
3.根據權利要求2所述的一種無人機集群置信傳播協同定位方法，其特征在于，在步驟202中，對于每個節點從相應導線的圖像提取一個初始特征向量節點的初始特征向量，所有節點特征構成輸入特征矩陣，輸出中間特征矩陣；第一隱藏層：輸入中間特征矩陣，輸出第一更新中間特征矩陣；第一隱藏層的計算公式：；；其中，表示第一更新中間特征矩陣，表示第一隱藏層的注意力權重，表示第一隱藏層的線性變換參數；表示節點的鄰居節點集合，表示節點的注意力系數向量，a表示concat函數，、分別為第一、第二權重矩陣，表示節點的節點特征向量，表示節點的鄰居節點集合中所有節點的特征矩陣，的每一行分別對應一個鄰居節點的特征向量；第二隱藏層：輸入第一更新中間特征矩陣，輸出第二更新中間特征矩陣；全連接層：輸入第二更新中間特征矩陣，輸出缺失的導線段的狀態分類概率；全連接層的計算公式為：；其中，表示節點的狀態分類概率，為全連接層的權重矩陣，b為偏置向量，為softmax函數。
4.根據權利要求3所述的一種無人機集群置信傳播協同定位方法，其特征在于，在步驟203中，包括以下步驟：構建時序模型，將不同時刻的節點表示拼接成序列...
【專利技術屬性】
技術研發人員：鄧創，李科峰，佟如意，周煒，卿東，劉鵬，廖紅兵，李云峰，茍格，汪悅頎，田佩平，張凌浩，唐娜，唐冬來，
申請(專利權)人：國網四川省電力公司電力應急中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。