【技術實現步驟摘要】
本專利技術屬于圖像處理，涉及小尺度極光結構定位和測量，具體為一種面向全天空視野的小尺度極光結構定位和測量方法，可用于圖像分類、圖像超分、目標檢測等。
技術介紹
1、在深度學習領域，注意力機制是一種受人類視覺和認知系統啟發而來的方法，它在處理輸入數據時允許神經網絡集中注意力于相關的部分。最初，注意力機制作為循環神經網絡rnn中編碼器-解碼器框架的一部分，用于編碼長的輸入語句，后來被廣泛應用于各種神經網絡模型中，特別是在rnn領域。注意力機制的核心思想是讓模型能夠自動地學習和選擇性地關注輸入數據中的重要信息。這種能力使得神經網絡能夠動態地學習和權衡輸入數據中不同部分的重要性，從而更好地捕捉數據之間的關聯和上下文信息，進而提高模型的性能和泛化能力。
2、在自然語言處理領域，注意力機制被廣泛應用于機器翻譯、文本摘要等任務中。在機器翻譯中，通過引入注意力機制，模型能夠更好地理解輸入句子的不同部分，并選擇性地翻譯出對應的目標語言，從而提高翻譯的準確性和流暢度。而在文本摘要任務中，注意力機制可以幫助模型聚焦于輸入文本中最重要的內容，生成更具信息量和連貫性的摘要。在計算機視覺領域，注意力機制同樣發揮著重要作用。在圖像任務中，通過引入注意力機制，模型能夠自動地關注圖像中最重要的區域，從而提高任務的準確性。而在目標檢測任務中，注意力機制可以幫助模型定位和識別圖像中的目標，從而實現更精準的目標檢測和定位。總的來說，注意力機制的引入大大提高了深度學習模型在各種任務中的表現和魯棒性。它使得模型能夠更好地處理復雜的現實世界數據，動態地學習和適應
3、在以往的研究中，已經提出了許多各種各樣的注意力機制，比較常見的有空間注意力和通道注意力。
4、空間注意力(spatial?attention,sa)可以看作是一種自適應的空間區域選擇機制，是一種用于計算神經網絡中不同空間位置之間關聯性的注意力機制，通過加強或減弱輸入特征圖中不同位置的信息以提升模型性能。空間注意力可以被看作是一種自適應的空間區域選擇，它通過學習每個空間位置的權重，使得網絡可以自適應地調整不同位置的重要性，從而實現更有效的特征表示和信息提取。2015年max?jaderberg等人提出了一個具有代表性的空間注意力的模型空間變換神經網絡(spatial?transformer?networks,stn)，stn能夠對各種形變數據在空間中進行轉換并自動捕獲重要區域特征。輸入信息先經過一個1×1卷積層來融合跨通道的信息，接著通過relu激活層與depthwise卷積層，每個通道分別學習它們的空間權重。最后sigmoid層將空間權重的動態范圍映射到[0，1]，逐像素點乘輸入信息，根據學習到的權重對不同位置的特征進行加權融合，進而得到攜帶空間信息的激活特征圖。空間注意力機制的核心思想是根據輸入數據的空間位置來分配注意力權重。通過空間注意力，模型可以學會選擇性地關注圖像中的重要區域，從而提高視覺任務的性能。
5、通道注意力(channel?attention,ca)是一種用于增強神經網絡不同通道之間的特征交互和重要性的注意力機制，旨在提升網絡對不同特征通道的利用效率。通道注意力機制通常應用于卷積神經網絡中，通過學習每個通道的權重，使得網絡能夠自適應地調整各個通道的重要性，從而讓神經網絡重點關注某些特征通道，提高特征表征的能力和泛化性能。在神經網絡中，不同特征圖的不同通道通常代表不同對象，不同通道具有不同的重要性。其代表模型是壓縮和激勵網絡(squeeze-and-excitation?networks,senet)，該模型分為壓縮和激勵兩部分。首先，每張特征圖通過全局平均池化或者全連接層進行壓縮和整合，得到一個能反映全局信息的實數。接著，利用一個激活函數(如relu)來處理全局表示，以學習每個通道的權重或重要性，將更加重要的特征圖權重放大，不重要的縮小。然后，將學習到的通道權重應用到對應的通道上，對通道特征進行加權融合。這一步可以通過乘法操作實現，即將每個通道的特征與對應的權重相乘。最后，將加權后的特征進行重新組合，得到經過通道注意力機制調節后的特征表示。
6、由于極光圖像內容復雜、運動模式隨機，導致極光運動時很多較小的關鍵局部信息被其他亮度淹沒。傳統注意機制在面對上述數據集時，其綜合捕捉與整合策略顯得力不從心，難以充分捕捉到詳細的細節與特征。
技術實現思路
1、本專利技術提出了一種面向全天空視野的小尺度極光結構定位和測量方法，主要用于解決極光圖像多樣化的外觀特征和復雜的運動模式導致關鍵特征獲取不充分的技術問題。
2、實現本專利技術的技術思路是：首先對輸入的原始圖片進行特征提取，得到原始圖像的特征圖；其次對得到的特征圖進行劃分塊，得到大小為hm×wm×cd的柱狀特征圖；然后對得到的柱狀特征圖在空間和通道上進行average?pooling操作，得到每一個柱狀特征圖的均值，并將均值按照對應的柱狀特征圖在原圖中的位置進行排列，得到新的特征圖；對得到的新的特征圖進行雙線性插值，將其在空間上還原成原始特征圖大小，得到權重；最后將得到的權重和原始特征圖進行相乘，得到增強的特征表示，并將增強后的特征用于各種下游任務。本專利技術能夠忽略極光在空間上的隨機分布問題，提升網絡對極光特征的表征能力，使其專注于圖像中更關鍵的語義信息。
3、本專利技術實現上述目的具體步驟如下：
4、(1)輸入一張全天空鏡頭拍攝的極光圖像，其有效視野為360°×180°，通過淺層特征提取層獲取全天空極光圖像的淺層特征圖，并將全天空視野空間區域劃分為k個大小為hm×wm的區域塊，然后在通道上，進一步將所述區域塊劃分為d個子塊，按照這一空間劃分規則得到k×d個柱狀特征圖，其中每個柱狀特征圖對應淺層特征圖中的一個區域，每個柱狀特征圖大小為hm×wm×cd，其中hm、wm、cd分別為柱狀特征圖的高度、寬度和通道數；然后，對每一個柱狀特征進行池化操作，得到區域級量化的注意力值；
5、(2)按照全天空視野空間劃分規則對區域級量化的注意力值進行排列，還原到原始全天空區域的中心位置，還原后的特征圖大小為其中p＝h/hm＝w/wm，d＝c/cd，其中h、w和c分別對應淺層特征的高、寬和通道，p是在特征圖上根據高和寬劃分的塊數，d是在通道上劃分的塊數；利用雙線性插值的方法在空間生成與原始全天空圖像相同尺寸，但通道仍為d的重構特征圖，即完成鄰域信息相關的光滑注意力矩陣的重建，得到光滑注意力矩陣；
6、(3)利用光滑注意力矩陣對淺層特征圖在全天空域進行逐像素點乘，得到經過空間增強和通道篩選后的融合后特征圖；
7、(4)將融合后特征圖與淺層特征圖進行相加，完成潛在顯著特征的殘差學習，增強深度特征提取網絡的表征能力；
8、(5)基于深度特征提取層實現全天空本文檔來自技高網...
【技術保護點】
1.一種面向全天空視野的小尺度極光結構定位和測量方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的方法，其特征在于：步驟(1)所述的區域劃分和池化操作，按以下步驟進行：
3.根據權利要求2所述的方法，其特征在于：步驟(1.3)所述對得到的柱狀特征圖進行平均池化操作，實現如下：
4.根據權利要求1所述的方法，其特征在于：步驟(2)所述光滑注意力矩陣的重建，實現如下：
5.根據權利要求4所述的方法，其特征在于：步驟(3)所述融合后特征圖，具體根據如下步驟得到：
6.根據權利要求1所述的方法，其特征在于：步驟(4)所述將融合后特征圖與淺層特征圖進行相加，根據下式實現：
7.根據權利要求1所述的方法，其特征在于：步驟(5)所述端到端的目標檢測，具體是通過對得到的特征進行定位和測量得到，實現步驟如下：
【技術特征摘要】
1.一種面向全天空視野的小尺度極光結構定位和測量方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的方法，其特征在于：步驟(1)所述的區域劃分和池化操作，按以下步驟進行：
3.根據權利要求2所述的方法，其特征在于：步驟(1.3)所述對得到的柱狀特征圖進行平均池化操作，實現如下：
4.根據權利要求1所述的方法，其特征在于：步驟(2)所述光滑注意力矩...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。