【技術實現步驟摘要】
本專利技術涉及圖像處理，更具體地，涉及一種紅外可見光雙波段圖像處理方法及類腦計算平臺或者一種基于類腦計算平臺部署的紅外可見光雙波段圖像配準及融合檢測方法。
技術介紹
1、隨著光電成像技術的不斷發展與進步，圖像傳感器能獲取信息的光譜范圍更為寬廣，信息豐富度也大大增加，應用領域也逐漸擴大。但由于單一圖像傳感器成像光譜波段范圍有限，所獲取的信息具有一定的局限性，已經越來越不能滿足人們實際使用中對場景和目標獲取多方位、更準確描述的要求。因此將至少兩個工作在不同光譜波段或成像原理不同的成像器件獲取的圖像進行綜合的處理和融合，更有助于對場景的全方位描述及目標的偵測和辨別。
2、紅外圖像和可見光圖像在成像原理、波長范圍、信息內容等方面存在顯著差異，各自具有獨特的特點，二者有著明顯的互補性。紅外圖像是由紅外傳感器基于物體發射或反射的紅外輻射進行成像，成像波段在0.75-14微米之間。紅外光在一定程度上可以穿透煙霧、薄霧和一些非金屬材料，這使得紅外圖像在低能見度條件下(如夜間、煙霧彌漫等)能夠提供較好的成像效果，因此，紅外成像不依賴環境光照，無論是白天還是夜晚，都可以進行成像，具有全時工作的特性。但由于紅外光的波長較長，紅外圖像的分辨率通常低于可見光圖像，并且，紅外傳感器的像素密度較低，因此細節表現能力有限。可見光成像為被動成像，波長范圍在370納米至730納米，包含場景的太陽光反射信息，該圖像細節清晰，分辨率和對比度也較高，包含豐富的顏色信息，比較有利于人眼的觀察。但是在成像過程中容易受到環境等因素的干擾，易發生失真，無法全天候工作
3、因此，通過圖像配準、融合技術將可見光圖像和紅外圖像進行融合及信息綜合利用，能夠實現兩者優勢互補，既能從紅外圖像中獲得重要目標和背景的熱輻射分布，又能從可見光圖像中獲取清晰的背景細節與紋理信息，從而可以對場景和目標進行更為全面的描述，更加有助于環境監控和對目標的偵測與辨別，具有相當重要的實際需求和應用價值。
4、目前，傳統的圖像配準方法主要分為基于圖像灰度統計的配準算法、基于圖像變換域的配準方法以及基于圖像特征的配準方法。但是，實際配準過程中有相當多的特征點最終因種種差異不能完成匹配，成為無用特征點，占用了大量計算時間，降低了配準效率。并且，配準算法難以完成多源圖像配準。目前許多經典的配準方法是針對波段相近的圖像而設計的，但紅外和可見光圖像往往具有較大的分辨率差異和局部灰度差異，因此，造成許多經典方法在應用于紅外和可見光圖像的配準時基本失效。
5、傳統的圖像融合方法主要有基于變換域的融合方法、基于空域的融合方法和基于深度學習的融合方法。傳統算法需要手動設計融合規則，適用性較差，浪費人力，且實時性也有一定的局限，由于融合任務為無監督的任務，目前基于深度學習的算法缺乏合適的引導，對于保留紅外特征的可見光特征上存在失衡，容易造成可見光細節不夠銳利、紅外目標不夠顯著等問題。因此，傳統的圖像融合算法較難在紅外目標特征的保留和可見光背景細節保留之間做出平衡，均不利于融合結果的展示和后續的目標檢測的精度。另外，傳統的融合算法與檢測算法需要大量的配準數據作為輸入和訓練數據，且紅外圖像與可見光圖像由于分辨率和模態之間的差異，通過相機參數或傳統配準算法的誤差較大，不利于后續的融合和檢測任務。
6、對于目標檢測任務來說，單一模態可見光圖像的目標檢測在背景復雜，例如存在遮擋、背景復雜或光照微弱的情況下，檢測精度極其容易受到影響，容易出現漏檢或者誤檢的情況；而對于多模態的目標檢測，無法充分利用不同模態間的信息，檢測精度相較于單一模態的檢測，可能不升反降，因此，如何綜合多模態信息也成為目標檢測任務的關鍵。
技術實現思路
1、有鑒于此，本專利技術提供了一種紅外可見光雙波段圖像處理方法及類腦計算平臺或者一種基于類腦計算平臺部署的紅外可見光雙波段圖像配準及融合檢測方法，能夠實現紅外圖像與可見光圖像的配準效率和準確率。
2、為達到上述目的，本專利技術采用如下技術方案：
3、第一方面，本專利技術提供一種紅外可見光雙波段圖像處理方法，該方法包括：
4、獲取同一場景、同一時刻的紅外圖像和可見光圖像；
5、基于已訓練的特征提取網絡分別提取紅外圖像和可見光圖像的特征點和特征描述；其中，特征提取網絡包括特征編碼器、特征點解碼器和特征描述解碼器；特征編碼器包括至少兩個連續的下采樣層；特征點解碼器包括依次連接的第一卷積層、第一激活函數層和圖形變換層；特征描述解碼器包括依次連接的第二卷積層、上采樣層和正則化層；至少兩個連續的下采樣層中最后一個下采樣層的輸入端用于輸入紅外圖像和可見光圖像；第一卷積層的輸入端和第二卷積層的輸入端均與至少兩個連續的下采樣層中最后一個下采樣層的輸出端連接；
6、將紅外圖像和可見光圖像的特征點和特征描述輸入已訓練的特征點匹配網絡，生成特征點匹配結果；其中，特征點匹配網絡包括至少一個連續的特征點匹配層，每個特征點匹配層均包括兩個自注意力單元、一個交叉注意力單元以及兩個置信度計算單元；兩個自注意力單元中的一個自注意力單元的輸入端用于輸入紅外圖像的特征點和特征描述，另一個自注意力單元的輸入端用于輸入可見光圖像的特征點和特征描述；兩個自注意力單元的輸出端均與交叉注意力單元的輸入端連接，交叉注意力單元的兩個輸出端分別與兩個置信度計算單元的輸入端連接；若兩個置信度計算單元輸出的置信度均大于預設置信度閾值，則退出當前特征點匹配層，并計算相似度矩陣，確定匹配特征點；否則去掉置信度不大于預設置信度閾值的特征點，并將剩余特征點以及對應的特征描述輸入當前特征點匹配層的下一個特征點匹配層；
7、基于特征點匹配結果對紅外圖像和可見光圖像進行圖像配準；
8、將圖像配準后的紅外圖像和可見光圖像輸入已訓練的圖像融合網絡，得到融合圖像；其中，圖像融合網絡包括至少兩個連續的融合子模塊，每個融合子模塊均包括第三卷積層和第三激活函數層，至少兩個連續的融合子模塊中除最后一個融合子模塊以外的融合子模塊還包括批量歸一化層，批量歸一化層分別與第三卷積層和第三激活函數層連接；
9、將融合圖像輸入已訓練的目標檢測網絡，得到目標檢測信息；其中，目標檢測信息包括目標定位信息和目標類型信息，目標檢測網絡包括目標定位網絡和類型檢測網絡；目標定位網絡包括依次連接的卷積神經網絡、第一區域建議網絡、第一池化層和第一全卷積層；卷積神經網絡的輸入端用于輸入融合圖像，第一全卷積層的輸出端用于輸出目標定位信息；類型檢測網絡包括依次連接的第一殘差網絡、第二區域建議網絡、第二池化層、第二殘差網絡和第二全卷積層；第一殘差網絡的輸入端輸入圖像塊，第二全卷積層用于輸出目標類型信息，圖像塊是通過將目標定位信息映射回融合圖像并剪裁得到的。
10、本專利技術提供的方法，利用深度學習算法結合紅外和可見光兩種模態的特征，能夠更為全面的獲取二者的有用信息，能夠實現高精度的異源圖像配準、高信息豐富度的融合以及全天候、全方位的目標檢測。將特征點提取、配準、融合、目標檢測至少本文檔來自技高網...
【技術保護點】
1.一種紅外可見光雙波段圖像處理方法，其特征在于，包括：
2.根據權利要求1所述的紅外可見光雙波段圖像處理方法，其特征在于，在所述基于已訓練的特征提取網絡分別提取所述紅外圖像和所述可見光圖像的特征點和特征描述之前，還包括：
3.根據權利要求1所述的紅外可見光雙波段圖像處理方法，其特征在于，在所述將所述紅外圖像和所述可見光圖像的特征點和特征描述輸入已訓練的特征點匹配網絡，生成特征點匹配結果之前，還包括：
4.根據權利要求1所述的紅外可見光雙波段圖像處理方法，其特征在于，所述基于所述特征點匹配結果對所述紅外圖像和所述可見光圖像進行圖像配準包括：
5.根據權利要求1所述的紅外可見光雙波段圖像處理方法，其特征在于，在所述將圖像配準后的紅外圖像和可見光圖像輸入已訓練的圖像融合網絡，得到融合圖像之前，還包括：
6.根據權利要求1所述的紅外可見光雙波段圖像處理方法，其特征在于，在所述將所述融合圖像輸入已訓練的目標檢測網絡，得到目標檢測信息之前，還包括：
7.一種類腦計算平臺，其特征在于，包括圖像采集單元、主控單元、交換單元
...【技術特征摘要】
1.一種紅外可見光雙波段圖像處理方法，其特征在于，包括：
2.根據權利要求1所述的紅外可見光雙波段圖像處理方法，其特征在于，在所述基于已訓練的特征提取網絡分別提取所述紅外圖像和所述可見光圖像的特征點和特征描述之前，還包括：
3.根據權利要求1所述的紅外可見光雙波段圖像處理方法，其特征在于，在所述將所述紅外圖像和所述可見光圖像的特征點和特征描述輸入已訓練的特征點匹配網絡，生成特征點匹配結果之前，還包括：
4.根據權利要求1所述的紅外可見光雙波段圖像處理方法，其特征在于，所...
【專利技術屬性】
技術研發人員：高昆，楊至甲，王敬宜，胡梓博，李晨芮，張晏錚，張澤豐，
申請(專利權)人：北京理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。