一種紅外圖像三維重建算法制造技術

本發明專利技術公開一種紅外圖像三維重建算法，在AC?RANSAC（a?contrario?Random?Sample?Consensus）的基礎上增加紅外圖像的溫度信息作為另一個約束項，以通過基于TAC?RANSAC的單應性模型判斷關鍵點是否匹配，并利用由此改進的SfM（Structure?from?Motion）對紅外圖像進行三維重建；本發明專利技術利用紅外圖像的溫度信息改進了AC?RANSAC算法使其適用于紅外圖像的匹配任務及其后續的三維重建過程。實驗表明TAC?RANSAC在大大降低了誤匹配率的同時減小了誤差與運行時間，并改善了后續的三維重建結果。

A Three-Dimensional Reconstruction Method for Infrared Images

【技術實現步驟摘要】
一種紅外圖像三維重建算法
本專利技術涉及一種紅外圖像的三維重建算法研究，具體涉及一種紅外圖像三維重建算法，使用新穎的TAC-RANSAC特征檢測與匹配模型改進的SfM方法，用于紅外圖像的三維重建。
技術介紹
三維重建是計算式視覺領域的關鍵技術之一，其通過攝像機獲取場景物體的數據圖像并進行分析處理，通過各種約束條件求解出現實環境中的物體的三維信息，目前對三維重建的研究主要是基于視覺圖像的。不同于可見光，紅外線非人眼可見，需要借助紅外相機捕捉成像，生成人眼可見的紅外熱圖像。因為紅外圖像展示的是物體表面的溫度分布，所以圖像的分辨率低，對比度差，視覺效果模糊，還有各種形式的噪聲。但是其不受天氣、光照、煙霧、高溫、高壓等環境因素的影響，因此紅外圖像經常用于電力系統(變電站和輸電線)的檢測和維護。電力系統安全的關鍵因素是高壓輸變電設備的安全，若設備正常工作，其熱狀態分布均勻，溫度只在一定的范圍內波動，若設備發生故障或出現缺陷，則會出現局部溫度明顯變化，超出正常范圍。除此之外，紅外圖像還可用于一些高危廠房的監測，一旦發現溫度超過某個閾值，及時進行檢修，防止事故的發生。但由于二維的紅外圖像視差較窄，無法觀測整個大型廠房和輸電線的全貌，并且丟失了深度信息，所以基于紅外圖像進行三維點云重建，恢復出具有豐富溫度場的三維點云模型是非常有意義的。紅外圖像的分布體現了物體的溫度分布，對比于光學圖像，紅外圖像的分辨率低、對比度差、視覺效果模糊，還有各種形式的噪聲。因此，紅外圖像的三維重建難度更大，尤其是對于大的建筑物的外立面，很容易因為建筑物表面紋理弱，視覺效果模糊而提取不到足夠的特征點，導致重建失敗。
技術實現思路
專利技術目的：本專利技術目的在于針對現有技術的不足，提供一種紅外圖像三維重建算法，使用新穎的TAC-RANSAC特征檢測與匹配模型改進的SfM方法。本專利技術通過結合紅外圖像的成像特點對SfM算法中的特征檢測和特征匹配做改進，減少了特征匹配中誤匹配的數量，準確無誤的檢測和匹配對于后續重建出完美的三維模型至關重要。技術方案：本專利技術所述一種紅外圖像三維重建算法，在AC-RANSAC匹配模型的基礎上增加基于NFAT(NumberofFalseAlarmswithTemperature)的特征匹配優化，將紅外圖像的溫度信息作為另一個約束項來區分匹配與否；基于TAC-RANSAC特征匹配模型包括如下步驟：1)建立背景模型，該背景模型需要滿足圖像中的點均勻獨立分布并且隨機耦合。隨后給定一個幾何配置，假設在n個數據項中有k個匹配點，那么其包括溫度的虛警數NFAT為：計算下列改進的包括溫度的虛警數NFAT：σ2(M)β0表示假設背景模型分布下，一對隨機對應關系具有至多εk溫度誤差的概率；因此式(1)中的最后一項表示k-Nsample對對應關系具有至多εk和ξk誤差的概率；若M模型被認為是有意義的，則2)采用TAC-RANSAC算法估計單應性矩陣模型來去除誤匹配，在此條件下，Nsample＝4，Nout＝1，d＝2α0＝π/(ω*h)，即3)對由步驟2)中的特征匹配模型得到的匹配點群使用SfM算法得到紅外圖像的三維重建模型。優選地，將基于TAC-RANSAC特征匹配模型優化，將紅外圖像的溫度信息加入到隨機采樣一致性的條件限定中。優選地，基于TAC-RANSAC的隨機采樣一致性條件限定應用于單應性矩陣的搜尋，通過計算圖片組的殘差來判斷是否匹配。優選地，所述基于TAC-RANSAC特征匹配模型應用于需要紅外圖像特征匹配的場景。優選地，所述基于TAC-RANSAC特征匹配模型應用于人臉檢測。有益效果：本專利技術通過基于TAC-RANSAC的特征匹配模型優化，將紅外圖像的溫度信息作為另一個約束項來區分匹配與否；減少了特征匹配中誤匹配的數量，準確無誤地檢測和匹配對于后續重建出完美的三維模型至關重要；與現有技術相比，本專利技術減少了紅外圖像誤匹配數量、降低了運行時間、擴大了三維重建模型的點云規模與降低了重建模型的誤差。附圖說明圖1為本專利技術中基于TAC-RANSAC特征匹配模型的匹配示意圖。圖2為紅外圖像三維重建的流程圖；圖3為基于RANSAC特征點匹配結構；圖4為基于AC-RANSAC特征點匹配結構；圖5為基于TAC-RANSAC特征點匹配結構；圖6為基于AC-RANSAC特征匹配模型匹配結果的重建模型；圖7為基于TAC-RANSAC特征匹配模型匹配結果的重建模型。具體實施方式下面通過附圖對本專利技術技術方案進行詳細說明，但是本專利技術的保護范圍不局限于所述實施例。實施例：本專利技術為一種紅外圖像三維重建算法，本專利技術利用紅外圖像的溫度信息，設計一種新穎的TAC-RANSAC特征匹配模型對紅外圖像進行三維重建，使其適用于相較于視覺圖像分辨率低、對比度差、視覺效果模糊的重建任務；在SfM總體算法結構上，在特征匹配階段提出一種新穎的TAC-RACSAC匹配模型，利用紅外圖像的額外溫度信息來更精準地對紅外圖像進行匹配。更精準的圖像匹配對最終三維模型的精度有著顯著的提升，具體表現在模型點數的增加、運行時間的降低、誤匹配特征點的減少與平均位置及角度誤差的降低。本專利技術采用的方法流程如圖2所示。圖像特征的提取方法主要有SIFT、SURF、ORB、AKAZE四種算法，經過實際的比對在本專利技術中采用SURF提取特征。圖像特征的提取與匹配是三維重建的關鍵步驟，主要的問題是誤匹配的消除。目前常見的誤匹配消除方法包括交叉過濾、k近鄰(k-NearestNeighbors,kNN)、RANSAC與AC-RANSAC等。其中交叉過濾與k近鄰算法運行速度較快，實現較為簡單，但誤匹配消除效果相應較差，一般被采用為預處理的手段。RANSAC是最常見的消除誤匹配的算法，其核心思想包括如下三個步驟：1)隨機抽取N個數據來估計模型M，其中N是估計模型M所需的最小數據量；2)利用估計出的模型M與事先設定的閾值來計算匹配點；3)若未達到事先設定的迭代次數n則重新轉至1)。RANSAC算法需要人工設定閾值，對不同的場景需要費力尋找不同的適應閾值；AC-RANSAC算法解決了上述問題。AC-RANSAC算法不需要設置閾值，它是通過控制虛警數NFA(NumberofFalseAlarms)，在閾值和匹配數量之間找到一個正確的平衡點。本專利技術在AC-RANSAC的基礎上增加了紅外圖像的溫度信息使算法更適合于紅外圖像。實驗結果驗證了本專利技術的有效性。AC-RANSAC建立背景模型，該背景模型需要滿足圖像中的點均勻獨立分布并且隨機耦合；隨后給定一個幾何配置，假設在n個數據項中有k個匹配點，那么其虛警數NFA是兩項的乘積：NFA＝NtestsP(k,n)，即測試次數乘以概率；其中，NFA為假設區分匹配與誤匹配的閾值是εk，該閾值表示n個數據項中第k個殘差，α0為隨機數據項最大誤差為1的概率(通常用像素表示)，d是維數(當計算點到線的距離時值為1，當計算點到點的距離時值為2)；因背景模型中所有數據項相互獨立，故每點匹配的概率為k個點匹配的概率為其中，Nsample用來估計模型，所以自動認為匹配；匹配點數k通常未知，其值可能是Nsample～n的任意一個數，故測試次數為n-Nsample；給定Nsample，計算幾何模型參數Param后，對本文檔來自技高網...

【技術保護點】
1.一種紅外圖像三維重建算法，其特征在于：在AC?RANSAC匹配模型的基礎上增加基于NFAT(Number?of?False?Alarms?with?Temperature)的特征匹配優化，將紅外圖像的溫度信息作為另一個約束項來區分匹配與否；基于TAC?RANSAC特征匹配模型包括如下步驟：1)計算下列改進的包括溫度的虛警數NFAT：

【技術特征摘要】
2019.05.30 CN 20191046101991.一種紅外圖像三維重建算法，其特征在于：在AC-RANSAC匹配模型的基礎上增加基于NFAT(NumberofFalseAlarmswithTemperature)的特征匹配優化，將紅外圖像的溫度信息作為另一個約束項來區分匹配與否；基于TAC-RANSAC特征匹配模型包括如下步驟：1)計算下列改進的包括溫度的虛警數NFAT：若M模型被認為是有意義的，則2)采用TAC-RANSAC算法估計單應性矩陣模型來去除誤匹配，在此條件下，Nsample＝4，Nout＝1，d＝2α0＝π/(ω*h)，即3)對由步驟2)中的特征匹...

【專利技術屬性】
技術研發人員：孔瑩瑩，張博文，閆碧原，
申請(專利權)人：南京航空航天大學，
類型：發明
國別省市：江蘇,32