【技術實現步驟摘要】
本專利技術涉及計算機視覺和圖像處理技術，具體涉及一種基于手動特征偽裝的熱圖像深度估計方法。
技術介紹
1、深度估計(depth?estimation)是一種從圖像數據中估計場景內各點像素到相機拍攝平面的垂直距離。根據圖像的數量可以分為單目圖像深度估計和雙目圖像深度估計。但是因為拍攝雙目圖像的相機尺寸和載具平臺之間的不一致性，使得雙目圖像深度估計不能在現實中有效應用。現有的單目圖像深度估計方法主要分為以下幾類：(1)基于參數學習的單目深度估計；(2)基于無參數學習的單目深度估計方法；(3)基于有監督學習的單目深度估計方法；(4)基于半監督學習的單目深度估計方法；(5)基于無監督學習的單目深度估計方法。由于基于自監督學習的單目深度估計方法在有真實深度值的情況下只需要輸入單目圖像就可以精確的估計出深度圖，因此，此類方法受到了學術界和工業界人員的廣泛關注，且提出大量的新穎方法。這些方法的主要關注點在于：如何高效利用單目圖像和真實深度值的信息，進而估計出精確的深度圖。
2、目前基于自監督的單目深度估計方法主要有七類：(1)改進網絡結構的方法；(2)引入輔助信息的方法；(3)改進損失函數的方法；(4)基于分類的方法；(5)使用條件隨機場的方法；(6)使用生成式對抗網絡的方法；(7)基于部分深度信息的方法。第四類方法在保證結果可靠的情況下，使用輕量級的網絡模型加快算法的速度，其它五類方法更多的是以精確性為優先。現有的深度估計方法對于以單目室內圖像估計精確的深度圖問題取得了較大的研究進展，然而，針對在光照條件變差時的場景，現有的基于
3、此外，隨著相機和車載拍攝平臺等移動設備的普及和廣泛使用，使得人們在獲取不同場景的圖像數據變得非常便利。這些大量的不同場景圖像數據對基于自監督的單目圖像深度估計方法提出了一系列新的挑戰：(a)現有基于自監督的單目圖像深度估計方法雖然準確率得到了巨大的提升，但是網絡訓練時間和顯存占用也逐漸增加，因此，在自動駕駛和三維重建等高水平計算機視覺實際應用領域不能滿足實時性要求；(b)現有基于自監督的單目圖像深度估計方法受限于訓練的數據集，在不同的環境下會失去原有的精確度，例如，一些模型僅適用于室內采集的圖像數據，然而在室外場景下難以得到精確的深度圖。(c)現有基于自監督的單目圖像深度估計方法非常耗時，尤其處理大規模天氣環境惡劣的室外圖像數據時，因此需要高性能的計算設備作為訓練網絡和估計深度的前提，否則無法進行研究工作。
4、綜上所述，上述問題嚴重妨礙了基于自監督的單目圖像深度估計方法在理論方面的發展和應用層面的推廣，揭示了現有基于自監督的單目圖像深度估計方法存在的不足。因此，人們迫切需要一種快速且有效的單目圖像深度估計算法，以便快速地從天氣環境惡劣的室外圖像數據中估計出準確的深度圖。
5、近年來，深度學習技術在圖像分類、目標檢測、目標分割、文本分類、自然語言處理和語音識別等領域取得了良好的應用成果，受此啟發，國內外的一些研究人員嘗試將深度學習技術應用于單目圖像深度估計問題中，且取得了良好的研究進展，已經公開發表的論文有：《maximizing?self-supervision?from?thermal?image?for?effective?self-supervised?learning?of?depth?and?ego-motion》公開一種提高熱圖像自監督信號的單目熱圖像深度估計方法；《adabins:depth?estimation?using?adaptive?bins》公開了一種基于transformer架構的單目圖像深度估計方法；《self-supervised?lightweight?depthestimation?in?endoscopy?combining?cnn?and?transformer》公開了一種結合cnn和transformer的輕量級網絡的單目圖像深度估計方法；上述這些單目圖像深度估計方法著重于提高估計深度圖的精確性。
6、然而，上述方法在應用于天氣環境惡劣的室外圖像數據時，仍然面臨以下挑戰：(1)在處理天氣環境惡劣的室外圖像數據時，這些方法估計的深度圖準確度較低，難以滿足一些高級別應用系統的需求，例如：自動駕駛、三維重建、虛擬現實、導航定位、人體姿態檢測、障礙物檢測、視覺slam等；(2)現有的基于自監督的單目圖像深度估計方法非常耗時，難以滿足高級別現實應用的實時性；(3)現有的基于自監督的單目圖像深度估計方法隨著圖像數據量的增加和網絡的復雜化，這些方法對硬件設備的性能要求也在逐漸增加。
技術實現思路
1、專利技術目的：本專利技術的目的在于解決現有技術中存在的不足，提供一種基于手動偽裝特征的熱圖像深度估計方法，利用加強后的熱圖像在環境條件惡劣時圖像本身強大的自監督能力，進一步使估計出精確的深度圖成為可能。
2、技術方案：本專利技術的一種基于手動特征偽裝的熱圖像深度估計方法，包括以下步驟：
3、步驟s1、輸入熱圖像以及攝像機對應的內部參數，每組熱圖像數據中均包含有n幅寬為w、高為h的熱圖像，每幅熱圖像均有對應相機的內部參數和外部參數；其中，i表示熱圖像的序號，第i幅熱圖像的相機內部參數為ki、相機的外部參數為ti；
4、步驟s2、計算加強熱圖像；
5、首先，對于每一幅源熱圖像均提取由其熱輻射值組成的直方圖hθ；
6、hθ＝sθ，θ＝t0,t1,…,tmax；
7、[tθ,tθ+1]是源熱圖像的直方圖的各個溫度區間，sθ是[tθ,tθ+1]溫度區間中的樣本數量，tmax是指源熱圖像直方圖的最大溫度；
8、然后將所有直方圖hθ按照熱輻射值vra重新排序，得到熱輻射值重排后的熱圖像重新排序的公式如下：
9、
10、其中，γθ是縮放因子，t′θ為每個子直方圖縮放的新偏移量，是指與子直方圖數目成正比的比例因子，若某個溫度區間內沒有觀測到樣本，通過重新排序公式直接去除無效區域，通過計算重新處理后，不同溫度區間根據其所觀測到的樣本數量進行延長或縮短來提高圖像對比度；為保持相鄰圖像之間的時間一致性，各個場景的熱圖像至少以4個為一組進行計算；
11、最后將熱輻射值重排后的熱圖像輸入熱圖像處理結構，先在內部將圖像劃分為不重疊的局部圖像，后使用預定義的限幅閾值進行每張局部圖像的直方圖均衡化處理，得到細節加強后的熱圖像的分辨率仍為h×w；此處熱圖像處理結構主要將圖像劃分為不重疊的局部圖像，并使用預定義的限幅閾值進行每張局部圖像的直方圖均衡化處理；
12、步驟s3、構造特征提取編碼器，計算特征向量集合；
13、先基于熱圖像構造第一階段的特征圖對于每幅特征圖均提取其五種不同尺度的特征圖且特征圖的尺度依次為：h×w，和最后將五種特征圖組合成一個特征集合
14、步驟s4、構造特征偽裝結構，對特征集合中的信息進行隱藏和篩選；先對多尺度特征圖提取隱藏特征圖然后，將本文檔來自技高網...
【技術保護點】
1.一種基于手動特征偽裝的熱圖像深度估計方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于手動特征偽裝的熱圖像深度估計方法，其特征在于，所述步驟S3的構造特征提取編碼器，計算特征向量集合的具體步驟為：
3.根據權利要求1所述的基于手動特征偽裝的熱圖像深度估計方法，其特征在于，所述步驟S5中通過特征向量解碼器獲得深度圖Id的具體步驟如下：
4.根據權利要求1所述的基于手動特征偽裝的熱圖像深度估計方法，其特征在于，所述步驟S6中混合損失Loss包括深度圖的幾何損失、邊緣感知平滑損失和熱圖像重建損失，三個部分的具體計算過程如下：
【技術特征摘要】
1.一種基于手動特征偽裝的熱圖像深度估計方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于手動特征偽裝的熱圖像深度估計方法，其特征在于，所述步驟s3的構造特征提取編碼器，計算特征向量集合的具體步驟為：
3.根據權利要求1所述的基于手動特征偽裝的熱圖像深...
【專利技術屬性】
技術研發人員：曹明偉，李宏宇，曹志偉，趙海峰，孫登第，
申請(專利權)人：安徽大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。