本發明專利技術屬于人體姿態估計技術領域，公開了一種基于圖像分頻特征增強的極低光人體姿態估計方法，該方法包括如下步驟：收集極低光人體圖像構建訓練數據集；構建基于圖像分頻特征增強的極低光人體姿態估計模型；訓練階段，利用頻率感知的圖像增強模塊進行訓練數據的增強，隨后輸入到網絡主干進行訓練，得到訓練好的模型；測試階段，將測試數據集輸入訓練好的網絡模型，獲得人體姿態估計結果。本發明專利技術提出的網絡模型能夠利用頻率感知的圖像增強模塊來引導網絡生成更豐富、更清晰的圖像特征，實現圖像增強和人體姿態估計的協同優化,從而提高極低光人體姿態估計準確性。
【技術實現步驟摘要】
本專利技術屬于人體姿態估計，具體的說是涉及一種基于圖像分頻特征增強的極低光人體姿態估計方法。
技術介紹
1、人體姿態估計作為計算機視覺的基本任務之一，旨在定位人體關鍵點以獲取人體姿態信息，被廣泛應用于動作識別、人機交互、智能監控等領域。近年來，基于深度學習的人體姿態估計方法在多個基準數據集上取得了顯著進展。然而，現有研究大多聚焦于自然光照環境，對于極低光環境下的人體姿態估計問題鮮有深入探討，且極低光環境下的圖像特征差異對人體姿態估計提出了更為嚴苛的要求。以夜間自動駕駛、全天候安防監控等極低光應用場景為例，其極低光圖像普遍存在清晰度與細節表現能力降低的特點，這進一步導致現有人體姿態估計模型在極低光環境下所提取的特征存在結構混淆、紋理不清等問題，從而難以精準識別人體關節點。
2、盡管已有研究嘗試通過在極低光數據集上微調預訓練模型或應用現有的圖像增強技術來提高極低光條件下的人體姿態估計性能，然而這些方法存在顯著的局限性。首先，簡單的微調策略可能影響模型在自然光條件下的性能表現，這違背了模型泛化性的原則。其次，現有極低光圖像增強技術大多致力于滿足人類視覺感知需求，而非針對人體姿態估計任務需求進行優化，這導致其在提高極低光人體姿態估計性能方面僅能得到次優的收益。此外，部分極低光圖像增強方法依賴于嚴格配對的極低光和自然光圖像，但此類成對數據在實際應用中往往難以獲得。
3、因此亟需一種針對極低光圖像的人體姿態估計方法，在無需依賴自然光圖像的情況下提高極低光圖像質量，從而提高極低光人體姿態估計的檢測精度
技術實現思路
1、為了解決上述技術問題，本專利技術提供了一種基于圖像分頻特征增強的極低光人體姿態估計方法，該方法構建基于圖像分頻特征增強的極低光人體姿態估計模型，顯著提高了人體姿態估計模型在不同光照條件下的魯棒性和準確性。
2、為了達到上述目的，本專利技術是通過以下技術方案實現的：
3、本專利技術是一種基于圖像分頻特征增強的極低光人體姿態估計方法，該方法具體包括以下步驟：
4、步驟1、收集極低光人體圖像構建訓練數據集和測試數據集；
5、步驟2、構建基于圖像分頻特征增強的極低光人體姿態估計網絡模型，所述極低光人體姿態估計網絡模型包括頻率感知的圖像增強模塊和骨干網絡，利用頻域感知的圖像增強模塊對步驟1構建的訓練數據集進行增強，隨后將增強后的數據輸入到骨干網絡進行訓練，得到訓練好的極低光人體姿態估計網絡模型；
6、其中，所述頻率感知的圖像增強模塊包括拉普拉斯分解層、紋理調制模塊、結構增強模塊和空間對齊重建層，頻域感知的圖像增強模塊用于解耦極低光圖像的高頻特征分量和低頻特征分量，分別針對低頻特征分量中的全局結構信息和高頻特征分量的紋理邊緣信息進行增強，通過空間對齊重建確保高頻特征分量、低頻特征分量的有效融合和結構一致性，得到增強后的極低光圖像，骨干網絡用于提取增強后的極低光圖像的多尺度特征，預測出最終的人體姿態估計結果；
7、步驟3、將測試數據集輸入步驟2得到的訓練好的網絡模型，獲得人體姿態估計結果。
8、本專利技術的進一步改進在于：步驟1收集極低光人體圖像構建訓練數據集具體為：從低光人體圖像數據集exlpose中，收集極低光人體圖像，構建訓練數據集。
9、本專利技術的進一步改進在于：步驟2中，構建基于圖像分頻特征增強的極低光人體姿態估計網絡模型具體包括以下步驟：
10、步驟2.1、提取極低光圖像不同頻率的圖像特征，構建拉普拉斯分解層，所述拉普拉斯分解層通過拉普拉斯金字塔將提取極低光圖像進行多尺度頻率分解，將極低光圖像特征解耦為高頻特征分量和低頻特征分量；
11、步驟2.2、構建紋理調制模塊和結構增強模塊：紋理調制模塊自適應學習不同尺度高頻特征分量融合的空間權重，實現高頻特征分量間的互補與增強，獲得增強后的高頻圖像特征，結構增強模塊由通道頻域調制和空間頻域調制兩部分組成的，分別建模空間頻域信息間和通道頻域信息間的依賴性，獲得增強后的低頻圖像特征，以更好地捕獲圖像低頻分量的全局結構信息；
12、步驟2.3、構建空間對齊重建層，將增強后的高頻圖像特征和低頻圖像特征進行基于空間對齊策略的融合操作，獲得增強后的極低光圖像；
13、步驟2.4、構建骨干網絡即hrnet網絡模型，提取步驟2.3增強后的極低光圖像的多尺度特征并進行關節點的分類及位置預測，預測出最終的人體姿態估計結果。
14、本專利技術的進一步改進在于：利用頻域感知的圖像增強模塊進行訓練數據的增強時，所述拉普拉斯分解層執行如下步驟：
15、步驟2.1.1、利用高斯金字塔對極低光圖像進行層級構建，分辨率為h×w的輸入極低光圖像，分解為一個低頻特征分量和多個高頻特征分量：
16、
17、其中，gn(i)表示高斯金字塔第n層極低光圖像，n表示金字塔總層數，bn(gn-1(i))表示對前一層極低光圖像gn-1(i)進行2d高斯濾波，d(·)表示2倍下采樣操作；
18、步驟2.1.2、重復的高斯濾波和下采樣將高頻特征分量過濾，將高斯金字塔最高層的圖像定義為低頻特征分量lfn：
19、lfn＝gn(i)
20、步驟2.1.3、拉普拉斯金字塔每一層解耦出來的高頻特征分量hfn由相鄰兩層高斯金字塔圖像相減得到：
21、hfn＝gn(i)-u(gn+1(i))
22、其中，1≤n≤n-1，u(.)表示2倍上采樣操作。
23、本專利技術的進一步改進在于：所述紋理調制模塊包括高頻特征尺度統一即resize和自適應空間權重學習與加權融合，即將不同尺度的高頻特征分量統一至相同尺寸，針對第n層支路的高頻特征分量hfn的處理，在利用頻域感知的圖像增強模塊進行訓練數據增強時，所述紋理調制模塊執行如下步驟：
24、步驟2.2.1、紋理調制模塊首先對其他支路的高頻特征分量進行采樣，保證其與第n層高頻特征分量尺寸的一致，定義表示由第n1層采樣至第n2層高頻分量位置在(i，j)的像素值；
25、步驟2.2.2、對統一至相同尺寸的不同高頻特征分量分別進行加權并融合，利用不同高頻特征分量的紋理信息在空間分布上具有相關性這一特點，本專利技術設計的融合策略表達式如下：
26、
27、其中，表示第n層融合后的高頻特征分量中位置為(i，j)的像素值，指第n層的三個不同級別高頻特征分量特征圖的空間重要性權重，通過使用1×1卷積來得到對應的權重圖，約束三個不同級別高頻特征分量特征圖的空間重要性權重之和為1：
28、
29、通過融合策略，所有層級的高頻特征分量都在各自尺度上自適應融合。
30、本專利技術的進一步改進在于：所述結構增強模塊包括基于能量壓縮的通道頻域調制和基于參數加權的空間頻域調制，在步驟3利用頻域感知的圖像增強模塊進行訓練數據增強時，所述結構增強模塊執行如下步驟：
31、步驟2.3.1、本文檔來自技高網
...
【技術保護點】
1.一種基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：所述極低光人體姿態估計方法具體包括以下步驟：
2.根據權利要求1所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：步驟2中，構建基于圖像分頻特征增強的極低光人體姿態估計網絡模型具體包括以下步驟：
3.根據權利要求1所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：利用頻域感知的圖像增強模塊進行訓練數據的增強時，所述拉普拉斯分解層執行如下步驟：
4.根據權利要求1所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：所述紋理調制模塊包括高頻特征尺度統一即Resize和自適應空間權重學習與加權融合，即將不同尺度的高頻特征分量統一至相同尺寸，針對第n層支路的高頻特征分量HFn的處理，所述紋理調制模塊執行如下步驟：
5.根據權利要求1所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：所述結構增強模塊包括基于能量壓縮的通道頻域調制和基于參數加權的空間頻域調制，在步驟3利用頻域感知的圖像增強模塊進行訓練數據增強時，所述結構增強模塊執行如下步驟：
6.根據權利要求5所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：所述空間對齊重建層由基于可變形卷積的空間對齊機制實現，在步驟3利用頻域感知的圖像增強模塊進行訓練數據增強時，空間對齊重建層執行如下步驟：
7.根據權利要求1所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：在所述步驟2.4中，骨干網絡為任一一種基于CNN的網絡，通過骨干網絡最終輸出的熱力圖來確定預測的關節點位置。
8.根據權利要求1所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：訓練極低光人體姿態估計網絡模型的損失函數使用MSE損失函數，表達式如下：
...
【技術特征摘要】
1.一種基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：所述極低光人體姿態估計方法具體包括以下步驟：
2.根據權利要求1所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：步驟2中，構建基于圖像分頻特征增強的極低光人體姿態估計網絡模型具體包括以下步驟：
3.根據權利要求1所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：利用頻域感知的圖像增強模塊進行訓練數據的增強時，所述拉普拉斯分解層執行如下步驟：
4.根據權利要求1所述的基于圖像分頻特征增強的極低光人體姿態估計方法，其特征在于：所述紋理調制模塊包括高頻特征尺度統一即resize和自適應空間權重學習與加權融合，即將不同尺度的高頻特征分量統一至相同尺寸，針對第n層支路的高頻特征分量hfn的處理，所述紋理調制模塊執行如下步驟：
5.根據權利要求1所述的基于圖像分頻特征...
【專利技術屬性】
技術研發人員：王世龍，張鋒，白紅陽，尹文龍，陳蕾，
申請(專利權)人：南京郵電大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。