【技術實現步驟摘要】
本專利技術涉及一種時序視頻幀圖像預測重構方法，具體是一種基于多輸入特征融合convlstm模型的紋影流場視頻幀圖像重構方法，屬于計算機視覺。
技術介紹
1、現有的汽車發動機和航空發動機研制主要靠試驗獲取性能指標數據，每次試驗需要花費大量人力物力，產生大量有害氣體和廢物來污染環境。單次試驗獲取的圖像信息高度依托于相機的性能，為了獲取發動機整個過程數據，往往需要重復多次試驗，分段拍攝整合獲取目標信息。
2、隨著深度學習技術的飛速發展，時空序列數據處理任務在計算機視覺領域中的應用日益廣泛。傳統的卷積神經網絡(cnn)在處理圖像數據方面表現出色，但其在時序數據處理中的局限性也逐漸顯現出來，lstm通過在其架構中引入“門”機制，能夠捕捉序列數據中的長程依賴關系，從而有效地解決了傳統rnn(循環神經網絡)在處理長時間序列時的梯度消失問題。為了更好地捕捉序列數據中的時間依賴性，研究人員引入了卷積長短期記憶網絡(convlstm)，這是一種結合了lstm(長短期記憶網絡)與卷積神經網絡的模型架構。convlstm將lstm的輸入、隱藏狀態以及輸出從一維數據擴展到二維矩陣，使得網絡能夠對時序圖像序列中的時空特征進行建模。具體來說，convlstm的核心在于其將傳統lstm中的線性運算替換為卷積運算，從而允許網絡在時間維度上學習空間特征。convlstm模型架構中的主要部分包括輸入門、遺忘門、輸出門及細胞狀態，這些部分通過卷積操作共同作用，形成一個能夠捕捉時空特征的記憶單元，與傳統的全連接lstm不同，convlstm不僅能夠保留時間序
3、紋影法作為一種重要的光學測量方法，廣泛應用于流體力學、空氣動力學等領域，用以研究流體的運動特征。傳統的紋影流場視頻幀重構方法主要依賴于基于物理模型的數值模擬和基于圖像處理的算法。這些方法主要利用流體力學方程或圖像處理技術，從連續的紋影圖像序列中提取流場信息，如navier-stokes方程或光流法、相位平均法等，通過結合邊界條件和初始條件，數值求解流場的演變過程或是分析相鄰幀之間的像素變化，推測流體的運動。然而，這類方法對計算資源的要求極高，計算復雜度隨流場的復雜性顯著增加，并且數值模擬的精度依賴于初始條件和邊界條件的準確性，難以處理真實場景中的不確定性和復雜變化，而光流法等方法通常假設小的運動和亮度恒定，難以處理實際流場中的大位移和亮度變化，圖像噪聲和復雜背景也會對算法性能造成干擾，導致重構精度下降。
4、近年來，隨著深度學習的普及，基于數據驅動的方法開始應用于流場重構。雖然這些方法在某些場景下展示了優異的性能，但大多數方法依然局限于單幀或短時間序列的處理，難以有效捕捉長時間序列中的復雜動態特征。
技術實現思路
1、專利技術目的：本專利技術的目的是針對現有技術中存在的不足，提供一種基于多輸入特征融合的convlstm模型的紋影流場重構方法。本方法通過將convlstm技術應用于紋影流場視頻幀的處理，充分利用時間序列中的空間和時間信息，避免了傳統方法在長序列處理時出現的性能下降問題，使得重構結果更具連續性和一致性，提高重構效果的精度和魯棒性，大幅降低了計算資源的需求，具備更好的實時性。
2、技術方案：一種基于多輸入特征融合convlstm模型的紋影流場重構方法，包括以下步驟：
3、s1、參數初始化，定義模型訓練所需的學習率、衰減率、批次大小、正則化因子、時間步長；
4、s2、數據預處理，首先手動選擇需要訓練的壓力參數及圖像數據，將所有原始圖像進行灰度處理，并在保留原始圖像特征的前提下將圖像裁剪為1024×256像素大小，對原始壓力數據進行歸一化處理；
5、s3、數據生成與分割，進行數據集劃分，將數據集按組分為訓練集和驗證集，自定義數據生成器，用于在訓練過程中批量加載和處理數據，避免將所有數據一次性加載到內存中；
6、s4、模型構建與編譯，使用convlstm模型，構建多輸入神經網絡，包括圖像輸入部分、壓力數據輸入部分、特征融合和輸出部分，多輸入神經網絡模型的訓練集包含處理后的圖像以及與之對應的歸一化后的壓力參數兩部分，其中圖像輸入至多輸入神經網絡中的圖像輸入部分，壓力參數輸入至多輸入神經網絡中的壓力數據輸入部分，之后圖像輸入部分和壓力輸入部分的輸出會經過特征融合部分進行特征交叉學習后再進行模型輸出；
7、s5、模型訓練與回調，設置優化器、損失函數、回調函數，定義早停、檢查點保存和學習率調度器，開始訓練模型后，使用自定義生成器和回調函數；
8、s6、結果可視化及預測，包括繪制損失曲線及模型預測與結果保存，繪制訓練和驗證過程中的損失曲線，觀察模型的表現，并在驗證集上進行預測，并將預測結果保存為圖像文件。
9、所述s2具體為：
10、讀取包含圖像數據及壓力參數的文件路徑，將輸入的圖像數據與壓力數據按照時間順序排列，按照1ms的間隔對齊圖像數據與壓力數據的時間點，調整壓力數據形狀為模型所需的四維張量形式包括樣本數、時間步、1以及特征數，以匹配圖像數據形狀，為后續的訓練和驗證提供標準化、時間點匹配的數據集。
11、所述s3中數據集具體為：
12、將數據集按組分為訓練集和驗證集，所述數據集包括壓力數據和圖像數據，把對齊時刻后的相互對應的壓力數據和圖像數據進行組合分為一組，共分為14組組合數據，將其組合成為convlstm模型訓練使用的數據集，其中將前13組組合數據劃分至訓練集，第14組組合數據劃分為驗證集。
13、所述s3中自定義數據生成器具體為：
14、所述自定義數據生成器具體為從儲存了已經預處理后的圖像路徑和對應壓力數據的庫中每個訓練批次提取32個原始圖像及其對應的壓力數據，圖像的大小為1024×256，時間步數為2630，自定義數據生成器分別輸出同一時刻下的圖像數據和壓力數據，通過convlstm模型分別提取同一時刻下的圖像數據和壓力數據的特征。
15、所述s4具體為：
16、多輸入特征融合模型分為三個部分，利用卷積層處理圖像數據的部分、利用時間序列層處理壓力輸入的部分，以及特征融合輸出預測部分；
17、圖像處理模塊包含5個convlstm2d層，和一個flatten層，其中convlstm2d層能夠同時處理時間和空間的信息，每層有64個濾波器，卷積核大小為3×3，每層convlstm2d層都設置‘return_sequences＝true’，使得每層都能輸出一個包含時間維度的序列，以此來保留時間步的特征，在每一層convlstm2d后都插入了一個批量歸一化層，用于加速訓練過程，并提高模型的穩定性，最后一層convlstm2d結束后，使用flatten層將輸出張量展平為一維向量，準備與壓力數據的輸出結合；其中，convlstm的單步預測基本公式如下：
18、ft＝σg(wxf*xt+whf*ht-1+w本文檔來自技高網...
【技術保護點】
1.一種基于多輸入特征融合ConvLSTM模型的紋影流場重構方法，其特征在于,包括以下步驟：
2.根據權利要求1所述的基于多輸入特征融合ConvLSTM模型的紋影流場重構方法，其特征在于，所述S2具體為：
3.根據權利要求2所述的基于多輸入特征融合ConvLSTM模型的紋影流場重構方法，其特征在于，所述S3中數據集具體為：
4.根據權利要求3所述的基于多輸入特征融合ConvLSTM模型的紋影流場重構方法，其特征在于，所述S3中自定義數據生成器具體為：
5.根據權利要求3所述的基于多輸入特征融合ConvLSTM模型的紋影流場重構方法，其特征在于，所述S4具體為：
6.根據權利要求5所述的基于多輸入特征融合ConvLSTM模型的紋影流場重構方法，其特征在于，所述S5具體為：
7.根據權利要求6所述的基于多輸入特征融合ConvLSTM模型的紋影流場重構方法，其特征在于，所述S6具體為：
【技術特征摘要】
1.一種基于多輸入特征融合convlstm模型的紋影流場重構方法，其特征在于,包括以下步驟：
2.根據權利要求1所述的基于多輸入特征融合convlstm模型的紋影流場重構方法，其特征在于，所述s2具體為：
3.根據權利要求2所述的基于多輸入特征融合convlstm模型的紋影流場重構方法，其特征在于，所述s3中數據集具體為：
4.根據權利要求3所述的基于多輸入特征融合convlstm模型的紋影流...
【專利技術屬性】
技術研發人員：潘靜耀，吳昊，楊慧，顏丹，
申請(專利權)人：鎮江市生態環境監測站鎮江市輻射環境監測站，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。