【技術實現步驟摘要】
本專利技術屬于計算機視覺，具體涉及一種基于狀態空間模型的光流估計方法、程序、設備及存儲介質。
技術介紹
1、視頻連續幀的光流估計是計算機視覺領域中一個長期存在的、基本的和具有挑戰性的問題，它對于在場景理解中建立更高層次的認知能力至關重要，如對象識別、對象跟蹤、動作識別、場景分割等。隨著深度學習的發展，使用神經網絡模型來解決光流估計問題漸漸成為主流方案。pwc-net和raft是最近具有代表性的基于cnn卷積神經網絡的方法。pwc-net構建了具有扭曲(warp)特征的分層局部成本體積，并逐步估計這些局部成本的流量。raft提出了一種迭代框架，該框架為所有像素對構建了多尺度四維相關體，并部署了門循環單元(gru)來迭代更新預測的光流，并進行了大量的迭代改進，在不同的迭代階段對不同的局部代價體積進行卷積，從而逐步達到近全局搜索空間，在標準基準測試中取得了出色的性能。然而這些方法受限于cnn卷積窗口大小限制，沒能得到更好的精度。
2、最近隨著mamba在視覺任務中逐漸興起，由于其具有優秀的輸入自適應性和全局信息建模功能，狀態空間以及mamba架構在多個視覺子任務中取得了成功。
技術實現思路
1、本專利技術的目的在于提供一種基于狀態空間模型的光流估計方法、程序、設備及存儲介質。
2、一種基于狀態空間模型的光流估計方法，將連續兩幀圖像it和it+1輸入至預訓練的cnn-mamba混合循環回歸框架的神經網絡中；
3、所述cnn-mamba混合循環回歸框架的神
4、基于cnn的卷積網絡模塊對輸入的圖像it和it+1分別提取局部特征同時下采樣圖像特征，得到圖像特征ft和ft+1；圖像特征ft和ft+1分別通過mamba模塊進行圖像特征增強，得到增強后的圖像特征和紋理特征提取網絡模塊對輸入的圖像it提取紋理特征fc；和進行逐像素點積運算得到全局相關性體積，然后通過運動特征編碼模塊得到運動特征fm，運動特征fm和紋理特征fc通過mamba運動增強模塊得到全局運動特征全局運動特征和運動紋理特征fc通過紋理特征增強模塊得到紋理增強特征全局運動特征和紋理增強特征輸入至循環迭代細化模塊中，計算得到光流估計。
5、進一步地，所述圖像特征增強網絡中包括多組mamba模塊，每個mamba模塊會捕獲輸入圖像特征中每個像素之間的遠程依賴關系，同時保持線性復雜度，減少計算開銷；mamba模塊的操作表示為：
6、
7、其中，ftk和表示第k個mamba模塊的輸入和輸出；表示ftk正則化后的圖像特征，ln表示標準化層；flinear表示線性函數；dwconv表示深度可分離卷積層；silu表示激活函數；表示逐像素點積操作；ss2d表示2d選擇性掃描操作。
8、進一步地，所述示2d選擇性掃描操作ss2d，具體操作表示為：
9、δ＝δ(x)＝wδx,b＝b(x)＝wbx,c＝c(x)＝wcx
10、
11、y＝[y1,y2,…,yt,…,yl]
12、其中，x代表ss2d操作中的輸入特征，x＝[x1,x2,…,xt,…,xl]；δ代表時間尺度參數；b和c分別表示輸入特征的線性投影；wδ,wb,wc代表三個不同的參數矩陣；a代表狀態矩陣，和分別為a和b的離散參數；d代表跳鏈接，ht為t時刻的中間狀態，y代表ss2d操作的輸出特征。
13、進一步地，所述運動特征fm和紋理特征fc通過mamba運動增強模塊分別探索其像素之間的遠程依賴關系，然后將學習到的權重分別聚合到運動特征fm中，接著通過跳鏈接得到全局運動特征具體操作表示為：
14、
15、
16、其中，和分別表示正則化后的運動特征和紋理特征；z表示輸入特征的線性投影；gs表示全局特征搜索。
17、進一步地，所述全局運動特征和運動紋理特征fc通過紋理特征增強模塊，紋理特征增強模塊從全局運動特征中預測一組尺度權重，然后利用它們來實現對整個密集位移的全局調整，最終得到紋理增強特征具體操作表示為：
18、
19、其中，sigmoid表示歸一化操作；conv表示卷積操作；relu表示激活函數；avg表示平均池化。
20、進一步地，所述循環迭代細化模塊首先將運動特征fm、全局運動特征和紋理增強特征沿通道維度拼接，然后輸入門循環單元來迭代更新預測的光流，隨后將對應光流上采樣得到原始分辨率光流圖。
21、進一步地，所述紋理特征提取網絡模塊的構造與圖像特征增強網絡模塊相同。
22、一種計算機裝置/設備/系統，包括存儲器、處理器及存儲在存儲器上的計算機程序，所述處理器執行所述計算機程序以實現上述基于狀態空間模型的光流估計方法的步驟。
23、一種計算機可讀存儲介質，其上存儲有計算機程序/指令，該計算機程序/指令被處理器執行時實現上述基于狀態空間模型的光流估計方法的步驟。
24、一種計算機程序產品，包括計算機程序/指令，該計算機程序/指令被處理器執行時實現上述基于狀態空間模型的光流估計方法的步驟。
25、本專利技術的有益效果在于：
26、本專利技術設計了基于cnn-mamba混合模塊的圖像特征增強網絡和mamba特征交叉增強模塊，并設計了cnn-mamba混合循環回歸框架的神經網絡。本專利技術利用cnn-mamba混合模塊的圖像特征增強網絡高效提取輸入圖像的全局信息，不僅可以探索輸入圖像像素之間的遠程依賴關系，還能保持線性復雜度。本專利技術利用mamba特征交叉增強模塊獲取全局運動特征，在運動邊界內聚合全局紋理信息，并實現對紋理特征的信息增強，最終以此提高光流估計的精度。
本文檔來自技高網...【技術保護點】
1.一種基于狀態空間模型的光流估計方法，其特征在于：將連續兩幀圖像It和It+1輸入至預訓練的CNN-Mamba混合循環回歸框架的神經網絡中；
2.根據權利要求1所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述圖像特征增強網絡中包括多組Mamba模塊，每個Mamba模塊會捕獲輸入圖像特征中每個像素之間的遠程依賴關系，同時保持線性復雜度，減少計算開銷；Mamba模塊的操作表示為：
3.根據權利要求2所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述示2D選擇性掃描操作SS2D，具體操作表示為：
4.根據權利要求2所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述運動特征Fm和紋理特征Fc通過Mamba運動增強模塊分別探索其像素之間的遠程依賴關系，然后將學習到的權重分別聚合到運動特征Fm中，接著通過跳鏈接得到全局運動特征具體操作表示為：
5.根據權利要求2所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述全局運動特征和運動紋理特征Fc通過紋理特征增強模塊，紋理特征增強模塊從全局運動特征中預測一組尺度權重
6.根據權利要求1所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述循環迭代細化模塊首先將運動特征Fm、全局運動特征和紋理增強特征沿通道維度拼接，然后輸入門循環單元來迭代更新預測的光流，隨后將對應光流上采樣得到原始分辨率光流圖。
7.根據權利要求1所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述紋理特征提取網絡模塊的構造與圖像特征增強網絡模塊相同。
8.一種計算機裝置/設備/系統，包括存儲器、處理器及存儲在存儲器上的計算機程序，其特征在于：所述處理器執行所述計算機程序以實現權利要求1至7中任一項所述方法的步驟。
9.一種計算機可讀存儲介質，其上存儲有計算機程序/指令，其特征在于：該計算機程序/指令被處理器執行時實現權利要求1至7中任一項所述方法的步驟。
10.一種計算機程序產品，包括計算機程序/指令，其特征在于：該計算機程序/指令被處理器執行時實現權利要求1至7中任一項所述方法的步驟。
...【技術特征摘要】
1.一種基于狀態空間模型的光流估計方法，其特征在于：將連續兩幀圖像it和it+1輸入至預訓練的cnn-mamba混合循環回歸框架的神經網絡中；
2.根據權利要求1所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述圖像特征增強網絡中包括多組mamba模塊，每個mamba模塊會捕獲輸入圖像特征中每個像素之間的遠程依賴關系，同時保持線性復雜度，減少計算開銷；mamba模塊的操作表示為：
3.根據權利要求2所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述示2d選擇性掃描操作ss2d，具體操作表示為：
4.根據權利要求2所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述運動特征fm和紋理特征fc通過mamba運動增強模塊分別探索其像素之間的遠程依賴關系，然后將學習到的權重分別聚合到運動特征fm中，接著通過跳鏈接得到全局運動特征具體操作表示為：
5.根據權利要求2所述的一種基于狀態空間模型的光流估計方法，其特征在于：所述全局運動特征和運動紋理特征fc通過紋理特征增強模塊，紋理特征增強模塊從全局運動特征...
【專利技術屬性】
技術研發人員：項學智，陳一鳴，李孝恒，周憲坤，胡淯棋，喬玉龍，
申請(專利權)人：哈爾濱工程大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。