【技術實現步驟摘要】
本專利技術屬于圖像處理與計算機視覺，具體涉及一種基于改進cbam注意力機制的室內活動動作檢測算法。
技術介紹
1、室內活動動作檢測是計算機視覺中的重要研究課題，廣泛應用于智能家居、健康監護、智能安防等領域。該技術旨在通過視頻分析自動識別和分類人類在室內環境中的各種動作，具有重要的社會和經濟價值。然而，室內活動檢測任務面臨著復雜環境因素的挑戰，如光照變化、物體遮擋、多人物干擾等，這些因素常常導致傳統方法的準確性下降。
2、隨著深度學習技術的發展，基于卷積神經網絡（cnn）和循環神經網絡（rnn）的端到端模型逐漸成為主流，能夠自動提取視頻中的空間和時間特征。盡管這些方法在一定程度上提高了檢測精度，但在細粒度動作識別和多樣化室內場景中，現有模型仍面臨一定局限，尤其是在捕捉關鍵特征方面。為了解決這一問題，注意力機制被引入到深度學習模型中。卷積塊注意力模塊（cbam）作為一種有效的注意力機制，結合了空間和通道注意力，能夠增強模型對重要區域和特征的關注，提升性能。然而，原始的cbam機制在某些場景下，空間和通道注意力的作用是動態變化的，傳統的獨立處理方式可能無法充分發揮兩者的互補作用。
3、因此，提出基于自適應融合的cbam（簡稱af-cbma）注意力機制。通過引入自適應融合模塊，能夠根據不同任務和輸入特征動態調整空間和通道注意力的權重，從而增強模型的靈活性和魯棒性。這一改進能夠有效提升室內活動動作檢測的精度，并在實際應用中更好地適應復雜環境。
技術實現思路
1、為解決
2、在該算法中，首先將rgb視頻的連續幀和關鍵幀輸入到時序檢測模塊和空間檢測模塊。時序檢測模塊通過2d卷積網絡提取時空特征，結合af-cbam機制來增強對時序信息的敏感性。在此過程中，af-cbam首先計算空間和通道的注意力，然后通過自適應融合模塊動態調整空間和通道注意力的權重。根據輸入特征的差異，系統能夠自動選擇增強空間或通道的關注，從而優化特征表示，提升時空特征提取效果。
3、在空間檢測模塊中，采用darknet-19進行關鍵幀的空間特征提取，并將時空特征和空間特征進行融合。最終，通過邊框回歸與分類網絡輸出檢測結果，包括動作類別、持續時間和位置信息。為了實現上述目的，本專利技術的技術方案如下。
4、基于自適應融合cbam注意力機制的室內活動動作檢測算法，包括以下步驟。
5、步驟一：獲取室內活動動作識別視頻數據集，依據ava數據集標注格式對室內活動動作數據集進行改動，使其能夠成功運行在yowo網絡結構中。
6、步驟二：在時序檢測模塊中，采用深度卷積網絡提取時空特征，并結合2d卷積提取時序信息。引入af-cbam模塊，通過自適應調整空間和通道注意力的融合權重，提升模型對復雜動作的敏感性。
7、步驟三：在空間檢測模塊中，采用darknet-19提取關鍵幀特征，并利用af-cbam進行自適應融合，進一步加強時空特征的表示能力，提升動作識別的準確度。
8、步驟四：通過邊框回歸和分類網絡，輸出室內活動動作的檢測結果，包括動作類別、持續時間和位置信息。
9、所述步驟一中的具體情況如下：
10、（1）獲取公開室內活動數據集(charades_v1_480),將待檢測視頻以30幀連續幀進行劃分；
11、（2）利用yolov5識別出每一幀圖片上的目標人物,并將不相關人物的標注框刪除；
12、（3）使用via標注工具，對目標人物的動作進行人工標注，標注每一幀目標人物的動作、空間位置信息；將專家標注的動作標簽進行處理作為網絡的標簽。根據專家標注分類出十二種基本動作分別為：站立（stand）、躺下（lie-down）、坐（sit）、整理（tidy）、做飯（cook）、玩手機（play-phone）、打電話（call）、吃喝（eat-drink）、看電視（watchtv）、開關門（open-close-door）、握手擁抱（handshakes-hugs）、跌倒（fall-down）；
13、（4）將視頻裁切出來的圖片與yolov5檢測出來的坐標，送入deepsort進行檢測來關聯出目標人物的id。
14、所述步驟二中的具體情況如下：
15、在時序檢測模塊中，采用2d卷積網絡提取連續視頻幀的時空特征。為了提升對通道特征的敏感性，本專利技術引入自適應融合cbam（af-cbam）注意力機制。
16、（1）首先，計算空間注意力和通道注意力?？臻g注意力根據每個位置的重要性調整特征圖的權重，而通道注意力則根據通道的貢獻度調整每個通道的權重；
17、（2）利用自適應融合模塊，根據當前任務和輸入的特征，動態調整空間和通道注意力的融合比例，使得模型能夠根據實際需求自動強化空間或通道信息。
18、所述步驟三中的具體情況如下：
19、采用2d?cnn分支提取空間特征，通過darknet-19網絡模型分析目標人物空間信息。darknet-19網絡模型通過交替使用?3×3?和?1×1?濾波器，實現了對特征的有效學習，輸入的初始特征大小為c*h*w，通過由32、64、128、256、512、1024和特定的輸出濾波器數4組成的多個卷積模塊來提取特征，并在卷積模塊之間嵌入最大池化層、歸一化操作bn和激活函數leakyrelu。
20、所述步驟四中的具體情況如下：
21、首先，將時序檢測模塊和空間檢測模塊提取的時空特征和空間特征通過通道堆疊技術進行融合，確保二維和三維網絡的輸出在最后兩個維度上具有相同的形狀。然后，將融合后的特征圖輸入到自適應融合cbam（af-cbam）模塊，利用自注意力機制突出前后幀之間的關系，增強特征的可分辨性。最后，通過yolo的邊框回歸思想，使用1x1卷積核生成目標通道數，輸出目標的坐標框、行為類別和置信度，實現動作檢測與定位。
22、與現有技術相比，本專利技術技術方案的有益效果是：
23、（1）通過引入自適應融合cbam（af-cbam）機制，動態調整空間和通道注意力的融合權重，能夠更加精準地捕捉時序信息和空間特征，從而有效提升模型在復雜室內活動場景中的時空特征提取能力。
24、（2）采用通道堆疊和1x1卷積核的處理方式，使得模型能夠在保證較高檢測精度的同時，減少計算量，提升檢測速度，適應實時監控和資源受限環境的應用需求。
本文檔來自技高網...【技術保護點】
1.?基于自適應融合CBAM（Adaptive?Fusion?CBAM，簡稱AF-CBAM）注意力機制的室內活動動作檢測算法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于AF-CBAM注意力機制的室內活動動作檢測算法，其特征在于，所述Step?1中的具體過程如下：
3.根據權利要求1所述的基于改進3DSE注意力機制的花樣滑冰動作檢測算法，其特征在于，所述Step?2中的具體過程如下：
4.根據權利要求1所述的基于AF-CBAM注意力機制的室內活動動作檢測算法，其特征在于，所述Step?3中的具體過程如下：
5.根據權利要求1所述的基于AF-CBAM注意力機制的室內活動動作檢測算法，其特征在于，所述Step?4中的具體過程如下：
【技術特征摘要】
1.?基于自適應融合cbam（adaptive?fusion?cbam，簡稱af-cbam）注意力機制的室內活動動作檢測算法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于af-cbam注意力機制的室內活動動作檢測算法，其特征在于，所述step?1中的具體過程如下：
3.根據權利要求1所述的基于改進3dse注意力...
【專利技術屬性】
技術研發人員：侯阿臨，趙冰瑤，張名淑，李傳運，強秋曦，張萌婷，李紋鋒，謝馨瑩，張子相，魏文馳，何俊杰，
申請(專利權)人：長春工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。