【技術實現步驟摘要】
本專利技術屬于目標檢測的，具體涉及一種基于維度擴散感知自適應融合的課堂行為檢測方法。
技術介紹
1、在傳統的教學活動中，課堂教學一直是當前學校教育教學的主要形式，也是教育研究的重點。過去，針對課堂教學進行的學生課堂學習行為的觀察和記錄主要依靠教師人為主觀，這種方法不僅耗時耗力，而且容易受到教師個人偏好和情緒的影響，難以實現客觀、全面、及時的課堂行為分析。隨著人工智能技術的發展，利用計算機視覺深度學習技術為傳統教育形式賦能成為一種流行的趨勢。相較于傳統的課堂行為識別分析方法，其具有高度自動化、實時性、高效性的特點，可以為后續分析學生課堂教學行為，構建教學質量評價體系提供準確、客觀的數據支持，從而促進主觀評價與客觀評價、定性分析與定量分析的統一，使教育教學反饋更全面、準確。
2、現有的關于學生課堂行為檢測的算法主要分為三類：一是基于視頻動作識別，直接從課堂視頻中提取視覺特征，可以充分考慮時空維度的動態特征，但同時也需要相對更為復雜的網絡結構和更高的計算復雜度，并且需要在前期進行大量的樣本數據標注工作，相關理論研究尚未成熟，因此不太適合目前實際落地應用；二是基于姿態估計算法進行的關鍵點識別，通過提取人體骨骼關鍵點和運動特征來進行行為的識別，易忽略一些重要的細節，不適用于人滿為患和遮擋嚴重的教室場景，同時骨骼提取所需要的計算資源需求量大，難以滿足對實時要求高的監控領域；三是基于目標檢測算法進行識別，由于其在速度、計算開銷、精度之間都具有不錯的表現，現階段被認為是在學生課堂行為檢測領域中最適合相關應用的算法之一。
技術實現思路
1、針對現有技術的不足，本專利技術提供一種基于維度擴散感知自適應融合的課堂行為檢測方法，利用多分支提取策略和維度自適應特征融合網絡，提高了模型在課堂場景下的學生行為檢測能力，有效解決了現有技術中學生的行為存在模糊不清和嚴重遮擋等技術問題，同時具有計算開銷小、實時性強、檢測精度高的特點，有助于進一步推動智慧教育的發展。
2、本專利技術可通過以下技術方案實現：
3、一種基于維度擴散感知自適應融合的課堂行為檢測方法，以并行化斑塊感知注意力ppa代替yolov8模型中backbone主干網絡的部分c2f層，使用維度感知選擇性融合模塊dasi構建維度感知融合擴散金字塔網絡daidfpn代替yolov8模型中的neck特征融合網絡，從而獲得改進yolov8模型，并利用改進yolov8模型對課堂圖像進行課堂行為檢測；
4、其中，所述維度感知融合擴散金字塔網絡daidfpn采用兩層結構，第一層采用第一維度感知選擇性融合模塊dasi對backbone主干網絡輸出的不同尺度特征圖進行初步多維度聚合；第二層采用第二維度感知選擇性融合模塊dasi對第一層輸出的多維度特征圖并結合backbone主干網絡輸出的不同尺度特征圖進行精細多維度聚合，從而獲得小尺寸、中尺寸、大尺寸特征圖用于yolov8模型中head檢測頭網絡做檢測處理。
5、進一步，所述backbone主干網絡輸出低層次特征圖feat1、中層次特征圖feat2和高層次特征圖feat3；
6、對于第一層，所述第一維度感知選擇性融合模塊dasi對低層次特征圖feat1、中層次特征圖feat2和高層次特征圖feat3進行維度感知自適應融合，獲得特征圖feat4，再對所述特征圖feat4分別進行上采樣、下采樣，對應獲得特征圖feat5、特征圖feat6，然后將所述特征圖feat5和低層次特征圖feat1進行拼接，再經由一個c2f模塊進行特征增強融合，獲得特征圖feat7，同時對所述特征圖feat6和高層次特征圖feat3進行拼接，再經由一個c2f模塊進行特征增強融合，獲得特征圖feat8。
7、進一步，對于第二層，所述第二維度感知選擇性融合模塊dasi對特征圖feat4、特征圖feat7和特征圖feat8進行維度感知自適應融合，獲得特征圖feat9即中尺寸特征圖feat9，然后對所述特征圖feat9進行上采樣，再與低層次特征圖feat1和特征圖feat5、特征圖feat7進行拼接，再經由一個c2f模塊進行特征增強融合，獲得大尺寸特征圖feat10，同時對所述特征圖feat9進行下采樣，再與高層次特征圖feat3和特征圖feat6、特征圖feat8進行拼接，再經由一個c2f模塊進行特征增強融合，獲得小尺寸特征圖feat11。
8、進一步，采用并行化斑塊感知注意力ppa代替yolov8模型中backbone主干網絡的第2、4、6層對應的c2f層。
9、進一步，所述backbone主干網絡的各層依次設置為一個卷積層、一個卷積層、一個并行化斑塊感知注意力ppa、一個卷積層、一個并行化斑塊感知注意力ppa、一個卷積層、一個并行化斑塊感知注意力ppa、一個卷積層、一個c2f層和一個sppf層，它們從零開始計層數，其中低層次特征圖feat1、中層次特征圖feat2和高層次特征圖feat3分別來自第4、6、9層的輸出。
10、進一步，所述課堂行為的類別設置為舉手、閱讀、書寫、使用手機、低頭、趴在桌子上、抬頭看、站立。
11、與現有技術相比，本專利技術的有益效果是：
12、1.本專利技術基于改進yolov8檢測模型，通過在backbone主干網絡中引入并行化斑塊感知注意力ppa，采用多分支提取策略，提高模型多尺度特征選擇能力，讓模型盡可能提取到更多有效的多尺度特征信息，同時使用重新設計的維度感知融合擴散金字塔網絡daidfpn用于特征融合，以此實現模型對高維特征和低維特征的初步多維度聚合和精細多維聚合，讓每個尺度特征都具有豐富上下文的同時又減低了模型的參數量，有效解決了自然課堂場景下小目標密集、存在遮擋和多尺度跨越等問題，提高了對課堂場景下的學生行為檢測和分類的準確性。
13、2.本專利技術提出的維度感知融合擴散金字塔網絡daidfpn，采用高低維度特征的自適應融合-擴散思想，充分利用了淺層和深層特征，相比于傳統自頂而下和自底向上方式的pan-fpn結構，能減少在特征融合過程中的上下采樣造成的目標特征信息丟失，使得在不同尺度特征上都具有豐富的上下文信息，同時模型參數量下降，目標檢測精度更一步提升。
14、3.本專利技術提出的基于維度擴散感知自適應融合的課堂行為檢測方法相比其他方法，它不需要依賴大量的數據標注數據和計算資源，具有計算開銷小、實時性強、檢測精度高的特點，在智慧教室部署中的成本較低，具有良好的實際應用價值。
本文檔來自技高網...【技術保護點】
1.一種基于維度擴散感知自適應融合的課堂行為檢測方法，其特征在于：以并行化斑塊感知注意力PPA代替YOLOv8模型中Backbone主干網絡的部分C2f層，使用維度感知選擇性融合模塊DASI構建維度感知融合擴散金字塔網絡DAIDFPN代替YOLOv8模型中的Neck特征融合網絡，從而獲得改進YOLOv8模型，并利用改進YOLOv8模型對課堂圖像進行課堂行為檢測；
2.根據權利要求1所述的基于維度擴散感知自適應融合的課堂行為檢測方法，其特征在于：所述Backbone主干網絡輸出低層次特征圖feat1、中層次特征圖feat2和高層次特征圖feat3；
3.根據權利要求2所述的基于維度擴散感知自適應融合的課堂行為檢測方法，其特征在于：對于第二層，所述第二維度感知選擇性融合模塊DASI對特征圖feat4、特征圖feat7和特征圖feat8進行維度感知自適應融合，獲得特征圖feat9即中尺寸特征圖feat9，然后對所述特征圖feat9進行上采樣，再與低層次特征圖feat1和特征圖feat5、特征圖feat7進行拼接，再經由一個C2f模塊進行特征增強融合，獲得大尺寸特
4.根據權利要求3所述的基于維度擴散感知自適應融合的課堂行為檢測方法，其特征在于：采用并行化斑塊感知注意力PPA代替YOLOv8模型中Backbone主干網絡的第2、4、6層對應的C2f層。
5.根據權利要求4所述的基于維度擴散感知自適應融合的課堂行為檢測方法，其特征在于：所述Backbone主干網絡的各層依次設置為一個卷積層、一個卷積層、一個并行化斑塊感知注意力PPA、一個卷積層、一個并行化斑塊感知注意力PPA、一個卷積層、一個并行化斑塊感知注意力PPA、一個卷積層、一個C2f層和一個SPPF層，它們從零開始計層數，其中低層次特征圖feat1、中層次特征圖feat2和高層次特征圖feat3分別來自第4、6、9層的輸出。
6.根據權利要求1所述的基于維度擴散感知自適應融合的課堂行為檢測方法，其特征在于：所述課堂行為的類別設置為舉手、閱讀、書寫、使用手機、低頭、趴在桌子上、抬頭看、站立。
...【技術特征摘要】
1.一種基于維度擴散感知自適應融合的課堂行為檢測方法，其特征在于：以并行化斑塊感知注意力ppa代替yolov8模型中backbone主干網絡的部分c2f層，使用維度感知選擇性融合模塊dasi構建維度感知融合擴散金字塔網絡daidfpn代替yolov8模型中的neck特征融合網絡，從而獲得改進yolov8模型，并利用改進yolov8模型對課堂圖像進行課堂行為檢測；
2.根據權利要求1所述的基于維度擴散感知自適應融合的課堂行為檢測方法，其特征在于：所述backbone主干網絡輸出低層次特征圖feat1、中層次特征圖feat2和高層次特征圖feat3；
3.根據權利要求2所述的基于維度擴散感知自適應融合的課堂行為檢測方法，其特征在于：對于第二層，所述第二維度感知選擇性融合模塊dasi對特征圖feat4、特征圖feat7和特征圖feat8進行維度感知自適應融合，獲得特征圖feat9即中尺寸特征圖feat9，然后對所述特征圖feat9進行上采樣，再與低層次特征圖feat1和特征圖feat5、特征圖feat7進行拼接，再經由一個c2f模塊進行特征增強融合，獲得大尺寸特征圖feat10，...
【專利技術屬性】
技術研發人員：范濤，王志明，侯世維，王國中，
申請(專利權)人：上海工程技術大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。