【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于深度學(xué)習(xí)的，主要涉及了一種基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法及系統(tǒng)。
技術(shù)介紹
1、實(shí)驗(yàn)教學(xué)是課程方案和課程標(biāo)準(zhǔn)規(guī)定的重要教學(xué)內(nèi)容之一，是培養(yǎng)學(xué)生科學(xué)素養(yǎng)和創(chuàng)新能力的重要途徑。通過實(shí)驗(yàn)教學(xué)，學(xué)生能夠親身參與科學(xué)實(shí)踐，探究科學(xué)規(guī)律，培養(yǎng)實(shí)驗(yàn)設(shè)計(jì)和操作能力，從而深化對(duì)課程知識(shí)的理解和應(yīng)用。因此，實(shí)驗(yàn)教學(xué)在中小學(xué)教育中具有不可替代的地位和作用，對(duì)學(xué)生的全面發(fā)展和素質(zhì)提升具有重要意義。
2、然而當(dāng)前實(shí)驗(yàn)評(píng)價(jià)模式所面臨的多重挑戰(zhàn)。首先，教學(xué)時(shí)間有限，學(xué)生人數(shù)龐大，傳統(tǒng)評(píng)價(jià)方式可能無法及時(shí)、全面地評(píng)估每位學(xué)生的實(shí)驗(yàn)操作能力。其次，傳統(tǒng)評(píng)價(jià)方式可能存在主觀性和不一致性，導(dǎo)致評(píng)價(jià)結(jié)果的公正性受到質(zhì)疑。而人工智能技術(shù)具備實(shí)時(shí)分析和評(píng)價(jià)學(xué)生實(shí)驗(yàn)的能力，能夠自動(dòng)化地識(shí)別和評(píng)估學(xué)生的實(shí)驗(yàn)操作，并提供客觀、準(zhǔn)確的評(píng)價(jià)結(jié)果。此外，人工智能技術(shù)還能夠?yàn)榻⑷妗?biāo)準(zhǔn)化的評(píng)價(jià)框架提供支持，從而提高評(píng)價(jià)的一致性和公正性。因此，利用人工智能評(píng)價(jià)中學(xué)實(shí)驗(yàn)?zāi)軌蚋妗⒏咝У卦u(píng)估學(xué)生的實(shí)驗(yàn)操作能力，有助于提升科學(xué)教育的質(zhì)量和效果。
3、目前，主流的研究方向集中在利用動(dòng)作識(shí)別算法來學(xué)習(xí)視頻中的時(shí)序關(guān)系，以實(shí)現(xiàn)對(duì)動(dòng)作類別的準(zhǔn)確檢測(cè)。然而，這些方法在處理中學(xué)實(shí)驗(yàn)等視頻數(shù)據(jù)時(shí)存在一些不足之處：首先，由于中學(xué)實(shí)驗(yàn)視頻通常具有較長(zhǎng)的時(shí)長(zhǎng)，并且包含豐富的語義信息，傳統(tǒng)的動(dòng)作識(shí)別算法往往無法充分捕捉到其中的關(guān)鍵信息，導(dǎo)致對(duì)實(shí)驗(yàn)步驟和動(dòng)作的理解不足，這可能會(huì)導(dǎo)致對(duì)場(chǎng)景相關(guān)線索的過度擬合，進(jìn)而影響模型的泛化能力和檢測(cè)精度；其次，目前的動(dòng)作識(shí)別
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)正是針對(duì)現(xiàn)有技術(shù)中實(shí)驗(yàn)步驟檢測(cè)不準(zhǔn)確、實(shí)時(shí)性差的問題，提供基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法及系統(tǒng)，首先對(duì)視頻進(jìn)行預(yù)處理，提取原始和差分視頻幀片段，通過特征提取器獲得視覺時(shí)序特征與差分運(yùn)動(dòng)特征，輸入編碼器學(xué)習(xí)時(shí)空依賴關(guān)系，并利用交叉注意力機(jī)制進(jìn)行特征融合，最終將融合后的多視角視覺時(shí)序特征通過解碼器輸出分類結(jié)果。本專利能夠更準(zhǔn)確地捕捉實(shí)驗(yàn)步驟的變化和動(dòng)作特征，提高了分類模型的精度和魯棒性，能夠有效解決人工檢測(cè)中學(xué)實(shí)驗(yàn)步驟會(huì)耗費(fèi)大量人力資源、已有方法未充分探索時(shí)序關(guān)系、效率低等問題，提高了檢測(cè)精度，因此具有較高的應(yīng)用價(jià)值和應(yīng)用前景。
2、為了實(shí)現(xiàn)上述目的，本專利技術(shù)采取的技術(shù)方案是：基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法，包括如下步驟：
3、s1：輸入正面視角和俯視視角多視角的中學(xué)實(shí)驗(yàn)視頻，對(duì)兩個(gè)視角的視頻幀進(jìn)行預(yù)處理，以每個(gè)視角中每幀作為錨點(diǎn)中心獲得16幀一組的視頻幀片段，并通過幀差分得到差分視頻幀片段；
4、s2：使用視覺大模型videomae對(duì)兩個(gè)視角的視頻幀片段進(jìn)行特征提取，獲取不同視角視頻幀級(jí)別的視覺時(shí)序特征與差分運(yùn)動(dòng)特征；
5、s3：將步驟s2提取的兩個(gè)視角視頻幀級(jí)別的視覺時(shí)序特征與差分運(yùn)動(dòng)特征輸入編碼器，,利用多頭自注意力機(jī)制學(xué)習(xí)時(shí)空依賴關(guān)系；
6、s4：經(jīng)過編碼的兩個(gè)視角視覺時(shí)序特征與差分運(yùn)動(dòng)特征輸入到解碼器中進(jìn)行融合；
7、s5：使用融合差分運(yùn)動(dòng)特征的視覺時(shí)序特征的多視角特征進(jìn)行分類，輸出視頻幀的分類結(jié)果。
8、作為本專利技術(shù)的一種改進(jìn)，所述步驟s1具體包括如下步驟：
9、s11，視頻幀預(yù)處理：將正面視角和俯視視角的中學(xué)實(shí)驗(yàn)視頻轉(zhuǎn)換為視頻幀序列，設(shè)置視頻片段的錨點(diǎn)作為片段中的關(guān)鍵幀，對(duì)視頻幀進(jìn)行采樣，以錨點(diǎn)為中心獲得16幀一組的視頻幀片段；所述視頻幀序列的尺寸為224*224；
10、s12，視頻幀差分：在原始視頻幀片段中，第一幀x0不進(jìn)行差分操作，其他每一幀xi都減去第一幀x0得到差分視頻幀，得到差分視頻幀x′i；
11、x′i＝xi-x0；
12、s13，數(shù)據(jù)標(biāo)準(zhǔn)化處理：對(duì)原始視頻幀和差分幀進(jìn)行標(biāo)準(zhǔn)化處理，將數(shù)據(jù)轉(zhuǎn)換成均值為0、標(biāo)準(zhǔn)差為1的分布，將原始視頻幀片段和差分視頻幀片段轉(zhuǎn)換為張量的格式，以便于輸入到深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練；
13、
14、
15、
16、其中，xi表示視頻幀，μ和σ表示所有視頻幀的均值和標(biāo)準(zhǔn)差，zi是歸一化后的視頻幀。
17、作為本專利技術(shù)的另一種改進(jìn)，所述步驟s2中，采用視覺大模型videomae掩碼自編碼方法，從特征提取器輸出的兩個(gè)視角的視頻幀級(jí)別的視覺時(shí)序特征與差分運(yùn)動(dòng)特征圖譜進(jìn)入編碼器：
18、
19、其中，對(duì)于時(shí)刻t，我們將往前t個(gè)時(shí)刻的視頻幀一起送入特征提取器u中，得到當(dāng)前時(shí)刻的特征ft。
20、作為本專利技術(shù)的另一種改進(jìn)，所述步驟s3的編碼器至少包括空間注意力模塊和時(shí)序注意力模塊；
21、所述空間注意力模塊：由多頭自注意力層構(gòu)成，包含注意力投影、計(jì)算注意力權(quán)重、加權(quán)求和和多頭機(jī)制；多頭注意力是利用多個(gè)查詢向量qi，并行地從輸入信息ki中選取多組信息，計(jì)算注意力得分后應(yīng)用縮放點(diǎn)積和softmax進(jìn)行歸一化約束注意力得分的范圍，最后與值vi加權(quán)求和得到輸出。對(duì)每個(gè)空間位置的權(quán)重進(jìn)行建模，利用多頭自注意力機(jī)制，在同一幀內(nèi)捕獲不同區(qū)域之間的依賴關(guān)系；
22、
23、所述時(shí)序注意力模塊：由多頭自注意力層構(gòu)成，捕捉視頻序列中不同幀之間的時(shí)間關(guān)系，并強(qiáng)調(diào)與任務(wù)相關(guān)的關(guān)鍵時(shí)刻或時(shí)段；
24、
25、其中，ft表示輸入的視頻序列特征，表示應(yīng)用多頭自注意力后得到的新的特征。
26、作為本專利技術(shù)的又一種改進(jìn)，所述步驟s4具體包括如下步驟：
27、s41：利用交叉注意力機(jī)制分別從兩個(gè)視角差分特征中查詢有用的上下文信息；
28、s42：將融合后的視覺時(shí)序特征與差分運(yùn)動(dòng)特征進(jìn)行加權(quán)求和；
29、s43：得到最終的融合差分運(yùn)動(dòng)特征的視覺時(shí)序多視角特征圖譜:
30、
31、其中，編碼器的輸出特征作為查詢，運(yùn)用多頭注意力機(jī)制在視角差分特征sc尋找有用的信息來豐富自身，得到最終的融合特征
32、為了實(shí)現(xiàn)上述目的，本專利技術(shù)還采取的技術(shù)方案是：基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)系統(tǒng)，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述方法的步驟。
33、與現(xiàn)有技術(shù)相比，本專利技術(shù)具有的有益效果：
34、(1)本專利技術(shù)采用差分特征增強(qiáng)的方法，從而更加精準(zhǔn)地捕捉到實(shí)驗(yàn)步驟的變化和動(dòng)作特征，有助于提高分類模型的精度和魯棒性；
35、(2)本專利技術(shù)方法能夠更有效地學(xué)習(xí)視頻中的時(shí)空依賴關(guān)系，有助于捕捉到實(shí)驗(yàn)步驟的重要信息，提升檢測(cè)精度；
36、(3)本專利技術(shù)方法能夠有效解決人工檢測(cè)中學(xué)實(shí)驗(yàn)步驟會(huì)耗費(fèi)大量人力資源、已有方法未充分探索時(shí)序關(guān)系、效率低等問本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法，其特征在于，包括如下步驟：
2.如權(quán)利要求1所述的基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法，其特征在于：所述步驟S1具體包括如下步驟：
3.如權(quán)利要求1所述的基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法，其特征在于：所述步驟S2中，采用視覺大模型VideoMAE掩碼自編碼方法，從特征提取器輸出的兩個(gè)視角的視頻幀級(jí)別的視覺時(shí)序特征與差分運(yùn)動(dòng)特征圖譜進(jìn)入編碼器：
4.如權(quán)利要求3所述的基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法，其特征在于：所述步驟S3的編碼器至少包括空間注意力模塊和時(shí)序注意力模塊；
5.如權(quán)利要求4所述的基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法，其特征在于：所述步驟S4具體包括如下步驟：
6.基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)系統(tǒng)，包括計(jì)算機(jī)程序，其特征在于：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如上述任一種所述方法的步驟。
【技術(shù)特征摘要】
1.基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法，其特征在于，包括如下步驟：
2.如權(quán)利要求1所述的基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法，其特征在于：所述步驟s1具體包括如下步驟：
3.如權(quán)利要求1所述的基于差分特征增強(qiáng)的多視角中學(xué)實(shí)驗(yàn)步驟檢測(cè)方法，其特征在于：所述步驟s2中，采用視覺大模型videomae掩碼自編碼方法，從特征提取器輸出的兩個(gè)視角的視頻幀級(jí)別的視覺時(shí)序特征與差分運(yùn)動(dòng)特征圖譜進(jìn)入編碼...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：陳燚，袁浩淼，章亞寧，周俊生，顧彥慧，
申請(qǐng)(專利權(quán))人：南京師范大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。