【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及數(shù)字實驗評估，尤其涉及一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助方法及系統(tǒng)。
技術(shù)介紹
1、目前，學(xué)校日益重視中學(xué)階段的實驗教學(xué)和考核，同時，強調(diào)了對實驗教學(xué)的全面評價和監(jiān)測，要求將實驗教學(xué)情況納入教育質(zhì)量評價監(jiān)測體系，并要求學(xué)校加強實驗教學(xué)的過程管理，確保實驗教學(xué)內(nèi)容、課時的規(guī)范性以及實驗教學(xué)程序和規(guī)范的嚴(yán)格執(zhí)行。
2、但是，在現(xiàn)有的實驗評估和輔導(dǎo)工作中，主要依賴人工監(jiān)督，即使使用一些基于目標(biāo)檢測是實驗評分、評估方案，但是由于主要捕捉實驗的最終結(jié)果或關(guān)鍵節(jié)點的靜態(tài)特征，忽視了實驗過程的動態(tài)變化，其未能充分實驗步驟的正確性、操作的規(guī)范性以及中間結(jié)果的重要性，導(dǎo)致評估結(jié)果片面，并且難以適應(yīng)不同類型、不同難度的實驗評估需求，缺乏靈活性和通用性。
3、因此，尋找一種既能夠全面評估學(xué)生在實驗過程中的操作規(guī)范性，又能夠提供多維度評估結(jié)果以提高評估準(zhǔn)確率的實驗評估方法，是本領(lǐng)域技術(shù)人員亟待解決的技術(shù)問題。
技術(shù)實現(xiàn)思路
1、有鑒于此，本專利技術(shù)提出了一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助方法及系統(tǒng)，其能夠?qū)崿F(xiàn)科學(xué)實驗的全面自動化評估，不僅能夠客觀地分析學(xué)生的實驗操作，還能生成詳細的評估報告，大大提高了實驗教學(xué)的效率和質(zhì)量。
2、本專利技術(shù)的技術(shù)方案是這樣實現(xiàn)的：
3、第一方面，本專利技術(shù)提供了一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助方法，包括以下步驟：
4、s1、使用采集設(shè)備對學(xué)生的實驗操作過程進行視頻采集，得到科學(xué)實驗
5、s2、流媒體服務(wù)器對所述科學(xué)實驗視頻序列分別使用姿態(tài)評估模型和目標(biāo)檢測模型進行特征提取并進行融合，得到多維特征；
6、s3、根據(jù)所述多維特征對科學(xué)實驗視頻序列進行分類和評估，得到分類結(jié)果和評估結(jié)果；
7、s4、獲取實驗操作的評分標(biāo)準(zhǔn)文檔，并根據(jù)實驗操作的評分標(biāo)準(zhǔn)文檔構(gòu)建實驗評分標(biāo)準(zhǔn)的向量數(shù)據(jù)庫；
8、s5、利用多模態(tài)大模型基于多維特征、分類結(jié)果、評估結(jié)果和實驗評分標(biāo)準(zhǔn)的向量數(shù)據(jù)庫生成實驗評估報告；
9、s6、利用實驗評估報告對多模態(tài)大模型進行迭代優(yōu)化訓(xùn)練。
10、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，步驟s5具體包括：
11、利用所述實驗評分標(biāo)準(zhǔn)的向量數(shù)據(jù)庫中的實驗評分標(biāo)準(zhǔn)，為所述多維特征生成相應(yīng)的提示信息；
12、將所述提示信息輸入多模態(tài)大模型，生成初步的實驗評估內(nèi)容，并對實驗評估內(nèi)容進行結(jié)構(gòu)化處理，生成完整的實驗評估報告；所述實驗評估內(nèi)容包括實驗操作評分、實驗步驟評分、實驗現(xiàn)象評分、實驗結(jié)論評分和操作錯誤提示。
13、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，步驟s2具體包括：
14、s21、使用姿態(tài)評估模型按照預(yù)定頻率從所述科學(xué)實驗視頻序列中提取學(xué)生的人體關(guān)鍵點信息；
15、s22、使用目標(biāo)檢測模型按照設(shè)定間隔從所述科學(xué)實驗視頻序列中識別并定位實驗對象和器材的位置信息；
16、s23、根據(jù)學(xué)生的人體關(guān)鍵點信息、實驗對象和器材的位置信息進行信息融合，形成多維特征。
17、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述特征提取網(wǎng)絡(luò)包括下采樣、基于lka的視覺注意力神經(jīng)網(wǎng)絡(luò)和norm層，其中基于lka的視覺注意力神經(jīng)網(wǎng)絡(luò)包括深度卷積、深度擴展卷積以及通道卷積；
18、預(yù)測關(guān)鍵點網(wǎng)絡(luò)采用第一多階段架構(gòu)，每個階段逐步精細化關(guān)鍵點位置預(yù)測；其中每個階段由3×3的卷積層構(gòu)成，每個階段均采用l2損失函數(shù)進行優(yōu)化；預(yù)測關(guān)鍵點網(wǎng)絡(luò)的損失函數(shù)為：
19、
20、其中，f1(loss)表示預(yù)測關(guān)鍵點網(wǎng)絡(luò)的損失函數(shù)，s表示第一多階段架構(gòu)中的總階段數(shù)，p表示人體關(guān)鍵點，w(p)表示關(guān)鍵點p的權(quán)重，gt(p)表示關(guān)鍵點p的真實位置，pv(p)表示關(guān)鍵點p的預(yù)測位置；
21、肢體網(wǎng)絡(luò)采用第二多階段架構(gòu)，其中每個階段由1×1的卷積層構(gòu)成。
22、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，所述目標(biāo)檢測模型的網(wǎng)絡(luò)結(jié)構(gòu)包括輕量級分類頭、下采樣層和秩引導(dǎo)塊，其中，輕量級分類頭包括2個深度可分離卷積和1個通道卷積的輕量架構(gòu)；下采樣層包括點狀卷積和深度卷積。
23、在以上技術(shù)方案的基礎(chǔ)上，優(yōu)選的，在下采樣層中，利用點狀卷積調(diào)節(jié)通道維度，使用深度卷積進行空間下采樣，計算成本和參數(shù)成本如下：
24、
25、n(param)＝2c2+18c
26、其中，h表示輸入特征圖的高度，w表示輸入特征圖的寬度，c表示輸入特征圖通道數(shù)，o表示計算成本，n表示參數(shù)成本。
27、更進一步優(yōu)選的，步驟s3具體包括：
28、s31、根據(jù)多維特征對每一幀科學(xué)實驗視頻序列進行操作類型判定；所述操作類型包括實驗步驟整理、正確操作步驟截取、異常操作截取、藥品用量檢測、實驗環(huán)境檢測和實驗結(jié)果截??；
29、s32、通過設(shè)定的概率閾值篩選高置信度的操作分類結(jié)果；
30、s33、將篩選后的操作分類結(jié)果與時間序列關(guān)聯(lián)，形成實驗步驟序列；
31、s34、基于實驗對象和器材的位置信息，計算出科學(xué)實驗視頻序列中實驗用量并生成環(huán)境描述；
32、s35、從實驗對象和器材的位置信息中提取并分類實驗現(xiàn)象。
33、第二方面，本專利技術(shù)提供了一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助系統(tǒng)，采用如上述所述的多模態(tài)科學(xué)實驗評估輔助方法，包括：
34、視頻采集模塊，其配置為使用采集設(shè)備對學(xué)生的實驗操作過程進行視頻采集，得到科學(xué)實驗視頻序列，將科學(xué)實驗視頻序列上傳至流媒體服務(wù)器；
35、特征提取模塊，其配置為流媒體服務(wù)器對所述科學(xué)實驗視頻序列分別使用姿態(tài)評估模型和目標(biāo)檢測模型進行特征提取并進行融合，得到多維特征；
36、操作分類模塊，其配置為根據(jù)所述多維特征對科學(xué)實驗視頻序列進行分類和評估，得到分類結(jié)果和評估結(jié)果；
37、知識庫生成模塊，其配置為獲取實驗操作的評分標(biāo)準(zhǔn)文檔，并根據(jù)實驗操作的評分標(biāo)準(zhǔn)文檔構(gòu)建實驗評分標(biāo)準(zhǔn)的向量數(shù)據(jù)庫；
38、報告生成模塊，其配置為利用多模態(tài)大模型基于多維特征、分類結(jié)果、評估結(jié)果和實驗評分標(biāo)準(zhǔn)的向量數(shù)據(jù)庫生成實驗評估報告；
39、模型訓(xùn)練模塊，其配置為利用實驗評估報告對多模態(tài)大模型進行迭代優(yōu)化訓(xùn)練。
40、第三方面，本專利技術(shù)提供了一種多模態(tài)科學(xué)實驗評估輔助設(shè)備，包括：至少一個處理器、至少一個存儲器、通信接口和總線；其中，
41、所述處理器、存儲器、通信接口通過所述總線完成相互間的通信；
42、所述存儲器存儲有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令，以實現(xiàn)如上述所述的多模態(tài)科學(xué)實驗評估輔助方法。
43、第四方面，本專利技術(shù)提供了一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲計算機指令，所述計算機指令使所述計算機實現(xiàn)如上述所述的多模態(tài)科學(xué)實驗評估本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助方法，其特征在于，步驟S5具體包括：
3.如權(quán)利要求1所述的一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助方法，其特征在于，步驟S2具體包括：
4.如權(quán)利要求3所述的一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助方法，其特征在于，所述特征提取網(wǎng)絡(luò)包括下采樣、基于LKA的視覺注意力神經(jīng)網(wǎng)絡(luò)和Norm層，其中基于LKA的視覺注意力神經(jīng)網(wǎng)絡(luò)包括深度卷積、深度擴展卷積以及通道卷積；
5.如權(quán)利要求4所述的一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助方法，其特征在于，所述目標(biāo)檢測模型的網(wǎng)絡(luò)結(jié)構(gòu)包括輕量級分類頭、下采樣層和秩引導(dǎo)塊，其中，輕量級分類頭包括2個深度可分離卷積和1個通道卷積的輕量架構(gòu)；下采樣層包括點狀卷積和深度卷積。
6.如權(quán)利要求5所述的一種基于模型耦合的多模態(tài)科學(xué)實驗評估輔助方法，其特征在于，在下采樣層中，利用點狀卷積調(diào)節(jié)通道維度，使用深度卷積進行空間下采樣，計算成本和參數(shù)成本如下：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。