【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及人工智能，尤其涉及一種課堂行為的識(shí)別方法及裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、人工智能(artificial?intelligence)，英文縮寫為ai。它是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)及應(yīng)用系統(tǒng)的一門新的技術(shù)科學(xué)。人工智能是十分廣泛的科學(xué)，包括機(jī)器人、語言識(shí)別、圖像識(shí)別、自然語言處理、專家系統(tǒng)、機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺等。
2、ai在教育領(lǐng)域的應(yīng)用正變得越來越普遍，尤其是在課堂行為管理方面。ai與課堂結(jié)合可以帶來諸多好處，比如實(shí)時(shí)反饋：ai系統(tǒng)能夠?qū)崟r(shí)監(jiān)測學(xué)生的行為和參與度，為教師提供即時(shí)反饋，這使得教師能夠及時(shí)調(diào)整教學(xué)策略，以更好地吸引學(xué)生的注意力，提高課堂管理效率。
3、ai在預(yù)測課堂行為方面的應(yīng)用雖然具有巨大潛力，但同時(shí)也存在一些弊端和挑戰(zhàn)，課堂教學(xué)行為非常復(fù)雜，包括言語、肢體動(dòng)作、面部表情等多種因素。ai系統(tǒng)需要能夠準(zhǔn)確識(shí)別和分類這些行為，這在技術(shù)上是一個(gè)挑戰(zhàn)；而且ai系統(tǒng)可能會(huì)因?yàn)檩斎霐?shù)據(jù)或算法設(shè)計(jì)的偏差而產(chǎn)生不公正的行為預(yù)測，這可能導(dǎo)致對(duì)某些學(xué)生的不公平對(duì)待，因此，目前對(duì)于ai預(yù)測課堂行為的準(zhǔn)確性仍有待提高。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的主要目的在于提供一種課堂行為的識(shí)別方法及裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，可以解決現(xiàn)有技術(shù)中的ai預(yù)測課堂行為的準(zhǔn)確性有待提高的問題。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)第一方面提供一種課堂行為的識(shí)別方法，所述方法包括：
3、獲取教學(xué)過程中多個(gè)影音采
4、將所述課堂圖像分別輸入至多種預(yù)先訓(xùn)練的人工智能模型進(jìn)行行為預(yù)測，得到所述課堂圖像中每個(gè)人物的多個(gè)第一預(yù)測結(jié)果，所述預(yù)測結(jié)果用于反映所述人物的課堂行為類型；
5、確定所述影音采集設(shè)備對(duì)于每個(gè)人物的成像畸變特征；
6、利用所述成像畸變特征及多個(gè)所述第一預(yù)測結(jié)果進(jìn)行預(yù)測結(jié)果優(yōu)化處理，得到每個(gè)人物的目標(biāo)預(yù)測結(jié)果。
7、在一種可行實(shí)現(xiàn)方式中，所述影音采集設(shè)備至少包括攝像頭，則所述確定所述影音采集設(shè)備對(duì)于每個(gè)人物的成像畸變特征，包括：
8、利用各個(gè)人物在世界坐標(biāo)系下的第一位置坐標(biāo)以及所述攝像頭在世界坐標(biāo)系下的第二位置坐標(biāo)，確定每個(gè)人物與各個(gè)所述攝像頭之間的各個(gè)目標(biāo)方位角，所述成像畸變特征包括所述目標(biāo)方位角。
9、在一種可行實(shí)現(xiàn)方式中，所述利用所述成像畸變特征及多個(gè)所述第一預(yù)測結(jié)果進(jìn)行預(yù)測結(jié)果優(yōu)化處理，得到每個(gè)人物的目標(biāo)預(yù)測結(jié)果，包括：
10、確定每個(gè)所述攝像頭的目標(biāo)畸變類型；
11、利用預(yù)設(shè)的畸變類型與變形系數(shù)列表的數(shù)據(jù)庫以及所述目標(biāo)畸變類型，確定所述目標(biāo)畸變類型對(duì)應(yīng)的目標(biāo)變形系數(shù)列表，所述變形系數(shù)列表包括所述畸變類型下的變形系數(shù)與方位角的對(duì)應(yīng)關(guān)系；
12、基于所述目標(biāo)方位角在所述目標(biāo)變形系數(shù)列表中進(jìn)行查找，得到與所述目標(biāo)方位角相同的方位角對(duì)應(yīng)的目標(biāo)變形系數(shù)；
13、將所述目標(biāo)變形系數(shù)作為權(quán)重對(duì)每個(gè)人物的多個(gè)所述第一預(yù)測結(jié)果進(jìn)行預(yù)測結(jié)果優(yōu)化處理，得到每個(gè)人物的目標(biāo)預(yù)測結(jié)果。
14、在一種可行實(shí)現(xiàn)方式中，所述第一預(yù)測結(jié)果包括課堂行為類型的第一預(yù)測標(biāo)簽以及所述第一預(yù)測標(biāo)簽的可信度，則所述將所述目標(biāo)變形系數(shù)作為權(quán)重對(duì)每個(gè)人物的多個(gè)所述第一預(yù)測結(jié)果進(jìn)行預(yù)測結(jié)果優(yōu)化處理，得到每個(gè)人物的目標(biāo)預(yù)測結(jié)果，包括：
15、以所述目標(biāo)方位角為聚類條件，分別對(duì)每個(gè)人物的多個(gè)所述第一預(yù)測結(jié)果進(jìn)行聚類，得到每個(gè)人物的各個(gè)目標(biāo)方位角對(duì)應(yīng)的目標(biāo)聚類集合，所述目標(biāo)聚類集合包括所述目標(biāo)方位角對(duì)應(yīng)的各個(gè)第二預(yù)測結(jié)果；
16、將所述可信度作為權(quán)重，分別對(duì)各個(gè)所述目標(biāo)聚類集合的第二預(yù)測結(jié)果包括的第二預(yù)測標(biāo)簽進(jìn)行加權(quán)決策處理，得到加權(quán)決策后的第三預(yù)測標(biāo)簽；
17、將所述目標(biāo)變形系數(shù)作為權(quán)重，對(duì)每個(gè)人物的各個(gè)第三預(yù)測標(biāo)簽進(jìn)行加權(quán)決策處理，得到每個(gè)人物的最終預(yù)測標(biāo)簽，所述目標(biāo)預(yù)測結(jié)果包括所述最終預(yù)測標(biāo)簽。
18、在一種可行實(shí)現(xiàn)方式中，所述人工智能模型至少包括基于自注意力機(jī)制的transformer模型、三維卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)，則所述將所述課堂圖像分別輸入至多種預(yù)先訓(xùn)練的人工智能模型進(jìn)行行為預(yù)測，得到所述課堂圖像中每個(gè)人物的多個(gè)第一預(yù)測結(jié)果，包括：
19、將所述課堂圖像分別輸入至所述訓(xùn)練完成的基于自注意力機(jī)制的transformer模型、三維卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行行為預(yù)測，得到所述課堂圖像中每個(gè)人物的多個(gè)第一預(yù)測結(jié)果。
20、在一種可行實(shí)現(xiàn)方式中，所述方法還包括：
21、獲取訓(xùn)練樣本數(shù)據(jù)，所述訓(xùn)練樣本數(shù)據(jù)至少包括若干樣本課堂圖像以及所述樣本課堂圖像對(duì)應(yīng)的課堂行為類型的真實(shí)標(biāo)簽；
22、將樣本課堂圖像輸入到初始卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到每個(gè)人物的第四預(yù)測標(biāo)簽；
23、利用所述第四預(yù)測標(biāo)簽、所述真實(shí)標(biāo)簽以及預(yù)設(shè)損失函數(shù)，確定所述初始卷積神經(jīng)網(wǎng)絡(luò)的損失值；
24、若所述損失值低于預(yù)設(shè)損失閾值，則確定所述初始卷積神經(jīng)網(wǎng)絡(luò)收斂，得到訓(xùn)練完成的卷積神經(jīng)網(wǎng)絡(luò)。
25、在一種可行實(shí)現(xiàn)方式中，所述損失函數(shù)為如下數(shù)學(xué)表達(dá)式：
26、
27、式中，n為樣本總數(shù)，m為課堂行為類型的總數(shù)，ioui代表樣本i的預(yù)測框與真實(shí)框的交集和并集的比值，di為樣本i的預(yù)測框與真實(shí)框中心點(diǎn)的距離，li為樣本i的預(yù)測框與真實(shí)框最小包圍矩形的對(duì)角線長，vi為樣本i的預(yù)測框與真實(shí)框的寬高比相似度，α為vi的影響因子，yic是指示變量，用于指示樣本i的第四預(yù)測標(biāo)簽的課堂行為類型c的真實(shí)度，如果課堂行為類型c與樣本i的真實(shí)標(biāo)簽的課堂行為類型相同，則yic取值是1，否則是0，pic代表觀測樣本i屬于課堂行為類型c的預(yù)測概率。
28、為實(shí)現(xiàn)上述目的，本專利技術(shù)第二方面提供一種課堂行為的識(shí)別裝置，所述裝置包括：
29、數(shù)據(jù)采集模塊：用于獲取教學(xué)過程中多個(gè)影音采集設(shè)備采集的課堂影音數(shù)據(jù)，所述課堂影音數(shù)據(jù)至少包括各個(gè)影音采集設(shè)備采集的各個(gè)課堂圖像；
30、行為預(yù)測模塊：用于將所述課堂圖像分別輸入至多種預(yù)先訓(xùn)練的人工智能模型進(jìn)行行為預(yù)測，得到所述課堂圖像中每個(gè)人物的多個(gè)第一預(yù)測結(jié)果，所述預(yù)測結(jié)果用于反映所述人物的課堂行為類型；
31、畸變確定模塊：用于確定所述影音采集設(shè)備對(duì)于每個(gè)人物的成像畸變特征；
32、結(jié)果優(yōu)化模塊：用于利用所述成像畸變特征及多個(gè)所述第一預(yù)測結(jié)果進(jìn)行預(yù)測結(jié)果優(yōu)化處理，得到每個(gè)人物的目標(biāo)預(yù)測結(jié)果。
33、為實(shí)現(xiàn)上述目的，本專利技術(shù)第三方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如第一方面及任一可行實(shí)現(xiàn)方式所示步驟。
34、為實(shí)現(xiàn)上述目的，本專利技術(shù)第四方面提供一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種課堂行為的識(shí)別方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述影音采集設(shè)備至少包括攝像頭，則所述確定所述影音采集設(shè)備對(duì)于每個(gè)人物的成像畸變特征，包括：
3.根據(jù)權(quán)利要求2所述方法，其特征在于，所述利用所述成像畸變特征及多個(gè)所述第一預(yù)測結(jié)果進(jìn)行預(yù)測結(jié)果優(yōu)化處理，得到每個(gè)人物的目標(biāo)預(yù)測結(jié)果，包括：
4.根據(jù)權(quán)利要求3所述方法，其特征在于，所述第一預(yù)測結(jié)果包括課堂行為類型的第一預(yù)測標(biāo)簽以及所述第一預(yù)測標(biāo)簽的可信度，則所述將所述目標(biāo)變形系數(shù)作為權(quán)重對(duì)每個(gè)人物的多個(gè)所述第一預(yù)測結(jié)果進(jìn)行預(yù)測結(jié)果優(yōu)化處理，得到每個(gè)人物的目標(biāo)預(yù)測結(jié)果，包括：
5.根據(jù)權(quán)利要求1所述方法，其特征在于，所述人工智能模型至少包括基于自注意力機(jī)制的Transformer模型、三維卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)以及卷積神經(jīng)網(wǎng)絡(luò)，則所述將所述課堂圖像分別輸入至多種預(yù)先訓(xùn)練的人工智能模型進(jìn)行行為預(yù)測，得到所述課堂圖像中每個(gè)人物的多個(gè)第一預(yù)測結(jié)果，包括：
6.根據(jù)權(quán)利要求5所述方法，其特征在于，所述方法還包括：
7.根據(jù)權(quán)
8.一種課堂行為的識(shí)別裝置，其特征在于，所述裝置包括：
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。
10.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器和處理器，其特征在于，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，使得所述處理器執(zhí)行如權(quán)利要求1至7中任一項(xiàng)所述方法的步驟。
...【技術(shù)特征摘要】
1.一種課堂行為的識(shí)別方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述影音采集設(shè)備至少包括攝像頭，則所述確定所述影音采集設(shè)備對(duì)于每個(gè)人物的成像畸變特征，包括：
3.根據(jù)權(quán)利要求2所述方法，其特征在于，所述利用所述成像畸變特征及多個(gè)所述第一預(yù)測結(jié)果進(jìn)行預(yù)測結(jié)果優(yōu)化處理，得到每個(gè)人物的目標(biāo)預(yù)測結(jié)果，包括：
4.根據(jù)權(quán)利要求3所述方法，其特征在于，所述第一預(yù)測結(jié)果包括課堂行為類型的第一預(yù)測標(biāo)簽以及所述第一預(yù)測標(biāo)簽的可信度，則所述將所述目標(biāo)變形系數(shù)作為權(quán)重對(duì)每個(gè)人物的多個(gè)所述第一預(yù)測結(jié)果進(jìn)行預(yù)測結(jié)果優(yōu)化處理，得到每個(gè)人物的目標(biāo)預(yù)測結(jié)果，包括：
5.根據(jù)權(quán)利要求1所述方法，其特征在于，所述人工智能模型至少包括基于自注意力機(jī)制的transformer模型、三維卷...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：余偉，梅婧怡，樊子旭，梁輝，許多，鄧安琪，
申請(qǐng)(專利權(quán))人：九江數(shù)字產(chǎn)業(yè)發(fā)展有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。