本申請?zhí)峁┝艘环N上下課狀態(tài)確定方法、電子設(shè)備及存儲介質(zhì)。方法包括：獲取圖像數(shù)據(jù)和音頻數(shù)據(jù)，圖像數(shù)據(jù)和音頻數(shù)據(jù)的采集時間相同；分別提取圖像數(shù)據(jù)和音頻數(shù)據(jù)的特征，以得到初始圖像特征和初始音頻特征；分別對初始圖像特征和初始音頻特征進行特征轉(zhuǎn)換，以將初始圖像特征和初始音頻特征的維度統(tǒng)一為相同維度；將目標圖像特征與目標音頻特征進行特征融合，以得到目標融合特征，其中，目標圖像特征為經(jīng)特征轉(zhuǎn)換后的初始圖像特征，目標音頻特征為經(jīng)特征轉(zhuǎn)換后的初始音頻特征；基于目標融合特征，確定上下課狀態(tài)分類結(jié)果。該方法可以準確、實時地確定上下課狀態(tài)。
【技術(shù)實現(xiàn)步驟摘要】
本申請涉及人工智能，具體涉及一種上下課狀態(tài)確定方法、電子設(shè)備及存儲介質(zhì)。
技術(shù)介紹
1、智慧教室是一種基于物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)等新興信息技術(shù)的現(xiàn)代化教學(xué)場所。它通過智能設(shè)備和軟件為教學(xué)活動提供便捷、高效的服務(wù)，將現(xiàn)代化技術(shù)融入教學(xué)過程，旨在提高學(xué)生的自主思考和學(xué)習(xí)能力。
2、上下課狀態(tài)確定是智慧教室的重要組成部分，其目的旨在通過所獲得的實時采集的數(shù)據(jù)對課堂的上下課狀態(tài)進行分類。上下課狀態(tài)分類結(jié)果的精度直接影響后續(xù)教室資源的智能化調(diào)配、教學(xué)輔助工具的啟用與關(guān)閉，以及師生行為的自動記錄等多項功能。因此如何通過有限的信息，準確、實時地確定上下課狀態(tài)，成為智慧教室建設(shè)中亟待解決的問題。
3、有鑒于此，特提出本申請。
技術(shù)實現(xiàn)思路
1、考慮到上述問題而提出了本申請。根據(jù)本申請的一個方面，提供了一種上下課狀態(tài)確定方法，包括：
2、獲取圖像數(shù)據(jù)和音頻數(shù)據(jù)，所述圖像數(shù)據(jù)和所述音頻數(shù)據(jù)的采集時間相同；
3、分別提取所述圖像數(shù)據(jù)和所述音頻數(shù)據(jù)的特征，以得到初始圖像特征和初始音頻特征；
4、分別對所述初始圖像特征和所述初始音頻特征進行特征轉(zhuǎn)換，以將所述初始圖像特征和所述初始音頻特征的維度統(tǒng)一為相同維度；
5、將目標圖像特征與目標音頻特征進行特征融合，以得到目標融合特征，其中，所述目標圖像特征為經(jīng)特征轉(zhuǎn)換后的初始圖像特征，所述目標音頻特征為經(jīng)特征轉(zhuǎn)換后的初始音頻特征；
6、基于所述目標融合特征，確定上下課狀態(tài)分類結(jié)果。</p>7、示例性地，所述分別對所述初始圖像特征和所述初始音頻特征進行特征轉(zhuǎn)換，包括：
8、利用第一特征處理操作對所述初始圖像特征進行處理，以消除所述初始圖像特征中的空間維度；
9、利用第二特征處理操作對所述初始音頻特征進行處理，以消除所述初始音頻特征中的時間維度。
10、示例性地，所述第一特征處理操作包括：
11、對所述初始圖像特征進行二維全局平均池化壓縮，以壓縮所述初始圖像特征的空間維度；
12、對經(jīng)壓縮后的初始圖像特征降維處理，以消除所述初始圖像特征中的空間維度。
13、示例性地，所述第二特征處理操作包括：
14、對所述初始音頻特征進行一維全局平均池化壓縮，以壓縮所述初始音頻特征的時間維度；
15、對經(jīng)壓縮后的初始音頻特征降維處理，以消除所述初始音頻特征中的音頻維度。
16、示例性地，所述分別對所述初始圖像特征和所述初始音頻特征進行特征轉(zhuǎn)換，還包括：
17、將經(jīng)所述第一特征處理操作后的初始圖像特征的通道數(shù)壓縮為第一通道數(shù)，所述第一通道數(shù)與所述初始音頻特征的通道數(shù)相同；
18、或，
19、將經(jīng)所述第二特征處理操作后的初始音頻特征的通道數(shù)壓縮為第二通道數(shù)，所述第二通道數(shù)與所述初始圖像特征的通道數(shù)相同；
20、或，
21、將經(jīng)所述第一特征處理操作后的初始圖像特征的通道數(shù)壓縮為第三通道數(shù)；
22、將經(jīng)所述第二特征處理操作后的初始音頻特征的通道數(shù)壓縮為所述第三通道數(shù)。
23、示例性地，所述目標圖像特征和所述目標音頻特征均包括用于表示批次的第一維度和用于表示通道數(shù)的第二維度；所述將目標圖像特征與目標音頻特征進行特征融合，包括：
24、在所述目標圖像特征和所述目標音頻特征中分別添加一個維度，以使所述目標圖像特征和所述目標音頻特征均具有第三維度；
25、將具有所述第三維度的所述目標圖像特征和所述目標音頻特征在所述第三維度上拼接，以得到第一融合特征；
26、通過第一轉(zhuǎn)置操作對所述第一融合特征進行處理，以將所述第一融合特征的第二維度與第三維度進行交換；
27、通過批正則化操作對經(jīng)所述第一轉(zhuǎn)置操作處理后的第一融合特征的第一維度進行處理；
28、通過第二轉(zhuǎn)置操作對經(jīng)所述批正則化操作處理后的第一融合特征進行處理，以還原所述第一融合特征的維度；
29、通過一維卷積操作對經(jīng)所述第二轉(zhuǎn)置操作處理后的第一融合特征進行處理，以消除所述第一融合特征的第三維度；
30、將第二融合特征與所述初始圖像特征和所述初始融合特征相加，以得到所述目標融合特征；
31、其中，所述第二融合特征為經(jīng)所述一維卷積操作處理后的第一融合特征。
32、示例性地，所述基于所述目標融合特征，確定上下課狀態(tài)分類結(jié)果，包括：
33、將所述目標融合特征輸入預(yù)測模型，以得到上下課狀態(tài)分類結(jié)果。
34、示例性地，所述將所述目標融合特征輸入預(yù)測模型，以得到上下課狀態(tài)分類結(jié)果，包括：利用所述預(yù)測模型執(zhí)行以下操作：
35、基于所述目標融合特征，輸出屬于上課狀態(tài)的概率和屬于下課狀態(tài)的概率；
36、確定所述上課狀態(tài)和所述下課狀態(tài)中概率較高的狀態(tài)為所述上下課狀態(tài)分類結(jié)果。
37、根據(jù)本申請的又一方面，提供了一種電子設(shè)備，包括處理器和存儲器，存儲器中存儲有計算機程序，處理器用于執(zhí)行計算機程序以實現(xiàn)上述的方法。
38、根據(jù)本申請的再一方面，提供了一種計算機可讀存儲介質(zhì)，存儲有計算機程序/指令，計算機程序/指令被處理器執(zhí)行時實現(xiàn)上述的方法。
39、在上述技術(shù)方案中，通過融合圖像數(shù)據(jù)和音頻數(shù)據(jù)中的特征得到目標融合特征，并利用目標融合特征確定上下課狀態(tài)分類結(jié)果。該方法可以充分利用圖像與音頻數(shù)據(jù)的互補特性，克服單一模態(tài)方法的局限，提高對上下課狀態(tài)變化的感知能力與泛化性能，從而更為準確地確定上下課狀態(tài)分類結(jié)果。總之，該方案可以解決現(xiàn)有技術(shù)中上下課狀態(tài)自動判別精度不高、實時性不足等問題，該方案所確定的上下課狀態(tài)分類結(jié)果可以為智慧教室資源的智能化調(diào)配、教學(xué)輔助工具的自動啟用與關(guān)閉等后續(xù)功能提供可靠支持，有助于提高用戶的使用體驗。
40、上述說明僅是本申請技術(shù)方案的概述，為了能夠更清楚了解本申請的技術(shù)手段，而可依照說明書的內(nèi)容予以實施，并且為了讓本申請的上述和其它目的、特征和優(yōu)點能夠更明顯易懂，以下特舉本申請的具體實施方式。
本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種上下課狀態(tài)確定方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別對所述初始圖像特征和所述初始音頻特征進行特征轉(zhuǎn)換，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一特征處理操作包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第二特征處理操作包括：
5.根據(jù)權(quán)利要求2-4任一項所述的方法，其特征在于，所述分別對所述初始圖像特征和所述初始音頻特征進行特征轉(zhuǎn)換，還包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標圖像特征和所述目標音頻特征均包括用于表示批次的第一維度和用于表示通道數(shù)的第二維度；所述將目標圖像特征與目標音頻特征進行特征融合，包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述目標融合特征，確定上下課狀態(tài)分類結(jié)果，包括：
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述將所述目標融合特征輸入預(yù)測模型，以得到上下課狀態(tài)分類結(jié)果，包括：利用所述預(yù)測模型執(zhí)行以下操作：
9.一種電子設(shè)備，其特征在于，包括處理器和存儲器，所述存儲器中存儲有計算機程序，所述處理器用于執(zhí)行所述計算機程序以實現(xiàn)如權(quán)利要求1-8任一項所述的方法。
10.一種計算機可讀存儲介質(zhì)，其特征在于，存儲有計算機程序/指令，所述計算機程序/指令被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-8任一項所述的方法。
...
【技術(shù)特征摘要】
1.一種上下課狀態(tài)確定方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別對所述初始圖像特征和所述初始音頻特征進行特征轉(zhuǎn)換，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第一特征處理操作包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述第二特征處理操作包括：
5.根據(jù)權(quán)利要求2-4任一項所述的方法，其特征在于，所述分別對所述初始圖像特征和所述初始音頻特征進行特征轉(zhuǎn)換，還包括：
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標圖像特征和所述目標音頻特征均包括用于表示批次的第一維度和用于表示通道數(shù)的第二維度；所述將目標圖像...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張益民，劉溢棟，李繼文，黃亮，徐建峰，
申請(專利權(quán))人：上海金橋信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。