雙屏協同交互下的遠程互動課堂教學方法技術

本申請涉及智能課堂領域，其具體公開了一種雙屏協同交互下的遠程互動課堂教學方法，其能夠基于學生的面部特征來判斷學生是否在認真聽課，之后將學生的聽課情況及時反饋給老師。這樣，可以提高學生的上課注意力，老師可以更準確地掌握學生的學習狀態，提高學生學習效率。率。率。

【技術實現步驟摘要】
雙屏協同交互下的遠程互動課堂教學方法


[0001]本申請涉及智能課堂領域，且更為具體的涉及一種雙屏協同交互下的遠程互動課堂教學方法。

技術介紹

[0002]雙屏協同交互下的遠程互動課堂教學是指在遠程教學環境中，教師和學生通過兩個屏幕進行交互和教學。其中一個屏幕用于教師展示課件、講解內容等，另一個屏幕用于學生參與互動、回答問題等。雙屏協同交互下的遠程互動課堂教學具有很多優點：1、提供更豐富的教學資源：通過遠程互動課堂，教師可以利用互聯網上的各種資源，如教學視頻、在線教材、網絡實驗等，為學生提供更豐富的學習資源，豐富了教學內容和方式。2、提高學生參與度：遠程互動課堂可以利用實時問答工具、在線討論等方式，鼓勵學生積極參與課堂互動。學生可以通過雙屏協同交互，實時回答問題、提出疑問，增加了學生的參與度和積極性。3、彌補時空限制：遠程互動課堂可以打破時空限制，學生可以在任何時間、任何地點參與學習。這對于異地學生、工作人員或有特殊需求的學生來說，具有很大的便利性和靈活性。但是雙屏協同交互下的遠程互動課堂教學也有一些限制，比如線上上課，教師對學生的學習狀態難以得到及時了解。
[0003]因此，期待一種優化的雙屏協同交互下的遠程互動課堂教學方案。

技術實現思路

[0004]為了解決上述技術問題，提出了本申請。本申請的實施例提供了一種雙屏協同交互下的遠程互動課堂教學方法，其能夠基于學生的面部特征來判斷學生是否在認真聽課，之后將學生的聽課情況及時反饋給老師。這樣，可以提高學生的上課注意力，老師可以更準確地掌握學生的學習狀態，提高學生學習效率。
[0005]根據本申請的一個方面，提供了一種雙屏協同交互下的遠程互動課堂教學方法，其包括：獲取預定時間段的學生面部監控視頻；以預定采樣頻率從所述學生面部監控視頻得到多個監控關鍵幀；將所述監控關鍵幀通過使用空間注意力的第一卷積神經網絡模型以得到空間增強面部特征圖；將所述監控關鍵幀通過使用通道注意力的第二卷積神經網絡模型以得到通道增強面部特征圖；融合所述空間增強面部特征圖和所述通道增強面部特征圖以得到分類特征圖；以及將所述分類特征圖通過分類器以得到分類結果，所述分類結果用于表示當前時間點學生聽課是否認真。
[0006]在上述的雙屏協同交互下的遠程互動課堂教學方法中，將所述監控關鍵幀通過使用空間注意力的第一卷積神經網絡模型以得到空間增強面部特征圖，包括：
使用所述第一卷積神經網絡模型的卷積編碼部分對所述監控關鍵幀進行深度卷積編碼以得到初始卷積特征圖；將所述初始卷積特征圖輸入所述第一卷積神經網絡模型的空間注意力部分以得到空間注意力圖；將所述空間注意力圖通過Softmax激活函數以得到空間注意力特征圖；以及計算所述空間注意力特征圖和所述初始卷積特征圖的按位置點乘以得到空間增強面部特征圖。
[0007]在上述的雙屏協同交互下的遠程互動課堂教學方法中，將所述監控關鍵幀通過使用通道注意力的第二卷積神經網絡模型以得到通道增強面部特征圖，用于：使用所述第二卷積神經網絡模型的各層在層的正向傳遞中對輸入數據進行：對所述輸入數據進行基于二維卷積核的卷積處理以生成卷積特征圖；對所述卷積特征圖進行基于局部特征矩陣的池化處理以生成池化特征圖；對所述池化特征圖進行激活處理以生成激活特征圖；計算所述激活特征圖的沿通道維度的各個特征矩陣的全局均值以獲得通道特征向量；計算所述通道特征向量中各個位置的特征值相對于所述通道特征向量的所有位置的特征值的加權和的比值以獲得通道加權特征向量；以及以所述通道加權特征向量的各個位置的特征值作為權重對所述激活特征圖的沿通道維度的特征矩陣進行點乘以獲得生成特征圖；其中，所述第二卷積神經網絡模型的最后一層輸出的所述生成特征圖為所述通道增強面部特征圖。
[0008]在上述的雙屏協同交互下的遠程互動課堂教學方法中，融合所述空間增強面部特征圖和所述通道增強面部特征圖以得到分類特征圖，包括：計算所述空間增強面部特征圖的沿通道維度的各個特征矩陣與所述通道增強面部特征圖的沿通道維度的各個特征矩陣之間的KL散度以得到多個KL散度值；計算所述多個KL散度值的加和值作為所述空間增強面部特征圖的沿通道維度的各個特征矩陣相對于所述第二特征矩陣的全局特征分布的幾何相似度；將所述空間增強面部特征圖的沿通道維度的各個特征矩陣相對于所述第二特征矩陣的全局特征分布的幾何相似度排列為幾何相似度全局輸入向量；將所述幾何相似度全局輸入向量輸入Softmax函數以得到概率化幾何相似度全局特征向量；以及以所述概率化幾何相似度全局特征向量中各個位置的特征值作為權重值來融合所述空間增強面部特征圖和所述通道增強面部特征圖以得到所述分類特征圖。
[0009]在上述的雙屏協同交互下的遠程互動課堂教學方法中，將所述分類特征圖通過分類器以得到分類結果，所述分類結果用于表示當前時間點學生聽課是否認真，包括：將所述分類特征圖按照行向量或者列向量展開為分類特征向量；使用所述分類器的全連接層對所述分類特征向量進行全連接編碼以得到編碼分類特征向量；以及將所述編碼分類特征向量輸入所述分類器的Softmax分類函數以得到所述分類結果。
[0010]與現有技術相比，本申請提供的雙屏協同交互下的遠程互動課堂教學方法，其能夠基于學生的面部特征來判斷學生是否在認真聽課，之后將學生的聽課情況及時反饋給老
師。這樣，可以提高學生的上課注意力，老師可以更準確地掌握學生的學習狀態，提高學生學習效率。
附圖說明
[0011]通過結合附圖對本申請實施例進行更詳細的描述，本申請的上述以及其他目的、特征和優勢將變得更加明顯。附圖用來提供對本申請實施例的進一步理解，并且構成說明書的一部分，與本申請實施例一起用于解釋本申請，并不構成對本申請的限制。在附圖中，相同的參考標號通常代表相同部件或步驟。
[0012]圖1圖示了根據本申請實施例的雙屏協同交互下的遠程互動課堂教學方法的流程圖。
[0013]圖2圖示了根據本申請實施例的雙屏協同交互下的遠程互動課堂教學方法的架構圖。
[0014]圖3圖示了根據本申請實施例的雙屏協同交互下的遠程互動課堂教學方法中融合所述空間增強面部特征圖和所述通道增強面部特征圖以得到分類特征圖的流程圖。
[0015]圖4圖示了根據本申請實施例的雙屏協同交互下的遠程互動課堂教學方法中將所述分類特征圖通過分類器以得到分類結果，所述分類結果用于表示當前時間點學生聽課是否認真的流程圖。
[0016]圖5圖示了根據本申請實施例的電子設備的框圖。
具體實施方式
[0017]下面，將參考附圖詳細地描述根據本申請的示例實施例。顯然，所描述的實施例僅僅是本申請的一部分實施例，而不是本申請的全部實施例，應理解，本申請不受這里描述的示例實施例的限制。
[0018]申請概述如上述
技術介紹
所言，雙屏協同交互下的遠程互動課堂教學是指在遠程教學環境中，教師和學生通過兩個屏幕進行交互和教學。其中一個屏幕用于教師展示課件、講解內容等，另一個屏幕用于學生參與互動、回答問題等。雙屏協同交互下本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種雙屏協同交互下的遠程互動課堂教學方法，其特征在于，包括：獲取預定時間段的學生面部監控視頻；以預定采樣頻率從所述學生面部監控視頻得到監控關鍵幀；將所述監控關鍵幀通過使用空間注意力的第一卷積神經網絡模型以得到空間增強面部特征圖；將所述監控關鍵幀通過使用通道注意力的第二卷積神經網絡模型以得到通道增強面部特征圖；融合所述空間增強面部特征圖和所述通道增強面部特征圖以得到分類特征圖；以及將所述分類特征圖通過分類器以得到分類結果，所述分類結果用于表示當前時間點學生聽課是否認真。2.根據權利要求1所述的雙屏協同交互下的遠程互動課堂教學方法，其特征在于，將所述監控關鍵幀通過使用空間注意力的第一卷積神經網絡模型以得到空間增強面部特征圖，包括：使用所述第一卷積神經網絡模型的卷積編碼部分對所述監控關鍵幀進行深度卷積編碼以得到初始卷積特征圖；將所述初始卷積特征圖輸入所述第一卷積神經網絡模型的空間注意力部分以得到空間注意力圖；將所述空間注意力圖通過Softmax激活函數以得到空間注意力特征圖；以及計算所述空間注意力特征圖和所述初始卷積特征圖的按位置點乘以得到空間增強面部特征圖。3.根據權利要求2所述的雙屏協同交互下的遠程互動課堂教學方法，將所述監控關鍵幀通過使用通道注意力的第二卷積神經網絡模型以得到通道增強面部特征圖，用于：使用所述第二卷積神經網絡模型的各層在層的正向傳遞中對輸入數據進行：對所述輸入數據進行基于二維卷積核的卷積處理以生成卷積特征圖；對所述卷積特征圖進行基于局部特征矩陣的池化處理以生成池化特征圖；對所述池化特征圖進行激活處理以生成激活特征圖；計算所述激活特征圖的沿通道維度的各個特征矩陣的全局均值以獲得通道特征向量；計算所述通道特征向量中各個...

【專利技術屬性】
技術研發人員：劉忻，
申請(專利權)人：廈門勱聯科技有限公司，
類型：發明
國別省市：