【技術實現(xiàn)步驟摘要】
本專利技術涉及圖像處理和計算機視覺領域，特別涉及一種教室錄播視頻無效場景識別方法、系統(tǒng)及存儲介質(zhì)。
技術介紹
1、目前，教室的錄播系統(tǒng)用于記錄教學過程，便于學生課后復習或遠程學習。然而，在實際錄制過程中，常常出現(xiàn)無效場景，如無人出現(xiàn)在講臺、師生長時間靜止或設備錯誤導致的無效畫面。這些無效場景會增加存儲成本，影響視頻質(zhì)量和用戶體驗。現(xiàn)有的錄播系統(tǒng)缺乏智能識別無效場景的功能，大多依賴人工剪輯，效率低下。
2、現(xiàn)有技術中雖有一些用于監(jiān)控視頻的異常檢測技術，但由于教室錄播視頻的場景較為特殊，單一的監(jiān)控視頻分析方法在此場景中識別準確度較低。因此，急需一種能夠有效識別教室錄播視頻中無效場景的方法，以提升錄播視頻的有效性和質(zhì)量。
技術實現(xiàn)思路
1、針對現(xiàn)有技術中存在的問題，提供了一種教室錄播視頻無效場景識別方法、系統(tǒng)及存儲介質(zhì)，能夠自動識別和剔除錄播視頻中的無效場景片段。
2、本專利技術第一方面提出了一種教室錄播視頻無效場景識別方法，包括：
3、對教室錄播視頻進行預處理，并利用卷積神經(jīng)網(wǎng)絡提取每幀圖像中教室場景的空間特征和人的行為特征，輸出帶相應標簽的幀圖像；
4、將帶相應標簽的幀圖像按秒分組標記為一個序列，并利用序列模型進行時間序列分析，識別教師與學生的行為動態(tài)，輸出帶有人物的多種時間特征標簽的幀圖像；
5、利用光流法檢測幀間的像素運動情況；
6、根據(jù)卷積神經(jīng)網(wǎng)絡與序列模型輸出的幀圖像標簽與像素運動情況標記教室錄播視頻中的
7、剪輯去除錄播視頻中無效場景的片段，生成優(yōu)化后的教室錄播視頻。
8、作為一種優(yōu)選方案，所述預處理具體包括：
9、將教師錄播視頻轉(zhuǎn)換為幀序列形式；
10、將每幀圖像轉(zhuǎn)換到hsv色彩空間，并將面積閾值大于預設值的圖像判定為異常畫面去除；
11、采用高斯濾波去除圖像幀中的噪聲；
12、將彩色圖像轉(zhuǎn)換為灰度圖；
13、將處理后的圖像幀按預設類別命名，并作標準化處理。
14、作為一種優(yōu)選方案，所述卷積神經(jīng)網(wǎng)絡包括四個二維卷積層與一個最大池化層，并采用批量歸一化進行訓練，用于提取教室場景中的空間特征和人的行為特征。
15、作為一種優(yōu)選方案，所述序列模型包括依次連接的兩層長短期記憶網(wǎng)絡、第一卷積層、最大池化層、第二卷積層、全局平均池層、批量歸一化層以及輸出層，用于識別教師與學生的行為動態(tài)特征。
16、作為一種優(yōu)選方案，所述利用光流法檢測幀間的像素運動情況，具體包括：
17、確定同時包含卷積神經(jīng)網(wǎng)絡輸出的帶人物行為標簽與序列模型輸出的帶師生無互動標簽的幀圖像，并取前后各一幀圖像分別與當前幀組成兩組數(shù)據(jù)對；
18、通過光流法兩組數(shù)據(jù)對的幀間像素運動情況，取結(jié)果較小值作為當前幀的運動情況檢測結(jié)果，進而確定是否無顯著運動。作為一種優(yōu)選方案，還包括利用人臉與手勢檢測結(jié)果判斷教師是否在講臺區(qū)域并處于有效教學狀態(tài)，輔助驗證卷積神經(jīng)網(wǎng)絡與序列模型的特征提取結(jié)果。
19、作為一種優(yōu)選方案，所述利用人臉與手勢檢測結(jié)果判斷教師是否在講臺區(qū)域并處于有效教學狀態(tài)，具體包括：
20、利用深度學習算法提取幀圖像中人物面部特征，并使用分類器判斷是否為教師；
21、再通過檢測教師的手部動作，判斷是否在進行有效的教學活動。
22、作為一種優(yōu)選方案，所述根據(jù)卷積神經(jīng)網(wǎng)絡與序列模型輸出的幀圖像標簽與像素運動情況標記教室錄播視頻中的無效場景，具體包括：
23、根根據(jù)卷積神經(jīng)網(wǎng)絡與序列模型輸出的幀圖像標簽與像素運動情況，判斷幀圖像是否滿足以下條件：
24、（1）教師不在講臺或長時間靜止；
25、（2）學生無互動；
26、（3）光流法檢測到場景內(nèi)無顯著運動；
27、若幀圖像滿足任一條件則將該幀圖像標記為無效場景。
28、本專利技術第二方面提出了一種系統(tǒng)，包括存儲器和處理器，所述存儲器上存儲有能夠被處理器加載并執(zhí)行如第一方面所述的教室錄播視頻無效場景識別方法對應的計算機程序。
29、本專利技術第三方面提出了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，所述程序指令被處理器執(zhí)行時用于實現(xiàn)第一方面所述的教室錄播視頻無效場景識別方法對應的過程。
30、與現(xiàn)有技術相比，采用上述技術方案的有益效果為：
31、（1）精準識別無效場景：基于圖像特征、時間序列和行為分析的多重結(jié)合，顯著提高了無效場景的識別準確率，避免誤判有效片段。
32、（2）減少存儲與人工干預：自動標記并移除無效場景，大幅減少錄播視頻的存儲空間需求，減輕后期人工剪輯工作量。
33、（3）提升觀看體驗：通過自動優(yōu)化視頻內(nèi)容，移除冗余片段，使觀看者能夠集中于有效教學內(nèi)容，提升學習效果。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種教室錄播視頻無效場景識別方法，其特征在于，包括：
2.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，所述預處理具體包括：
3.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡包括四個二維卷積層與一個最大池化層，并采用批量歸一化進行訓練，用于提取教室場景中的空間特征和人的行為特征。
4.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，所述序列模型包括依次連接的兩層長短期記憶網(wǎng)絡、第一卷積層、最大池化層、第二卷積層、全局平均池層、批量歸一化層以及輸出層，用于識別教師與學生的行為動態(tài)特征。
5.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，所述利用光流法檢測幀間的像素運動情況，具體包括：
6.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，還包括利用人臉與手勢檢測結(jié)果判斷教師是否在講臺區(qū)域并處于有效教學狀態(tài)，輔助驗證卷積神經(jīng)網(wǎng)絡與序列模型的特征提取結(jié)果。
7.根據(jù)權利要求6所述的教室錄播視頻無效場景識別方法，其特征在于
8.根據(jù)權利要求5所述的教室錄播視頻無效場景識別方法，其特征在于，所述根據(jù)卷積神經(jīng)網(wǎng)絡與序列模型輸出的幀圖像標簽與像素運動情況標記教室錄播視頻中的無效場景，具體包括：
9.一種系統(tǒng)，其特征在于，包括存儲器和處理器，所述存儲器上存儲有能夠被處理器加載并執(zhí)行如權利要求1~8任一項所述的教室錄播視頻無效場景識別方法對應的計算機程序。
10.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序指令，其特征在于，所述程序指令被處理器執(zhí)行時用于實現(xiàn)權利要求1~8任一項所述的教室錄播視頻無效場景識別方法對應的過程。
...【技術特征摘要】
1.一種教室錄播視頻無效場景識別方法，其特征在于，包括：
2.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，所述預處理具體包括：
3.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡包括四個二維卷積層與一個最大池化層，并采用批量歸一化進行訓練，用于提取教室場景中的空間特征和人的行為特征。
4.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，所述序列模型包括依次連接的兩層長短期記憶網(wǎng)絡、第一卷積層、最大池化層、第二卷積層、全局平均池層、批量歸一化層以及輸出層，用于識別教師與學生的行為動態(tài)特征。
5.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，所述利用光流法檢測幀間的像素運動情況，具體包括：
6.根據(jù)權利要求1所述的教室錄播視頻無效場景識別方法，其特征在于，還包括...
【專利技術屬性】
技術研發(fā)人員：周鑫，孟宇，王偉，劉建明，劉娜，李雪妍，
申請(專利權)人：成都索貝數(shù)碼科技股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。