【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及視頻處理領(lǐng)域，尤其涉及一種網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法、相應(yīng)的裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)。
技術(shù)介紹
1、在現(xiàn)代化教育中，網(wǎng)絡(luò)教學(xué)視頻已經(jīng)成為一種重要的教學(xué)工具，視頻教學(xué)內(nèi)容豐富直觀，有助于提高學(xué)習(xí)者的興趣和理解能力。然而，現(xiàn)有的視頻教學(xué)資源通常缺乏系統(tǒng)的組織和高效的分類方法，不同科目、不同階段以及不同知識點(diǎn)的教學(xué)視頻常常分散不一。特別是對于有特定學(xué)習(xí)需求的學(xué)生，難以快速定位到所需的知識點(diǎn)，這嚴(yán)重影響了教育視頻資源的利用效率。
2、傳統(tǒng)技術(shù)中，對于視頻的分類和標(biāo)注，大多依賴人工操作，其效率和準(zhǔn)確性有待提高，而隨著視頻內(nèi)容的不斷增加，傳統(tǒng)方法顯得越來越難以滿足需求。
3、現(xiàn)有技術(shù)在處理輸入視頻時(shí)，對于每一幀圖像逐幀進(jìn)行識別，計(jì)算量十分龐大。此外，使用卷積神經(jīng)網(wǎng)絡(luò)來提取視頻特征時(shí)，由于這些模型的層數(shù)較多、每層卷積核的數(shù)量大，導(dǎo)致計(jì)算量和內(nèi)存需求非常高，從而在實(shí)時(shí)性和高效性上存在較大限制。與此同時(shí)，還需要對教育課件進(jìn)行額外處理；在ocr文字檢測過程中，faster?r-cnn和fcn在處理復(fù)雜背景和小尺寸文本時(shí)效果不佳，無法準(zhǔn)確識別細(xì)節(jié)信息，textboxes和ctpn對彎曲文本的支持不足，且檢測速度較慢，影響了實(shí)時(shí)性。
4、綜上所述，適應(yīng)現(xiàn)有技術(shù)中對于視頻的處理，存在計(jì)算量和內(nèi)存需求非常高，從而在實(shí)時(shí)性和高效性上存在較大限制，以及在處理復(fù)雜背景和小尺寸文本時(shí)效果不佳，無法準(zhǔn)確識別細(xì)節(jié)信息等問題，本申請人出于解決該問題的考慮作出相應(yīng)的探索。
技術(shù)實(shí)現(xiàn)思
1、本申請的目的在于解決上述問題而提供一種網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法、相應(yīng)的裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)。
2、為滿足本申請的各個(gè)目的，本申請采用如下技術(shù)方案：
3、適應(yīng)本申請的目的之一而提出的一種網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，包括：
4、響應(yīng)對網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)進(jìn)行分類提取的指令，獲取網(wǎng)絡(luò)教學(xué)視頻集，其中，所述網(wǎng)絡(luò)教學(xué)視頻集由多個(gè)不同種類的網(wǎng)絡(luò)教學(xué)視頻所構(gòu)建；
5、采用已訓(xùn)練至收斂狀態(tài)的視頻關(guān)鍵幀識別模型從所述網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流中提取各個(gè)視頻關(guān)鍵幀，以構(gòu)建視頻關(guān)鍵幀序列；
6、采用預(yù)設(shè)的字符識別模型提取所述視頻關(guān)鍵幀序列中每個(gè)視頻關(guān)鍵幀的文本數(shù)據(jù)，以生成每個(gè)視頻關(guān)鍵幀相對應(yīng)的文本序列；
7、將所述視頻關(guān)鍵幀相對應(yīng)的文本序列輸入至已訓(xùn)練至收斂狀態(tài)的知識點(diǎn)分類模型，為每個(gè)視頻關(guān)鍵幀生成其相對應(yīng)的知識點(diǎn)標(biāo)簽，其中，所述知識點(diǎn)標(biāo)簽表征學(xué)科科目以及其相對應(yīng)的知識點(diǎn)類別；
8、基于所述視頻關(guān)鍵幀相對應(yīng)的時(shí)間戳以及知識點(diǎn)標(biāo)簽，將所述網(wǎng)絡(luò)教學(xué)視頻切割成多個(gè)視頻片段，將同一知識點(diǎn)標(biāo)簽相對應(yīng)的視頻片段進(jìn)行合并以確定各個(gè)知識點(diǎn)標(biāo)簽相對應(yīng)的網(wǎng)絡(luò)教學(xué)視頻，以完成網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)的分類提取。
9、可選的，采用已訓(xùn)練至收斂狀態(tài)的視頻關(guān)鍵幀識別模型從所述網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流中提取各個(gè)視頻關(guān)鍵幀，以構(gòu)建視頻關(guān)鍵幀序列的步驟之前,包括：
10、響應(yīng)預(yù)處理指令，獲取網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流的原始幀率，其中，所述原始幀率表征每秒鐘的圖像幀數(shù)量；
11、基于所述網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流的原始幀率，按照預(yù)設(shè)的時(shí)間間隔提取所述網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流中的視頻圖像幀，作為所述網(wǎng)絡(luò)教學(xué)視頻的目標(biāo)視頻圖像幀。
12、可選的，采用已訓(xùn)練至收斂狀態(tài)的視頻關(guān)鍵幀識別模型從所述網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流中提取各個(gè)視頻關(guān)鍵幀，以構(gòu)建視頻關(guān)鍵幀序列的步驟，包括：
13、確定網(wǎng)絡(luò)教學(xué)視頻的目標(biāo)視頻圖像幀，將所述目標(biāo)視頻圖像幀輸入至已訓(xùn)練至收斂狀態(tài)的視頻關(guān)鍵幀識別模型；
14、針對輸入的目標(biāo)視頻圖像幀進(jìn)行圖像塊嵌入，獲得多個(gè)圖像塊向量，同時(shí)增加一個(gè)分類向量，構(gòu)成多個(gè)嵌入向量；
15、針對所述多個(gè)嵌入向量添加位置編碼向量以構(gòu)成輸入向量，其中，所述位置編碼向量用于保持圖像塊之間的空間位置信息；
16、針對所述輸入向量堆疊多個(gè)編碼模塊進(jìn)行特征提取，以確定每個(gè)目標(biāo)視頻圖像幀相對應(yīng)的特征向量，其中，所述編碼模塊中包括多個(gè)多頭自注意力編碼層；
17、計(jì)算確定所述目標(biāo)視頻圖像幀中相鄰視頻圖像幀的特征向量之間的歐幾里得距離，檢測所述歐幾里得距離是否超過預(yù)設(shè)的變化率閾值，若超過，將超過預(yù)設(shè)的變化率閾值的目標(biāo)視頻圖像幀作為視頻關(guān)鍵幀，以構(gòu)建視頻關(guān)鍵幀序列。
18、可選的，采用預(yù)設(shè)的字符識別模型提取所述關(guān)鍵視頻圖像序列中每個(gè)視頻關(guān)鍵幀文本數(shù)據(jù)，以生成每個(gè)視頻關(guān)鍵幀相對應(yīng)的文本序列的步驟，包括：
19、獲取包含有待識別字符的視頻關(guān)鍵幀；
20、將所述包含有待識別字符的視頻關(guān)鍵幀輸入至預(yù)設(shè)的字符識別模型，其中，所述字符識別模型由db文本檢測算法模塊、文本方向分類器以及crnn文本識別算法模塊所構(gòu)建，在所述db文本檢測算法模塊的輸出與所述crnn文本識別算法模塊的輸入之間設(shè)有文本方向分類器；
21、輸出所述視頻關(guān)鍵幀相對應(yīng)的關(guān)鍵幀序號以及文本數(shù)據(jù)，以生成每個(gè)視頻關(guān)鍵幀相對應(yīng)的文本序列。
22、可選的，訓(xùn)練知識點(diǎn)分類模型的步驟，包括：
23、獲取網(wǎng)絡(luò)教育平臺中的網(wǎng)絡(luò)教學(xué)視頻的任一視頻關(guān)鍵幀相對應(yīng)的文本序列作為訓(xùn)練樣本；
24、將所述訓(xùn)練樣本構(gòu)造出編碼向量，調(diào)用預(yù)設(shè)的知識點(diǎn)分類模型中的文本特征提取器，進(jìn)行文本特征提取，獲得相應(yīng)的文本特征；
25、調(diào)用多層全連接神經(jīng)網(wǎng)絡(luò)對每一文本特征進(jìn)行分類獲得分類結(jié)果，利用訓(xùn)練樣本所指向的學(xué)科科目以及其相對應(yīng)的知識點(diǎn)類別作為所述分類結(jié)果的監(jiān)督標(biāo)簽，反向傳播修正文本特征提取器的權(quán)重參數(shù)，直至其損失函數(shù)達(dá)致收斂以完成訓(xùn)練。
26、可選的，基于所述視頻關(guān)鍵幀相對應(yīng)的時(shí)間戳以及知識點(diǎn)標(biāo)簽，將所述網(wǎng)絡(luò)教學(xué)視頻切割成多個(gè)視頻片段，將同一知識點(diǎn)標(biāo)簽相對應(yīng)的視頻片段進(jìn)行合并，以確定各個(gè)知識點(diǎn)標(biāo)簽相對應(yīng)的網(wǎng)絡(luò)教學(xué)視頻的步驟，包括：
27、獲取網(wǎng)絡(luò)教學(xué)視頻中的視頻關(guān)鍵幀，并記錄每個(gè)視頻關(guān)鍵幀在所述網(wǎng)絡(luò)教學(xué)視頻中的時(shí)間戳，其中，所述時(shí)間戳用于標(biāo)識每個(gè)關(guān)鍵幀的精確位置；
28、基于所述視頻關(guān)鍵幀相對應(yīng)的時(shí)間戳以及知識點(diǎn)標(biāo)簽，讀取網(wǎng)絡(luò)教學(xué)視頻中各個(gè)視頻關(guān)鍵幀的位置，以確定視頻分割點(diǎn)；
29、基于所述視頻分割點(diǎn)將所述網(wǎng)絡(luò)教學(xué)視頻進(jìn)行分割，以確定各個(gè)知識點(diǎn)標(biāo)簽相對應(yīng)的視頻片段，其中，所述視頻片段與知識點(diǎn)標(biāo)簽一一對應(yīng)；
30、將同一知識點(diǎn)標(biāo)簽相對應(yīng)的視頻片段進(jìn)行合并，以確定各個(gè)知識點(diǎn)標(biāo)簽相對應(yīng)的網(wǎng)絡(luò)教學(xué)視頻，以完成網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)的分類提取。
31、可選的，所述視頻關(guān)鍵幀識別模型的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)為vi?t模型；所述知識點(diǎn)分類模型的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)為bert模型。
32、適應(yīng)本申請的另一目的而提供的一種網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取裝置，包括：
33、教學(xué)視頻獲取模塊，設(shè)置為響應(yīng)對網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)進(jìn)行本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，采用已訓(xùn)練至收斂狀態(tài)的視頻關(guān)鍵幀識別模型從所述網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流中提取各個(gè)視頻關(guān)鍵幀，以構(gòu)建視頻關(guān)鍵幀序列的步驟之前,包括：
3.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，采用已訓(xùn)練至收斂狀態(tài)的視頻關(guān)鍵幀識別模型從所述網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流中提取各個(gè)視頻關(guān)鍵幀，以構(gòu)建視頻關(guān)鍵幀序列的步驟，包括：
4.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，采用預(yù)設(shè)的字符識別模型提取所述關(guān)鍵視頻圖像序列中每個(gè)視頻關(guān)鍵幀文本數(shù)據(jù)，以生成每個(gè)視頻關(guān)鍵幀相對應(yīng)的文本序列的步驟，包括：
5.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，訓(xùn)練知識點(diǎn)分類模型的步驟，包括：
6.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，基于所述視頻關(guān)鍵幀相對應(yīng)的時(shí)間戳以及知識點(diǎn)標(biāo)簽，將所述網(wǎng)絡(luò)教學(xué)視頻切割成多個(gè)視頻片段，將同一知識點(diǎn)標(biāo)簽相對應(yīng)的視
7.根據(jù)權(quán)利要求1至6任意一項(xiàng)所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，所述視頻關(guān)鍵幀識別模型的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)為ViT模型；所述知識點(diǎn)分類模型的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)為BERT模型。
8.一種網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取裝置，其特征在于，包括:
9.一種電子設(shè)備，包括中央處理器和存儲器，其特征在于，所述中央處理器用于調(diào)用運(yùn)行存儲于所述存儲器中的計(jì)算機(jī)程序以執(zhí)行如權(quán)利要求1至7中任意一項(xiàng)所述的方法的步驟。
10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，其以計(jì)算機(jī)可讀指令的形式存儲有依據(jù)權(quán)利要求1至7中任意一項(xiàng)所述的方法所實(shí)現(xiàn)的計(jì)算機(jī)程序，該計(jì)算機(jī)程序被計(jì)算機(jī)調(diào)用運(yùn)行時(shí)，執(zhí)行相應(yīng)的方法所包括的步驟。
...【技術(shù)特征摘要】
1.一種網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，采用已訓(xùn)練至收斂狀態(tài)的視頻關(guān)鍵幀識別模型從所述網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流中提取各個(gè)視頻關(guān)鍵幀，以構(gòu)建視頻關(guān)鍵幀序列的步驟之前,包括：
3.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，采用已訓(xùn)練至收斂狀態(tài)的視頻關(guān)鍵幀識別模型從所述網(wǎng)絡(luò)教學(xué)視頻相對應(yīng)的視頻流中提取各個(gè)視頻關(guān)鍵幀，以構(gòu)建視頻關(guān)鍵幀序列的步驟，包括：
4.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，采用預(yù)設(shè)的字符識別模型提取所述關(guān)鍵視頻圖像序列中每個(gè)視頻關(guān)鍵幀文本數(shù)據(jù)，以生成每個(gè)視頻關(guān)鍵幀相對應(yīng)的文本序列的步驟，包括：
5.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識點(diǎn)分類提取方法，其特征在于，訓(xùn)練知識點(diǎn)分類模型的步驟，包括：
6.根據(jù)權(quán)利要求1所述的網(wǎng)絡(luò)教學(xué)視頻知識...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：周智恒，嚴(yán)啟森，吳晶平，蕭文斌，趙綺琪，金湘韶，
申請(專利權(quán))人：華南理工大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。