【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)屬于視頻，特別涉及一種筆記生成方法、裝置、可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品。
技術(shù)介紹
1、教學(xué)類的視頻軟件中，具有大量的教學(xué)類視頻供用戶觀看學(xué)習(xí)，但視頻中的課件并不提供，對(duì)于后期的復(fù)習(xí)鞏固造成不便；即使提供了ppt課件，其內(nèi)容繁多，沒有形成重點(diǎn)。當(dāng)查閱知識(shí)點(diǎn)時(shí)，要么需要重新觀看視頻，要么翻閱全量ppt課件，耗時(shí)費(fèi)力，不利于復(fù)習(xí)。
2、目前可以通過進(jìn)行筆記的生成以方便用戶查閱知識(shí)點(diǎn)，但是生成的筆記是后臺(tái)批量統(tǒng)一跑出來的，并不能適用于用戶個(gè)體。
技術(shù)實(shí)現(xiàn)思路
1、本申請(qǐng)實(shí)施例提供一種筆記生成方法、裝置、可讀存儲(chǔ)介質(zhì)及計(jì)算機(jī)程序產(chǎn)品，以實(shí)現(xiàn)視頻軟件的教學(xué)筆記的靈活記錄，提升用戶使用體驗(yàn)。
2、為了解決上述技術(shù)問題，本申請(qǐng)實(shí)施例提供一種筆記生成方法，包括：
3、獲取目標(biāo)視頻中講義區(qū)域的多處文字區(qū)域以及所述目標(biāo)視頻的語(yǔ)音信息對(duì)應(yīng)的文本信息；
4、獲取所述文字區(qū)域之間的邏輯關(guān)系和所述文字區(qū)域的文字內(nèi)容；
5、根據(jù)所述邏輯關(guān)系、所述文字內(nèi)容以及所述文本信息，確定初始筆記內(nèi)容；
6、采集所述目標(biāo)視頻播放過程中的用戶行為數(shù)據(jù)，根據(jù)所述用戶行為數(shù)據(jù)對(duì)所述初始筆記內(nèi)容進(jìn)行調(diào)整，生成用戶筆記內(nèi)容。
7、可選地，所述獲取目標(biāo)視頻中講義區(qū)域的多處文字區(qū)域，包括：
8、對(duì)每一視頻幀進(jìn)行講義的目標(biāo)檢測(cè)，獲取所述視頻幀中講義內(nèi)容的位置區(qū)域，所述目標(biāo)檢測(cè)包括：邊界檢測(cè)和/或文字檢測(cè)；
9、根據(jù)第一規(guī)則進(jìn)行不
10、對(duì)每一頁(yè)講義區(qū)域進(jìn)行內(nèi)容區(qū)域的劃分，得到每一頁(yè)講義區(qū)域?qū)?yīng)的多處文字區(qū)域；
11、其中，所述第一規(guī)則包括以下至少一項(xiàng)：
12、若多個(gè)視頻幀中的位置區(qū)域內(nèi)的多處目標(biāo)區(qū)域的相似度大于或等于第一閾值，則確定多個(gè)視頻幀的位置區(qū)域?qū)?yīng)同一頁(yè)講義區(qū)域；
13、若存在至少兩個(gè)視頻幀中的位置區(qū)域內(nèi)的多處目標(biāo)區(qū)域的相似度小于或等于第一閾值，則確定至少兩個(gè)視頻幀對(duì)應(yīng)不同的講義區(qū)域。
14、可選地，所述對(duì)每一視頻幀進(jìn)行講義的目標(biāo)檢測(cè)，獲取所述視頻幀中講義內(nèi)容的位置區(qū)域，包括：
15、對(duì)連續(xù)多張視頻幀中的每一張視頻幀進(jìn)行目標(biāo)對(duì)象檢測(cè)；
16、若存在目標(biāo)對(duì)象，則獲取所述目標(biāo)對(duì)象以及所述目標(biāo)對(duì)象在每個(gè)視頻幀中的位置信息；
17、根據(jù)所述位置信息，若確定連續(xù)多張視頻幀中的所述目標(biāo)對(duì)象的相似度大于或等于第二閾值時(shí)，則刪除所述多張視頻幀中的所述目標(biāo)對(duì)象所在的區(qū)域；
18、對(duì)刪除目標(biāo)對(duì)象的每一視頻幀進(jìn)行講義的目標(biāo)檢測(cè)，獲取所述視頻幀中講義內(nèi)容的位置區(qū)域。
19、可選地，所述對(duì)每一視頻幀進(jìn)行講義的目標(biāo)檢測(cè)，獲取所述視頻幀中講義內(nèi)容的位置區(qū)域，包括：
20、若視頻幀中的講義內(nèi)容為非全屏狀態(tài)，對(duì)視頻幀進(jìn)行分割，得到多個(gè)分割區(qū)域；
21、將面積最大的分割區(qū)域作為講義的有效區(qū)域；
22、對(duì)每一視頻幀中的有效區(qū)域進(jìn)行講義的目標(biāo)檢測(cè)，獲取所述視頻幀中講義內(nèi)容的位置區(qū)域。
23、可選地，所述對(duì)每一頁(yè)講義區(qū)域進(jìn)行內(nèi)容區(qū)域的劃分，得到每一頁(yè)講義區(qū)域?qū)?yīng)的多處文字區(qū)域，包括：
24、對(duì)每一頁(yè)講義區(qū)域進(jìn)行內(nèi)容區(qū)域進(jìn)行線條檢測(cè)；
25、若檢測(cè)到線條，根據(jù)檢測(cè)到的線條，對(duì)每一頁(yè)講義區(qū)域進(jìn)行區(qū)域劃分，分別獲取每一頁(yè)講義區(qū)域?qū)?yīng)的多處文字區(qū)域。
26、可選地，所述對(duì)每一頁(yè)講義區(qū)域進(jìn)行內(nèi)容區(qū)域的劃分，得到每一頁(yè)講義區(qū)域?qū)?yīng)的多處文字區(qū)域，包括：
27、獲取每一頁(yè)講義區(qū)域?qū)?yīng)的文字的目標(biāo)間距，所述目標(biāo)間距包括行間距和/或列間距；
28、對(duì)每一頁(yè)講義區(qū)域以預(yù)設(shè)值進(jìn)行內(nèi)容區(qū)域的劃分，獲取劃分后的多處文字區(qū)域，所述預(yù)設(shè)值基于所述講義區(qū)域?qū)?yīng)的文字的目標(biāo)間距獲取。
29、可選地，所述獲取文字區(qū)域之間的邏輯關(guān)系，包括以下一項(xiàng)：
30、獲取劃分的多處文字區(qū)域的內(nèi)容排版，根據(jù)所述內(nèi)容排版與邏輯關(guān)系的對(duì)應(yīng)關(guān)系，確定所述文字區(qū)域之間的邏輯關(guān)系；
31、對(duì)每一頁(yè)講義區(qū)域?qū)?yīng)的視頻幀的語(yǔ)音信息進(jìn)行關(guān)鍵字識(shí)別，根據(jù)識(shí)別到的關(guān)鍵字確定文字區(qū)域之間的邏輯關(guān)系。
32、可選地，所述根據(jù)所述邏輯關(guān)系、所述文字內(nèi)容以及所述文本信息，確定初始筆記內(nèi)容，包括：
33、建立講義區(qū)域之間的索引；
34、根據(jù)講義區(qū)域之間的索引以及文字區(qū)域?qū)?yīng)的邏輯關(guān)系，確定目錄框架；
35、根據(jù)每一頁(yè)講義區(qū)域?qū)?yīng)的音頻信息的文本信息以及所述文字區(qū)域的文字內(nèi)容，進(jìn)行內(nèi)容提取，將提取的內(nèi)容對(duì)應(yīng)添加到目錄框架所指示的位置，生成初始筆記內(nèi)容；
36、其中，初始筆記內(nèi)容中講義區(qū)域?qū)?yīng)的筆記內(nèi)容與講義區(qū)域的時(shí)間長(zhǎng)度正相關(guān)，所述講義區(qū)域的時(shí)間長(zhǎng)度根據(jù)視頻幀率、視頻幀編號(hào)獲取的講義區(qū)域?qū)?yīng)的開始時(shí)間和結(jié)束時(shí)間確定。
37、可選地，所述根據(jù)每一頁(yè)講義區(qū)域?qū)?yīng)的音頻信息的文本信息以及所述文字區(qū)域的文字內(nèi)容，進(jìn)行內(nèi)容提取，將提取的內(nèi)容對(duì)應(yīng)添加到目錄框架所指示的位置，生成初始筆記內(nèi)容，包括：
38、在所述每一頁(yè)講義區(qū)域?qū)?yīng)的音頻信息的文本信息和所述文字內(nèi)容中獲取目標(biāo)信息，所述目標(biāo)信息為講義區(qū)域?qū)?yīng)的音頻信息的文本信息和所述文字內(nèi)容均存在的信息；
39、將所述目標(biāo)信息對(duì)應(yīng)添加到目錄框架所指示的位置，生成初始筆記內(nèi)容。
40、可選地，所述采集所述目標(biāo)視頻播放過程中的用戶行為數(shù)據(jù)，根據(jù)所述用戶行為數(shù)據(jù)對(duì)所述初始筆記內(nèi)容進(jìn)行調(diào)整，生成用戶筆記內(nèi)容，包括：
41、根據(jù)第二規(guī)則對(duì)所述初始筆記內(nèi)容進(jìn)行調(diào)整，生成用戶筆記內(nèi)容；
42、其中，所述第二規(guī)則包括以下至少一項(xiàng)：
43、在所述用戶行為數(shù)據(jù)包括用戶操作的鼠標(biāo)位置的情況下，將采集的鼠標(biāo)位置與講義區(qū)域的文字區(qū)域進(jìn)行關(guān)聯(lián)，獲取鼠標(biāo)位置的第一講義內(nèi)容，利用所述第一講義內(nèi)容對(duì)初始筆記內(nèi)容中的與所述鼠標(biāo)位置相關(guān)聯(lián)的講義區(qū)域?qū)?yīng)的內(nèi)容進(jìn)行調(diào)整；
44、在所述用戶行為數(shù)據(jù)包括快進(jìn)操作的情況下，采集快進(jìn)操作對(duì)應(yīng)的講義區(qū)域?qū)?yīng)的第二講義內(nèi)容，刪除所述初始筆記內(nèi)容中的第二講義內(nèi)容；
45、在所述用戶行為數(shù)據(jù)包括暫停操作的情況下，采集暫停操作的鼠標(biāo)停留位置對(duì)應(yīng)的第三講義內(nèi)容，若所述暫停操作所對(duì)應(yīng)的鼠標(biāo)停留時(shí)間小于或等于第三閾值，則利用所述第三講義內(nèi)容對(duì)初始筆記內(nèi)容進(jìn)行調(diào)整。
46、可選地，所述方法，還包括：
47、基于用戶操作，獲取共享筆記中的內(nèi)容；
48、將所述共享筆記中的內(nèi)容加入用戶筆記內(nèi)容中，生成最終用戶筆記內(nèi)容。
49、本申請(qǐng)實(shí)施例還提供一種視頻提取裝置，包括：
50、第一獲取模塊，用于獲取目標(biāo)視頻中講義區(qū)域的多處文字區(qū)域以及所述目標(biāo)視頻的語(yǔ)音信息對(duì)應(yīng)的文本信息；
51、第二獲取模塊，用于獲取所述文字區(qū)域之間的邏輯關(guān)系本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種筆記生成方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取目標(biāo)視頻中講義區(qū)域的多處文字區(qū)域，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)每一視頻幀進(jìn)行講義的目標(biāo)檢測(cè)，獲取所述視頻幀中講義內(nèi)容的位置區(qū)域，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)每一視頻幀進(jìn)行講義的目標(biāo)檢測(cè)，獲取所述視頻幀中講義內(nèi)容的位置區(qū)域，包括：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)每一頁(yè)講義區(qū)域進(jìn)行內(nèi)容區(qū)域的劃分，得到每一頁(yè)講義區(qū)域?qū)?yīng)的多處文字區(qū)域，包括：
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)每一頁(yè)講義區(qū)域進(jìn)行內(nèi)容區(qū)域的劃分，得到每一頁(yè)講義區(qū)域?qū)?yīng)的多處文字區(qū)域，包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述文字區(qū)域之間的邏輯關(guān)系，包括以下一項(xiàng)：
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述邏輯關(guān)系、所述文字內(nèi)容以及所述文本信息，確定初始筆記內(nèi)容，包括：
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述根據(jù)
10.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述采集所述目標(biāo)視頻播放過程中的用戶行為數(shù)據(jù)，根據(jù)所述用戶行為數(shù)據(jù)對(duì)所述初始筆記內(nèi)容進(jìn)行調(diào)整，生成用戶筆記內(nèi)容，包括：
11.一種筆記生成裝置，其特征在于，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-10任一項(xiàng)所述的筆記生成方法的步驟。
12.一種可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-10任一項(xiàng)所述的筆記生成方法中的步驟。
13.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至10中任一項(xiàng)所述的筆記生成方法的步驟。
...【技術(shù)特征摘要】
1.一種筆記生成方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取目標(biāo)視頻中講義區(qū)域的多處文字區(qū)域，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)每一視頻幀進(jìn)行講義的目標(biāo)檢測(cè)，獲取所述視頻幀中講義內(nèi)容的位置區(qū)域，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)每一視頻幀進(jìn)行講義的目標(biāo)檢測(cè)，獲取所述視頻幀中講義內(nèi)容的位置區(qū)域，包括：
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)每一頁(yè)講義區(qū)域進(jìn)行內(nèi)容區(qū)域的劃分，得到每一頁(yè)講義區(qū)域?qū)?yīng)的多處文字區(qū)域，包括：
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)每一頁(yè)講義區(qū)域進(jìn)行內(nèi)容區(qū)域的劃分，得到每一頁(yè)講義區(qū)域?qū)?yīng)的多處文字區(qū)域，包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述文字區(qū)域之間的邏輯關(guān)系，包括以下一項(xiàng)：
8.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述邏輯關(guān)系、所述文字內(nèi)容以及所述文本信息，確定...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：曹汝帥，胡蘇，鄒易展，陸彥良，宋國(guó)棟，
申請(qǐng)(專利權(quán))人：咪咕文化科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。