一種關鍵幀提取方法、終端及計算機可讀存儲介質技術

本發明專利技術公開了一種關鍵幀提取方法、終端及計算機可讀存儲介質，其中，方法包括：獲取預設識別訓練模型，并獲取預設視頻圖像數據庫中的多個視頻圖像數據；通過預設識別訓練模型分別對多個視頻圖像數據進行識別，得到各視頻圖像數據對應的關鍵幀；對各視頻圖像數據對應的關鍵幀進行檢測，并根據檢測結果提取并顯示滿足檢測條件的關鍵幀。本發明專利技術通過預設識別訓練模型分別對多個視頻圖像數據進行識別，以深度學習模型的方式快速地提取各視頻圖像數據的關鍵幀，提高了視頻圖像數據中關鍵幀的提取效率；并且，通過對各視頻圖像數據對應的關鍵幀進行檢測，可根據檢測結果提取并顯示滿足檢測條件的關鍵幀，提高了視頻圖像數據中關鍵幀的提取質量。提取質量。提取質量。

【技術實現步驟摘要】
一種關鍵幀提取方法、終端及計算機可讀存儲介質


[0001]本專利技術涉及圖像處理
，尤其涉及的是一種關鍵幀提取方法、終端及計算機可讀存儲介質。

技術介紹

[0002]視頻圖像隨著互聯網和多媒體技術的不斷發展日益劇增，視頻相比圖像來說信息更加豐富，但是一個序列里冗余信息太多，在很多場景下，我們不想或者不能處理視頻的每一幀圖片，這時我們希望能夠從視頻中提取出一些重要的幀進行處理，這個過程我們稱為視頻關鍵幀提取，如何有效地提取出所需要的關鍵幀對于很多任務都是至關重要的，如：大數據時代將海量視頻進行安全過濾、視頻快速瀏覽等領域。
[0003]關鍵幀的提取方法豐富多樣，根據各自場景不同的需求人們設計了許多解決方案，比較常用且相對有效的提取方法為：基于鏡頭的方法、基于運動分析的方法、基于視頻聚類的方法和深度學習方法。
[0004]基于鏡頭的關鍵幀提取算法是視頻檢索領域中最先發展起來，也是目前最為成熟的一種通用方法，該算法的一般實現過程是：先按照某種技術手段把源視頻文件按照鏡頭變化分割，然后在視頻每個鏡頭中選擇首、尾兩幀作為關鍵幀，這種方法的使用場景存在很大的局限性，當視頻中內容變化劇烈、場景非常復雜時，選取鏡頭中的首、尾兩幀并不能代表視頻的全部內容變化，所以，該方法遠遠不能滿足當今社會人們對關鍵幀提取的標準和要求。
[0005]基于運動分析的方法提取關鍵幀的一般實現過程是：在視頻鏡頭中分析物體運動的光流量，每次選擇視頻鏡頭中光流移動次數最少的視頻幀作為提取到的關鍵幀，這種方法本身的算法魯棒性較差，因為它不僅依賴于物體運動的局部特征，而且計算過程也較為復雜，導致關鍵幀的提取效率低下。
[0006]基于視頻聚類的方法提取關鍵幀是通過聚類的方式來表達視頻的主題，實現的方式比較多，大部分基于視頻聚類的方法在劃分聚類簇的過程中并沒有充分考慮到各幀之間時間先后變化順序，因此，基于視頻聚類提取關鍵幀的方法在聚類之前，需要預先設定一定數量的簇，而簇的設定方式直接影響聚類效果，且簇的設定本身就基本做不到精確設定，因此，此算法在時間上的開銷代價很大，導致漏幀現象嚴重，所以，該方法的適用性也受到一定程度的限制。
[0007]深度學習提取關鍵幀主要是用一些無監督學習、有監督學習來實現，目前有些人也嘗試了在此基礎上加入注意力機制來提升效果，這種提取關鍵幀的方法是近年來發展起來的新式方法，有很大的研究空間。
[0008]因此，現有技術還有待改進。

技術實現思路

[0009]本專利技術要解決的技術問題在于，針對現有技術缺陷，本專利技術提供一種關鍵幀提取
方法、終端及計算機可讀存儲介質，以快速而精準地提取視頻中的關鍵幀。
[0010]本專利技術解決技術問題所采用的技術方案如下：
[0011]第一方面，本專利技術提供一種關鍵幀提取方法，關鍵幀提取方法包括以下步驟：
[0012]獲取預設識別訓練模型，并獲取預設視頻圖像數據庫中的多個視頻圖像數據；
[0013]通過所述預設識別訓練模型分別對所述多個視頻圖像數據進行識別，得到各視頻圖像數據對應的關鍵幀；
[0014]對各視頻圖像數據對應的關鍵幀進行檢測，并根據檢測結果提取并顯示滿足檢測條件的關鍵幀。
[0015]在一種實現方式中，所述獲取預設的識別訓練模型，之前包括：
[0016]獲取用于檢測視頻圖像文字內容的預設文本識別模型，并通過所述預設文本識別模型對預設視頻中的文字內容進行識別，以得到對應的識別訓練模型。
[0017]在一種實現方式中，所述預設文本識別模型包括：場景文本數據集、數據集標注數據以及實時標注數據集。
[0018]在一種實現方式中，所述獲取用于檢測視頻圖像文字內容的預設文本識別模型，包括：
[0019]獲取彎曲格式和/或多邊形格式的場景文本數據集，并獲取用于標注的數據集標注數據；
[0020]提取所述場景文本數據集中的預設高度的文字數據，并根據所述數據集標注數據中的標注代碼將提取的文字數據制成矩形框式的標注數據，得到所述實時標注數據集。
[0021]在一種實現方式中，所述通過預設識別訓練模型分別對所述多個視頻圖像數據進行識別，包括：
[0022]根據跳幀算法提取各視頻圖像數據中的多幀數據；
[0023]通過感知哈希算法對提取的數據幀進行相似度計算，得到各幀數據的相似度值；
[0024]通過所述預設識別訓練模型對提取的數據幀進行文字檢測，得到具有檢測框的數據幀的交并比值；
[0025]根據所述相似度值和所述交并比值提取滿足條件的數據幀，得到各視頻圖像數據對應的關鍵幀。
[0026]在一種實現方式中，所述通過感知哈希算法對提取的數據幀進行相似計算，包括：
[0027]根據預設尺寸對提取的數據幀進行縮小處理，得到縮小后的數據幀；
[0028]對所述縮小后的數據幀進行簡化色彩處理，并計算簡化色彩后的數據幀中的像素灰度平均值；
[0029]將所述簡化色彩后的數據幀中每個像素點的灰度值與所述像素灰度平均值進行對比；
[0030]計算所述簡化色彩后的數據幀中灰度值大于所述像素灰度平均值的像素點的數量，并根據所述像素點的數量計算哈希值；
[0031]根據所述哈希值計算各幀數據的相似度。
[0032]在一種實現方式中，所述通過預設識別訓練模型對提取的數據幀進行文字檢測，包括：
[0033]通過所述預設識別訓練模型對提取的數據幀進行文字檢測，得到各數據幀中文字
檢測框的數量；
[0034]獲取所述文字檢測框的數量相等的相鄰數據幀；
[0035]計算所述相鄰數據幀中各數據幀的交并比值。
[0036]在一種實現方式中，所述對各視頻圖像數據對應的關鍵幀進行檢測，并根據檢測結果提取并顯示滿足檢測條件的關鍵幀，包括：
[0037]獲取視頻數據篩選過濾條件；
[0038]對各視頻圖像數據對應的關鍵幀進行檢測，判斷各視頻圖像數據對應的關鍵幀是否滿足所述視頻數據篩選過濾條件；
[0039]若為是，則選擇滿足所述視頻數據篩選過濾條件的關鍵幀，并將選擇的關鍵幀顯示在對應的顯示框中。
[0040]第二方面，本專利技術還提供一種終端，包括：處理器和存儲器，所述存儲器存儲有關鍵幀提取程序，所述關鍵幀提取程序被所述處理器執行時用于實現如第一方面所述的關鍵幀提取方法。
[0041]第三方面，本專利技術還提供一種存儲介質，所述存儲介質存儲有關鍵幀提取程序，所述關鍵幀提取程序被處理器執行時用于實現如第一方面所述的關鍵幀提取方法。
[0042]本專利技術采用上述技術方案具有以下效果：
[0043]本專利技術通過預設識別訓練模型分別對多個視頻圖像數據進行識別，以深度學習模型的方式快速地提取各視頻圖像數據的關鍵幀，提高了視頻圖像數據中關鍵幀的提取效率；并且，通過對各視頻圖像數據對應的關鍵幀進行檢測，可根據檢測結果提取并顯示滿足檢測條件的關鍵幀，提高了視頻圖像數據中關鍵幀的提取本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種關鍵幀提取方法，其特征在于，所述關鍵幀提取方法包括以下步驟：獲取預設識別訓練模型，并獲取預設視頻圖像數據庫中的多個視頻圖像數據；通過所述預設識別訓練模型分別對所述多個視頻圖像數據進行識別，得到各視頻圖像數據對應的關鍵幀；對各視頻圖像數據對應的關鍵幀進行檢測，并根據檢測結果提取并顯示滿足檢測條件的關鍵幀。2.根據權利要求1所述的關鍵幀提取方法，其特征在于，所述獲取預設的識別訓練模型，之前包括：獲取用于檢測視頻圖像文字內容的預設文本識別模型，并通過所述預設文本識別模型對預設視頻中的文字內容進行識別，以得到對應的識別訓練模型。3.根據權利要求2所述的關鍵幀提取方法，其特征在于，所述預設文本識別模型包括：場景文本數據集、數據集標注數據以及實時標注數據集。4.根據權利要求3所述的關鍵幀提取方法，其特征在于，所述獲取用于檢測視頻圖像文字內容的預設文本識別模型，包括：獲取彎曲格式和/或多邊形格式的場景文本數據集，并獲取用于標注的數據集標注數據；提取所述場景文本數據集中的預設高度的文字數據，并根據所述數據集標注數據中的標注代碼將提取的文字數據制成矩形框式的標注數據，得到所述實時標注數據集。5.根據權利要求1所述的關鍵幀提取方法，其特征在于，所述通過預設識別訓練模型分別對所述多個視頻圖像數據進行識別，包括：根據跳幀算法提取各視頻圖像數據中的多幀數據；通過感知哈希算法對提取的數據幀進行相似度計算，得到各幀數據的相似度值；通過所述預設識別訓練模型對提取的數據幀進行文字檢測，得到具有檢測框的數據幀的交并比值；根據所述相似度值和所述交并比值提取滿足條件的數據幀，得到各視頻圖像數據對應的關鍵幀。6.根據權利要求5所述的關鍵幀提取方法，其特征在于，所述通...

【專利技術屬性】
技術研發人員：陳志科，藺昊，
申請(專利權)人：深圳市英威諾科技有限公司，
類型：發明
國別省市：