基于語音識別檢測體育視頻精彩部分制造技術

提供了用于檢測體育視頻中的視頻精彩部分的計算機實現的方法和存儲有用于檢測體育視頻中的精彩部分的可執行計算機程序指令的非瞬態計算機可讀存儲介質。體育視頻的視頻精彩部分是體育視頻的一部分并且表示體育視頻中捕獲的語義上重要的事件。評估與體育視頻相關聯的音頻流，例如，音頻流各部分的響度以及響度的長度。基于對音頻流的評估來選擇體育視頻的視頻片段。每個選擇的視頻片段表示體育視頻的視頻精彩部分候選。經訓練的音頻分類模型被用于識別與每個選擇的視頻片段相關聯的音頻流中的語音模式。基于識別的視頻模式與期望的語音模式的集合的比較，選擇一個或多個視頻片段作為體育視頻的視頻精彩部分。

【技術實現步驟摘要】

本專利技術總體上涉及數字內容處理，具體地涉及使用與體育視頻相關聯的音頻數據的語音識別來檢測體育視頻中的精彩部分。
技術介紹
智能手持設備(諸如智能電話和平板計算機)已經日益普遍。增長的網絡訪問(針對有線和無線網絡)的可用性和帶寬使得更多計算平臺用于數字內容消費和共享，諸如由智能電話錄制體育視頻并且在社交聯網平臺上共享體育視頻的視頻精彩部分。體育視頻的視頻精彩部分是體育視頻的一部分并且表示體育視頻中捕獲的語義上重要的事件，例如，捕獲足球比賽視頻片段中進球或射門的短視頻剪輯(clip)。考慮到體育視頻的復雜時空性質，從長視頻剪輯中高效定位并選擇視頻精彩部分是耗時的并且在技術上具有挑戰的。例如，足球比賽的90分鐘長視頻剪輯可以包含捕獲三個進球事件的三個精彩部分，其中每個精彩部分可能僅持續10-20秒。視頻精彩部分檢測的某些傳統解決方案依靠某些領域知識，其僅適用于特定類型的體育運動，例如，在精彩部分檢測之前將體育視頻分類成足球或籃球。備選地，某些現有解決方案使用圖像分析技術來檢測體育視頻中捕獲的精彩部分，例如，使用體育視頻中基于顏色的視覺特征來追蹤網球視頻中的選手和網球。然而，考慮到體育視頻的復雜時空性質和由與體育視頻相關聯的音頻數據承載的豐富語義信息，基于視覺線索而不有效利用音頻數據的精彩部分檢測難于高效和有效。
技術實現思路
本專利技術的各實施例提供了一種用于基于與體育視頻相關聯的音頻流中識別的語音模式來檢測體育視頻的視頻精彩部分的解決方案。體育視頻的視頻精彩部分是體育視頻的一部分并且表示體育視頻中捕獲的語義上重要的事件。一種用于檢測體育視頻的一個或多個視頻精彩部分的計算機實現的方法包括如下步驟：評估與體育視頻相關聯的音頻流，例如，音頻流各部分的響度和響度長度，以及基于對音頻流的評估來選擇體育視頻的視頻片段。每個選擇的視頻片段表示視頻精彩部分候選。所述步驟進一步包括使用經訓練的音頻分離模型來識別與每個選擇的視頻片段相關聯的音頻流中的語音模式，并且基于所識別的語音模式與期望的語音模式集的比較來選擇一個或多個視頻片段作為體育視頻的視頻精彩部分。選擇的視頻精彩部分可以被排名并且通過用戶友好方式呈現以用于在社交聯網平臺上共享。另一方面提供了存儲有可執行計算機程序指令的非瞬態計算機可讀存儲介質，如上文所述用于基于與體育視頻相關聯的音頻流中識別的語音模式來檢測體育視頻的一個或多個視頻精彩部分。在本說明書中的特征和優點并非是包括一切的，并且特別是鑒于附圖、說明書和權利要求，許多附加的特征和優點對于本領域技術人員將是明顯的。此外，應當注意，在說明書中使用的語言已經主要為了可讀性和教導的目的而被選擇，并且可能未被選擇為描繪或限制所公開的主題。附圖說明圖1是根據一個實施例的用于檢測體育視頻中的視頻精彩部分的計算環境的框圖。圖2是圖示了根據一個實施例的用于作為客戶端設備和/或計算機服務器以提供基于音頻的視頻精彩部分檢測服務的計算機示例的框圖。圖3是根據一個實施例的視頻精彩部分檢測模塊的框圖。圖4是根據一個實施例的檢測模塊的框圖。圖5是根據一個實施例的具有兩個視頻片段的體育視頻的示例。圖6是根據一個實施例的包含基于音頻數據分析選擇的四個視頻片段的桌球(也被稱為“乒乓球”)視頻的示例。圖7示出了根據一個實施例的從圖6所示乒乓球視頻的視頻片段中選擇的示例性視頻精彩部分。圖8是圖示了根據一個實施例的用于檢測體育視頻中的視頻精彩部分的過程的示例性流程圖。圖9是根據一個實施例的用于呈現從體育視頻中選擇的視頻精彩部分的示例性圖形用戶接口。圖10是根據一個實施例的用于提供呈現體育視頻的視頻精彩部分的用戶控制的示例性圖形用戶接口。圖11是根據一個實施例的用于在各社交聯網平臺上共享體育視頻的視頻精彩部分的示例性用戶接口。附圖僅為了說明的目的描繪本專利技術的各種實施例。本領域技術人員從以下討論中將容易認識到，在不背離本文所描述的本專利技術的原理的情況下，本文所圖示的結構和方法的備選實施例可以被采用。具體實施方式系統概述一種解決方案被提供用于使用與體育視頻相關聯的音頻數據的語音識別來檢測體育視頻中的視頻精彩部分(highlight)。該解決方案的基于音頻的視頻精彩部分檢測服務分析與體育視頻相關聯的音頻數據，基于音頻數據的分析來標識體育視頻的視頻片段并且檢測所標識視頻片段中的視頻精彩部分。經檢測的視頻精彩部分通過用戶友好方式被提供給用戶用于在各社交聯網平臺(例如，FACEBOOKTM、TWITTERTM、YOUTUBETM和INSTAGRAMTM)上共享。圖1是根據一個實施例的用于檢測體育視頻中視頻精彩部分的計算環境100的框圖。圖1中所示的實施例包括多個客戶端設備110(例如，110A、110B和110C)和基于音頻的視頻精彩部分檢測服務130，彼此通過網絡120連接。計算環境100的實施例可以具有連接到網絡120的許多客戶端設備110和視頻精彩部分檢測服務130。同樣，在不同實施例中，由圖1的各實體執行的功能可以不同。客戶端設備110是用戶用于執行如下功能的電子設備，諸如錄制體育視頻、消費數字內容、執行軟件應用、瀏覽由web服務器在網絡120上主控的網站、下載文件等。例如，客戶端設備110可以是智能電話、或平板、筆記本、或者臺式計算機。客戶端設備110包括其上用戶可以觀看視頻和其他內容的顯示器設備和/或與所述顯示器設備對接。另外，客戶端設備110提供了用戶接口(UI)，諸如物理和/或屏幕上按鈕，通過該用戶接口用戶可以與客戶端設備110交互以執行如下功能，諸如觀看、選擇和消費諸如體育視頻的視頻精彩部分的數字內容。圖1的實施例中所示的基于音頻的視頻精彩部分檢測服務130包括用于存儲各體育類型(例如，美式足球、足球、桌球/乒乓球、網球和籃球)的體育視頻的大型視頻語料庫的離線數據庫132，用于存儲由客戶端設備110捕獲的視頻的視頻數據庫134、音頻分類模塊136和視頻精彩部分檢測模塊138。基于音頻的視頻精彩部分檢測服務130的其他實施例可以具有附加和/或不同模塊。音頻分類模塊136使用離線數據庫132中存儲的體育視頻來訓練音頻分類模塊。經訓練的音頻分類模塊將體育視頻的音頻數據(例如，聲軌)分類成精彩部分音頻數據或非精彩部分音頻數據。與體育視頻相關聯的音頻數據承載指示體育視頻中捕獲的整個體育比賽的情境中特定進程(play)的重要性的有用語義信息。例如，人群大聲歡呼、評論員的興奮大聲喝彩可能是體育比賽期間令人興奮的事件(例如，足球比賽中的進球)的指示符。在一個實施例中，離線數據庫132中存儲的體育視頻為音頻分類模塊136提供了訓練集。該訓練集中的每個體育視頻具有預定義聲音模式中的至少一個，諸如針對詞語“Yeah(耶)”、“Whoa(哇)”、“Yes(好)”的聲音和針對大聲鼓掌的聲音。訓練集中的體育視頻被用作地面實況(ground truth)以了解一個或多個參數用于供視頻精彩部分檢測模塊138檢測體育視頻中的視頻精彩部分。在一個實施例中，音頻分類模塊136從離線數據庫132中存儲的體育視頻的聲軌中提取一個或多個音頻特征。從聲軌中提取的音頻特征示例包括頻域中的音頻特征，諸如聲軌的振幅譜上計算的譜特征、聲軌的美爾倒譜系數(MFCC)、聲軌的譜帶寬和譜平坦度本文檔來自技高網...

【技術保護點】
一種用于檢測體育視頻中的精彩部分的計算機實現的方法，包括：評估與所述體育視頻相關聯的音頻流；基于所述音頻流評估來選擇所述體育視頻的一個或多個視頻片段；識別每個選擇的視頻片段中的多個語音模式；以及基于選擇的所述視頻片段的所述語音模式識別來檢測所述體育視頻中的一個或多個精彩部分。

【技術特征摘要】
2015.02.24 US 14/629,8521.一種用于檢測體育視頻中的精彩部分的計算機實現的方法，包括：評估與所述體育視頻相關聯的音頻流；基于所述音頻流評估來選擇所述體育視頻的一個或多個視頻片段；識別每個選擇的視頻片段中的多個語音模式；以及基于選擇的所述視頻片段的所述語音模式識別來檢測所述體育視頻中的一個或多個精彩部分。2.根據權利要求1所述的方法，其中評估與所述體育視頻相關聯的所述音頻流包括：確定在預定時間段上的所述音頻流的響度；以及確定所述音頻流的所述響度的有效聲功率長度。3.根據權利要求2所述的方法，其中確定所述音頻流的所述響度包括：計算在所述預定時間段上的所述音頻流的平均功率。4.根據權利要求2所述的方法，進一步包括：將所述音頻流的所述響度與預定義響度閾值進行比較；以及將所述響度的所述有效聲功率長度與預定義長度閾值進行比較。5.根據權利要求1所述的方法，其中視頻片段對應于所述體育視頻的一部分，并且其中基于所述音頻流評估來選擇一個或多個視頻片段包括：響應于與所述視頻片段相關聯的所述音頻流的所述部分具有期望的音頻特征而選擇所述視頻片段；其中具有所述期望的音頻特征的所述音頻流的一部分具有比預定于響度閾值更大的平均聲功率并且所述平均聲功率的長度持續得比預定義長度閾值更長。6.根據權利要求5所述的方法，其中選擇的視頻片段表示針對所述體育視頻的精彩部分候選。7.根據權利要求1所述的方法，其中識別每個選擇的視頻片段中的多個語音模式包括：向與所述視頻片段相關聯的所述音頻流的所述部分應用經訓練的聲音分類模型；基于所述經訓練的聲音分類模型的所述應用生成針對預定義語音模式的集合的多個精彩部分參數，所述預定義語音模式中的每個預定義語音模式表示與所述體育視頻的精彩部分相關聯的期望的音頻特征；以及分析所生成的精彩部分參數。8.根據權利要求7所述的方法，其中所述預定義語音模式集包括以下各項中的至少一項：針對詞語“Yeah”的聲音的語音模式；針對詞語“Whoa”的聲音的語音模式；針對詞語“Yes”的聲音的語音模式；以及針對體育視頻的情境中的大聲鼓掌的語音模式。9.根據權利要求7所述的方法，其中生成所述多個精彩部分參數包括：生成與所述視頻片段的音頻特征相關聯的所述音頻流的所述部分的音頻特征與所述預定義語音模式的集合中的每個語音模式之間的相似度得分；生成所述視頻片段的有效聲音長度；以及生成所述視頻片段的最大聲功率。10.根據權利要求9所述的方法，進一步包括：響應于與所述視頻片段相關聯的相似度得分超過相似度得分閾值而選擇所述視頻片段，所述相似度得分閾值表示針對有資格作為所述體育視頻的精彩部分的所述視頻片段的最小相似度程度。11.根據權利要求1所述的方法，其中基于選擇的所述視頻片段的所述語音模式識別來檢測所述體育視頻中的一個或多個精彩部分包括：選擇具有與期望的語音模式中的至少一個期望的語音模式相似的音頻特征的視頻片段，其中所述視頻片段的所述音頻特征與所述期望的語音模式的所述音頻特征之間的所述相似度由所述視頻片段的所述音頻特征與所述期望的語音模式中的每個期望的語音模式之間的相似度得分被呈現。12.根據權利要求1所述的方法，進一步包括：對所檢測到的所述體育視頻的精彩部分進行排名；以及在圖形用戶接口中呈現所檢測到的所述體育視頻的精彩部分以用于在社交聯網平臺中共享所檢測到的所述體育視頻的精彩部分。13.根據權利要求12所述的方法，其中對所檢測到的所述體育視頻的精彩部分進行排名包括：正規化與所檢測到的精彩部分相關聯的精彩部分參數，所述精彩部分參數基于在所檢測到的精彩部分中識別的所述語音模式被生成；以及基于與所檢測到的所述體育視頻的精彩部分相關聯的正規化的所述精彩部分參數對所檢測到的精彩部分排序。14.一種存儲有用于檢測體育視頻中的精彩部分的可執行計算機程序指令的非瞬態計算機可讀存儲介質，所述指令在由計算機處理器執行時使得所述計算機處理器：評估與所述體育視頻相關聯的音頻流；基于所述音頻流評估來選擇所述體育視頻的一個或多個視頻片段；識別每個選擇的視頻片段中的多個語音模式；以及基于所述選擇的所述視頻片段的所述語音模式來識別檢測所述體育視頻中的一個或多個精彩部分。15.根據權利要求14所述的計算機可讀存儲介質，其中用于評估與所述體育視頻相關聯的所...

【專利技術屬性】
技術研發人員：韓錚，戴曉偉，劉江宇，
申請(專利權)人：澤普實驗室公司，
類型：發明
國別省市：美國;US