用于內容識別的音頻指紋制造技術

用于識別流過電視的多媒體內容的方法和系統(tǒng)包括從被選擇用于在電視處呈現(xiàn)的多媒體內容中取回音頻信號。所取回的音頻信號被劃分到較小間隔的多個區(qū)段中。分析特定的區(qū)段來識別聲學調制并基于該聲學調制生成該特定區(qū)段的區(qū)別向量，其中該向量定義了音頻信號的特定區(qū)段的獨有指紋。使用該特定區(qū)段的向量來查詢服務器上的內容數據庫以獲得匹配該特定區(qū)段的指紋的多媒體內容的內容信息。內容信息被用于識別與所接收的用于呈現(xiàn)的音頻信號相匹配的多媒體內容的源和多媒體內容。

【技術實現(xiàn)步驟摘要】
【國外來華專利技術】
本專利技術涉及音頻指紋，更具體地涉及用于所連接的電視的音頻指紋。
技術介紹
電視觀看已經在多年間發(fā)生了改變。技術的進步已經允許電視制造商將互聯(lián)網和web特征集成到電視機中，來提供通過這些電視機連接和訪問在線交互媒體、互聯(lián)網TV、OTT內容(over-the-top?content)、和按需流媒體的能力。除了電視機之外，一些諸如機頂盒、藍光播放器、游戲控制器、和其他協(xié)同設備之類的外部設備也裝備了這些互聯(lián)網和web特征以便使得傳統(tǒng)的、沒有所集成的這些特征的電視機能夠通過這些外部設備訪問互聯(lián)網和web特征。利用這些帶互聯(lián)網功能的電視機，觀看者能夠搜索和找到在web上可用、本地可用、或者直接由內容提供商提供的視頻、電影、照片、和其他內容，該內容提供商例如是有線內容提供商、衛(wèi)星內容提供商、其他用戶等等。并入到TV和外部設備中的互聯(lián)網特征還提供了與社交網絡站點的集成，從而允許觀看者在進行傳統(tǒng)的TV觀看的同時進行社交互動。 帶有互聯(lián)網功能的電視機擁有眾多的應用以允許用戶搜索并選擇用于觀看的內容。然而，要被觀看的內容的身份(identity)和/或內容的源在電視機處可能不是可用的。如果能夠通過指紋來識別被選擇用于觀看的內容從而使得與該內容有關的附加信息和宣傳內容(包括與內容相關的事件)能夠被呈現(xiàn)給觀看者，那么這將是有利的。在當前的信息時代，示出任何與該內容有關的附加信息能夠增加用戶的參與度和用戶的滿意度。 這是產生本專利技術的實施例的背景。
技術實現(xiàn)思路
本專利技術的實施例描述了在電視上允許對被選擇用于觀看的多媒體內容進行識別的方法和系統(tǒng)。互聯(lián)網使能的電視機或外部設備的處理器執(zhí)行的算法從被選擇用于在電視設備處呈現(xiàn)的多媒體內容中取回音頻信號、通過檢查該音頻信號的調制特性來執(zhí)行該音頻信號中的一部分的指紋化、以及使用指紋來識別與來自內容提供商的內容有關的信息。內容信息可被用于識別與該內容有關的附加信息或宣傳媒體，或者用于生成在該內容旁邊呈現(xiàn)的事件。 實施例提供了一種使用音頻信號確定諸如視頻內容之類的多媒體內容的源的方式。由于大多數受保護的內容在給定音頻的情況下是可識別的，因此分析多媒體內容的圖像不如分析所廣播的話語和音樂那么重要。當前的實施例提供了通過執(zhí)行以下動作聚焦在一小段音頻信號上來識別整個內容的方式：提取被選擇用于呈現(xiàn)的多媒體內容的音頻部分、對該音頻部分進行指紋化、以及將該指紋與數據庫中可用的多媒體內容的相應音頻部分進行匹配來確定該多媒體內容。當前實施例提供了一種高效算法，該算法聚焦于音頻信號的一部分的調制特性上來匹配從多個內容提供商中獲得的多媒體內容。算法還提供了這樣的能力：通過在本地緩存中存儲與內容有關的信息并執(zhí)行對流向電視機的音頻信號的周期性驗證來驗證該音頻信號是針對同一內容的。算法通過以下動作來執(zhí)行周期性驗證：生成流式音頻信號的新指紋并與本地緩存中的內容信息進行比較來確定信號是否繼續(xù)與本地緩存中的內容相匹配或者是否有偏離。如果存在偏離，那么算法啟動在數據庫服務器上的搜索以找尋與其中存儲的內容的匹配并且匹配周期繼續(xù)。如果不存在偏離，那么不需要查詢數據庫服務器來找尋匹配，從而在提供對于內容的高效和精確匹配的同時產生了資源優(yōu)化和匹配速度。 應當認識到，本專利技術能夠以多種方式(例如，方法和系統(tǒng)的方式)實現(xiàn)。本專利技術的數個創(chuàng)造性實施例被描述如下。 在一個實施例中，公開了一種用于識別流過電視的多媒體內容的方法。該方法包括從被選擇用于在電視處呈現(xiàn)的多媒體內容中取回音頻信號。所取回的音頻信號被劃分到較小間隔的多個區(qū)段中。分析特定的區(qū)段來識別聲學調制(acoustic?modulation)并基于該聲學調制生成該特定區(qū)段的區(qū)別向量。該向量定義了音頻信號的特定區(qū)段的獨有指紋。使用該特定區(qū)段的向量來查詢服務器上的內容數據庫以獲得匹配該特定區(qū)段的指紋的多媒體內容的內容信息。內容信息被用于識別與所接收的用于呈現(xiàn)的音頻信號相匹配的多媒體內容的源和多媒體內容。 在另一實施例中，公開了一種用于識別流過電視的內容的方法。該方法包括從被選擇用于在電視處呈現(xiàn)的內容中取回音頻信號。音頻信號被劃分到較小間隔的多個區(qū)段中。分析音頻信號的特定區(qū)段來識別聲學調制以基于該聲學調制生成針對特定區(qū)段的向量。該向量標識了與該特定區(qū)段的數據點有關的多個浮點數并且定義了音頻信號的特定區(qū)段的獨有音頻指紋。內容數據庫被搜索來識別帶有具有最接近于該特定區(qū)段的多個浮點數的數據點的音頻區(qū)段的一個或多個內容。內容數據庫是對于多個音頻區(qū)段的預計算出的數據點的存儲庫，該多個音頻區(qū)段表示從多個內容提供商處獲得的多個內容的多個音頻信號的不同部分。帶有某一音頻區(qū)段的內容被識別出，該音頻區(qū)段具有最接近特定區(qū)段的浮點數的數據點。使用帶有與該特定區(qū)段相匹配的音頻區(qū)段的內容的內容標識符來查詢內容提供商數據庫。響應于該查詢，從內容提供商數據庫中接收內容的一部分。該內容的一部分包括匹配特定區(qū)段的內容記錄以及針對預定量時間的附加記錄。從內容提供商數據庫接收的內容的一部分被用于對流經電視的音頻信號的后續(xù)匹配。 在另一實施例中，公開了一種用于匹配流經電視的內容的宣傳媒體的方法。該方法包括從被選擇用于在電視處呈現(xiàn)的內容中取回音頻信號。音頻信號被劃分到較小間隔的多個區(qū)段中。分析音頻信號的特定區(qū)段來識別調制特征并生成與關聯(lián)于音頻區(qū)段的數據點有關的多個浮點數的向量。該向量定義了音頻區(qū)段的獨有指紋。內容數據庫被搜索來識別帶有具有最接近于音頻信號的特定區(qū)段的多個浮點數的數據點的音頻區(qū)段的內容。內容數據庫是對于多個音頻區(qū)段的預計算出的數據點的存儲庫，該多個音頻區(qū)段表示與從多個內容提供商處獲得的多個內容相關聯(lián)的多個音頻信號的不同部分。使用特定區(qū)段的指紋來從服務數據庫中識別出與該內容有關的宣傳媒體。從內容提供商數據庫中接收內容的一部分，從廣告活動數據庫中接收與所識別的宣傳媒體有關的元數據和資產(assets)。使用所取回的元數據和資產對宣傳媒體的多媒體內容進行組裝以在電視上在與音頻信號流有關的內容旁邊進行呈現(xiàn)。 因此，專利技術的實施例提供了用于通過使用聲學調制對從內容中提取的音頻信號的一部分進行指紋化以及將該指紋與存儲在內容數據庫中的內容進行匹配來識別流經電視機的內容的源的高效搜索和匹配算法。匹配算法<本文檔來自技高網...

【技術保護點】
一種用于識別流經電視的多媒體內容的方法，所述方法由所述電視的處理器執(zhí)行，包括：從被選擇用于在所述電視處呈現(xiàn)的多媒體內容中取回音頻信號；將所述音頻信號劃分為較小間隔的多個區(qū)段；分析特定區(qū)段來識別所述特定區(qū)段中的聲學調制，該分析基于所述聲學調制生成所述特定區(qū)段的區(qū)別向量，該向量定義了所述音頻信號的所述特定區(qū)段的獨有音頻指紋；以及使用音頻信號的所述特定區(qū)段的向量對服務器上的內容數據庫進行查詢，以獲得與所述特定區(qū)段的指紋相匹配的多媒體內容的內容信息，所述內容信息被用于從內容提供商獲得與匹配所接收的用于呈現(xiàn)的音頻信號的所述多媒體內容有關的信息。

【技術特征摘要】
【國外來華專利技術】2011.12.20 US 13/332,3311.一種用于識別流經電視的多媒體內容的方法，所述方法由所述電
視的處理器執(zhí)行，包括：
從被選擇用于在所述電視處呈現(xiàn)的多媒體內容中取回音頻信號；
將所述音頻信號劃分為較小間隔的多個區(qū)段；
分析特定區(qū)段來識別所述特定區(qū)段中的聲學調制，該分析基于所述聲
學調制生成所述特定區(qū)段的區(qū)別向量，該向量定義了所述音頻信號的所述
特定區(qū)段的獨有音頻指紋；以及
使用音頻信號的所述特定區(qū)段的向量對服務器上的內容數據庫進行查
詢，以獲得與所述特定區(qū)段的指紋相匹配的多媒體內容的內容信息，所述
內容信息被用于從內容提供商獲得與匹配所接收的用于呈現(xiàn)的音頻信號的
所述多媒體內容有關的信息。
2.如權利要求1所述的方法，其中所述音頻信號是從由內容提供商
流向所述電視的多媒體內容中捕獲的，或者是從數字多媒體記錄設備中獲
得的。
3.如權利要求1所述的方法，其中所述較小的間隔是5秒左右的預
定義間隔。
4.如權利要求1所述的方法，其中分析還包括：
生成聲學聲譜圖來識別音頻信號的所述特定區(qū)段在一個或多個頻率處
的聲學調制特性，其中所述聲學調制特性散布于多個通道；
在每個通道處檢查所述聲學調制來測量量值，所述量值標識了在每個
頻率處每個通道中的能量值；以及
將所述音頻信號的特定區(qū)段的所述向量計算為在與所述音頻信號的特
定區(qū)段相關聯(lián)的時間段針對每個頻率在每個通道中所測量的量值的函數，
其中所述向量標識了表示所述音頻信號的特定區(qū)段的獨有指紋的數據點的
多個浮點數。
5.如權利要求4所述的方法，其中對所述聲波調制的檢查以及對量
值的測量是使用快速傅里葉變換技術實現(xiàn)的。
6.如權利要求4所述的方法，其中查詢還包括：
搜索所述內容數據庫以識別帶有音頻區(qū)段的一個或多個多媒體內容，
該音頻區(qū)段具有最接近于所述音頻信號的特定區(qū)段的所述多個浮點數的數
據點，所述內容數據庫為多個音頻區(qū)段的預計算出的數據點的存儲庫，所
述多個音頻區(qū)段表示從多個內容提供商獲得的多媒體內容的多個音頻信號
的不同部分；
使用迭代計算法計算所識別的多媒體內容的每個音頻區(qū)段的數據點與
所述特定區(qū)段的浮點數之間的距離；以及
選擇具有最接近于所述浮點數的數據點的多媒體內容，其中該多媒體
內容是使用獨有標識符來進行引用的。
7.如權利要求6所述的方法，還包括使用所述獨有標識符從所述內
容提供商取回與條目有關的多媒體內容，所述多媒體內容包括匹配所述特
定區(qū)段的多媒體內容以及與當前正在所述電視處呈現(xiàn)的音頻信號有關的、
預定量時間的附加多媒體內容，所取回的多媒體內容被存儲在所述電視的
本地緩存中以用于對繼續(xù)流經所述電視的內容的音頻信號的后續(xù)驗證。
8.如權利要求6所述的方法，還包括：
當不止一個多媒體內容具有最接近于所述特定區(qū)段的浮點數的數據點
時，
通過選擇當前被選擇在所述電視處呈現(xiàn)的所述內容的音頻信號的
一個或多個附加區(qū)段來執(zhí)行附加匹配。
9.如權利要求1所述的方法，還包括：
識別來自服務數據庫的、與被安排用于呈現(xiàn)的多媒體內容有關的事件
或宣傳媒體，所述事件或宣傳媒體是通過使用來自所述特定區(qū)段的指紋中
的信息來識別的；
從廣告活動數據庫取回與所識別的事件或宣傳媒體有關的元數據和資
產；以及
使用所取回的元數據和資產來組裝與所述事件或宣傳媒體相關聯(lián)的應
用或多媒體內容，所組裝的、與事件或宣傳媒體有關的應用或多媒體內容
在電視處在與所述音頻信號有關的多媒體內容的旁邊呈現(xiàn)。
10.一種用于識別流經電視的內容的方法，所述方法由所述電視的處
理器執(zhí)行，包括：
從被選擇用于在所述電視處呈現(xiàn)的內容中取回音頻信號；
將所述音頻信號劃分為較小間隔的多個區(qū)段；
分析特定區(qū)段來識別所述特定區(qū)段中的聲學調制，該分析基于所述聲
學調制生成所述特定區(qū)段的向量，所述向量標識了與所述特定區(qū)段的數據
點有關的多個浮點數，所述向量定義了所述音頻信號的所述特定區(qū)段的獨
有音頻指紋；
搜索內容數據庫以識別帶有音頻區(qū)段的一個或多個內容，該音頻區(qū)段
具有最接近于所述特定區(qū)段的所述多個浮點數的數據點，所述內容數據庫
為多個音頻區(qū)段的預計算出的數據點的存儲庫，所述多個音頻區(qū)段表示從
多個內容提供商獲得的多個內容的多個音頻信號的不同部分；
獲得具有這樣的音頻區(qū)段的內容的內容標識符，該音頻區(qū)段具有最接
近于所述特定區(qū)段的浮點數的數據點；
使用所述內容標識符向內容提供商數據庫查詢與帶有匹配特定音頻區(qū)
段的音頻區(qū)段的內容有關的信息；以及
響應于所述查詢，從所述內容提供商數據庫接收所述內容的一部分，
該部分內容包括匹配所述特定區(qū)段的內...

【專利技術屬性】
技術研發(fā)人員：馬爾科姆·斯萊尼，安德瑞斯·赫爾南德斯·沙夫霍瑟，
申請(專利權)人：雅虎公司，
類型：發(fā)明
國別省市：美國;US