基于音頻指紋特征的音樂檢索系統技術方案

本發明專利技術屬于信息檢索技術領域，具體為一種基于音頻指紋特征的音樂檢索系統。該系統由預處理模塊、特征提取模塊、倒排索引模塊和精匹配模塊四部分組成。預處理模塊主要完成音頻信號的轉換、重采樣、濾波；特征提取模塊是對音頻文件的表示，采用音頻指紋特征，通過兩次基于動態閾值的篩選來選取頻譜中最為穩定的點作為特征點，用一個點對表示一個特征；倒排索引模塊是將特征作為關鍵詞，由歌曲庫的特征建立倒排索引，根據相同關鍵詞多少返回索引結果；精匹配模塊是結合音頻特征間的時序關系，采用改進的編輯距離作為兩個特征序列的相似度，以此優化索引結果。本系統適用海量音樂檢索，尤其能對錄音查詢片段進行有效檢索。

【技術實現步驟摘要】
【專利摘要】本專利技術屬于信息檢索
，具體為一種基于音頻指紋特征的音樂檢索系統。該系統由預處理模塊、特征提取模塊、倒排索引模塊和精匹配模塊四部分組成。預處理模塊主要完成音頻信號的轉換、重采樣、濾波；特征提取模塊是對音頻文件的表示，采用音頻指紋特征，通過兩次基于動態閾值的篩選來選取頻譜中最為穩定的點作為特征點，用一個點對表示一個特征；倒排索引模塊是將特征作為關鍵詞，由歌曲庫的特征建立倒排索引，根據相同關鍵詞多少返回索引結果；精匹配模塊是結合音頻特征間的時序關系，采用改進的編輯距離作為兩個特征序列的相似度，以此優化索引結果。本系統適用海量音樂檢索，尤其能對錄音查詢片段進行有效檢索。【專利說明】基于音頻指紋特征的音樂檢索系統
本專利技術屬于信息檢索
，具體涉及音頻信號處理和多媒體信息檢索系統， 進一步涉及一種基于首頻指紋特征的首樂檢索系統。
技術介紹
早前，由于音樂信息是非結構化數據，其檢索系統一般通過基于文本描述來實現 檢索。例如在互聯網中檢索一首歌曲，以歌曲的名字、歌唱者、作歌者、歌曲存取格式等來檢 索。該方法具有很多的缺點:數據量越來越大，從而人工注釋工作量也隨之加大；音頻感知 難以用文字注釋表達清楚；信息描述具有一定的主觀性。而基于內容的音樂檢索系統是根 據信息本身的特征參數而非外部屬性對內容進行檢索，其提取過程由程序自動完成。因此， 其不存在對信息描述的主觀性，能更好的表示音樂信息，從而使檢索更加有效。音頻特征是音頻信息的結構化表示，是基于內容的音頻檢索系統中較為關鍵的一 步，音頻特征的好壞直接影響系統性能。音頻特征分為時域音頻特征和變換域音頻特征，時 域音頻特征較為容易提取，但抗噪能力較差；變換域特征提取過程較復雜，抗噪能力良好， 使用較多。在變換域特征中，較為常見的是基于傅里葉和小波變換的特征。早期，Mel倒譜 系數(MFCC)和線性預測倒譜系數(LPCC)特征較為經典，特別是MFCC，由于其特征是根據人 的聽覺模型生成的，應用較為廣泛。隨著音頻指紋特征的出現，由于其特征魯棒性較好，使 得大量學者投入在這方面進行研究，發展較快。目前，基于音頻指紋特征的音樂檢索系統以Shazam公司和Philips公司的音樂檢 索系統較為經典。Shazam公司的音樂檢索系統是在頻譜上選取局部極值點作為特征點，然 后把相鄰的兩個特征點組成一個點對來表示一個特征；采用hash索引實現檢索；查詢時， 使用直方圖統計相同特征點的時間差，一般目標歌曲的時間差是統一的，將會集中出現在 某處，從而檢索到該歌曲。該系統查詢方式并不適用海量音頻檢索，而且局部極值點非常 多，導致特征數據非常多，很多特征抗噪能力差。在Philips公司的音樂檢索系統中，特征 是在頻譜上計算各頻段能量，根據相鄰幀的能量大小，將各頻段量化成0或1，所有頻段 組成一個二進制序列，通過哈希(hash)函數，得到最終特征。采用哈希表實現檢索，通過統 計詞頻數來進行檢索排序。在海量音樂數據下，hash沖突會非常多，也不適用，同時在特征 性能上不如前一種指紋特征。
技術實現思路
本專利技術的目的在于提供一種基于音頻指紋特征的音樂檢索系統，該系統能夠在海 量音樂信息下進行快速準確的檢索，且能夠對錄音查詢片段進行有效檢索。本專利技術提供的基于音頻指紋特征的音樂檢索系統，包括預處理模塊，特征提取模 塊，倒排索引模塊和精匹配模塊四個部分。其中:所述的預處理模塊，用于音頻文件格式統一，音頻重采樣和音頻濾波。所述的特征提取模塊，用于對音樂文件的結構化表示，采用基于動態閾值的音樂指紋特征。首先對歌曲序列進行分幀，幀之間有較高重疊率，對每幀進行快速傅里葉變換 (FFT)，處理完所有幀，得到頻譜矩陣；接著，對頻譜矩陣進行平滑處理；然后，在矩陣中選 取極值點，并根據動態閾值對這些點進行兩次篩選，取大于閾值的點作為特征點；最后，用 一個點對來表示一個特征，并經哈希(Hash)函數變換，一個哈希值即為一個特征。對于每 個特征點，在其后續頻段的鄰近區域內，選取最多P個最近鄰的特征點與該特征點一一組 成特征，所有特征按幀的先后順序和特征點的篩選順序組成一個特征序列。所述的倒排索引模塊，用于系統的初次檢索，以一個特征作為一個關鍵詞，以歌曲 庫的所有特征建立倒排索引表；當查詢時，通過倒排索引表統計查詢片段每個關鍵詞在各 歌曲中出現的次數，并將所有關鍵詞在各個歌曲中出現的次數求和，然后對求和的結果進 行排序，排序結果所對應的歌曲作為初次檢索結果。為了防止查詢片段較短或者較為偏僻， 在倒排索引中并未加入權重，即各詞項在各歌曲中權重是一樣的。但這樣可能降低目標歌 曲與其他歌曲的區分度，對于較長的歌曲，需要對歌曲進行分段，以歌曲片段為單位加入倒 排索引表中。所述的精匹配模塊，用于系統的二次檢索，先根據倒排索引返回的結果選定候選 歌曲，接著讀取各候選歌曲的特征序列，并對特征序列按查詢特征序列長度進行分段，對每 首歌曲篩選出最為相似的Q個特征序列片段(與查詢特征序列具有最多的相同特征個數)， 然后，對這Q個片段與查詢特征序列進行改進的編輯距離計算(特征值只錯一位認為是相 同的)，取最小的編輯距離作為該歌曲片段與查詢片段的相似度，最后，根據相似度對候選 歌曲進行排序，得到最終的檢索排名，作為系統檢索結果。如果某首歌在排名中出現多條記 錄，只保留第一條記錄。本專利技術的優點為:系統所用的特征魯棒性好且數據量小；采用現階段較為成熟的 倒排索引技術作為系統初始檢索，可適用于海量音樂檢索；精匹配作為系統二次檢索，能有 效的找出目標歌曲且可以并行計算。【專利附圖】【附圖說明】圖1為本專利技術系統結構示意圖。圖2為本專利技術系統音樂指紋特征提取流程圖。圖3為本專利技術系統特征表示示意圖。圖4為本專利技術系統倒排索引結構示意圖。圖5為本專利技術系統精匹配流程圖。【具體實施方式】圖1顯示了系統結構，包括預處理模塊，特征提取模塊，倒排索引模塊和精匹配模 塊四個部分。預處理模塊主要完成音頻信號的轉換、重采樣和濾波；特征提取模塊是對音頻 文件的結構化表示，采用基于兩次閾值篩選的音頻指紋特征；倒排索引模塊是根據歌曲庫 的特征建立倒排索引，當查詢時，通過倒排索引統計各歌曲片段與查詢片段相同關鍵詞個 數多少，并對個數和進行排序，作為初次檢索結果；精匹配模塊在初次檢索的基礎上，結合 音頻特征間的時序關系，采用改進的編輯距離作為兩個特征序列的相似度，優化索引結果。 對于數據庫中每首歌，通過預處理和特征提取，將特征保存于特征庫中，用于建倒排索引和精匹配；對于查詢片段，做相同的預處理和特征提取，其特征用于查詢和精匹配。所述的特征提取模塊，其特征提取過程如圖2所示，采用基于兩次閾值篩選的音頻指紋特征。首先，對音頻序列X=Ix1, x2，…， }進行分幀，L為音頻序列長度，幀之間有較高的重疊率，共分成M幀；接著，對每一幀進行N點快速傅里葉變換，即取N個頻段點，處理完所有幀后，得到N*M維的頻譜矩陣S，并對頻譜矩陣i=l，2，…，N; j=l，2，…，M]進行平滑處理，平滑計算公式如下:【權利要求】1.一種基于音頻指紋特征的音樂檢索系統，其特征在于包括預處理模塊，特征提取模塊，倒排索引模塊和精匹配模塊四個部分；其中:所述的預處理模塊，用于音頻文本文檔來自技高網...

【技術保護點】
一種基于音頻指紋特征的音樂檢索系統，其特征在于包括預處理模塊，特征提取模塊，倒排索引模塊和精匹配模塊四個部分；其中：所述的預處理模塊，用于音頻文件格式統一，音頻重采樣和音頻濾波；所述的特征提取模塊，用于對音樂文件的結構化表示，采用基于動態閾值的音樂指紋特征；首先對歌曲序列進行分幀，對每幀進行快速傅里葉變換，處理完所有幀，得到頻譜矩陣；接著，對頻譜矩陣進行平滑處理；然后，在矩陣中選取極值點，并根據動態閾值對這些點進行兩次篩選，取大于閾值的點作為特征點；最后，用一個點對表示一個特征，并經哈希函數變換，輸出一個哈希值為一個特征；對于每個特征點，在其后續頻段的鄰近區域內，選取最多P個最近鄰的特征點與該特征點一一組成特征；所有特征按幀的先后順序和首次特征點篩選順序組成一維特征序列；所述的倒排索引模塊，用于系統的初次檢索，以一個特征作為一個關鍵詞，對數據庫中的每首歌曲的特征建立倒排索引表；當查詢時，通過倒排索引表統計查詢片段每個關鍵詞在各歌曲中出現的次數，并將所有關鍵詞在各個歌曲中出現的次數求和，然后對求和的結果進行排序，排序結果所對應的歌曲作為初次檢索結果；所述的精匹配模塊，用于系統的二次檢索，先根據初次檢索返回的結果選定候選歌曲，接著讀取各候選歌曲的特征序列，并對特征序列按查詢特征序列長度進行分段，對每首歌曲篩選出最為相似的Q個特征序列片段，即其與查詢特征序列具有最多的相同特征個數；然后，對這Q個片段與查詢特征序列進行改進的編輯距離計算，取最小的編輯距離作為該歌曲片段與查詢片段的相似度；最后，根據相似度對候選歌曲進行排序，得到最終的檢索排名。...

【技術特征摘要】

【專利技術屬性】
技術研發人員：俞鵬飛，楊夙，
申請(專利權)人：復旦大學，
類型：發明
國別省市：