【技術實現步驟摘要】
本專利技術涉及音視頻分析，更具體地，本專利技術涉及一種基于模型的音視頻分析的新聞事件識別系統。
技術介紹
1、現有的新聞事件識別系統主要依賴于自然語言處理和機器學習技術，包括深度學習、無監督聚類等方法。這些技術被用于處理原始新聞文本，進行句法分析和語義角色識別，提取關鍵信息，并將其轉換為向量表示。隨后，通過降維和聚類結合人工標注形成結構化數據，以構建新聞事件數據庫。
2、公開號為cn112989841b的公開文件中公開了一種用于突發事件新聞識別與分類的半監督學習方法，包括以下步驟：抓取微博網站內容作為初始新聞數據集，通過人工標注得到標注數據集dl；對未標注樣本進行前置過濾操作，采用數據增強方法得到帶擾動的未標注數據集；利用所述標注數據集dl對基于bert的多分類器模型進行監督學習、并最小化經驗風險函數，利用基于bert的多分類器模型對所述預過濾后的數據集和帶擾動的未標注數據集進行預測，獲得半監督學習訓練出的基于bert的多分類器模型實現突發事件新聞的識別和分類任務。本專利技術能夠克服標注數據不足的情況下深度學習分類器過擬合的問題，提高對中文突發事件新聞識別和分類的準確率。
3、在實現本專利技術實施例過程中，專利技術人發現現有技術中至少存在如下問題或缺陷：現有技術大多用于對文本類新聞進行分析，而隨著人工智能與電子說書等智能化技術的發展，人們通過音頻與視頻的形式獲取新聞信息越來越普遍，同時，盡管現有的系統能夠處理和分析新聞事件，但它們在自動化和準確性方面仍有待提高，尤其是在實時處理大量新聞數據和準確識別事件類
技術實現思路
1、本專利技術提供了一種基于模型的音視頻分析的新聞事件識別系統，包括：
2、音視頻采集模塊，用于采集新聞音視頻數據，并將其轉換為可供后續處理的數字格式；
3、音頻特征提取模塊，對采集到的音頻數據進行分幀處理，并提取音頻特征；
4、視頻特征提取模塊，對視頻數據進行圖像分割，并提取圖像特征；
5、特征融合模塊，將音頻特征向量與視頻特征向量進行融合，形成綜合特征向量；
6、事件識別模型模塊，采用支持向量機svm算法構建用于新聞事件識別的svm?模型，將綜合特征向量作為?svm?模型的輸入，對新聞事件進行分類識別；
7、結果輸出模塊，將事件識別模型模塊得到的新聞事件識別結果進行輸出展示。
8、進一步地，所述音頻特征提取模塊還包括音頻特征降維子模塊，采用主成分分析pca算法對提取的音頻特征進行降維處理，具體步驟包括：
9、計算音頻特征向量的協方差矩陣
10、
11、其中為第個音頻特征向量，為音頻特征向量的均值向量，為音頻特征向量的數量；
12、求解協方差矩陣的特征值和對應的特征向量；
13、按照特征值大小對特征向量進行排序，選擇前個特征值對應的特征向量構成投影矩陣，其中為降維后的特征維度，根據設定的貢獻率閾值確定，貢獻率計算公式為：
14、
15、其中為貢獻率閾值；
16、將音頻特征向量通過投影矩陣進行投影降維，得到降維后的音頻特征向量。
17、進一步地，所述貢獻率閾值的取值范圍為。
18、進一步地，所述視頻特征提取模塊還包括視頻特征選擇子模塊，采用信息增益算法對提取的視頻圖像特征進行特征選擇，具體步驟包括：
19、對于每個視頻圖像特征，計算其信息增益：
20、
21、其中為類別信息熵，計算公式為：
22、
23、其中，為新聞事件類別集合，為類別在訓練樣本集中出現的概率；為特征的取值集合，為特征取值為的概率，為在特征取值為的條件下類別信息熵，計算公式為：
24、
25、其中，為在特征取值為的條件下類別出現的概率；
26、根據信息增益大小對視頻圖像特征進行排序，選擇信息增益大于設定閾值的特征作為最終用于新聞事件識別的視頻特征。
27、進一步地，所述信息增益閾值的取值范圍為。
28、進一步地，所述事件識別模型模塊還包括模型更新子模塊，當有新的已標注新聞事件樣本數據時，采用增量學習算法對?svm?模型進行更新，具體步驟包括：
29、將新的訓練樣本集與原訓練樣本集合并，形成新的總訓練樣本集；
30、利用原?svm?模型的參數作為初始值，在新的總訓練樣本集上重新訓練?svm?模型，更新模型的參數；
31、對更新后的?svm?模型進行性能評估，若性能滿足要求，則更新完成；
32、若性能不滿足要求，則調整增量學習算法的相關參數，重新進行模型更新操作。
33、進一步地，所述增量學習算法的相關參數包括學習率，學習率的取值范圍為。
34、進一步地，所述特征融合模塊中，綜合特征向量的融合方式為加權融合，公式為：
35、
36、其中為綜合特征向量，為音頻特征向量，為視頻特征向量，為音頻特征向量的權重，為視頻特征向量的權重，且。
37、進一步地，所述事件識別模型模塊中，svm?模型的訓練過程包括：
38、收集已標注新聞事件類別的訓練樣本集；
39、構建?svm?分類器，其優化目標函數為：
40、
41、其中為超平面的法向量，為超平面的截距，為松弛變量，為懲罰參數，為訓練樣本數量；
42、約束條件為：，其中為第個訓練樣本的類別標簽，為將輸入特征向量映射到高維特征空間的映射函數；
43、采用徑向基核函數（rbf）將低維的綜合特征向量映射到高維空間，rbf公式為：
44、其中為核函數參數，表示樣本和之間的歐氏距離；
45、通過求解上述優化問題，得到?svm?模型的參數和。
46、進一步地，所述音頻特征提取模塊中，梅爾頻率倒譜系數mfcc的計算過程包括：
47、對音頻信號進行預加重處理，公式為：
48、
49、其中為原始音頻信號的第個采樣點，為預加重后的音頻信號，為預加重系數；
50、對預加重后的音頻信號進行加窗處理，采用漢明窗，窗函數公式為：
51、
52、其中為窗內采樣點序號，為窗長；
53、對加窗后的音頻信號進行快速傅里葉變換（fft），得到音頻信號的頻譜；
54、計算梅爾頻率濾波器組，第個濾波器的頻率響應公式為：
55、如果，則；
56、如果，則；
57、如果，則；
58、如果，則；
59、其中，是第個梅爾頻率濾波器的中心頻率，通過公式計算得到，，是濾波器組的個數；
60、將音頻信號的頻譜通過梅爾頻率濾波器組，得到梅爾頻譜；
61、對梅爾頻譜取對數，得到對數梅爾頻譜；
62、最后對對數梅爾頻譜進行離散余本文檔來自技高網...
【技術保護點】
1.一種基于模型的音視頻分析的新聞事件識別系統，其特征在于，包括以下模塊：
2.根據權利要求1所述的系統，其特征在于，所述音頻特征提取模塊還包括音頻特征降維子模塊，采用主成分分析PCA算法對提取的音頻特征進行降維處理，具體步驟包括：
3.根據權利要求2所述的系統，其特征在于，所述貢獻率閾值的取值范圍為。
4.根據權利要求1所述的系統，其特征在于，所述視頻特征提取模塊還包括視頻特征選擇子模塊，采用信息增益算法對提取的視頻圖像特征進行特征選擇，具體步驟包括：
5.根據權利要求4所述的系統，其特征在于，所述信息增益閾值的取值范圍為。
6.根據權利要求1所述的系統，其特征在于，所述事件識別模型模塊還包括模型更新子模塊，當有新的已標注新聞事件樣本數據時，采用增量學習算法對?SVM?模型進行更新，具體步驟包括：
7.根據權利要求6所述的系統，其特征在于，所述增量學習算法的相關參數包括學習率，學習率的取值范圍為。
8.據權利要求1所述的系統，其特征在于，所述特征融合模塊中，綜合特征向量的融合方式為加權融合，公式
9.根據權利要求1所述的系統，其特征在于，所述事件識別模型模塊中，SVM?模型的訓練過程包括：
10.根據權利要求1所述的系統，其特征在于，所述音頻特征提取模塊中，梅爾頻率倒譜系數MFCC的計算過程包括：
...【技術特征摘要】
1.一種基于模型的音視頻分析的新聞事件識別系統，其特征在于，包括以下模塊：
2.根據權利要求1所述的系統，其特征在于，所述音頻特征提取模塊還包括音頻特征降維子模塊，采用主成分分析pca算法對提取的音頻特征進行降維處理，具體步驟包括：
3.根據權利要求2所述的系統，其特征在于，所述貢獻率閾值的取值范圍為。
4.根據權利要求1所述的系統，其特征在于，所述視頻特征提取模塊還包括視頻特征選擇子模塊，采用信息增益算法對提取的視頻圖像特征進行特征選擇，具體步驟包括：
5.根據權利要求4所述的系統，其特征在于，所述信息增益閾值的取值范圍為。
6.根據權利要求1所述的系統，其特征在于，所述事件識別模型模塊還包括模...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。