【技術實現步驟摘要】
本專利技術涉及人工智能，具體而言，涉及一種基于多模態蒸餾情感分析導向的推薦系統預告片智能生成系統及方法。
技術介紹
1、在當前的廣電與網絡視聽行業中，視聽節目(如電影、電視劇、綜藝節目等)的數量與日俱增，用戶對于內容的選擇也愈發多樣化與個性化。然而，傳統的推薦系統往往僅依賴于節目的基本信息(如類型、導演、演員等)或簡單的用戶行為數據(如觀看歷史、評分等)進行推薦，忽略了節目內容本身的豐富性和復雜性。特別是對于預告片這一特殊形式的節目內容，其作為吸引觀眾注意力、激發觀看興趣的重要手段，更需要精準地捕捉并展現節目的核心魅力。
2、近年來，隨著人工智能技術的快速發展，多模態分析(包括圖像、音頻、文本等)在視聽內容處理中展現出巨大潛力。然而，現有技術在對節目內容進行深度解析時，仍存在一些關鍵問題亟待解決。其中，推薦片段內容缺乏情感分類是一個顯著短板。情感作為人類認知的重要組成部分，對于理解和評價節目內容具有重要影響。因此，如何在多模態分析的基礎上，有效提取并結合情感特征，成為提升推薦系統精準度和用戶體驗的關鍵。
3、目前存在的主要問題：
4、推薦片段內容情感分類缺失：當前的推薦系統往往忽視了節目內容中的情感元素，導致推薦片段無法準確傳達節目的情感氛圍和觀眾的情感共鳴點，影響了推薦的吸引力和準確性。
5、節目語義拆分不夠精細：對于節目中重要人物、關鍵物品以及鏡頭邊界的識別，現有技術尚無法實現高精度的語義拆分。這導致推薦系統難以準確捕捉節目的核心情節和亮點，無法為用戶提供精準的個性化推薦。p>
6、用戶興趣與節目內容語義拆分標簽不對應：當前的推薦系統往往缺乏將節目內容語義拆分標簽與用戶興趣進行有效對應的能力，導致推薦結果與用戶實際需求存在偏差。
技術實現思路
1、本專利技術的技術目的在于提供了一種基于多模態蒸餾情感分析導向的推薦系統預告片智能生成系統及方法，針對上述
技術介紹
中的問題，該方法通過結合多模態特征提取、情感分析、語義拆分等技術手段，實現對節目中重要元素的高精度識別和情感分類，進而生成符合用戶興趣的個性化預告片，提升推薦系統的精準度和用戶體驗。
2、為實現上述目的，本專利技術采用的技術方案為基于多模態蒸餾情感分析的推薦預告片生成系統，包括：
3、多模態視頻預處理模塊，完成對原始視頻文件的視頻解碼與分軌，并將視頻文件按鏡頭拆分成文本模態、語音模態和視覺模態；并將視頻模態進行數據清洗與對齊得到多模態的預處理數據；
4、多模態視頻特征識別模塊，分別完成文本模態、語音模態和視覺模態預處理數據特征提取并合成多模態特征向量，執行解耦蒸餾的多模態情感識別、分類，并進行模型訓練；
5、情感導向視頻合成模塊，根據情感導向特征檢索并篩選情感特征匹配視頻片段集合，形成滿足情感相似度的全局候選組合，并進行時序優化和過濾完成情感導向視頻合成，對合成視頻進行和諧化和特效優化，生成針對長視頻智能剪輯的情感導向的預告片。
6、進一步地，所述多模態視頻預處理模塊包括：
7、可選地，利用ffmpeg庫對輸入的原始視頻文件進行解封裝，分軌獲取其中的音頻流和視頻流。
8、可選地，多模態拆分中利用包括ai中文語音識別api獲得文本模態，利用語音信號的短時能量ste和短時過零率stzcr進行語音活動檢測vad獲得音頻模態，利用視頻幀間相似度的變化檢測鏡頭轉換sbd獲得視覺模態，并對三種模態進行優化調整。
9、可選地，數據清洗與對齊中，根據切分日志中記錄的每個片段的時間戳。
10、進一步地，所述多模態視頻特征識別模塊包括：
11、可選地，多模態特征提取，使用opencv庫讀取視頻幀序列，并采用級聯cnn結構的mtcnn人臉檢測模型逐幀檢測人臉，使用預訓練的facenet模型提取每一幀對齊后的人臉圖像特征，生成視覺特征向量；使用librosa庫讀取音頻波形序列，通過快速傅里葉變換fft轉換到頻域并進行mel尺度濾波器組濾波，經過dct離散余弦變換dct得到vggish特征，生成音頻特征向量；對截取出的字幕文本進行預處理，使用包括jieba分詞工具將文本切分為詞序列，通過預訓練中文bert模型，提取文本特征向量。
12、可選地，多模態特征拼接中將視頻、音頻、文本模態特征向量按照模態的先后順序拼接，并按照包括tfrecord或者hdf5等格式進行序列化和格式化，完成多模態特征拼接。
13、可選地，解耦蒸餾的多模態情感識別與模型訓練，搭建一個共享編碼器和三個獨占編碼器構建多模態解耦表征，并使用adam優化器訓練各編碼器的參數；構建包括圖卷積網絡gcn的同源圖實現節點間共享特征的傳播，構建注意力網絡gat的異源圖實現模態間獨占特征的蒸餾，并以總的分類損失和一致性損失的加權和為目標，使用adam優化器訓練gcn和gat的參數；將多模態情感特征向量輸入分類器進行分類，以交叉熵為損失函數聯合優化分類損失和雙圖卷積蒸餾的損失；訓練包括訓練集、驗證集和測試集多模態情感數據集得到特征提取器、圖卷積蒸餾單元和分類器等的端到端情感分類模型。
14、基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，包括以下步驟：
15、步驟s101，對原始視頻文件的視頻解碼與分軌，并將視頻按鏡頭將視頻拆分為文本、語音、視覺三模態數據，并確保多模態數據清洗與對齊，得到多模態的預處理數據。
16、具體地，多模態視頻預處理模塊首先對原始視頻文件進行視頻解碼與音頻、視頻分軌，包括：
17、(1)利用ffmpeg庫對輸入的原始視頻文件進行解封裝，獲取其中的音頻流和視頻流。
18、(2)對音頻流進行重新編碼，轉換為pcm格式，并統一重采樣為示意性的16khz、16bit單聲道音頻數據，保存為wav格式文件。
19、(3)對視頻流進行重新編碼，轉換為h.264格式，并統一調整幀率為25fps，保存為mp4格式文件。
20、對分軌后的音頻流和視頻流按鏡頭拆分成文本模態、語音模態和視覺模態的多模態拆分，具體步驟如下：
21、(1)拆分文本模態：調用ai中文語音識別api，對音頻進行分句轉錄，獲得以標點符號結尾的語音識別結果機器時間戳。
22、1)根據標點符號位置將識別結果切分為多個句子，記錄每個句子的起止時間戳。
23、2)將每個句子的起止時間戳都記為candidate?cutpoints。
24、(2)拆分語音模態：利用語音信號的短時能量ste和短時過零率stzcr進行語音活動檢測vad。
25、1)對音頻信號進行幀級分割，每幀示意性分割為20ms，幀移示意性分割為10ms。
26、2)對每幀計算ste和stzcr特征使用雙門限法進行語音/非語音判決，得到語音事件的起止時間戳。
27、3)將語音事件的邊界，即語音起點和終點都標記為時間戳candidate?cut本文檔來自技高網...
【技術保護點】
1.基于多模態蒸餾情感分析的推薦預告片生成系統，其特征在于，包括：
2.根據權利要求1所述的基于多模態蒸餾情感分析的推薦預告片生成系統，其特征在于，所述多模態視頻預處理模塊包括：
3.根據權利要求1所述的基于多模態蒸餾情感分析的推薦預告片生成系統，其特征在于，所述多模態視頻特征識別模塊包括：
4.利用權利要求1-3任一所述系統的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，包括以下步驟：
5.根據權利要求4所述的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，步驟101中，多模態視頻預處理模塊首先對原始視頻文件進行視頻解碼與音頻、視頻分軌，包括：
6.根據權利要求4所述的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，步驟102中，對預處理的多模態數據和切分日志進行多模態特征提取的步驟包括：
7.根據權利要求4所述的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，步驟103中，將目標情感類別映射為情感嵌入one-hot向量，將用
8.根據權利要求7所述的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，候選片段檢索通過計算同源與異源圖節點嵌入與綜合目標嵌入的相似度，并利用注意力機制自適應加權融合，得到綜合相似度進行排序，最終選取Top-K個相關片段，實現多模態、多角度的精準視頻片段檢索，包括：
9.根據權利要求8所述的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，針對檢索的Top-K個候選片段，利用高斯核函數轉換綜合相似度為成對相似度，構建全連接圖，應用最小生成樹算法獲取權重和最小的樹結構，并通過廣度優先遍歷生成自然流暢的候選片段序列，實現全局優化組合，提高情感識別與視頻片段檢索的精確度與連貫性，包括：
10.根據權利要求9所述的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，計全局候選組合得到的候選片段序列，計算候選序列情感嵌入，確定主導情感；依主導情感調整序列順序；初始化推薦序列，依時長閾值篩選片段；輸出優化后序列，包括：
...【技術特征摘要】
1.基于多模態蒸餾情感分析的推薦預告片生成系統，其特征在于，包括：
2.根據權利要求1所述的基于多模態蒸餾情感分析的推薦預告片生成系統，其特征在于，所述多模態視頻預處理模塊包括：
3.根據權利要求1所述的基于多模態蒸餾情感分析的推薦預告片生成系統，其特征在于，所述多模態視頻特征識別模塊包括：
4.利用權利要求1-3任一所述系統的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，包括以下步驟：
5.根據權利要求4所述的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，步驟101中，多模態視頻預處理模塊首先對原始視頻文件進行視頻解碼與音頻、視頻分軌，包括：
6.根據權利要求4所述的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，步驟102中，對預處理的多模態數據和切分日志進行多模態特征提取的步驟包括：
7.根據權利要求4所述的基于多模態蒸餾情感分析導向的推薦系統預告片智能生成方法，其特征在于，步驟103中，將目標情感類別映射為情感嵌入one-hot向量，將用戶畫像匹配的關鍵詞列表采用bert嵌入方法生成關鍵詞嵌入向量，并視頻片段通過多模態特征...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。