【技術實現步驟摘要】
本專利技術涉及視頻自動剪輯，具體為基于內容瑕疵檢測的多角度視頻自動剪輯方法。
技術介紹
1、隨著多媒體技術的快速發展，多角度視頻拍攝技術已被廣泛應用于會議記錄、教育培訓、新聞報道等場景。這種拍攝方式通過多臺攝像設備從不同角度同步錄制，能夠全面捕捉場景信息，為用戶提供更豐富的視角。然而，隨著視頻素材的復雜化及多軌道視頻數據量的增加，后期處理中的同步、剪輯以及質量優化問題也愈發凸顯，亟需更先進的技術支持。
2、盡管已有一些自動化視頻處理技術應用于多角度視頻剪輯，但仍然存在以下關鍵問題：多軌道視頻的錄制設備存在采樣率和起始時間差異，現有基于固定采樣率的互相關算法易受噪聲干擾，導致同步精度不足，特別是在高精度場景中，誤差常超過±10毫秒；模糊檢測依賴固定閾值，難以適應多種拍攝設備和環境；抖動檢測無法有效區分畫面抖動與正常運動，誤判率較高；遮擋檢測對動態場景適應性差，在復雜背景下易出現漏判和誤判；現有技術通常忽略多軌道素材的優勢，未能同時考慮視覺質量和視角多樣性，導致生成的剪輯方案缺乏連貫性和多樣性；現有剪輯算法難以平衡視頻瑕疵分布與視覺連貫性，輸出視頻的質量不穩定，無法滿足專業化的應用需求。
技術實現思路
1、本專利技術的目的在于提供基于內容瑕疵檢測的多角度視頻自動剪輯方法，以解決現有技術在音視頻同步精度不足、內容瑕疵檢測局限性高、剪輯邏輯單一以及視頻質量優化不足等方面的局限性問題。通過引入動態規劃算法、模糊檢測、抖動檢測和遮擋檢測的智能分析方法，本專利技術顯著提升了剪輯效率和
2、為了實現上述目的，本專利技術通過如下的技術方案來實現：
3、基于內容瑕疵檢測的多角度視頻自動剪輯方法，包括以下步驟：
4、s1.輸入多角度拍攝的n個視頻素材及參考音頻a，其中n為大于1的整數；
5、s2.從視頻素材中分別提取對應的音頻，并通過互相關計算將提取的音頻與參考音頻a進行時間軸上的同步；
6、s3.對n個視頻素材分別進行內容瑕疵檢測，包括模糊檢測、抖動檢測和遮擋檢測，并對檢測到的瑕疵幀進行分類和評估；
7、s4.根據瑕疵檢測結果，通過動態規劃算法從視頻軌道中選擇視覺質量最佳的視頻片段，生成剪輯方案；
8、s5.根據生成的剪輯方案，將視頻素材中的對應視頻片段整合為一個完整的記錄視頻k，并從參考音頻a中獲取對應長度的音頻l，合成最終的視頻r。
9、作為本專利技術的一種優選方案，所述參考音頻a默認為通過錄音設備單獨錄制的高保真音頻素材，且能夠覆蓋所有視頻素材的錄制時間；若沒有單獨錄制的音頻素材，則從視頻素材中選擇信噪比最高且覆蓋時間完整的音頻軌道作為參考音頻a。
10、作為本專利技術的一種優選方案，所述通過互相關計算將提取的音頻與參考音頻a進行時間軸上的同步，過程如下：
11、將提取的音頻與參考音頻a以預設采樣率進行互相關計算，并基于相關性閾值確定時間匹配點；
12、基于所述時間匹配點計算提取的音頻與參考音頻a之間的偏移量，完成基于音頻的視頻時間軸同步。
13、作為本專利技術的一種優選方案，所述預設采樣率具體根據提取的音頻質量進行動態調整，當提取的音頻信噪比大于20db時，預設采樣率為500hz；當提取的音頻信噪比小于10db時，預設采樣率為1000hz。
14、作為本專利技術的一種優選方案，所述模糊檢測通過以下方式實現：
15、s31.使用sobel算子對視頻素材中的每一幀圖像計算每個像素點的邊緣梯度幅值；
16、s32.計算每一幀圖像中所有像素點邊緣梯度幅值的平均值，得到該幀的邊緣梯度平均值；
17、s33.記錄視頻序列中每幀的邊緣梯度平均值，形成視頻序列的邊緣梯度數據集合；
18、s34.根據邊緣梯度數據集合計算整體邊緣梯度平均值和標準差，并將模糊檢測閾值設定為整體邊緣梯度平均值減去50%的標準差；
19、s35.將視頻序列中的每一幀的邊緣梯度平均值與模糊檢測閾值進行比較，若低于所述模糊檢測閾值，則判定該幀為模糊幀。
20、作為本專利技術的一種優選方案，所述抖動檢測通過以下方式實現：
21、a.在連續的兩幀圖像中，使用sift特征點檢測算法提取每幀圖像的特征點；
22、b.使用flann特征點匹配算法對連續兩幀的特征點進行匹配，生成匹配點對；
23、c.計算每一匹配點對的位移向量，獲取x方向和y方向的位移分量；
24、d.基于位移分量統計所有匹配點對的位移幅度，計算該幀到下一幀的整體位移量和幀間的旋轉角度；
25、e.若連續兩幀的旋轉角度之差小于預設角度閾值且整體位移量大于預設位移閾值，則判定該兩幀之間發生了抖動。
26、作為本專利技術的一種優選方案，所述遮擋檢測具體為基于改進的二分類深度神經網絡模型判斷輸入的視頻幀是否存在遮擋，通過以下方式實現：
27、將滑動窗口內連續8幀視頻幀的圖像輸入二分類深度神經網絡模型，并調整尺寸為8×171×128×3的張量作為輸入數據；
28、所述二分類深度神經網絡模型的卷積塊采用的結構為：每個卷積塊中網絡分為兩個分支，第一個分支采用1d卷積提取時間維度的特征，第二個分支采用2d卷積提取空間維度的特征；
29、在最大池化層之前將兩個分支的特征進行相加以融合時間信息與空間信息，所述二分類深度神經網絡模型由多個卷積塊堆疊而成，每個卷積塊包含不同尺寸的卷積核，包括3×3×3、1×1×1、1×3×3和3×1×1的卷積核；
30、每個卷積塊后接最大池化操作以減少特征尺寸，通過全連接層輸出遮擋檢測的二分類結果以判斷輸入視頻的每一幀是否存在遮擋。
31、作為本專利技術的一種優選方案，所述動態規劃算法通過以下方式選擇視頻片段：
32、s41.對每個視頻軌道計算開始時間和結束時間，并提取相應的音頻內容；
33、s42.標記視頻中被檢測出的瑕疵幀及瑕疵幀前后3秒范圍內的幀為瑕疵區域；
34、s43.根據瑕疵幀的位置和瑕疵區域，將視頻分割為多個連續的視頻片段，以瑕疵區域為邊界，將非瑕疵幀作為片段內容，若任一片段時間長度小于2秒或片段內部存在場景切換，則與相鄰片段合并；
35、s44.對每個視頻片段計算一個瑕疵值，瑕疵值越低表示該視頻片段質量越好；
36、s45.使用動態規劃方法優化鏡頭選擇，在所有視頻片段中通過全局優化計算最優剪輯方案，定義狀態dp[i]表示選擇第i個片段時的最小瑕疵值總和，dp[j]表示選擇第j個片段時的最小瑕疵值總和；狀態轉移方程為：dp[i]=min(dp[j]+cost[j][i])，其中，cost[j][i]為從片段j到片段i的瑕疵值，若片段i與片段j之間時間上相鄰且無瑕本文檔來自技高網...
【技術保護點】
1.基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，步驟S1中，所述參考音頻A默認為通過錄音設備單獨錄制的高保真音頻素材，且能夠覆蓋所有視頻素材的錄制時間；若沒有單獨錄制的音頻素材，則從視頻素材中選擇信噪比最高且覆蓋時間完整的音頻軌道作為參考音頻A。
3.根據權利要求1所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，步驟S2中，所述通過互相關計算將提取的音頻與參考音頻A進行時間軸上的同步，過程如下：
4.根據權利要求3所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，所述預設采樣率具體根據提取的音頻質量進行動態調整，當提取的音頻信噪比大于20dB時，預設采樣率為500Hz；當提取的音頻信噪比小于10dB時，預設采樣率為1000Hz。
5.根據權利要求1所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，步驟S3中，所述模糊檢測通過以下方式實現：
6.根據權利要求1所述的基于內容瑕疵檢測的多角度
7.根據權利要求1所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，步驟S3中，所述遮擋檢測具體為基于改進的二分類深度神經網絡模型判斷輸入的視頻幀是否存在遮擋，通過以下方式實現：
8.根據權利要求1所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，步驟S4中，所述動態規劃算法通過以下方式選擇視頻片段：
9.根據權利要求1所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，所述動態規劃算法中加入了基于內容相似性的智能選擇機制，具體包括：
10.根據權利要求1所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，步驟S5中，合成最終的視頻R還包括以下步驟：
...【技術特征摘要】
1.基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，步驟s1中，所述參考音頻a默認為通過錄音設備單獨錄制的高保真音頻素材，且能夠覆蓋所有視頻素材的錄制時間；若沒有單獨錄制的音頻素材，則從視頻素材中選擇信噪比最高且覆蓋時間完整的音頻軌道作為參考音頻a。
3.根據權利要求1所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，步驟s2中，所述通過互相關計算將提取的音頻與參考音頻a進行時間軸上的同步，過程如下：
4.根據權利要求3所述的基于內容瑕疵檢測的多角度視頻自動剪輯方法，其特征在于，所述預設采樣率具體根據提取的音頻質量進行動態調整，當提取的音頻信噪比大于20db時，預設采樣率為500hz；當提取的音頻信噪比小于10db時，預設采樣率為1000hz。
5.根據權利要求1所述的基于內容瑕疵檢測的...
【專利技術屬性】
技術研發人員：段海涵，廖俊華，蔡瑋，胡希平，
申請(專利權)人：深圳北理莫斯科大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。