【技術實現步驟摘要】
本申請涉及視頻檢測，具體涉及一種基于譜體積的自然場景生成視頻檢測方法和系統。
技術介紹
1、生成式人工智能技術在chatgpt問世后發展迅速，文本，語音，圖片和視頻等內容介質都可以使用ai生成。如openai的sora就展示出了極高的視頻生成能力。用戶可以使用文本，圖片和動作骨架等作為條件生成高質量視頻。然而，此類視頻生成模型的應用十分簡單，尤其是文本生成視頻。用戶僅僅需要使用文本描述就可以生成一段視頻。雖然視頻生成模型的創造力能夠提供娛樂和商業價值，但其簡單易用的特點也容易產生虛假內容的視頻，危害數字媒體安全。因此，需要進行檢測ai生成視頻的檢測工作。
2、當前的視頻生成模型在制作自然場景的視頻方面已經取得了接近真實視頻的效果，并且其中的運動不一致現象相對較少。這種現象的原因可以歸結于自然場景中大多數運動模式具有周期性或振動性，這些規律性的運動模式更容易被神經網絡捕捉和學習。因此，生成模型在處理自然場景時的表現更加出色。
3、然而，現有的視頻檢測方法在面對自然場景的生成視頻時，往往缺乏足夠的針對性。這些方法主要依賴于視頻的像素信息來尋找檢測線索，或者輔以光流信息來提取視頻中的運動特征。盡管光流信息能夠提供關于像素點運動的有用線索，但其計算成本較高，且與視頻的時長直接相關，這限制了其在大規模視頻檢測中的應用。
技術實現思路
1、針對現有技術的不足，本申請提供了一種基于譜體積的自然場景生成視頻檢測方法和系統，解決了現有的生成視頻檢測技術在面向自然場景方面的不足
2、為實現以上目的，本申請通過以下技術方案予以實現：
3、第一方面，本申請實施例提供了一種基于譜體積的自然場景生成視頻檢測方法，該自然場景生成視頻檢測方法包括：獲取樣本視頻集合，樣本視頻集合包括具有預設真偽標簽的多個樣本視頻；基于預設的提取策略，對多個樣本視頻進行預處理以提取得到第一譜體積特征；通過獲取的雙流結構網絡從樣本視頻和第一譜體積特征中分別進行特征提取，得到第一像素特征和第一運動特征；以第一像素特征和第一運動特征作為樣本，基于卷積神經網絡進行訓練，得到視頻檢測模型；獲取待檢測的目標視頻信息，通過提取策略對目標視頻信息進行預處理得到第二譜體積特征；通過視頻檢測模型對目標視頻信息和第二譜體積特征進行特征提取，得到第二像素特征和第二運動特征；設計分類器以對第二像素特征和第二運動特征進行分析，得到表征目標視頻信息類別的概率，判斷目標視頻信息是否為生成視頻。
4、根據本申請實施例的第一方面，樣本視頻集合包括真實視頻和多種生成視頻，多種生成視頻與多種視頻生成算法一一對應，每種生成視頻基于對應的視頻生成算法使用文本或圖片生成確定。
5、根據本申請實施例的第一方面，前述基于預設的提取策略，對多個樣本視頻進行預處理以提取得到第一譜體積特征，具體可以包括以下步驟：將樣本視頻提取為光流，以初步確定運動紋理；對光流在時間維度進行傅里葉變換成頻域表示，得到第一譜體積特征；其中，第一譜體積特征為從樣本視頻中提取的每像素軌跡的時間傅里葉變換。
6、根據本申請實施例的第一方面，雙流結構網絡包括像素特征提取網絡和運動特征提取網絡，像素特征提取網絡為預訓練網絡且為3dresnet和video?vit中的一者。
7、根據本申請實施例的第一方面，運動特征提取網絡基于預設的基礎數據集并面向動作識別任務訓練，以使運動特征提取網絡具備運動特征提取能力，學習不同視頻中譜體積的通用運動信息。
8、根據本申請實施例的第一方面，基礎數據集包括kinetics-400數據集和ucf101數據集中的至少一者。
9、根據本申請實施例的第一方面，前述通過獲取的雙流結構網絡從樣本視頻和第一譜體積特征中分別進行特征提取，得到第一像素特征和第一運動特征，具體可以包括以下步驟：通過像素特征提取網絡對樣本視頻進行特征提取，得到第一像素特征；通過運動特征提取網絡對第一譜體積特征進行特征提取，得到第一運動特征；其中，第一像素特征和第一運動特征均為一維特征向量，第一像素特征包括顏色、光照和紋理信息，第一運動特征包括視頻中鏡頭和物體的運動信息。
10、根據本申請實施例的第一方面，前述以第一像素特征和第一運動特征作為樣本，基于卷積神經網絡進行訓練，得到視頻檢測模型，具體可以包括以下步驟：使用多頭交叉注意力機制對第一像素特征和第一運動特征進行融合，生成融合特征以表征第一像素特征和第一運動特征的共同信息；基于融合特征，確定樣本視頻集合中每個樣本視頻對應的檢測結果；基于每個樣本視頻的檢測結果以及對應標簽，基于卷積神經網絡進行迭代訓練，得到視頻檢測模型。
11、根據本申請實施例的第一方面，前述基于每個樣本視頻的檢測結果以及對應標簽，基于卷積神經網絡進行迭代訓練，得到視頻檢測模型，具體可以包括以下步驟：在訓練得到初始檢測模型的過程中，計算初始檢測模型對應的檢測損失；基于檢測損失，對初始檢測模型進行迭代訓練，直至滿足預定的訓練終止條件，得到優化后的視頻檢測模型。
12、第二方面，本申請實施例提供了一種基于譜體積的自然場景生成視頻檢測系統，該自然場景生成視頻檢測系統包括：獲取模塊、第一預處理模塊、第一特征提取模塊、訓練模塊、第二預處理模塊、第二特征提取模塊和判斷模塊；其中，獲取模塊用于獲取樣本視頻集合，樣本視頻集合包括具有預設真偽標簽的多個樣本視頻；第一預處理模塊用于基于預設的提取策略，對多個樣本視頻進行預處理以提取得到第一譜體積特征；第一特征提取模塊用于通過獲取的雙流結構網絡從樣本視頻和第一譜體積特征中分別進行特征提取，得到第一像素特征和第一運動特征；訓練模塊用于以第一像素特征和第一運動特征作為樣本，基于卷積神經網絡進行訓練，得到視頻檢測模型；第二預處理模塊用于獲取待檢測的目標視頻信息，通過提取策略對目標視頻信息進行預處理得到第二譜體積特征；第二特征提取模塊用于通過視頻檢測模型對目標視頻信息和第二譜體積特征進行特征提取，得到第二像素特征和第二運動特征；判斷模塊用于設計分類器以對第二像素特征和第二運動特征進行分析，得到表征目標視頻信息類別的概率，判斷目標視頻信息是否為生成視頻。
13、第三方面，本申請實施例提供了一種電子設備，該電子設備包括：處理器、存儲器及存儲在存儲器上并可在處理器上運行的程序，程序被處理器執行時實現前述第一方面中的基于譜體積的自然場景生成視頻檢測方法。
14、第四方面，本申請實施例提供了一種計算機可讀存儲介質，該計算機可讀存儲介質上存儲程序或指令，程序或指令被處理器執行時實現前述第一方面中的基于譜體積的自然場景生成視頻檢測方法。
15、本申請提供了一種基于譜體積的自然場景生成視頻檢測方法和系統。與現有技術相比，具備以下有益效果：
16、本申請基于具有預設真偽標簽的樣本視頻集合進行訓練，從每個樣本視頻中提取第一譜體積特征，通過雙流結構網絡分別對樣本視頻和第一譜體積特征進行處理，得到第一像本文檔來自技高網...
【技術保護點】
1.一種基于譜體積的自然場景生成視頻檢測方法，其特征在于，包括：
2.如權利要求1所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述樣本視頻集合包括真實視頻和多種生成視頻，所述多種生成視頻與多種視頻生成算法一一對應，每種所述生成視頻基于對應的所述視頻生成算法使用文本或圖片生成確定。
3.如權利要求1所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述基于預設的提取策略，對多個所述樣本視頻進行預處理以提取得到第一譜體積特征，包括：
4.如權利要求1所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述雙流結構網絡包括像素特征提取網絡和運動特征提取網絡，所述像素特征提取網絡為預訓練網絡且為3D?ResNet和Video?ViT中的一者；
5.如權利要求4所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述通過獲取的雙流結構網絡從所述樣本視頻和所述第一譜體積特征中分別進行特征提取，得到第一像素特征和第一運動特征，包括：
6.如權利要求1所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述
7.如權利要求6所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述基于每個所述樣本視頻的檢測結果以及對應標簽，基于卷積神經網絡進行迭代訓練，得到視頻檢測模型，包括：
8.一種基于譜體積的自然場景生成視頻檢測系統，其特征在于，包括：
9.一種電子設備，其特征在于，包括：處理器、存儲器及存儲在所述存儲器上并可在所述處理器上運行的程序，所述程序被所述處理器執行時實現如權利要求1至7中任一項所述的基于譜體積的自然場景生成視頻檢測方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲程序或指令，所述程序或指令被處理器執行時實現如權利要求1至7任一項所述的基于譜體積的自然場景生成視頻檢測方法。
...【技術特征摘要】
1.一種基于譜體積的自然場景生成視頻檢測方法，其特征在于，包括：
2.如權利要求1所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述樣本視頻集合包括真實視頻和多種生成視頻，所述多種生成視頻與多種視頻生成算法一一對應，每種所述生成視頻基于對應的所述視頻生成算法使用文本或圖片生成確定。
3.如權利要求1所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述基于預設的提取策略，對多個所述樣本視頻進行預處理以提取得到第一譜體積特征，包括：
4.如權利要求1所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述雙流結構網絡包括像素特征提取網絡和運動特征提取網絡，所述像素特征提取網絡為預訓練網絡且為3d?resnet和video?vit中的一者；
5.如權利要求4所述的基于譜體積的自然場景生成視頻檢測方法，其特征在于，所述通過獲取的雙流結構網絡從所述樣本視頻和所述第一譜體積特征中分別進行特征提取，得到第一像素特征...
【專利技術屬性】
技術研發人員：陳雁翔，鄭天鵬，王志遠，李嚴成，舒陳帥，
申請(專利權)人：合肥工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。