【技術實現步驟摘要】
本專利技術涉及計算機視覺和自然語言處理領域，進一步地涉及多模態視頻數據集優化與預測處理方法。
技術介紹
1、多模態大型語言模型(mllm)是一種大型語言模型，它可以接受多模態輸入，比如圖像、語言。mllm重要的工作有llava，它結合了clip和vicuna，使用簡單的linear?adapter并在多模態指令調整數據上進行微調。minigpt-4采用了更復雜的qformer架構來提取濃縮的視覺token特征作為大語言模型的輸入。instructblip進一步用包含視頻數據在內的13種多樣任務來增強訓練數據，以提高mllms的指令遵循能力。mplug-owl糾正了對齊錯誤并增強了其多輪對話能力。otter使用交叉注意力架構進行更細致的視覺語言融合。lynx能夠推斷視頻級序列，采用prefix?tuning為instruction?tuning，提供了交叉注意力格式的更有效替代方案。
2、在基于視頻輸入的未來預測方面，視頻預測是計算機視覺中的一個重要研究領域。例如，robotic?pushing數據集包含了59,000次機器人推動動作的互動。這個數據集通過使用機器人即將進行的動作作為條件因素來實現精確的視頻預測。另一個例子是基于監控攝像頭視頻的人類活動預測研究。clevrer數據集使用3d引擎模擬物理對象運動并預測基于軌跡路徑的碰撞效果。sutd-trafficqa數據集從第一人稱視角探索真實世界場景，評估駕駛員視野中車禍的可能性。在自動駕駛領域，nuscenes數據集利用城市交通數據來評估繁忙城市交通環境中行人和車輛
3、總的來說，像raven、activitynet-qa、star和seed-bench這樣的benchmark在特定推理任務中設定了標準。raven挑戰模型在抽象圖像中進行關系和類比推理，強調組合推理。activitynet-qa針對視頻內容，使用眾包qa對來測試簡潔推理。star專注于真實世界視頻中的情境推理，使用超圖來表示動態情況。seed-bench評估mllms的生成理解能力，包含19k多項選擇題，跨越圖像和視頻模態的12個評估維度。我們的工作與這些結構化的、通常基于多項選擇的方法不同，引入了一個新的基準測試，它集成了擴展的視覺序列和長查詢，以產生開放式的答案生成。這種方法鼓勵模型處理復雜信息并產生與上下文相關的響應，將mllm評估的范圍擴展到傳統范式之外。
4、盡管mllms具有令人印象深刻的多模態理解能力，但由于它們的生成特性，它們在評估方面也面臨困難，因而數據處理效率和預測精準度不高。
技術實現思路
1、針對現有技術存在的不足，本專利技術的目的在于提供一種高效的視頻數據集結構化處理方法。該方法適用于基于復雜視頻數據集(如charades)構造人類活動預測任務，通過整合先進的多模態學習技術，提高了數據處理效率和預測精準度。
2、為實現上述目的，本專利技術提供了如下技術方案：一種多模態視頻數據集優化與預測處理方法，其特征在于：包括如下步驟：
3、步驟一，采用多圖對一文的策略處理視頻數據集；
4、步驟二，對每個視頻進行識別，識別出包含重要行為的關鍵片段以選擇視頻片段；
5、步驟三，使用自然語言處理工具，對視頻相關文本進行深入分析，從中提取關鍵信息，以便于與步驟二選擇的視頻片段的行為進行匹配，自動進行文本分析；步驟四，在經過步驟三自動進行文本分析以后，進行視頻-文本匹配的初步驗證，確保每個選定的視頻片段與其對應的文本描述在內容和上下文上保持一致性；
6、步驟五，在經過自動處理完成后，提交給人工進行審核，以對視頻的連貫性、動作片段的精確性以及文本的完整性進行評估，并做出調整優化；
7、步驟六，將經過優化的視頻數據集用于訓練多模態預測模型。
8、作為本專利技術的進一步改進，所述步驟三中使用自然語言處理工具進行自動文本分析的具體步驟如下：
9、步驟三一，切分出最后一句話，并保證結構上只有單謂語；
10、步驟三二，找到作為預測的文本和視頻片段。
11、作為本專利技術的進一步改進，所述步驟三一切分出最后一句話，并保證結構上只有單謂語的具體方式如下：根據標點，定位最后一個分句并預處理：假如前面有連詞，則刪除連詞，假如沒有主語，就繼承上一句的主語，保證單謂語結構：若是只有一個謂語，那證明最后一句話是完整的，繼續往下處理，有2個及以上謂語動詞，說明句子還得分出分句。
12、作為本專利技術的進一步改進，所述步驟三二中找到預測的文本和視頻片段的具體步驟如下：
13、步驟1、查找句尾的最后一個名詞，用自然語言處理工具分析這個名詞的從屬動詞；
14、步驟2、以最后一個名詞為錨點套到的動詞，作為自動分析出的預測內容；
15、步驟3、用該“動詞-名詞”對在數據集的動作字典中查找余弦相似度最相近的一個動詞組以及代碼；
16、步驟4、查詢出的相近動詞組代碼是否存在于這條數據本身的動作分類標注中；假如存在，則認為這就是找到的動作片段，把這個動作片段的對應標注的起始時間作為截斷點，挖去后面的視頻，保留前面的視頻片段作為送給選手模型的vision信息，同時在文本端挖去我們找到的最后的動詞名詞片段，作為context信息。
17、本專利技術的有益效果：
18、效率提升：通過自動化處理和專家審核相結合的方法，大幅提高了數據處理效率。
19、準確性增強：精確的視頻片段選擇和文本匹配確保了預測模型的高準確度。多模態融合：創新的圖文分離策略有效地融合了視覺和文本信息，為復雜的多模態學習提供了支持。
20、應用前景：此技術方案可廣泛應用于人工智能、機器學習、視頻分析等領域，尤其適用于需要高效、準確處理和預測復雜視頻數據的場景。
本文檔來自技高網...【技術保護點】
1.一種多模態視頻數據集優化與預測處理方法，其特征在于：包括如下步驟：
2.根據權利要求1所述的多模態視頻數據集優化與預測處理方法，其特征在于：所述步驟三中使用自然語言處理工具進行自動文本分析的具體步驟如下：
3.根據權利要求2所述的多模態視頻數據集優化與預測處理方法，其特征在于：所述步驟三一切分出最后一句話，并保證結構上只有單謂語的具體方式如下：根據標點，定位最后一個分句并預處理：假如前面有連詞，則刪除連詞，假如沒有主語，就繼承上一句的主語，保證單謂語結構：若是只有一個謂語，那證明最后一句話是完整的，繼續往下處理，有2個及以上謂語動詞，說明句子還得分出分句。
4.根據權利要求3所述的多模態視頻數據集優化與預測處理方法，其特征在于：所述步驟三二中找到預測的文本和視頻片段的具體步驟如下：
【技術特征摘要】
1.一種多模態視頻數據集優化與預測處理方法，其特征在于：包括如下步驟：
2.根據權利要求1所述的多模態視頻數據集優化與預測處理方法，其特征在于：所述步驟三中使用自然語言處理工具進行自動文本分析的具體步驟如下：
3.根據權利要求2所述的多模態視頻數據集優化與預測處理方法，其特征在于：所述步驟三一切分出最后一句話，并保證結構上只有單謂語的具體方...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。