【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于多模態(tài)數(shù)據(jù)檢索領(lǐng)域，涉及數(shù)據(jù)挖掘技術(shù)，具體涉及一種視頻集片段檢索的錯誤依賴消除方法。
技術(shù)介紹
1、如今，隨著線上視頻內(nèi)容的急劇增加，人們對從大量視頻集中檢索目標(biāo)時刻的需求不斷增加。人們可以通過語言描述，從大量視頻中快速定位到描述的內(nèi)容所處的視頻及在該視頻中的時域定位。因此，視頻集片段檢索(vcmr，video?corpus?moment?retrieval)任務(wù)已成為一種流行的研究趨勢。根據(jù)自然語言查詢，vcmr包括兩個子任務(wù)：視頻檢索和時刻定位，從大量未經(jīng)剪輯和分割的視頻集中檢索出特定的視頻時刻。vcmr在最廣泛研究的方法中，兩種模態(tài)的特征—視頻特征和查詢特征被投射到一個共同的嵌入空間，并進(jìn)行跨模態(tài)特征匹配。根據(jù)對不同模態(tài)的特征融合早晚，這類工作可以分為早期融合和晚期融合。目前，后期融合策略(late?fusion?strategy)因其相對于早期融合策略(early?fusionstrategy)不相上下的精度和明顯優(yōu)越的效率而受到更廣泛的研究關(guān)注。在后期融合策略模式下，兩種模態(tài)的特征在映射后分別進(jìn)行優(yōu)化，然后再融合進(jìn)行推斷。
2、盡管現(xiàn)有研究給出看似不錯的實驗結(jié)果，但我們認(rèn)為這些結(jié)果并不能真實反映模型進(jìn)行多模態(tài)語義理解的能力，而是依賴了數(shù)據(jù)集偏置。單視頻片段檢索(vmr)是vcmr的一種子任務(wù)，它僅僅需要從單一視頻中定位描述內(nèi)容所處的時域位置。最近關(guān)于vmr任務(wù)的研究發(fā)現(xiàn)，許多最先進(jìn)的模型在訓(xùn)練常用數(shù)據(jù)集時都存在隱含的分布偏置。類似的，我們認(rèn)為vcmr任務(wù)也可能受到各種數(shù)據(jù)集偏置的影響。在大規(guī)模
3、近年來，許多研究工作圍繞vmr任務(wù)中的錯誤依賴展開。它們具有一套成熟的方法流程：(1)通過實驗驗證錯誤依賴對模型推理產(chǎn)生的影響；(2)提出新的模型設(shè)計解決這種錯誤依賴。然而vmr任務(wù)使用的具體方案無法直接使用于vcmr任務(wù)中，主要原因為vmr任務(wù)的檢索范圍有限，導(dǎo)致其對于模型的規(guī)模限制非常寬松。相比較之下，vcmr任務(wù)由于需要對海量視頻內(nèi)容進(jìn)行檢索，使用了和vmr任務(wù)完全不同的推理路徑，因此vmr的去偏方法無法用于vcmr任務(wù)中。
4、數(shù)據(jù)集和模型去偏是數(shù)據(jù)挖掘領(lǐng)域的一個常見問題。如，參考文件1(公開號為cn118312653a的中國專利技術(shù)專利申請在2024年7月9日公開的《基于因果流行度去偏的項目推薦方法和系統(tǒng)》)通過融合項目流行度和用戶興趣量化用戶一致性，緩解流行度偏差對推薦結(jié)果的影響；參考文件2(公開號為cn118247003a的中國專利技術(shù)專利申請在2024年6月25日公開《一種分離興趣和從眾表示的去偏序列推薦方法及系統(tǒng)》)通過將自我監(jiān)督的分離表示學(xué)習(xí)引入到序列推薦中來解決流行偏差；這些技術(shù)方案都聚焦推薦系統(tǒng)領(lǐng)域的模型去偏，然而對于vcmr任務(wù)中的時域片段位置偏置，目前缺乏相關(guān)的解決方案。如，參考文件3(g.nanet?al等.,"interventional?video?grounding?with?dual?contrastive?learning,"2021ieee/cvf?conference?on?computer?vision?and?pattern?recognition(cvpr))提出了干預(yù)性視頻錨定的范式來消除選擇偏差，引入一種雙重對比學(xué)習(xí)方法將文本和視頻進(jìn)行對齊；參考文件4(yang?x,feng?f,ji?w,et?al.deconfounded?video?moment?retrievalwith?causal?intervention[j].acm,2021.doi:10.1145/3404835.3462823.)使用一種去混淆跨模態(tài)匹配的方法消除時刻位置的混淆效應(yīng)，以捕捉查詢和視頻內(nèi)容的真正影響；這些技術(shù)方案解決了vmr中的偏置問題，但由于推理路徑不同，不能遷移于vcmr任務(wù)中。如，參考文件5(yoon?s,hong?j?w,yoon?e,etal.selective?query-guided?debiasing?forvideo?corpus?moment?retrieval[c]//european?conference?on?computervision.springer,cham,2022.doi:10.1007/978-3-031-20059-5_11.)試圖解決vcmr任務(wù)中的謂語-賓語組合偏置，但同樣沒有解決vcmr任務(wù)中一種更常見而重大的偏置，即時域片段位置偏置。
技術(shù)實現(xiàn)思路
1、針對現(xiàn)有技術(shù)中未能解決的vcmr數(shù)據(jù)集時域位置分布的偏置問題，本專利技術(shù)提供了一種視頻集片段檢索的錯誤依賴消除方法，針對vcmr任務(wù)場景，提供了一種模型對偏置依賴的評估系統(tǒng)，驗證現(xiàn)有模型存在的對數(shù)據(jù)集時域位置分布的錯誤依賴，提供了一種緩解和消除模型對偏置依賴的方法，消除現(xiàn)有vcmr模型對于數(shù)據(jù)集時域位置分布的錯誤依賴。
2、本專利技術(shù)提供的一種視頻集片段檢索的錯誤依賴消除方法，包括：
3、步驟1，對vcmr模型當(dāng)前應(yīng)用的視頻數(shù)據(jù)集進(jìn)行重分割，在重分割的數(shù)據(jù)集上通過分布外測試評估該vcmr模型對視頻數(shù)據(jù)集中目標(biāo)時域位置的偏置依賴程度；
4、步驟2，當(dāng)需要緩解和消除vcmr模型的錯誤偏執(zhí)依賴時，通過構(gòu)造結(jié)構(gòu)化歸因模型分析該vcmr模型的推理路徑，通過歸因介入調(diào)整vcmr模型的推理路徑，包括：
5、(1)將初始的混淆視頻特征v0通過兩個線性層gc和gl拆分成表示內(nèi)容的特征cv和表示位置的特征lv；其中，訓(xùn)練兩個線性層gc和gl包括：對位置特征lv設(shè)置一個不可學(xué)習(xí)的位置編碼p，訓(xùn)練線性層gc使得lv和位置編碼p相近，訓(xùn)練線性層gl使得內(nèi)容特征cv和初始混淆視頻特征接近，訓(xùn)練線性層gc和gl使得內(nèi)容特征cv和位置特征lv盡量遠(yuǎn)離；
6、(2)再使用do操作對查詢文本和視頻內(nèi)容特征進(jìn)行干預(yù)，重構(gòu)vcmr模型的推理路徑，緩解和消除vcmr模型對目標(biāo)時域位置的錯誤偏置依賴；
7、其中，設(shè)置do操作的計算方式如下：
8、
9、重構(gòu)推理流程的計算方式如下：
10、
11、其中，條件概率p(x|do(q,v))觀察執(zhí)行do操作do(q,v)后vcmr模型的輸出x，x為查詢文本q和視頻v在不同子片段的匹配分?jǐn)?shù)ml，或是查詢文本q和視頻v的匹配分?jǐn)?shù)vr；三個變量參數(shù)q、v和l分別代表文本特征、視頻內(nèi)容特征、位置特征；f*(q,v,l)表示使用線性方法f*對組合(q,v,l)計算分?jǐn)?shù)ml或vr；el(f*(q,v,l))是計算指定期望位置l下ml或vr的期望；φ*為vr任務(wù)中的max操作或是ml任務(wù)中計算開始和結(jié)束點分?jǐn)?shù)的一維卷積操作；q*為不同任務(wù)使用的查詢語句文本特征；是重組后的視頻特征，w1是權(quán)重參數(shù)；hc(l)是綜合視頻內(nèi)容信息改良的位本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種視頻集片段檢索的錯誤依賴消除方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的步驟1，通過對視頻樣本的頻率估計對當(dāng)前應(yīng)用的視頻數(shù)據(jù)集進(jìn)行重新拆分，構(gòu)建分布外測試OOD-test集，重新分割測試集和訓(xùn)練集；
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述的步驟1包含如下步驟：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述的步驟1.4中，選擇合并視頻集中頻率估計值最低的5％的視頻分割為OOD-test集。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的步驟2中，訓(xùn)練兩個線性層時，使用損失函數(shù)使得lv和p相近，使用損失函數(shù)使得內(nèi)容特征cv和初始混淆視頻特征接近，使用損失函數(shù)Lindep使內(nèi)容特征cv和位置特征lv盡量遠(yuǎn)離；損失函數(shù)如下：
6.根據(jù)權(quán)利要求1或5所述的方法，其特征在于，所述的步驟2包括如下步驟：
【技術(shù)特征摘要】
1.一種視頻集片段檢索的錯誤依賴消除方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的步驟1，通過對視頻樣本的頻率估計對當(dāng)前應(yīng)用的視頻數(shù)據(jù)集進(jìn)行重新拆分，構(gòu)建分布外測試ood-test集，重新分割測試集和訓(xùn)練集；
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述的步驟1包含如下步驟：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述的步驟1...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張藍(lán)姍，張一碩，闕喜戎，龔向陽，王文東，
申請(專利權(quán))人：北京郵電大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。