System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本說明書實施例涉及數據處理,特別涉及一種視頻檢索方法。
技術介紹
1、隨著各個視頻平臺的發展,人們在閑暇時間通常會通過觀看視頻來打發時間。由于個人觀看需求的不同,用戶在進行觀看視頻的過程中,若對視頻平臺推薦的視頻不感興趣,則會基于文本進行自主搜索,來獲取視頻。在目前的實際應用中,根據用戶輸入的自然語言搜索語義相關的視頻,往往需要在視頻和文本數據之間進行適當的匹配建模。或是通過訓練多個單模態預訓練模型來提取特征并進行特征融合等處理。
2、然而,由于視頻包含豐富的視覺元素,文本描述可能只對應視頻的部分內容,缺乏對視頻整體內容和局部內容的感知,從而使得視頻檢索的準確性不足以滿足用戶需求,降低用戶的使用體驗。因此,亟需一種方法來解決上述問題。
技術實現思路
1、有鑒于此,本說明書實施例提供了一種視頻檢索方法。本說明書一個或者多個實施例同時涉及一種視頻檢索裝置,一種計算設備,一種計算機可讀存儲介質以及一種計算機程序,以解決現有技術中存在的技術缺陷。
2、根據本說明書實施例的第一方面,提供了一種視頻檢索方法,包括:
3、獲取檢索文本和至少一個候選視頻;
4、將所述檢索文本和目標候選視頻輸入至視頻匹配模型,獲得所述視頻匹配模型輸出的所述目標候選視頻對應的匹配權重,其中,所述目標候選視頻為所述至少一個候選視頻中的任一個,所述匹配權重基于所述檢索文本與所述目標候選視頻之間的第一匹配結果和第二匹配結果確定,所述第一匹配結果用于表征所述檢索文本與所述目標候
5、基于各候選視頻對應的匹配權重,在所述至少一個候選視頻中確定至少一個目標視頻。
6、根據本說明書實施例的第二方面,提供了一種視頻檢索裝置,包括:
7、獲取模塊,被配置為獲取檢索文本和至少一個候選視頻;
8、輸入模塊,被配置為將所述檢索文本和目標候選視頻輸入至視頻匹配模型,獲得所述視頻匹配模型輸出的所述目標候選視頻對應的匹配權重,其中,所述目標候選視頻為所述至少一個候選視頻中的任一個,所述匹配權重基于所述檢索文本與所述目標候選視頻之間的第一匹配結果和第二匹配結果確定,所述第一匹配結果用于表征所述檢索文本與所述目標候選視頻中各目標對象的匹配度,所述第二匹配結果用于表征所述檢索文本與所述目標候選視頻的視頻語義之間的匹配度;
9、確定模塊,被配置為基于各候選視頻對應的匹配權重,在所述至少一個候選視頻中確定至少一個目標視頻。
10、根據本說明書實施例的第三方面,提供了一種計算設備,包括:
11、存儲器和處理器;
12、所述存儲器用于存儲計算機可執行指令,所述處理器用于執行所述計算機可執行指令,該計算機可執行指令被處理器執行時實現上述視頻檢索方法的步驟。
13、根據本說明書實施例的第四方面,提供了一種計算機可讀存儲介質,其存儲有計算機可執行指令,該指令被處理器執行時實現上述視頻檢索方法的步驟。
14、根據本說明書實施例的第五方面,提供了一種計算機程序,其中,當所述計算機程序在計算機中執行時,令計算機執行上述視頻檢索方法的步驟。
15、本說明書提供的視頻檢索方法,包括:獲取檢索文本和至少一個候選視頻;將所述檢索文本和目標候選視頻輸入至視頻匹配模型,獲得所述視頻匹配模型輸出的所述目標候選視頻對應的匹配權重,其中,所述目標候選視頻為所述至少一個候選視頻中的任一個,所述匹配權重基于所述檢索文本與所述目標候選視頻之間的第一匹配結果和第二匹配結果確定,所述第一匹配結果用于表征所述檢索文本與所述目標候選視頻中各目標對象的匹配度,所述第二匹配結果用于表征所述檢索文本與所述目標候選視頻的視頻語義之間的匹配度;基于各候選視頻對應的匹配權重,在所述至少一個候選視頻中確定至少一個目標視頻。
16、本說明書一個實施例,通過計算檢索文本和目標候選視頻之間的第一匹配結果,確定檢索文本與目標候選視頻中各目標對象的匹配度,計算檢索文本和目標候選視頻之間的第二匹配結果,確定檢索文本與目標候選視頻的視頻語義之間的匹配度。進而,結合第一匹配結果和第二匹配結果,確定目標候選視頻的匹配權重,通過對目標候選視頻的局部內容和整體內容進行分析,提高確定目標候選視頻匹配權重的準確性;再根據各候選視頻對應的匹配權重,在各候選視頻中確定目標視頻,提高基于文本檢索視頻的準確性。
本文檔來自技高網...【技術保護點】
1.一種視頻檢索方法,包括:
2.如權利要求1所述的方法,所述視頻匹配模型包括編碼層、第一匹配層和第二匹配層;
3.如權利要求2所述的方法,所述編碼層包括文本編碼器和視頻編碼器;
4.如權利要求2所述的方法,所述第一匹配層包括空間原型生成器和目標短語匹配器;
5.如權利要求4所述的方法,獲得所述文本特征序列對應的短語特征序列,包括;
6.如權利要求4所述的方法,獲得所述目標視頻幀塊特征序列對應的目標對象特征序列,包括:
7.如權利要求4所述的方法,獲得第一匹配結果,包括:
8.如權利要求2所述的方法,所述第二匹配層包括時序原型生成器和語義匹配器;
9.如權利要求8所述的方法,獲得所述目標對象特征序列對應的語義特征序列,包括:
10.如權利要求8所述的方法,獲得第二匹配結果,包括:
11.如權利要求1所述的方法,基于各候選視頻對應的匹配權重,在所述至少一個候選視頻中確定至少一個目標視頻,包括:
12.如權利要求1所述的方法,所述視頻匹配模型通過下述方法
13.一種計算設備,包括:
14.一種計算機可讀存儲介質,其存儲有計算機可執行指令,該計算機可執行指令被處理器執行時實現權利要求1至12任意一項所述視頻檢索方法的步驟。
...【技術特征摘要】
1.一種視頻檢索方法,包括:
2.如權利要求1所述的方法,所述視頻匹配模型包括編碼層、第一匹配層和第二匹配層;
3.如權利要求2所述的方法,所述編碼層包括文本編碼器和視頻編碼器;
4.如權利要求2所述的方法,所述第一匹配層包括空間原型生成器和目標短語匹配器;
5.如權利要求4所述的方法,獲得所述文本特征序列對應的短語特征序列,包括;
6.如權利要求4所述的方法,獲得所述目標視頻幀塊特征序列對應的目標對象特征序列,包括:
7.如權利要求4所述的方法,獲得第一匹配結果,包括:
8.如權利要求2所述的方法,所述第二匹...
【專利技術屬性】
技術研發人員:李攀登,謝晨偉,趙黎明,鄭赟,趙德麗,
申請(專利權)人:阿里巴巴達摩院杭州科技有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。