【技術實現步驟摘要】
本申請涉及視頻處理，尤其涉及基于對比學習的前景物體分割方法、裝置、設備及存儲介質。
技術介紹
1、基于記憶網絡和特征匹配的分割方法近幾年已成為視頻前景物體序列分割的研究熱點之一。基于多層次記憶機制和復雜匹配模式，一些研究者提出了記憶匹配模型，在視頻前景物體序列分割領域受到了廣泛關注。但目前的基于記憶網絡和特征匹配的分割方法均采用固定的間隔更新記憶網絡，這樣難以充分依據物體在視頻中自身的變化特點及時調整記憶，容易丟失物體在視頻變化過程中出現的關鍵特征，而這對于有效分割發生嚴重變化的目標至關重要。同時，由于無法準確地判斷物體變化情況，記憶網絡無法對前景物體變化較小時的冗余特征及時融合，無法對前景物體變化較大時新出現的關鍵特征做出針對性地增強，難以完成對復雜場景視頻目標物體的有效分割。
技術實現思路
1、本申請的主要目的在于提供一種基于對比學習的前景物體分割方法、裝置、設備及存儲介質，旨在解決如何提升視頻前景物體序列分割的精確性和魯棒性的技術問題。
2、為實現上述目的，本申請提出一種基于對比學習的前景物體分割方法，所述基于對比學習的前景物體分割方法包括：
3、通過目標分割網絡根據當前視頻幀對應的當前視頻幀特征和記憶網絡中存儲的記憶特征，生成所述當前視頻幀的當前預測掩碼；
4、通過目標判別網絡根據所述當前視頻幀對應的當前提取特征得到所述當前視頻幀的全局特征向量；
5、根據所述全局特征向量和初始特征向量進行相似度計算，并根據向量相似度和相似度閾
6、根據所述特征更新方式和所述當前預測掩碼對所述記憶特征進行更新，得到更新后的記憶特征；
7、根據所述更新后的記憶特征對目標視頻的各視頻幀進行目標物體分割，直至各視頻幀的物體分割完成。
8、在一實施例中，所述通過目標分割網絡根據當前視頻幀對應的當前視頻幀特征和記憶網絡中存儲的記憶特征，生成所述當前視頻幀的當前預測掩碼的步驟包括：
9、通過目標分割網絡中的特征提取網絡對當前視頻幀進行特征提取，得到所述當前視頻幀對應的當前視頻幀特征；
10、根據所述當前視頻幀特征和記憶網絡中存儲的記憶特征進行匹配運算，得到目標增強特征；
11、將所述目標增強特征輸入至所述目標分割網絡中的解碼器，生成當前視頻幀的當前預測掩碼。
12、在一實施例中，所述根據所述當前視頻幀特征和記憶網絡中存儲的記憶特征進行匹配運算，得到目標增強特征的步驟包括：
13、對所述當前視頻幀特征的特征通道數量進行壓縮，生成目標查詢；
14、根據記憶網絡中存儲的記憶特征確定特征鍵和目標值；
15、根據所述目標查詢和所述特征鍵進行相似度運算，得到相似度矩陣；
16、根據所述相似度矩陣和所述目標值進行特征生成，得到目標增強特征。
17、在一實施例中，所述通過目標判別網絡根據所述當前視頻幀對應的當前提取特征得到所述當前視頻幀的全局特征向量的步驟包括：
18、通過目標判別網絡中的特征提取網絡對當前視頻幀進行特征提取，得到所述當前視頻幀對應的當前提取特征；
19、對所述當前提取特征進行映射，得到第一查詢、第一鍵以及第一值；
20、根據所述第一查詢、所述第一鍵以及所述第一值得到目標激活特征；
21、根據所述目標激活特征對應的第二查詢、第二鍵以及第二值進行語義激活，得到語義激活特征；
22、根據所述語義激活特征得到所述當前視頻幀的全局特征向量。
23、在一實施例中，所述根據所述全局特征向量和初始特征向量進行相似度計算，并根據向量相似度和相似度閾值確定特征更新方式的步驟之前，還包括：
24、分別從目標視頻對應的多個視頻片段中進行視頻幀的隨機選取，得到多個抽取幀；
25、通過所述目標判別網絡確定各抽取幀的全局特征向量；
26、根據各抽取幀的全局特征向量進行相鄰視頻幀之間的相似度計算，得到多個目標相似度；
27、根據各目標相似度進行均值計算，得到相似度閾值。
28、在一實施例中，所述根據所述特征更新方式和所述當前預測掩碼對所述記憶特征進行更新，得到更新后的記憶特征的步驟包括：
29、在所述特征更新方式為短時記憶更新方式時，獲取片段初始編碼特征；
30、根據所述記憶特征確定當前長時記憶，并根據所述當前預測掩碼和所述當前視頻幀特征得到當前編碼特征；
31、根據所述當前編碼特征和所述片段初始編碼特征進行特征拼接，得到拼接特征；
32、對所述拼接特征進行多尺度融合，得到目標短時記憶；
33、根據所述目標短時記憶和所述當前長時記憶得到更新后的記憶特征。
34、在一實施例中，所述根據所述特征更新方式和所述當前預測掩碼對所述記憶特征進行更新，得到更新后的記憶特征的步驟包括：
35、在所述特征更新方式為長時記憶更新方式時，根據所述記憶特征確定當前短時記憶，并根據所述當前預測掩碼和所述當前視頻幀特征得到當前編碼特征；
36、根據所述當前編碼特征和片段初始編碼特征進行相似度計算，得到相似度矩陣；
37、根據所述相似度矩陣和所述片段初始編碼特征進行特征處理，確定調整權重；
38、根據所述調整權重對所述當前編碼特征進行特征處理，得到目標長時記憶；
39、根據所述目標長時記憶和所述當前短時記憶得到更新后的記憶特征。
40、此外，為實現上述目的，本申請還提出一種基于對比學習的前景物體分割裝置，所述基于對比學習的前景物體分割裝置包括：
41、生成模塊，用于通過目標分割網絡根據當前視頻幀對應的當前視頻幀特征和記憶網絡中存儲的記憶特征，生成所述當前視頻幀的當前預測掩碼；
42、處理模塊，用于通過目標判別網絡根據所述當前視頻幀對應的當前提取特征得到所述當前視頻幀的全局特征向量；
43、計算模塊，用于根據所述全局特征向量和初始特征向量進行相似度計算，并根據向量相似度和相似度閾值確定特征更新方式；
44、更新模塊，用于根據所述特征更新方式和所述當前預測掩碼對所述記憶特征進行更新，得到更新后的記憶特征；
45、分割模塊，用于根據所述更新后的記憶特征對目標視頻的各視頻幀進行目標物體分割，直至各視頻幀的物體分割完成。
46、此外，為實現上述目的，本申請還提出一種基于對比學習的前景物體分割設備，所述設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述計算機程序配置為實現如上文所述的基于對比學習的前景物體分割方法的步驟。
47、此外，為實現上述目的，本申請還提出一種存儲介質，所述存儲介質為計算機可讀存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如上文所述的基于對比學習的前景物體本文檔來自技高網...
【技術保護點】
1.一種基于對比學習的前景物體分割方法，其特征在于，所述基于對比學習的前景物體分割方法，包括：
2.如權利要求1所述的方法，其特征在于，所述通過目標分割網絡根據當前視頻幀對應的當前視頻幀特征和記憶網絡中存儲的記憶特征，生成所述當前視頻幀的當前預測掩碼的步驟包括：
3.如權利要求2所述的方法，其特征在于，所述根據所述當前視頻幀特征和記憶網絡中存儲的記憶特征進行匹配運算，得到目標增強特征的步驟包括：
4.如權利要求1所述的方法，其特征在于，所述通過目標判別網絡根據所述當前視頻幀對應的當前提取特征得到所述當前視頻幀的全局特征向量的步驟包括：
5.如權利要求1所述的方法，其特征在于，所述根據所述全局特征向量和初始特征向量進行相似度計算，并根據向量相似度和相似度閾值確定特征更新方式的步驟之前，還包括：
6.如權利要求1所述的方法，其特征在于，所述根據所述特征更新方式和所述當前預測掩碼對所述記憶特征進行更新，得到更新后的記憶特征的步驟包括：
7.如權利要求1所述的方法，其特征在于，所述根據所述特征更新方式和所述當前預測掩
8.一種基于對比學習的前景物體分割裝置，其特征在于，所述基于對比學習的前景物體分割裝置包括：
9.一種基于對比學習的前景物體分割設備，其特征在于，所述基于對比學習的前景物體分割設備包括：存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的基于對比學習的前景物體分割程序，所述基于對比學習的前景物體分割程序配置有實現如權利要求1至7中任一項所述的基于對比學習的前景物體分割方法。
10.一種存儲介質，其特征在于，所述存儲介質上存儲有基于對比學習的前景物體分割程序，所述基于對比學習的前景物體分割程序被處理器執行時實現如權利要求1至7中任一項所述的基于對比學習的前景物體分割方法。
...【技術特征摘要】
1.一種基于對比學習的前景物體分割方法，其特征在于，所述基于對比學習的前景物體分割方法，包括：
2.如權利要求1所述的方法，其特征在于，所述通過目標分割網絡根據當前視頻幀對應的當前視頻幀特征和記憶網絡中存儲的記憶特征，生成所述當前視頻幀的當前預測掩碼的步驟包括：
3.如權利要求2所述的方法，其特征在于，所述根據所述當前視頻幀特征和記憶網絡中存儲的記憶特征進行匹配運算，得到目標增強特征的步驟包括：
4.如權利要求1所述的方法，其特征在于，所述通過目標判別網絡根據所述當前視頻幀對應的當前提取特征得到所述當前視頻幀的全局特征向量的步驟包括：
5.如權利要求1所述的方法，其特征在于，所述根據所述全局特征向量和初始特征向量進行相似度計算，并根據向量相似度和相似度閾值確定特征更新方式的步驟之前，還包括：
6.如權利要求1所述的方法，其特征在于，所述根據所述特征更新方式和所述當前...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。