【技術實現步驟摘要】
本專利技術涉及視頻行為識別，具體涉及多模態教程視頻中的長時活動分析方法。
技術介紹
1、教程視頻是對復雜日常任務進行分步驟教學的視頻，如做菜、換輪胎等。隨著便攜式視頻采集設備和短視頻分享平臺的普及，互聯網上涌現了海量的教程視頻。教程活動視頻具有自身特點，與普通動作視頻相比，它關注幾秒到1分鐘的長時間尺度的步驟，通常具有視頻文本步驟對，步驟間具有順序、因果等弱依賴關系，同一視頻包含同一任務的不同子步驟。早期教程活動分析數據集主要采用人工標注，現有的人工標注方法雖然擁有簡潔清晰的步驟定義和準確標注的時間活動邊界，但是這些教程活動視頻異常耗時且成本高昂，難以大規模擴展。近期出現了許多超大規模的多模態教程視頻活動分析數據集，這些數據集規模巨大、活動種類齊全，并含有弱對齊視頻文本對。
技術實現思路
1、本專利技術所要解決的技術問題在于如何減弱對人工標注樣本的依賴，提高模型的數據利用率。
2、本專利技術通過以下技術手段實現解決上述技術問題的：
3、本專利技術公開了一種基于層次化預定義知識學習的長時活動分析方法，包括以下步驟：
4、s1、利用多模態語義一致性，通過對比學習將教程活動的視頻片段與其對應的文本描述嵌入聯合語義空間，學習出視覺語言聯合表示先驗分布；
5、s2、從下游數據集中按比例采樣出部分視頻文本對樣本，對它們的表示進行聚類，自上而下地依次得到層次化的樣本聚類簇實現，實現層次化概念節點的構造；對于不同粒度的層級，構造一個對應的知識圖；p>
6、s3、通過深度隨機路徑探索的方式，采樣出固定游走長度的隨機游走序列；將得到的隨機游走序列看成虛擬的句子，隨機游走序列中的節點看成虛擬的單詞，學習和推理出圖的節點嵌入，并采用缺失詞預測上下文的思想，松弛優化問題；將層次化知識圖的所有節點的屬性信息更新，構成最終的體系化預定義知識圖；
7、s4、通過給定模態的下游查詢樣本的預定義知識表示與體系化預定義知識圖每層所有節點對應模態的表示進行相似度計算，查找出每層知識圖中匹配度最高的概念節點；通過自注意融合策略將概念節點的表示進行融合；再與給定模態的樣本的原始表示融合，得到樣本的增強特征表示。
8、進一步的，所述步驟s1具體為：
9、s11、利用多模態語義一致性，通過對比學習自監督地將教程活動的視頻片段與其對應的文本描述嵌入一個d維的聯合語義空間，學習出視覺語言聯合表示先驗分布，其中f,?g?分別為視頻編碼器網絡和文本編碼器網絡，x,y分別為輸入的視頻片段和對應文本描述；
10、s12、構造對比學習代理任務，利用softmax版噪聲對比估計損失函數自監督地學習出；
11、s13、采用mil-nce損失函數，將單個正樣本對松弛為正樣本對候選集，在超大規模教程視頻數據集howto100m上獲得更好的自監督視覺語言聯合表示先驗。
12、所述步驟s2包括以下步驟：
13、s21、構造層次化概念節點：從下游數據集中按比例采樣出部分視頻文本對樣本，對它們的表示利用?hierarchical?k-means算法進行聚類，自上而下地依次得到層次化的樣本聚類簇，其中分別為視頻表示和文本表示；
14、s22、構造層次化先驗知識圖：對于不同粒度的層級m，構造一個對應的知識圖，節點由該層的個聚類中心構成，其中是第m層知識圖的節點的集合，是第m層知識圖的邊的集合，分別為第m層聚類中心中的視頻表示和文本表示，任意兩個概念節點i和j間的相似性由聚類中心的視頻與文本聯合表示決定，考慮二值化圖，按照閾值對相似性進行量化，得到不同粒度的先驗知識圖。
15、更進一步的，所述步驟s21具體為：
16、設置聚類層級數為，每層分支參數為，從上到下各層將依次得到個層次化的聚類簇，為第m層分支參數；將每層每個節點都看成一個抽象的概念，代表了對應聚類簇內所有樣本的整體性質。
17、所述步驟s22具體為：
18、任意兩個概念節點i和j間的相似性由聚類中心的視頻與文本聯合表示決定，即：
19、
20、其中為元素乘法，為第m層第i個聚類中心中的視頻表示，為第m層第j個聚類中心中的視頻表示，為第m層第i個聚類中心中的文本表示，為第m層第j個聚類中心中的文本表示；考慮二值化圖，按照閾值對相似性進行量化，產生知識圖的邊，代表圖中概念節點間的關系，即:
21、
22、其中sgn為符號函數，得到m層不同粒度的先驗知識圖，代表了預訓練后的視頻編碼器網絡和文本編碼器網絡對下游數據集的層次化先驗表達，為第m層知識圖。
23、進一步的，所述步驟s3中通過深度隨機路徑探索的方式，采樣出固定游走長度的隨機游走序列具體為：
24、采用?deepwalk圖嵌入技術來對第m層知識圖中的結構關系進行學習和推理；對于層次化知識圖中的第m層知識圖，通過隨機路徑探索的方式，采樣出固定游走長度t的隨機游走序列。
25、所述步驟s3中，將得到的隨機游走序列看成虛擬的句子，隨機游走序列中的節點看成虛擬的單詞，學習和推理出圖的節點嵌入，并采用缺失詞預測上下文的思想，松弛優化問題具體為：
26、學習和推理出第m層知識圖的節點嵌入，即學習如下的映射函數：
27、
28、其中為節點，是第m層知識圖的節點的集合，為節點個數，d為節點嵌入的維度；
29、設置優化的代理任務為：給定一次隨機路徑探索中已經經歷的節點序列，預測某觀測節點接下來會被訪問的最大似然概率，即：
30、
31、表示第m層知識圖中的觀測節點通過映射函數進行映射。
32、采用缺失詞預測上下文，優化問題松弛為：
33、
34、其中節點的下標表示與觀測節點相關的節點的位置，該目標函數建模了長度為2的隨機路徑探索的轉移概率，通過對其進行優化，第m層知識圖的結構化信息被編碼進了該層各個抽象概念節點的嵌入信息；
35、將層次化知識圖的所有節點的屬性信息更新，構成最終的體系化預定義知識圖具體為：
36、將層次化知識圖的所有節點的屬性信息更新為，其中為所有原始的屬性信息，為所有新的體系化嵌入信息，構成最終的體系化預定義知識圖。
37、本專利技術還提供一種基于層次化預定義知識學習的長時活動分析系統，包括以下模塊：
38、非體系化自監督表示先驗構建模塊，用于利用多模態語義一致性，通過對比學習將教程活動的視頻片段與其對應的文本描述嵌入聯合語義空間，學習出視覺語言聯合表示先驗分布；
39、體系化預定義知識圖構建模塊，用于從下游數據集中按比例采樣出部分視頻文本對樣本，對它們的表示進行聚類，自上而下地依次得到層次化的樣本聚類簇實現，實現層次化概念節點的構造；對于不同粒度的層級，構造一個對應的知識圖；
40、體系化預定義知識的學習和推理模塊，用于通過深度隨機路徑探索的方本文檔來自技高網...
【技術保護點】
1.基于層次化預定義知識學習的長時活動分析方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟S1具體為：
3.根據權利要求1所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟S2包括以下步驟：
4.根據權利要求3所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟S21具體為：
5.根據權利要求3所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟S22具體為：
6.根據權利要求1所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟S3中通過深度隨機路徑探索的方式，采樣出固定游走長度的隨機游走序列具體為：
7.根據權利要求6所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟S3中，將得到的隨機游走序列看成虛擬的句子，隨機游走序列中的節點看成虛擬的單詞，學習和推理出圖的節點嵌入，并采用缺失詞預測上下文的思想，松弛優化問題具體為：
8.基于層次化預定義知識學習的
9.根據權利要求8所述的基于層次化預定義知識學習的長時活動分析系統，其特征在于，所述非體系化自監督表示先驗構建模塊，用于利用多模態語義一致性，通過對比學習將教程活動的視頻片段與其對應的文本描述嵌入聯合語義空間，學習出視覺語言聯合表示先驗分布具體為：
10.根據權利要求8所述的基于層次化預定義知識學習的長時活動分析系統，其特征在于，所述體系化預定義知識的學習和推理模塊中，通過深度隨機路徑探索的方式，采樣出固定游走長度的隨機游走序列具體為：
...【技術特征摘要】
1.基于層次化預定義知識學習的長時活動分析方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟s1具體為：
3.根據權利要求1所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟s2包括以下步驟：
4.根據權利要求3所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟s21具體為：
5.根據權利要求3所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟s22具體為：
6.根據權利要求1所述的基于層次化預定義知識學習的長時活動分析方法，其特征在于，步驟s3中通過深度隨機路徑探索的方式，采樣出固定游走長度的隨機游走序列具體為：
7.根據權利要求6所述的基于層次化預定義知...
【專利技術屬性】
技術研發人員：胡古月，童雨星，袁篤志，余昌久，王佳蘭，付宇晗，徐光輝，
申請(專利權)人：安徽大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。