【技術實現步驟摘要】
本專利技術涉及3d動作捕捉與進化計算領域，具體是一種基于進化計算的多視頻3d人體動作捕捉方法及系統。
技術介紹
1、3d動作捕捉技術旨在從單個或多個視頻中還原出目標的3d運動姿態，被廣泛應用于電影特效、游戲開發、體育分析等眾多領域，具有廣闊的應用前景，同時，也是計算機3d視覺領域的重要任務之一，近年來受到國內外研究者的大量關注。
2、進化計算是指受自然界生物進化過程啟發而提出的一類啟發式全局優化算法。粒子群算法是進化計算的一個分支，由kennedy和eberhart受鳥群覓食的啟發于1995年提出，用于解決全局最優化問題。由于其參數簡單性與快速收斂性，粒子群算法已成為主流的全局優化技術之一，并被廣泛應用于各類實際問題。
3、多視頻3d人體動作捕捉技術相較于傳統的多視角3d人體動作捕捉方法，能夠使用相機參數未知、動作非采集自同一時刻同一個體的多個視頻進行目標姿態動作提取，能夠降低大量成本。但是現有方案需要使用不同的優化方法來分別優化相機參數和3d人體姿態動作參數的估計，且容易陷入局部最優解，導致優化效果較差。
4、因此，現有技術急需一種提升優化性能的基于進化計算的多視頻3d人體動作捕捉的技術方案。
技術實現思路
1、本專利技術要解決的技術問題是針對上述技術方案的不足，提供一種基于進化計算的多視頻3d人體動作捕捉方法及系統，能夠實現相機參數和3d人體姿態動作參數的聯合優化，同時提升優化性能。
2、為了實現上述目的，根據本專利技術的一個方面
3、s1：獲取m個包含人體動作的視頻，并記錄每個視頻包含的幀數l；
4、s2：使用3d人體姿態檢測算法初始化所述視頻中每幀包含的人體姿態；
5、s3：計算任意兩幀視頻圖像中的通過所述s2獲取的3d人體姿態的相似度，根據相似度匹配視頻幀，從而實現多視頻同步；
6、s4：對經過所述s3同步后的視頻采用相機參數和人體姿態參數聯合優化的方式獲取視頻中的每幀的3d人體姿態。
7、優選的，通過自行拍攝的方式或者從社交媒體檢索的方式獲取包含人體動作的視頻。
8、優選的，在所述獲取的m個包含人體動作的視頻中，第i個視頻包含的幀數設定為li。
9、優選的，在所述s2中，所述3d人體姿態算法為hmmr檢測算法；
10、優選的，第i個視頻的第j幀包含的3d人體姿態kij記為：
11、，式中，?表示smpl模型，?為人體姿態參數，?為人體形狀參數，?為建模人體在世界坐標系中的位置，?表示線性回歸模型；
12、進一步的，，?，?，?，?k=23表示預定義的3d人體中關節點的個數，?n=6890表示人體建模網格頂點個數。
13、優選的，所述s3具體為：
14、s3.1：使用普魯克方法對任意兩個視頻中的任意兩幀圖像中的3d人體姿態進行對齊操作；
15、其中，定義所述任意兩個視頻中的任意兩幀圖像中的3d人體姿態為?和，其中，?和?表示任意的選取的第?個視頻和第?個視頻，?和?表示任意的選取的第?幀圖像和第?幀圖像；
16、s3.2：計算經過所述s3.1對齊后的兩個3d人體姿態的相似度；
17、對齊后的兩個3d人體姿態的相似度?的計算公式為：
18、;
19、s3.3：根據所述s3.2計算得到的相似度實現多視頻同步；
20、具體的，所述s3.3具體為：設定每個視頻包含的幀數為超參數?，生成視頻同步矩陣x，建立多視頻同步目標函數，并使所述多視頻同步目標函數最大，從而實現多視頻同步；
21、優選的，所述的多視頻同步目標函數?為：
22、,其中，h為同步后視頻的幀數，?為第i個視頻中與同步后視頻的第h幀相對應的幀數，?為第j個視頻中與同步后視頻的第h幀相對應的幀數；
23、優選的，所述s4具體為：
24、s4.1：建立聯合優化視頻中相機參數和人體姿態參數的目標策略函數；
25、其中，所述目標策略函數?為：
26、,其中，?為重投影誤差函數，計算方式如下：
27、,?表示對第?個視頻的第?幀的2d姿態中第?z個人體關節點的坐標，其置信度為?，?表示用于抑制噪聲檢測的geman-mcclure魯棒誤差函數，?表示通過相機參數進行的透視投影，表示預測的第?z個3d人體關節點的坐標；?為第i個視頻第j幀中的人體姿態參數，?、為第i個視頻的相機參數；?為常數權重，?為時間平滑誤差函數，計算方式如下：
28、,?表示每個視頻的幀數，?表示第?個視頻所有幀的人體姿態矩陣，?表示第?個視頻所有幀的人體姿態矩陣，?為手動設定的閾值；
29、s4.2：初始化相機參數?與人體動作姿態參數?；
30、將相機參數?與人體動作姿態參數?展開為一維向量；用于后續采用粒子群算法對所述相機參數?與人體動作姿態參數?進行聯合優化；
31、s4.3：采用粒子群算法對視頻中每一幀中的人體動作姿態參數進行聯合優化，并輸出3d人體姿態參數；
32、優選的，所述s4.3具體為：將所述s4.2中的一維向量的相機參數?與人體動作姿態參數?作為粒子中心，然后隨機初始化?n個粒子，其位置為，速度為?，通過粒子群算法更新n個粒子的速度和位置，并根據粒子更新公式進行更新迭代，然后判斷當前迭代次數是否小于最大迭代次數g，若小于，則繼續迭代，若不小于，則將?gbest作為本次迭代優化的最優解，并還原為，以更新每個視頻中每一幀包含的3d人體姿態，并將更新后的3d人體姿態參數最終結果輸出。
33、優選的，所述通過粒子群算法更新n個粒子的速度和位置的粒子更新公式為：
34、
35、
36、其中，?稱為慣性權重，用于衡量上一次迭代中粒子的速度對本輪迭代的影響；、?是常數加速因子，且?；、?是?d維隨機數向量；?表示第?個粒子的歷史最優位置；?gbest表示粒子群的歷史最優位置；?表示第?個粒子的速度；?表示第?個粒子的位置，d為維數，d為第d次更新。
37、根據本專利技術的另一個方面，提供了一種基于進化計算的多視頻3d人體動作捕捉系統，該系統采用上述的基于進化計算的多視頻3d人體動作捕捉方法，其中，該系統包括：
38、視頻獲取模塊，用于獲取m個包含人體動作的視頻，并記錄每個視頻包含的幀數l；
39、人體姿態初始化模塊，用于使用3d人體姿態檢測算法初始化所述視頻中每幀包含的人體姿態；
40、多視頻同步模塊，用于計算任意兩幀視頻圖像中的通過所述s2獲取的3d人體姿態的相似度，根據相似度匹配視頻幀，從而實現多視頻同步；
41、人體姿態獲取模塊，用于對經過所述s3同步后的視頻采用相機參數和人體姿態參數聯合優化的方式獲取視頻中的每幀的3d人體本文檔來自技高網...
【技術保護點】
1.一種基于進化計算的多視頻3D人體動作捕捉方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于進化計算的多視頻3D人體動作捕捉方法，其特征在于，通過自行拍攝的方式或者從社交媒體檢索的方式獲取包含人體動作的視頻。
3.根據權利要求2所述的一種基于進化計算的多視頻3D人體動作捕捉方法，其特征在于，在所述獲取的M個包含人體動作的視頻中，第i個視頻包含的幀數設定為Li。
4.根據權利要求1所述的一種基于進化計算的多視頻3D人體動作捕捉方法，其特征在于，在所述S2中，所述3D人體姿態算法為HMMR檢測算法。
5.根據權利要求1所述的一種基于進化計算的多視頻3D人體動作捕捉方法，其特征在于，第i個視頻的第j幀包含的人體姿態kij記為：
6.根據權利要求1所述的一種基于進化計算的多視頻3D人體動作捕捉方法，其特征在于，所述S3具體為：
7.根據權利要求6所述的一種基于進化計算的多視頻3D人體動作捕捉方法，其特征在于，所述S3.3具體為：設定每個視頻包含的幀數為超參數，生成視頻同步矩陣X，建立多視頻同步目標函
8.根據權利要求1所述的一種基于進化計算的多視頻3D人體動作捕捉方法，其特征在于，所述S4具體為：
9.根據權利要求8所述的一種基于進化計算的多視頻3D人體動作捕捉方法，其特征在于，所述S4.3具體為：將所述S4.2中的一維向量的相機參數與人體動作姿態參數作為粒子中心，然后隨機初始化個粒子，其位置為，速度為，通過粒子群算法更新n個粒子的速度和位置，并根據粒子更新公式進行更新迭代，然后判斷當前迭代次數是否小于最大迭代次數G，若小于，則繼續迭代，若不小于，則將gbest作為本次迭代優化的最優解，并還原為，以更新每個視頻中每一幀包含的3D人體姿態，并將更新后的3D人體姿態參數最終結果輸出。
10.一種基于進化計算的多視頻3D人體動作捕捉系統，該系統采用權利要求1-9任一項所述的基于進化計算的多視頻3D人體動作捕捉方法，其中，該系統包括：
...【技術特征摘要】
1.一種基于進化計算的多視頻3d人體動作捕捉方法，其特征在于：包括以下步驟：
2.根據權利要求1所述的一種基于進化計算的多視頻3d人體動作捕捉方法，其特征在于，通過自行拍攝的方式或者從社交媒體檢索的方式獲取包含人體動作的視頻。
3.根據權利要求2所述的一種基于進化計算的多視頻3d人體動作捕捉方法，其特征在于，在所述獲取的m個包含人體動作的視頻中，第i個視頻包含的幀數設定為li。
4.根據權利要求1所述的一種基于進化計算的多視頻3d人體動作捕捉方法，其特征在于，在所述s2中，所述3d人體姿態算法為hmmr檢測算法。
5.根據權利要求1所述的一種基于進化計算的多視頻3d人體動作捕捉方法，其特征在于，第i個視頻的第j幀包含的人體姿態kij記為：
6.根據權利要求1所述的一種基于進化計算的多視頻3d人體動作捕捉方法，其特征在于，所述s3具體為：
7.根據權利要求6所述的一種基于進化計算的多視頻3d人體動作捕捉方法，其特征在于，所述s3.3...
【專利技術屬性】
技術研發人員：徐淑涵，王璐威，楊旭旨，
申請(專利權)人：杭州欣禾圣世科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。