基于視頻流進行三維人體姿態估計的方法技術

本發明專利技術所述基于視頻流進行三維人體姿態估計的方法，基于深度學習的方法對視頻流進行三維人體3D姿態估計，避免因二維視覺分析錯誤所導致的諸多缺陷，充分地利用視頻幀間的時間關系，提高視頻流3D姿態推斷結果的準確性與實時性。包括有，視頻第n(n≥2)幀，1)輸入當前幀二維圖像，采用淺層神經網絡模塊生成圖像淺層圖；2)第(n?1)幀生成的人體二維關節點熱力圖、當前幀生成的圖像淺層圖，一并輸入至LSTM模塊以生成深層次特征圖；3)當前幀生成的深層圖像特征圖輸出至殘差模塊，生成當前幀的人體二維關節點熱力圖；4)當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射；以上每幀生成的人體三維關節點熱力圖疊加，生成三維人體姿態估計的視頻流。

【技術實現步驟摘要】
基于視頻流進行三維人體姿態估計的方法
本專利技術涉及針對二維圖像視頻流進行三維人體姿態估計的方法，屬于虛擬現實

技術介紹
人體的3D姿態估計，是將人體的若干個關節(例如頭部，肩部，肘部等)的3D位置精確地估算出來。由于失去了深度信息，從二維RGB視頻流中估計人體的3D關節點的位置是計算機視覺領域的一個很大挑戰。隨著深度神經網絡(DeepConvolutionalNetworks)的發展，越來越多的技術創新聚焦于基于端到端的深度神經網絡進行三維人體骨架檢測。現有較為常見的三維人體姿態估計方法，主要有以下兩種技術路線：兩段式3D關節點推斷，如后附圖1所示，該方法分成兩個階段，第一階段，利用現有的二維關節點推斷模型，精準地估計人體2D關節點的位置，一般用二維關節點熱力圖表示；第二階段，利用上一階段產生的2D關節點熱力圖和中間層特征圖產生人體三維關節點的數學表達式。端對端的3D關節點推斷，如后附圖2所示，該推斷模型的輸入為RGB圖像，輸出為人體3D數學表達式。如上所述，現有三維人體姿態估計具有以下技術缺陷：A、一般直接輸出人體關節點3D坐標，這對于網絡來說是非常難學習的，因為特征空間到3D姿態空間的學習任務是一個高度非線性的學習任務，具有較高的非線性缺點；B、進行關節點3D推斷時，神經網絡的中間特征并未得到充分利用，難以將不同尺度、維度的特征信息結合起來，生成推斷效果較差；C、基于視頻流的3D姿態推斷過程中，計算量增幅較大，從而使得最終的推斷效果達不到實時性要求，實際應用效果較差；D、基于視頻流的3D姿態推斷過程中，并未利用每幀間的時空關系，從而無法解決關節點被遮擋及消失的問題。有鑒于此，特提出本專利申請。
技術實現思路
本專利技術所述基于視頻流進行三維人體姿態估計的方法，其目的在于解決上述現有技術存在的問題而基于深度學習的方法對視頻流進行三維人體3D姿態估計，主要包括三維人體姿態模型生成、關節點的空間關系建立和視頻幀間時間相關性捕捉，從而避免因二維視覺分析錯誤所導致的諸多缺陷，充分地利用視頻幀間的時間關系，提高視頻流3D姿態推斷結果的準確性與實時性。為實現上述專利技術目的，所述基于視頻流進行三維人體姿態估計的方法，包括有以下實施步驟：視頻第一幀，1)輸入當前幀二維圖像，采用沙漏網絡模塊進行人體二維姿態的提取，生成第一幀的人體二維關節點熱力圖；2)將當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；視頻第二幀，1)輸入當前幀二維圖像，采用淺層神經網絡模塊生成圖像淺層圖；2)第一幀生成的人體二維關節點熱力圖、當前幀生成的圖像淺層圖，一并輸入至LSTM模塊以生成深層次特征圖；3)當前幀生成的深層圖像特征圖輸出至殘差模塊，生成當前幀的人體二維關節點熱力圖；4)當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；視頻第n(n≥2)幀，1)輸入當前幀二維圖像，采用淺層神經網絡模塊生成圖像淺層圖；2)第(n-1)幀生成的人體二維關節點熱力圖、當前幀生成的圖像淺層圖，一并輸入至LSTM模塊以生成深層次特征圖；3)當前幀生成的深層圖像特征圖輸出至殘差模塊，生成當前幀的人體二維關節點熱力圖；4)當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；以上每幀生成的人體三維關節點熱力圖疊加，生成三維人體姿態估計的視頻流。如上所述，為充分地利用每幀間的時空關系，主要綜合運用沙漏網絡(HourglassNetwork)、淺層神經網絡、LSTM(LongShort-TermMemory，長短期記憶)模塊、殘差模塊和三維關節點推斷模塊進行三維人體姿態估計。其中，沙漏模塊，用以進行人體2D姿態提取以精確地預測、生成人體二維關節點的熱力圖；淺層神經網絡，用以輸出單幀圖像的特征圖；LSTM模塊，以沙漏模塊產生的人體2D關節點熱力圖和淺層神經網絡產生的圖像特征圖為輸入，生成當前幀的深層次特征圖；殘差模塊，以LSTM模塊生成的當前幀深層圖像特征圖為輸入，生成人體二維關節點；三維關節點推斷模塊，利用沙漏模塊提取的2D關節點和估計的深度進行2D到3D空間的映射，最終生成人體三維關節點坐標。針對沙漏網絡的進一步優化與補充方案是，一階沙漏網絡(Hourglass)包括以下并聯的結構：上半路具有M輸入通道和N輸出通道的若干個初級模塊；下半路具有串聯的降采樣1/2池化層、若干個初級模塊、升采樣最近鄰插值模塊；n(n≥2)階沙漏網絡具有以下結構：將(n-1)階沙漏網絡下半路的任一初級模塊替換為(n-1)階沙漏網絡，其他的上、下半路結構與(n-1)階沙漏網絡相同。具體地，上半路將M個通道的數據提取得到N通道的數據。在串聯的若干個初級模塊中，兩個相鄰的初級模塊，后一個初級模塊的輸入通道數總是等于前一個初級模塊的輸出通道數。下半路同樣將M個通道的數據提取得到N通道的數據，不同的是在原本輸入一半的尺寸上進行的，即串聯有降采樣1/2池化層、初級模塊和升采樣最近鄰插值模塊。在n階沙漏網絡中，是將(n-1)階沙漏網絡(Hourglass)下半路中的初級模塊替換為(n-1)階沙漏網絡，通過將該初級模塊替換為一個新的沙漏網絡，將n-1階沙漏網絡擴增為n階沙漏網絡。綜上內容，基于視頻流進行三維人體姿態估計的方法具有以下優點：1、充分利用視頻幀間時間關系，提高了視頻流3D姿態推斷結果的準確性與實時性。2、有效地降低了從“特征空間”到“3D姿態空間”學習任務的非線性程度，實現了一種科學的表示方法與學習方法。3、實現了一種進行人體3D姿態估計的“端到端”的深度學習網絡，進行人體關節點3D推斷過程中避免了累積誤差的產生。4、實現最大化地利用神經網絡的中間特征，將不同尺度、維度的特征結合起來，產生出最佳的推斷效果。5、直接減小了計算量，使得最終的推斷效果達到實時性的要求，實用性較強。附圖說明圖1是現有技術中兩段式估計方法示意圖；圖2是現有技術中端對端估計方法示意圖；圖3是本申請所述基于視頻流進行三維人體姿態估計方法流程圖；圖4是所述初級模塊(Residual)的結構示意圖；圖5是一階沙漏模塊的結構示意圖；圖6是二階沙漏模塊的結構示意圖；圖7是所述淺層神經網絡的結構示意圖；圖8是三維關節點推斷模塊流程圖；具體實施方式下面結合附圖和實施示例對本專利技術作進一步詳細地描述。實施例1，如圖3所示，基于視頻流進行三維人體姿態估計的方法如下：視頻第一幀，1)輸入當前幀二維圖像，采用沙漏網絡模塊進行人體二維姿態的提取，生成第一幀的人體二維關節點熱力圖；2)將當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；視頻第二幀，1)輸入當前幀二維圖像，采用淺層神經網絡模塊生成圖像淺層圖；2)第一幀生成的人體二維關節點熱力圖、當前幀生成的圖像淺層圖，一并輸入至LSTM模塊以生成深層次特征圖；3)當前幀生成的深層圖像特征圖輸出至殘差模塊，生成當前幀的人體二維關節點熱力圖；4)當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；視頻第三幀，1)輸入當本文檔來自技高網...

【技術保護點】
1.一種基于視頻流進行三維人體姿態估計的方法，其特征在于：包括有以下實施步驟，視頻第一幀，1)輸入當前幀二維圖像，采用沙漏網絡模塊進行人體二維姿態的提取，生成第一幀的人體二維關節點熱力圖；2)將當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；視頻第二幀，1)輸入當前幀二維圖像，采用淺層神經網絡模塊生成圖像淺層圖；2)第一幀生成的人體二維關節點熱力圖、當前幀生成的圖像淺層圖，一并輸入至LSTM模塊以生成深層次特征圖；3)當前幀生成的深層圖像特征圖輸出至殘差模塊，生成當前幀的人體二維關節點熱力圖；4)當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；視頻第n(n≥2)幀，1)輸入當前幀二維圖像，采用淺層神經網絡模塊生成圖像淺層圖；2)第(n?1)幀生成的人體二維關節點熱力圖、當前幀生成的圖像淺層圖，一并輸入至LSTM模塊以生成深層次特征圖；3)當前幀生成的深層圖像特征圖輸出至殘差模塊，生成當前幀的人體二維關節點熱力圖；4)當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；以上每幀生成的人體三維關節點熱力圖疊加，生成三維人體姿態估計的視頻流。...

【技術特征摘要】
1.一種基于視頻流進行三維人體姿態估計的方法，其特征在于：包括有以下實施步驟，視頻第一幀，1)輸入當前幀二維圖像，采用沙漏網絡模塊進行人體二維姿態的提取，生成第一幀的人體二維關節點熱力圖；2)將當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；視頻第二幀，1)輸入當前幀二維圖像，采用淺層神經網絡模塊生成圖像淺層圖；2)第一幀生成的人體二維關節點熱力圖、當前幀生成的圖像淺層圖，一并輸入至LSTM模塊以生成深層次特征圖；3)當前幀生成的深層圖像特征圖輸出至殘差模塊，生成當前幀的人體二維關節點熱力圖；4)當前幀的人體二維關節點熱力圖輸出至三維關節點推斷模塊，進行二維至三維的空間映射以生成人體三維關節點熱力圖；視頻第n(n≥2)幀，1)輸入當前幀二維圖像，采用淺層神經網絡模塊生成圖像淺層圖；2)第(n-1)幀生成的人體二維關節點熱力圖、當前幀生成的圖像淺層圖，一并輸入至LSTM模塊以生成深層次特征圖；3)當前幀生成的...

【專利技術屬性】
技術研發人員：李帥，胡韜，于洋，付延生，
申請(專利權)人：北京航空航天大學青島研究院，
類型：發明
國別省市：山東,37