用來捕捉面部和身體動作的系統和方法技術方案

一種用來捕捉動作的系統和方法包括適合包含至少一個行動者的動作捕捉容積，該至少一個行動者具有限定多個身體點的身體標志和限定多個面部點的面部標志。多個動作攝像機圍繞該動作捕捉容積的外圍設置。這些動作攝像機這樣設置使得當在動作捕捉容積內運動時行動者的所有橫向暴露的表面基本上一直在該多個動作攝像機中的至少一個的視場內。動作捕捉處理器耦接到該多個動作攝像機以產生反映行動者的組合的身體和面部動作的數字模型。至少一個傳聲器可以被定向成從該動作捕捉容積拾取聲音。

【技術實現步驟摘要】
【國外來華專利技術】
本專利技術涉及三維圖形和動畫，并且更具體地說，涉及動作捕捉系 統，該系統在能夠包含多個行動者的容積(volume)里面能夠同時 捕捉面部和身體動作。
技術介紹
動作捕捉系統被用來捕捉實物的運動并且將它映射到計算機產 生的物體上。在運動畫面和視頻游戲的制作中經常使用這樣的系統 來生成人的數字表示，該人的數字表示被用作產生計算機圖形(CG) 動畫的源數據。在典型系統中，行動者穿著具有附著在各個位置的 標志(例如具有附著到身體和四肢的反射標志)的衣服，并且數字 攝像機在照亮這些標志的同時從不同的角度記錄行動者的運動。然 后該系統分析這些圖像以確定在每一幀中行動者的衣服上的標志的 位置(例如按空間坐標)和方向。通過跟蹤這些標志的位置，該系 統創建這些標志隨時間的空間表示并且建立運動中的行動者的數字 表示。然后，該運動可以應用于數字模型，其然后可以被構造和再 現以制作行動者和/或行為的完整的CG表示。該技術已經被特技效 果公司用來在許多流行電影中制作非常逼真的動畫。動作捕捉系統也被用來跟蹤行動者的面部特征的動作以產生行 動者的面部動作和表情(例如笑、哭、微笑等)的表示。與身體動 作捕捉一樣，標志被附著到行動者的面部上并且攝像機記錄行動者 的表情。因為與身體運動所涉及的較大的肌肉相比面部運動涉及相 對小的肌肉，因此面部標志一般比相應的身體標志小得多，并且這 些攝像機一般具有比通常用來捕捉身體運動的攝像機高的分辨率。這些攝像機一般與行動者的身體移動在共同的平面內排成直線，所 述行動者的身體移動被限制以使這些攝像機聚焦在行動者的面部 上。面部動作捕捉系統可以被并入物理地附著到行動者的頭盔或其 他工具中以便均勻地照射面部標志并且使攝像機和面部之間的相對運動程度最小化。為此，通常在分開的步驟中捕捉面部動作和身體 動作。然后結合捕捉的面部動作數據和稍后捕捉的身體動作數據作 為隨后的動畫過程的一部分。動作捕捉系統優于傳統的動畫技術例如關鍵幀(keyframing )的 優點是能夠實時可視化。制作團隊可以實時或接近實時地回顧行動 者的動作的空間表示，使行動者能夠改變身體行為以便捕捉最優的 數據。此外，動作捕捉系統檢測身體移動的精妙細微的差別，其不 容易利用其他的動畫技術來再現，由此產生更精確地反映自然運動 的數據。因此，利用使用動作捕捉系統收集的源材料產生的動畫將 呈現更逼真的景象。雖然動作捕捉系統有這些優點，但是分開捕捉面部和身體動作經 常會導致并不真實地逼真的動畫。面部動作和身體動作不可避免地 相關聯，使得面部表情經常被相應的身體動作增強。例如，行動者 可以利用某種身體動作(即身體語言)來交流感情和強調相應的面 部表情，例如在興奮地談話時利用手臂擺動或在生氣時卑肩。當分 開地捕捉動作時會失去面部動作和身體動作之間的這種聯系，并且 難以使這些分開捕捉的動作吻合在一起。當面部動作和身體動作被 結合時，最后所得的動畫經常會看起來明顯不正常。因為動作捕捉 的目的是能夠形成格外逼真的動畫，因此面部和身體動作的分離說 明了常規動作捕捉系統的重大缺陷。常規動作捕捉系統的另一缺點是行動者的動作數據有可能被其 他對象例如道具或其他行動者的干擾所遮蔽。特別地，如果身體或 面部標志的一部分從數字攝像機的視場被遮住，則涉及該身體或面 部部分的數據就不會被收集。這導致動作數據中的遮掩或缺陷。雖 然稍后在后期制作過程中可以利用常規的計算機制圖技術填補該遮 掩，但是該填補數據缺少實際動作數據的質量，導致能夠被觀看的 觀眾識別的動畫缺陷。為避免該問題，常規動作捕捉系統限制一次 能夠捕捉的對象的數目例如為單個行動者。這也易于使動作數據看起來不那么逼真，因為行動者的行為質量經常取決于與其他行動者 和對象的相互作用。此外，難以以看起來自然的方式將這些獨立的 行為結合在一起。常規的動作捕捉系統的另一缺點是聲音不能和動作捕捉同時被 記錄。在動畫制作中，通常首先記錄聲道，然后對人物進行動畫制 作以與聲道相匹配。在面部動作捕捉期間，行動者會與記錄的聲道 同步地說話。這不可避免地導致動作數據的視覺質量的進一步降 低，因為對于行動者來說難以完美地將面部動作與聲道同步。而且， 身體動作經常會影響發表演講的方式，并且身體和面部動作的分開捕捉增加了與聲道同步以產生有內聚性的最終產品的難度。因此，將期望提供一種克服現有技術的這些和其他缺點的動作捕 捉系統。更具體地說，將期望提供一種動作捕捉系統，其能夠在能 夠包含多個行動者的容積內同時捕捉身體和面部動作。還將期望提 供一種動作捕捉系統，其能夠與身體和面部動作捕捉同時地記錄聲 音。
技術實現思路
根據本專利技術的教導，提供一種動作捕捉系統和方法，其能夠在包 含多個行動者的容積內同時捕捉面部和身體動作。該動作捕捉系統 還能夠與身體和面部動作捕捉同時地記錄聲音。更具體地說，用來捕捉動作的系統和方法包括適合包含至少一個行動者的動作捕捉容積(volume)，該至少一個行動者具有限定多 個身體點的身體標志和限定多個面部點的面部標志。該動作捕捉容 積可以具有任何期望的幾何形狀，例如橢圓形、圓形、矩形、多邊 形等。多個動作攝像機圍繞該動作捕捉容積的外圍設置。這些動作 攝像機這樣設置以便當在動作捕捉容積內運動時行動者的所有橫向 暴露的表面基本上一直在該多個動作攝像機中的至少一個的視場以 內。動作捕捉處理器耦接到該多個動作攝像機以產生反映行動者的 合成的身體和面部動作的數字模型。至少一個傳聲器可以被定向以 從該動作捕捉容積中拾取聲音。在本專利技術的實施例中，動作捕捉容積進一步包括被細分成多個部 分的矩形區域。該多個動作攝像機進一步包括朝向該多個部分中的相應部分定向的第一子組攝像機。該多個動作攝像機可以進一步包 括朝向該多個部分中的相應部分定向的第二子組攝像機，所述第二 子組攝像機在空間上與所述第一子組攝像機分開。第一子組攝像機 相對于第二子組攝像機被定向以便它們的相應視場基本重疊。第一 和第二子組攝像機均可以進一步包括至少三個攝像機。該多個動作 攝像機可以進一步包括第三子組攝像機，所述第三子組攝像機分別 設置在動作捕捉容積的各角處并且通常朝向動作捕捉容積的中心被 定向。通過考慮以下優選實施例的詳細描述，本領域技術人員將更完整 地理解用來捕捉身體和面部動作的系統和方法，以及其另外的優點 和目的的實現。將參考附圖頁，這些附圖首先將被簡要地描述。附圖說明圖1是示出根據本專利技術的實施例的動作捕捉系統的方塊圖2是具有多個動作捕捉攝像機的動作捕捉容積的頂視圖，該多 個動作捕捉攝像機圍繞該動作捕捉容積的外圍設置；圖3是具有多個動作捕捉攝像機的動作捕捉容積的側視圖，該多 個動作捕捉攝像機圍繞該動作捕捉容積的外圍設置；圖4是示出面部動作攝像機相對于動作捕捉容積的象限的示例 性設置的動作捕捉容積的頂視圖5是示出面部動作攝像機相對于動作捕捉容積的各角的示例 性設置的動作捕捉容積的頂視圖6是示出反映在動作捕捉容積中的兩個行動者的動作捕捉數 據的動作捕捉容積的透視圖7示出反映在動作捕捉容積中的兩個行動者并且顯示該數據 的遮掩區的動作捕捉數據；圖8示出如圖7中的動作捕捉數據，其中該兩個行動者中的一個 凈皮遮掩區遮蔽；圖9是示出在該動作捕捉系統中利用的動作捕捉攝像機的替換 實施例的本文檔來自技高網...

【技術保護點】
一種用來捕捉動作的系統，包括：　適合包含至少一個行動者的動作捕捉容積，該至少一個行動者具有限定多個身體點的身體標志和限定多個面部點的面部標志；　圍繞所述動作捕捉容積的所述外圍設置的多個動作攝像機，所述動作攝像機這樣設置使得當在所述動作捕捉容積內運動時所述至少一個行動者的所有橫向暴露的表面基本上一直在所述多個面部動作攝像機中的至少一個的視場內；以及　動作捕捉數據處理系統，其耦接到所述多個動作攝像機以產生反映所述至少一個行動者的身體和面部動作的數字表示。

【技術特征摘要】
【國外來華專利技術】...

【專利技術屬性】
技術研發人員：D戈登，
申請(專利權)人：索尼株式會社，索尼電影娛樂公司，
類型：發明
國別省市：JP[日本]