變光照條件下運動目標的三維重建方法及三維重建裝置制造方法及圖紙

本發明專利技術公開了一種變光照條件下運動目標的三維重建方法，包括如下步驟：采集運動目標在光源提供的變光照條件下的多個視角的圖像；根據多臺攝像機在每一時刻采集得到的運動目標的多個視角的圖像，建立運動目標的初始三維模型；通過運動估計和運動補償得到每個時刻的運動目標的多光照圖像；聯合初始三維模型和多光照圖像恢復得到初始三維模型的法向信息；對初始三維模型的幾何信息和初始三維模型的法向信息進行聯合優化，得到運動目標的優化三維模型。本發明專利技術還公開了一種變光照條件下運動目標的三維重建裝置。本發明專利技術聯合多視角立體和光度立體方法的優勢，結合周期性變光照條件下的運動估計和運動補償，實現對運動目標的高精度的三維模型的重建。

【技術實現步驟摘要】

本專利技術涉及計算機圖形學和計算機視覺
，特別涉及一種變光照條件下運動目標的三維重建方法及三維重建裝置。
技術介紹
從多視角視頻序列中獲取精確的動態場景的三維模型是當前計算機視覺、計算機圖形學等學科領域的熱點研究問題。傳統的基于圖像的多視角立體重建方法在缺少紋理的區域難以建立精確的三維模型，但是可以建立出全視角的三維模型。傳統的光度立體方法是利用單一視角的多光照圖像，通過估計模型表面的法向信息進而估計出深度圖來建立單一視角的三維模型，光度立體方法雖然可以建立出較為精細的三維模型，但是這個模型是非全視角的三維模型。從而導致對于運動目標又不能直接采集到同一時刻的多光照的圖像。
技術實現思路
本專利技術的目的旨在至少解決上述技術缺陷之一。為此，本專利技術的第一個目的在于提供一種變光照條件下運動目標的三維重建方法，該方法聯合多視角立體和光度立體方法的優勢，結合周期性變光照條件下的運動估計和運動補償，實現對運動目標的高精度的三維模型的重建。本專利技術的第二個目的在于提供一種變光照條件下運動目標的三維重建裝置。為達到上述目的，本專利技術第一方面的實施例提出一種變光照條件下運動目標的三維重建方法，包括如下步驟利用多臺攝像機采集運動目標在光源提供的變光照條件下的多個視角的圖像，其中，所述光源周期性地向所述運動目標提供變光照條件；根據所述多臺攝像機在每一時刻采集得到的所述運動目標的多個視角的圖像，提取所述運動目標的輪廓信息，根據所述運動目標的輪廓信息和對應于每個視角的攝像機的參數建立可視凸殼，利用所述可視凸殼建立所述運動目標的初始三維模型；計算所述運動目標在多個周期中的相同光照條件下的運動估計結果，聯合所述多個周期中相同光照條件下的運動估計結果以對所述運動目標進行周期性變光照條件下的運動估計，利用運動估計得到的最終運動估計向量進行運動補償得到每個時刻的所述運動目標的多光照圖像；聯合所述初始三維模型和所述每個時刻的所述運動目標的多光照圖像恢復得到所述初始三維模型的法向信息，包括根據所述初始三維模型獲取不同光照條件下的諧波系數，對所述不同光照條件下的諧波系數進行優化得到所述初始三維模型的法向信息；對所述初始三維模型的幾何信息和所述初始三維模型的法向信息進行聯合優化， 得到所述運動目標的優化三維模型。根據本專利技術實施例的變光照條件下運動目標的三維重建方法，通過運動估計和運動補償得到多光照的圖像對運動目標的初始三維模型的法向信息進行優化，聯合多視角立體和光度立體方法的優勢結合周期性變光照條件下的運動估計和運動補償，實現對運動目標的高精度的三維重建。本專利技術第二方面的實施例提出了一種變光照條件下運動目標的三維重建裝置，包括采集模塊，所述采集模塊用于采集運動目標在光源提供的變光照條件下的多個視角的圖像，其中，所述采集模塊包括多個采集單元，每個采集單元用于采集所述運動目標在光源提供的變光照條件下的每個視角的圖像，所述光源周期性地向所述運動目標提供變光照條件；初始三維模型建立模塊，所述初始三維模型建立模塊與所述采集模塊相連，所述初始三維模型建立模塊用于根據所述采集模塊在每一時刻采集得到的所述運動目標的多個視角的圖像，提取所述運動目標的輪廓信息，根據所述運動目標的輪廓信息和對應于每個視角的采集單元的參數建立可視凸殼，利用所述可視凸殼建立所述運動目標的初始三維模型； 多光照圖像獲取模塊，所述多光照圖像獲取模塊與所述初始三維模型建立模塊相連，所述多光照圖像獲取模塊用于計算所述運動目標在多個周期中的相同光照條件下的運動估計結果，聯合所述多個周期中相同光照條件下的運動估計結果以對所述運動目標進行周期性變光照條件下的運動估計，利用運動估計得到的最終運動估計向量進行運動補償得到每個時刻的所述運動目標的多光照圖像；法向信息恢復模塊，所述法向信息恢復模塊分別與所述初始三維模型建立模塊和所述多光照圖像獲取模塊相連，所述法向信息恢復模塊用于聯合所述初始三維模型和所述每個時刻的所述運動目標的多光照圖像，根據所述初始三維模型獲取不同光照條件下的諧波系數，對所述不同光照條件下的諧波系數進行優化得到所述初始三維模型的法向信息；聯合優化模塊，所述聯合優化模塊與所述初始三維模型建立模塊和所述法向信息恢復模塊相連，所述聯合優化模塊用于對所述初始三維模型的幾何信息和所述初始三維模型的法向信息進行聯合優化，得到所述運動目標的優化三維模型。根據本專利技術實施例的變光照條件下運動目標的三維重建裝置，通過運動估計和運動補償得到多光照的圖像對運動目標的初始三維模型的法向信息進行優化，聯合多視角立體和光度立體方法的優勢結合周期性變光照條件下的運動估計和運動補償，實現對運動目標的高精度的三維重建。本專利技術附加的方面和優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本專利技術的實踐了解到。附圖說明本專利技術上述的和/或附加的方面和優點從下面結合附圖對實施例的描述中將變得明顯和容易理解，其中圖1為根據本專利技術實施例的變光照條件下運動目標的三維重建方法的流程圖；圖2為運動目標變光照條件下的多個視角的圖像；圖3為光源提供的光照條件的變化示意圖；圖4為兩個周期內采集到的運動目標的圖像；和圖5為根據本專利技術實施例的變光照條件下運動目標的三維重建裝置的示意圖。具體實施方式下面詳細描述本專利技術的實施例，所述實施例的示例在附圖中示出，其中自始至終相同或類似的標號表示相同或類似的元件或具有相同或類似功能的元件。下面通過參考附圖描述的實施例是示例性的，僅用于解釋本專利技術，而不能解釋為對本專利技術的限制。下面參考圖1至圖4描述根據本專利技術實施例的變光照條件下運動目標的三維重建方法。如圖1所示，本專利技術實施例提供的變光照條件下運動目標的三維重建方法包括如下步驟SlOl 采集變光照條件下的運動目標的多視角圖像。利用多臺攝像機和光源組成可以實現多視角且變光照的圖像采集設備。具體而言，多臺攝像機可以采集運動目標的多個視角的圖像，光源可以周期性地向運動目標提供變光照條件。其中，所述變光照條件是指施加到運動目標上的光照強度是變化的。利用多臺攝像機采集運動目標在變光照條件下的多個視角的圖像。在本專利技術的一個實施例中，利用硬件同步設備對多個攝像機和光源進行同步，以保證多視角變光照的采集環境。如圖2所示，多臺攝像機采集運動目標的20個視角的圖像，包括視角1、視角2、視角3、視角4...視角20。同一行的圖像為同一臺攝像機拍攝的不同時刻的變光照條件下同一視角的圖像，同一列的圖像為同一時刻同一光照條件下的不同視角的圖像。如圖3所示， 隨著時間的推移，光照強度逐漸減弱。結合圖3所示的光照條件，圖2中同一行的同一視角的圖像的隨著時間的推移，圖像的光照強度逐漸減弱。但是需要說明的是，上述的20個視角的具體數目只是出于示例的目的，而不是為了限制本專利技術的保護范圍。S102 建立運動目標的初始三維模型。根據步驟101中由多臺攝像機在每一個時刻采集得到的運動目標的多個視角的圖像，提取運動目標的輪廓信息。根據運動目標的輪廓信息和標定得到的攝像機的參數建立可視凸殼。可視凸殼描述了運動目標的外輪廓形狀。其中，所述標定得到的攝像機為對應于每個視角的攝像機的參數。利用建立的可視凸殼建立運動目標的初始三維模型。其中，現有的多視角立體的方法均可以實現建立初始三維模型的方法的目的本文檔來自技高網...

【技術保護點】
１．一種變光照條件下運動目標的三維重建方法，其特征在于，包括如下步驟：利用多臺攝像機采集運動目標在光源提供的變光照條件下的多個視角的圖像，其中，所述光源周期性地向所述運動目標提供變光照條件；根據所述多臺攝像機在每一時刻采集得到的所述運動目標的多個視角的圖像，提取所述運動目標的輪廓信息，根據所述運動目標的輪廓信息和對應于每個視角的攝像機的參數建立可視凸殼，利用所述可視凸殼建立所述運動目標的初始三維模型；計算所述運動目標在多個周期中的相同光照條件下的運動估計結果，聯合所述多個周期中相同光照條件下的運動估計結果以對所述運動目標進行周期性變光照條件下的運動估計，利用運動估計得到的最終運動估計向量進行運動補償得到每個時刻的所述運動目標的多光照圖像；聯合所述初始三維模型和所述每個時刻的所述運動目標的多光照圖像恢復得到所述初始三維模型的法向信息，包括：根據所述初始三維模型獲取不同光照條件下的諧波系數，對所述不同光照條件下的諧波系數進行優化得到所述初始三維模型的法向信息；對所述初始三維模型的幾何信息和所述初始三維模型的法向信息進行聯合優化，得到所述運動目標的優化三維模型。

【技術特征摘要】

【專利技術屬性】
技術研發人員：劉燁斌，付瑩，戴瓊海，
申請(專利權)人：清華大學，
類型：發明
國別省市：11