【技術實現步驟摘要】
本專利技術涉及數字圖像處理領域，特別涉及基于現實場景視頻的三維數字化建模系統及方法。
技術介紹
1、所謂動態真實場景就是場景內容或者場景中的對象的內容隨時間變化的場景。在現實生活中很多領域都涉及到動態場景的三維建模應用，比如考古發掘現場的全過程全方位的記錄與考古報告的生成領域、影視動漫的制作、廣告等。
2、動態真實場景的三維建模方法主要分為傳統的建模方法和基于神經網絡的三維建模方法，其中，傳統的三維建模方法主要是利用多個不同視點的視頻圖像來分別構建每一個時刻的三維模型，然后利用模型之間的關系構建模型的變形矩陣，進而最終形成一個動態的三維數字化模型。而這種基于圖像的三維建模方法需要大量的圖像數據，同時需要相機標定等復雜操作，因此建模難度較大，而且構建出的三維模型質量較低，無法對樹木、花草、透明和半透明物體等進行三維建模。
3、近幾年采用神經網絡的三維建模方法得到快速發展，這種三維建模方法主要是利用神經網絡來隱式表達三維場景，其得到的三維模型被神經網絡記住，只需要提供相機的視點和位置，神經網絡就可以自動渲染得到一副真實感較強的圖像，該方法采集簡單，需要的采集的圖像數量較少，而且其三維建模過程就是神經網絡的訓練過程，過程相對簡單，而且能夠對高光、透明半透明、樹木花草等進行建模，建模的真實感強（當然也取決于神經網絡的質量，但是亦可通過訓練量解決）。
4、盡管采用神經網絡的三維數字化建模技術擁有上述的優點，但是針對動態真實場景，該技術仍然存在如下的技術難題：
5、1、由于動態真實場景往往較大
6、2、動態場景往往會持續較長時間，有的甚至會持續幾個月，場景的光照會隨時間進行變化，因此如何去除場景光照對建模的動態真實場景影響是一個關鍵的技術難題；
7、3、動態場景往往存在瞬態遮擋或者移動的物體，比如工人員的移動、動物的移動等，而這些信息是不需要記錄的，如何將這些不需要的瞬態對象去除是一個技術難題。
技術實現思路
1、本專利技術提供了基于現實場景視頻的三維數字化建模系統及方法，能夠減少采集設備對動態真實場景的干擾、補償動態真實場景中的光照變化且能夠避免記錄錯誤信息。
2、為了解決上述技術問題，本申請提供如下技術方案：
3、基于現實場景視頻的三維數字化建模系統，包括：
4、視頻采集模塊，所述視頻采集模塊搭載于可自由移動的攝像平臺上，并在攝像平臺位置穩定后用于實時采集動態真實場景中的雙路動態立體視頻圖像；
5、視頻分析模塊，視頻分析模塊用于根據幀間差分法確定相鄰幀的差異度，并根據差異度將雙路動態立體視頻圖像中的對象按照輪廓定義為基礎建模對象、瞬態移動對象和漸變建模對象；間隔預設時間后從雙路動態立體視頻圖像中取出一對關鍵幀，刪除瞬態移動對象和漸變建模對象相關信息后對其進行稠密深度圖的計算，并根據預設的神經網絡模型得到三維點云數據，然后根據三維點云數據建立動態真實場景中的基礎建模對象的三維模型m1；同時提取出稀疏特征點；然后對雙路動態立體視頻圖像中的所有中間幀采取稀疏特征點跟蹤的策略，結合稀疏特征點在圖像中的位置，得到預估相機的位置和姿態；
6、整體建模模塊，整體建模模塊用于提取漸變建模對象，并在三維模型m1中加入漸變建模對象的時間序列，并通過稠密深度圖的計算得到漸變建模對象的三維點云數據，然后將根據間隔預設時間后從雙路動態立體視頻圖像中取出一對關鍵幀進行排序，選擇平均亮度作為亮度補償系數，對漸變建模對象的三維點云數據進行貼圖上色得到三維模型m2；然后將三維模型m1和三維模型m2的分別取出的一對關鍵幀進行對比，選擇最接近取出的一對關鍵幀的亮度作為亮度補償系數，對與取出的一對關鍵幀差異較大的進行亮度補償，得到最終三維模型m3。
7、基礎方案原理及有益效果如下：本方案中，利用可自由移動的攝像平臺搭載視頻采集模塊，實現對動態真實場景的全方位實時視頻采集。通過雙路動態立體視頻圖像的采集，為后續建模提供立體視覺信息。
8、視頻分析模塊采用幀間差分法來確定相鄰幀之間的差異度，實現對場景中不同類型對象的區分。將對象分類為基礎建模對象、瞬態移動對象和漸變建模對象，以便于后續建模過程的精確控制。通過稠密深度圖的計算和預設神經網絡模型，將雙路動態立體視頻圖像轉換為三維點云數據，進而建立基礎建模對象的三維模型m1。稀疏特征點的提取和跟蹤，用于預估相機的位置和姿態，為動態場景建模提供精確的視角信息。
9、提取漸變建模對象，并結合時間序列信息，實現動態場景中變化對象的建模。利用稠密深度圖計算和亮度補償系數，對漸變建模對象進行三維點云數據的貼圖上色，形成三維模型m2。通過關鍵幀的亮度對比和補償，優化最終三維模型m3，以適應動態場景中的光照變化。
10、通過可移動攝像平臺，減少了對動態真實場景的物理干擾，使得采集過程更加自然和真實。采用亮度補償系數，有效解決了動態場景中光照變化對建模效果的影響，提高了模型的真實感和一致性。通過幀間差分法和對象分類，準確區分并排除瞬態移動對象和不需要的漸變建模對象，確保了建模信息的準確性。
11、利用神經網絡模型和稀疏特征點跟蹤技術，簡化了建模過程，提高了建模效率。結合稠密深度圖和時間序列信息，使得動態真實場景的三維模型更加細膩和真實。系統能夠適應不同光照條件和動態變化的場景，具有較強的適應性和靈活性。整個建模過程高度自動化，減少了人工干預，降低了操作難度和出錯率。
12、通過上述解決方案，本專利技術能夠提供一種高效、準確、自動化的三維數字化建模系統及方法，適用于動態真實場景的三維建模，具有廣泛的應用前景和實用價值。
13、進一步，所述視頻分析模塊還用于通過計算圖像的局部灰度平均值和標準差，動態確定差異度，并結合多幀圖像數據，使用圖像融合來減少隨機噪聲和運動模糊，通過分析視頻序列中的靜態背景，建立背景模型將當前幀與背景模型進行差分，以提取運動目標，對于檢測到的運動目標，使用輪廓跟蹤算法來分析其運動軌跡，以預測目標在未來幀中的位置從而準確區分基礎建模對象、瞬態移動對象和漸變建模對象。
14、進一步，所述視頻分析模塊還用于利用視頻分析技術中的幀率控制和時間間隔設定，自動從雙路動態立體視頻流中提取關鍵幀，通過背景減除法、光流法和深度學習算法，識別并區分瞬態移動對象和漸變建模對象。
15、進一步，所述視頻分析模塊還用于使用目標檢測和分類網絡來識別并從關鍵幀中刪除這些不需要的對象，采用立體視覺技術，結合左右雙路視頻圖像之間的視差，計算稠密深度圖，利用半全局匹配算法或基于深度學習的深度估計方法來恢復場景的三維結構，將稠密深度圖轉換為三維點云數據，通過逆投影過程，將每個像素點映射到三維空間中，形成點云；使用點云處理算法進行濾波和特征提取。
16、進一步，所述視頻分析模塊還用于利用深度學習框架，設計并訓練神經網絡本文檔來自技高網...
【技術保護點】
1.基于現實場景視頻的三維數字化建模系統，其特征在于：包括：
2.根據權利要求1所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于通過計算圖像的局部灰度平均值和標準差，動態確定差異度，并結合多幀圖像數據，使用圖像融合來減少隨機噪聲和運動模糊，通過分析視頻序列中的靜態背景，建立背景模型將當前幀與背景模型進行差分，以提取運動目標，對于檢測到的運動目標，使用輪廓跟蹤算法來分析其運動軌跡，以預測目標在未來幀中的位置從而準確區分基礎建模對象、瞬態移動對象和漸變建模對象。
3.根據權利要求2所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于利用視頻分析技術中的幀率控制和時間間隔設定，自動從雙路動態立體視頻流中提取關鍵幀，通過背景減除法、光流法和深度學習算法，識別并區分瞬態移動對象和漸變建模對象。
4.根據權利要求3所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于使用目標檢測和分類網絡來識別并從關鍵幀中刪除這些不需要的對象，采用立體視覺技術，結合左右雙路視頻圖像之間的視差，
5.根據權利要求4所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于利用深度學習框架，設計并訓練神經網絡模型，用于從三維點云數據中學習并預測場景的結構特征；根據三維點云數據，使用三維建模軟件或庫建立基礎建模對象的三維模型M1；通過融合點云數據和神經網絡模型的預測，優化模型的幾何和拓撲結構；應用特征點檢測算法，從關鍵幀中提取稀疏特征點，利用這些特征點在視頻序列中的跟蹤，來估計相機的位姿變化。
6.根據權利要求5所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于結合稀疏特征點跟蹤結果和三維點云數據，使用視覺測距法或結構光編碼技術，預估相機在動態場景中的位置和姿態；對于雙路動態立體視頻圖像中的所有中間幀，采用稀疏特征點跟蹤策略，結合時間序列分析，預測和平滑特征點的運動軌跡，得到預估相機的位置和姿態。
7.根據權利要求6所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述整體建模模塊還用于利用圖像分割技術，從視頻中提取漸變建模對象；將提取的漸變建模對象與時間戳關聯，創建時間序列數據；使用時間序列分析方法，來分析和建模對象隨時間的變化模式；采用多視圖幾何和計算機視覺技術，結合立體匹配算法，計算漸變建模對象的稠密深度圖，利用機器學習方法，優化深度估計的準確性。
8.根據權利要求7所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述整體建模模塊還用于從稠密深度圖中恢復三維點云數據，并通過點云處理技術，優化點云數據的質量；分析關鍵幀之間的光照變化，計算平均亮度作為亮度補償系數。
9.根據權利要求8所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述整體建模模塊還用于對從三維模型M1和M2中提取的關鍵幀進行亮度分析，將亮度定義為圖像像素值的平均值或中值；計算兩對關鍵幀之間的亮度差異，采用色彩空間轉換來量化亮度差異，并使用統計方法來評估差異的大小；基于亮度差異分析，選擇最接近的一對關鍵幀作為亮度補償的基準，利用伽瑪校正或線性校正，確定所需的亮度補償系數；根據亮度補償系數對模型進行調整，使用陰影和光照傳遞算法，來模擬光照變化對模型的影響；將調整后的三維模型M2與M1進行融合，采用Alpha混合平滑過渡不同模型的接合處；對融合后的模型進行紋理映射和顏色校正，驗證融合后的模型在不同關鍵幀下的光照一致性，使用虛擬渲染技術，在模擬環境中重現關鍵幀的光照條件，檢查模型的視覺效果；對融合后的模型進行細節增強，同時，優化模型的著色和光照模型，將經過亮度補償和細節優化的模型整合為最終的三維模型M3。
10.基于現實場景視頻的三維數字化建模方法，其特征在于，采用了如權利要求1-9任一項所述的系統。
...【技術特征摘要】
1.基于現實場景視頻的三維數字化建模系統，其特征在于：包括：
2.根據權利要求1所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于通過計算圖像的局部灰度平均值和標準差，動態確定差異度，并結合多幀圖像數據，使用圖像融合來減少隨機噪聲和運動模糊，通過分析視頻序列中的靜態背景，建立背景模型將當前幀與背景模型進行差分，以提取運動目標，對于檢測到的運動目標，使用輪廓跟蹤算法來分析其運動軌跡，以預測目標在未來幀中的位置從而準確區分基礎建模對象、瞬態移動對象和漸變建模對象。
3.根據權利要求2所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于利用視頻分析技術中的幀率控制和時間間隔設定，自動從雙路動態立體視頻流中提取關鍵幀，通過背景減除法、光流法和深度學習算法，識別并區分瞬態移動對象和漸變建模對象。
4.根據權利要求3所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于使用目標檢測和分類網絡來識別并從關鍵幀中刪除這些不需要的對象，采用立體視覺技術，結合左右雙路視頻圖像之間的視差，計算稠密深度圖，利用半全局匹配算法或基于深度學習的深度估計方法來恢復場景的三維結構，將稠密深度圖轉換為三維點云數據，通過逆投影過程，將每個像素點映射到三維空間中，形成點云；使用點云處理算法進行濾波和特征提取。
5.根據權利要求4所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于利用深度學習框架，設計并訓練神經網絡模型，用于從三維點云數據中學習并預測場景的結構特征；根據三維點云數據，使用三維建模軟件或庫建立基礎建模對象的三維模型m1；通過融合點云數據和神經網絡模型的預測，優化模型的幾何和拓撲結構；應用特征點檢測算法，從關鍵幀中提取稀疏特征點，利用這些特征點在視頻序列中的跟蹤，來估計相機的位姿變化。
6.根據權利要求5所述的基于現實場景視頻的三維數字化建模系統，其特征在于：所述視頻分析模塊還用于結合稀疏特征點跟蹤結果和三維點...
【專利技術屬性】
技術研發人員：琚潔慧，樓宋江，馬楊琿，龔婷，莊兒，胡昳，
申請(專利權)人：浙江科技大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。