一種基于深度學習的三維重建方法及系統技術方案

本發明專利技術公開了一種基于深度學習的三維重建方法及系統，包括：獲取目標物體對應的多個待處理圖像；將所有待處理圖像輸入至深度圖像獲取模型，以獲得各待處理圖像對應的深度圖像；通過預設的三維重建算法，結合所有深度圖像，獲得目標物體的三維重建模型，實現對目標物體的三維重建；其中，深度圖像獲取模型為通過在預設的多視角立體視覺神經網絡MVSNet的基礎上，引入交叉注意力機制而獲得的。本發明專利技術通過在預設的多視角立體視覺神經網絡MVSNet的基礎上，引入交叉注意力機制，以優化深度圖像獲取模型的信息捕捉性能和信息匹配性能，并逐圖像獲取目標物體的多視角深度信息，進而提升對于目標物體的三維重建精度和三維重建效率。率。率。

【技術實現步驟摘要】
一種基于深度學習的三維重建方法及系統


[0001]本專利技術涉及三維重建
，尤其涉及一種基于深度學習的三維重建方法及系統。

技術介紹

[0002]三維重建能夠反映圖像中完整的場景信息，在工業自動化、虛擬現實應用、視覺導航等領域應用廣泛。傳統三維模型重建方法以傳感器是否主動向物體照射光源為依據，可將傳統方法分為被動式三維重建方法和主動式三維重建方法。其中，被動式三維重建方法利用成像投影過程中物體自身的幾何特征來逆向計算物體的深度信息，局限性在于需要設置嚴苛的先驗及約束，而主動式三維重建方法由于需要精密的硬件設備意味著高昂的成本，并且設備的使用容易受環境因素影響，進而造成提取特征不夠精確以及耗費時間較長等不良影響。近年來隨著深度學習的迅速發展，卷積神經網絡(Convolutional Neural Networks，CNN)也逐漸應用于三維重建領域中，早期的神經網絡方法主要是處理兩張圖對應點的匹配問題，并通過網絡計算出兩點的相似度。
[0003]目前，比較常見的基于卷積神經網絡的三維重建方法有：多視角立體視覺神經網絡SurfaceNet和Multi
?
view Stereo(MVSNet)、以及Learned Stereo Machine(LSM)模型。SurfaceNet是先重建彩色體素立方體，再將所有像素的顏色信息和相機參數構成一個三維代價體，所構成的三維代價體即為網絡的輸入，并輸出三維構建結果，這種基于分割的三維重建方法，耗時較長。而LSM雖然直接采用了端到端學習的方法，但是與SurfaceNet相同，都需要用規則的網格表示，存在空間離散帶來的誤差以及內存消耗等缺點，且LSM使用手工進行合成，立體分辨率較低。另外地，端到端的多視圖深度預測網絡MVSNet，和其他基于深度圖像的MVS方法類似，是將一張參考圖像和多張源圖像作為輸入，為參考圖像預測深度圖像，其關鍵之處在于可微分的單應變換操作，使得能夠在從二維特征圖構建三維代價體的過程中，將相機參數隱式地編碼入該網絡。相較于其他的基于深度學習的三維重建方法，MVSNet對三維代價體的構建是基于相機視錐體而不是規整的歐式空間，并且將整體的三維構建劃分為逐視圖的深度估計問題，使得大規模的重建成為可能。然而，MVSNet在獲取深度信息的過程中，容易造成關鍵信息的丟失和冗余信息的存在，進而影響整體的重建精度和重建效率。

技術實現思路

[0004]本專利技術提供了一種基于深度學習的三維重建方法及系統，在基于大量圖像進行三維重建時，提升整體的三維重建精度和三維重建效率。
[0005]為了解決上述技術問題，本專利技術實施例提供了一種基于深度學習的三維重建方法，包括：
[0006]獲取目標物體對應的多個待處理圖像；
[0007]將所有所述待處理圖像輸入至深度圖像獲取模型，以獲得各所述待處理圖像對應
的深度圖像；
[0008]通過預設的三維重建算法，結合所有所述深度圖像，獲得所述目標物體的三維重建模型，實現對所述目標物體的三維重建；
[0009]其中，所述深度圖像獲取模型為通過在預設的多視角立體視覺神經網絡MVSNet的基礎上，引入交叉注意力機制而獲得的。
[0010]實施本專利技術實施例，對預設的多視角立體視覺神經網絡MVSNet進行改進，即引入交叉注意力機制，使得深度圖像獲取模型能夠更好地處理目標物體對應的多個待處理圖像，以優化深度圖像獲取模型的信息捕捉性能和信息匹配性能，進而提升對于目標物體的三維重建精度和三維重建效率。另外地，通過逐圖像獲取目標物體的多個深度信息，能夠豐富目標物體的三維重建的依據，進一步提升其三維重建精度。
[0011]作為優選方案，所述將所有所述待處理圖像輸入至深度圖像獲取模型，以獲得各所述待處理圖像對應的深度圖像，具體為：
[0012]將所有所述待處理圖像輸入至所述深度圖像獲取模型，通過特征提取層，分別提取各所述待處理圖像對應的局部特征和全局特征，并融合所述局部特征和所述全局特征，以獲得各所述待處理圖像對應的深度特征；
[0013]通過單應性變換層，對各所述深度特征進行可微單應性變換，以獲得各所述待處理圖像對應的單應矩陣，并根據各所述單應矩陣，構建各所述單應矩陣對應的第一代價空間；
[0014]通過代價空間正則化層，對各所述第一代價空間進行正則化，以獲得各所述第一代價空間對應的第二代價空間、以及各所述第二代價空間對應的概率體積；
[0015]通過深度圖像獲取層，按照預設的算法，結合各所述概率體積，計算得到各所述待處理圖像對應的所述深度圖像；
[0016]其中，所述深度圖像獲取模型依次包括所述特征提取層、所述單應性變換層、所述代價空間正則化層和所述深度圖像獲取層。
[0017]實施本專利技術實施例的優選方案，通過深度圖像獲取模型的特征提取層，不僅能夠捕捉待處理圖像的全局特征，還能夠捕捉其局部特征，并融合其局部特征和全局特征，以減少關鍵信息丟失和冗余信息占用等情況，進而提升特征提取精度并減少整體計算量。
[0018]作為優選方案，所述深度圖像獲取模型的獲取，具體為：
[0019]在所述多視角立體視覺神經網絡MVSNet的特征提取階段，引入所述交叉注意力機制，以形成所述深度圖像獲取模型的所述特征提取層，并在所述多視角立體視覺神經網絡MVSNet的代價空間正則化階段，引入所述交叉注意力機制，以形成所述深度圖像獲取模型的所述代價空間正則化層，進而獲得所述深度圖像獲取模型；
[0020]其中，所述交叉注意力機制通過Transformer模型實現。
[0021]實施本專利技術實施例的優選方案，在特征提取階段和代價空間正則化階段引入Transformer技術，以形成深度圖像獲取模型的特征提取層和代價空間正則化層，使得深度圖像獲取模型能夠更好提取待處理圖像中的關鍵信息，避免冗雜信息對三維模型的構建精度、以及過多的數據對深度圖像獲取模型的處理效率造成負面影響，并且通過代價空間正則化層的編碼器
?
解碼器結構，從一個大的感受野聚集相鄰的關鍵信息，從而提升生成的深度圖像的準確性，以進一步提升三維重建模型的構建精度。
[0022]作為優選方案，所述通過預設的三維重建算法，結合所有所述深度圖像，獲得所述目標物體的三維重建模型，實現對所述目標物體的三維重建，具體為：
[0023]通過預設的三維重建算法，對同一視角下的所述深度圖像和所述待處理圖像進行融合處理，以獲得各所述深度圖像對應的融合圖像；
[0024]根據所有所述融合圖像，獲取所述目標物體的三維點云數據，并利用所述三維點云數據，構建所述目標物體的所述三維重建模型，實現對所述目標物體的三維重建。
[0025]實施本專利技術實施例的優選方案，對同一視角下的深度圖像和待處理圖像進行融合，并將融合得到的圖像轉換為三維點云數據，進而對三維點云數據進行可視化，實現對目標物體的三維重建，可以提高點云數據的精確性，以提升構建得到的三維重建模型與目標物體的貼合度。
[0本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種基于深度學習的三維重建方法，其特征在于，包括：獲取目標物體對應的多個待處理圖像；將所有所述待處理圖像輸入至深度圖像獲取模型，以獲得各所述待處理圖像對應的深度圖像；通過預設的三維重建算法，結合所有所述深度圖像，獲得所述目標物體的三維重建模型，實現對所述目標物體的三維重建；其中，所述深度圖像獲取模型為通過在預設的多視角立體視覺神經網絡MVSNet的基礎上，引入交叉注意力機制而獲得的。2.如權利要求1所述的一種基于深度學習的三維重建方法，其特征在于，所述將所有所述待處理圖像輸入至深度圖像獲取模型，以獲得各所述待處理圖像對應的深度圖像，具體為：將所有所述待處理圖像輸入至所述深度圖像獲取模型，通過特征提取層，分別提取各所述待處理圖像對應的局部特征和全局特征，并融合所述局部特征和所述全局特征，以獲得各所述待處理圖像對應的深度特征；通過單應性變換層，對各所述深度特征進行可微單應性變換，以獲得各所述待處理圖像對應的單應矩陣，并根據各所述單應矩陣，構建各所述單應矩陣對應的第一代價空間；通過代價空間正則化層，對各所述第一代價空間進行正則化，以獲得各所述第一代價空間對應的第二代價空間、以及各所述第二代價空間對應的概率體積；通過深度圖像獲取層，按照預設的算法，結合各所述概率體積，計算得到各所述待處理圖像對應的所述深度圖像；其中，所述深度圖像獲取模型依次包括所述特征提取層、所述單應性變換層、所述代價空間正則化層和所述深度圖像獲取層。3.如權利要求2所述的一種基于深度學習的三維重建方法，其特征在于，所述深度圖像獲取模型的獲取，具體為：在所述多視角立體視覺神經網絡MVSNet的特征提取階段，引入所述交叉注意力機制，以形成所述深度圖像獲取模型的所述特征提取層，并在所述多視角立體視覺神經網絡MVSNet的代價空間正則化階段，引入所述交叉注意力機制，以形成所述深度圖像獲取模型的所述代價空間正則化層，進而獲得所述深度圖像獲取模型；其中，所述交叉注意力機制通過Transformer模型實現。4.如權利要求1所述的一種基于深度學習的三維重建方法，其特征在于，所述通過預設的三維重建算法，結合所有所述深度圖像，獲得所述目標物體的三維重建模型，實現對所述目標物體的三維重建，具體為：通過預設的三維重建算法，對同一視角下的所述深度圖像和所述待處理圖像進行融合處理，以獲得各所述深度圖像對應的融合圖像；根據所有所述融合圖像，獲取所述目標物體的三維點云數據，并利用所述三維點云數據，構建所述目標物體的所述三維重建模型，實現對所述目標物體的三維重建。5.如權利要求1所述的一種基于深度學習的三維重建方法，其特征在于，所述獲取目標物體對應的多個待處理圖...

【專利技術屬性】
技術研發人員：張維，林曉明，王洋，王爽，鞏高，
申請(專利權)人：廣東順德工業設計研究院廣東順德創新設計研究院，
類型：發明
國別省市：