【技術實現步驟摘要】
本專利技術涉及三維重建，具體而言，涉及一種基于深度學習的物體三維重建方法及其裝置。
技術介紹
1、三維重建技術通過采集物體表面的幾何和紋理信息，從而重建出物體的三維模型。在物體三維重建過程中，需要同時獲取物體的外部形狀和表面紋理等信息，以支持后續的可視化、分析和應用，該技術在工業制造、文物保護、虛擬現實、醫學影像等領域具有廣泛的應用前景。
2、雖然lidar(light?detection?and?ranging，即一種遙感技術)技術能夠獲取高精度的物體三維點云信息，但其成本昂貴且采集數據耗時長。并且，使用基于深度相機的三維表型分析方法進行三維模型重建，雖然可以低成本、快速地獲取物體的三維模型，但是深度相機獲得的數據分辨率低，3d表達能力因為畸變和噪聲退化嚴重，難以對具有復雜結構的物體進行精確重建。
3、相關技術中，一般采用基于多視角彩色圖像的重建技術，用低成本的設備來重建出點云模型，如sfm(structure?from?motion，即從運動恢復結構)、mvs(multi-viewstereo，即多視圖立體，生成密集點云)、體素雕刻算法等，能夠從多個視角拍攝的彩色圖像中提取出物體的三維信息，進而重建出點云模型。然而，上述算法為了實現物體三維模型的自動提取以及加快重建速率，在數據采集時需要使用純色背景和穩定的光照條件，并且需要依賴于棋盤格來提供足夠的特征點供算法使用，此外，為了將算法得到的模型進一步轉化為公制單位下的精確重建，還需要校準器的協助，導致難以實現對任意背景下單個物體進行快速、高精度的三維重建
4、針對上述的問題，目前尚未提出有效的解決方案。
技術實現思路
1、本專利技術實施例提供了一種基于深度學習的物體三維重建方法及其裝置，以至少解決相關技術中對物體進行三維重建的準確性較低的技術問題。
2、根據本專利技術實施例的一個方面，提供了一種物體三維重建方法，包括：采用相機成像設備采集目標物體的目標物體視頻，并基于所述目標物體視頻，確定目標圖像集合，其中，所述目標圖像集合包括：預設數量的目標圖像，每張所述目標圖像包含所述目標物體；基于所述目標圖像集合，確定目標相機參數和初始相機位姿，并對所述初始相機位姿進行校正，得到目標相機位姿；將所述目標圖像集合、所述目標相機參數和所述目標相機位姿輸入至預設神經輻射場模型，輸出目標輻射場信息，其中，所述預設神經輻射場模型至少包括：預設密度網絡結構、預設顏色網絡結構，所述預設密度網絡結構用于提取每個射線采樣點的體積密度信息，所述預設顏色網絡結構用于提取每個所述射線采樣點的顏色信息；所述目標輻射場信息至少包括：所述體積密度信息以及所述顏色信息；基于所述目標輻射場信息，構建所述目標物體的物體三維模型。
3、進一步地，采集相機成像設備采集目標物體的目標物體視頻，并基于所述目標物體視頻，確定目標圖像集合的步驟，包括：采用所述相機成像設備拍攝所述目標物體，得到所述目標物體視頻，其中，所述目標物體視頻是多視角視頻，所述多視角視頻包括：多個單視角視頻；基于預設時間間隔，對每個所述單視角視頻進行下采樣，得到每個所述單視角視頻的第一圖像集合；對于每個所述第一圖像集合，剔除所述第一圖像集合中的模糊圖像，得到第二圖像集合；對每個所述第二圖像集合進行采樣，得到第三圖像集合，并將每個所述第三圖像集合中的每張第三圖像加入至所述目標圖像集合。
4、進一步地，剔除所述第一圖像集合中的模糊圖像，得到第二圖像集合的步驟，包括：對于所述第一圖像集合中的每張第一圖像，基于所述第一圖像上的各通道像素值，將所述第一圖像轉換為灰度圖像；確定每張所述灰度圖像的拉普拉斯算子，并基于所述拉普拉斯算子，確定每張所述灰度圖像的方差值；基于所有所述方差值，確定平均方差值，并基于所述平均方差值，確定預設方差閾值；將小于所述預設方差閾值的所述方差值指示的所述灰度圖像確定為所述模糊圖像，并將所述模糊圖像從所述第一圖像集合中剔除，得到所述第二圖像集合。
5、進一步地，所述初始相機位姿是虛擬坐標系上確定的相機位姿，對所述初始相機位姿進行校正，得到目標相機位姿的步驟，包括：確定旋轉矩陣以及放縮比例，其中，所述旋轉矩陣用于表示所述虛擬坐標系與真實坐標系之間的方向關系，所述放縮比例用于表示所述虛擬坐標系與所述真實坐標系之間的尺度關系；基于所述旋轉矩陣以及所述放縮比例，對所述初始相機位姿進行校正，確定所述目標相機位姿。
6、進一步地，確定旋轉矩陣的步驟，包括：獲取所述相機成像設備中相機在拍攝所述目標物體時的相機位置坐標，并對所有所述相機位置坐標進行擬合，得到平面法向量，其中，所述相機位置坐標是在所述虛擬坐標系下的坐標；基于所述真實坐標系的方向軸，確定方向向量，并基于所述平面法向量以及所述方向向量，確定旋轉向量；確定所述平面法向量以及所述方向向量之間的余弦值，并在所述余弦值小于預設余弦閾值的情況下，調整所述平面法向量，直到所述余弦值大于等于所述預設余弦閾值；基于所述旋轉向量，構建反對稱矩陣，并基于所述反對稱矩陣、單位矩陣、所述旋轉向量的模長以及所述余弦值，確定所述旋轉矩陣。
7、進一步地，確定放縮比例的步驟，包括：確定第一半徑以及第二半徑，其中，所述第一半徑是從所述目標圖像上提取的所述相機在拍攝所述目標物體時，所述相機與所述目標物體在所述虛擬坐標系下的距離；所述第二半徑是基于所述相機成像設備確定的所述相機與所述目標物體在所述真實坐標系下的距離；基于所述第一半徑以及所述第二半徑，確定所述放縮比例。
8、進一步地，在將所述目標圖像集合、所述目標相機參數和所述目標相機位姿輸入至預設神經輻射場模型，輸出目標輻射場信息之前，還包括：構建相機位姿優化器、所述預設密度網絡結構以及所述預設顏色網絡結構，其中，所述相機位姿優化器用于對輸入的所述目標相機位姿進行優化；基于所述相機位姿優化器、所述預設密度網絡結構以及所述預設顏色網絡結構，構建初始神經輻射場模型；采集歷史圖像集合，并對所述歷史圖像集合中的每張歷史圖像進行標注，得到標注信息，其中，所述標注信息至少包括：所述歷史圖像對應的相機參數、相機位姿；將關聯所述標注信息的所有所述歷史圖像表征為訓練數據集合；采用所述訓練數據集合訓練所述初始神經輻射場模型，得到所述預設神經輻射場模型。
9、進一步地，將所述目標圖像集合、所述目標相機參數和所述目標相機位姿輸入至預設神經輻射場模型，輸出目標輻射場信息的步驟，包括：對所述目標相機位姿進行優化，得到優化后的所述目標相機位姿；基于優化后的所述目標相機位姿，生成射線采樣點，其中，所述射線采樣點是在由相機發射到每張所述目標圖像上的像素點構成的射線上進行采樣得到的點；對所述射線采樣點的位置進行編碼，得到位置編碼，并對所述射線采樣點對應的所述射線的射線方向進行編碼，得到方向編碼；基于所述位置編碼，采用所述預設密度網絡結構，確定所述射線采樣點的所述體積密度信息以及多維特征向量；基于所述方向編碼以及所述多維特征向量，采用所述預設顏色網絡結構，確定所述射線采樣點的所述顏色信息本文檔來自技高網...
【技術保護點】
1.一種物體三維重建方法，其特征在于，包括：
2.根據權利要求1所述的物體三維重建方法，其特征在于，采用相機成像設備采集目標物體的目標物體視頻，并基于所述目標物體視頻，確定目標圖像集合的步驟，包括：
3.根據權利要求2所述的物體三維重建方法，其特征在于，剔除所述第一圖像集合中的模糊圖像，得到第二圖像集合的步驟，包括：
4.根據權利要求1所述的物體三維重建方法，其特征在于，所述初始相機位姿是虛擬坐標系上確定的相機位姿，對所述初始相機位姿進行校正，得到目標相機位姿的步驟，包括：
5.根據權利要求4所述的物體三維重建方法，其特征在于，確定旋轉矩陣的步驟，包括：
6.根據權利要求4所述的物體三維重建方法，其特征在于，確定放縮比例的步驟，包括：
7.根據權利要求1所述的物體三維重建方法，其特征在于，在將所述目標圖像集合、所述目標相機參數和所述目標相機位姿輸入至預設神經輻射場模型，輸出目標輻射場信息之前，還包括：
8.根據權利要求1所述的物體三維重建方法，其特征在于，將所述目標圖像集合、所述目標相機參數和所述
9.根據權利要求8所述的物體三維重建方法，其特征在于，在基于每個所述射線采樣點的所述體積密度信息以及所述顏色信息，構建所述目標輻射場信息之前，還包括：
10.一種物體三維重建裝置，其特征在于，包括：
...【技術特征摘要】
1.一種物體三維重建方法，其特征在于，包括：
2.根據權利要求1所述的物體三維重建方法，其特征在于，采用相機成像設備采集目標物體的目標物體視頻，并基于所述目標物體視頻，確定目標圖像集合的步驟，包括：
3.根據權利要求2所述的物體三維重建方法，其特征在于，剔除所述第一圖像集合中的模糊圖像，得到第二圖像集合的步驟，包括：
4.根據權利要求1所述的物體三維重建方法，其特征在于，所述初始相機位姿是虛擬坐標系上確定的相機位姿，對所述初始相機位姿進行校正，得到目標相機位姿的步驟，包括：
5.根據權利要求4所述的物體三維重建方法，其特征在于，確定旋轉矩陣的步驟，包括：
6.根據權利要求4所述...
【專利技術屬性】
技術研發人員：魯靜，向智宇，段焱明，楊志，宋斌，程晗蕾，喻偉東，
申請(專利權)人：遠光軟件股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。