【技術實現步驟摘要】
本專利技術屬于3d高斯建模，具體涉及一種基于3d高斯的光滑表面建模方法。
技術介紹
1、3d高斯網格建模完成的任務是，拍攝的一系列的圖像或視頻數據(包括拍攝到的圖像，以及每張圖像對應的相機的內外參數矩陣)，通過捕獲的數據初始化一個3d高斯點集，并訓練該3d高斯點集得到一個3d靜態場景的表示，最后將該靜態場景轉為適用于工業編輯的網格模型。3d高斯建模首先通過運動結構匹配(structure?from?motion，sfm)，根據捕獲的圖像構建一個稀疏的場景點云，該點云用于初始化3d高斯點云集，訓練過程中，通過不斷優化3d高斯點云集，獲得一個高質量的3d靜態場景表示，3d靜態場景表示通過網格重建技術轉換為網格模型。
2、在真實的建模過程中，建模的物體往往存在光滑表面(例如保溫杯漆面)，這種物體特征的建模十分困難，建模結果中的光滑表面區域都會出現嚴重的凹陷和畸變，通常的建模處理方法都是在物體上貼上特征標簽點，從而增加物體的標準特征，增加建模精度，再通過后期處理來去除跳上的標記點。這種處理方式需要大量的人工參與，且無法完全恢復物體表面。
技術實現思路
1、鑒于以上存在的問題，本專利技術提供一種基于3d高斯的光滑表面建模方法，針對存在光滑表面物體的進行3d高斯建模優化，減少建模結果中的凹陷和畸變問題，減少建模后人工處理的成本。
2、為解決上述技術問題，本專利技術采用如下的技術方案：
3、一種基于3d高斯的光滑表面建模方法，包括以下步驟：
4、進
5、進行訓練建模，包括：加載預處理部分得到的圖像組相機參數、初始化點云、遮罩圖組和法線方向數據，初始化構建一個3d高斯集，并通過初始化訓練迭代獲得一個更加精確的稀疏高斯集；用從初始化模塊的稀疏高斯集開始，聯合圖像序列和法線方向數據進行建模訓練，經過代對模型進行微調，最后完成模型建模，得到一個3d高斯模型；
6、進行網格轉換，包括：加載建模好的3d高斯模型和圖像組相機參數，在各個相機角度進行渲染采樣，得到一個帶有法線方向的點云；根據渲染采樣到的帶有法線方向的點云進行網格泊松重建，獲得最終的網格模型。
7、一種可能的實施方式中，將采集到的圖片組進行運動結構匹配，進行相機參數推理得到對應的相機參數，并構建一個初始化點云具體包括：將捕獲的n張圖像組y＝yi(0<i≤n)通過運動結構匹配sfm，得到對應的相機參數imagecams，其中相機參數包括每一張圖像對應的焦距，扭曲參數，位置矩陣的相機內外參數矩陣，并構建一個初始化的場景點云x＝x"(0<k<m)，包括m個點的空間坐標xyz，顏色值rgb，將imagecams和初始化場景點云進行模型訓練，
8、imagecams，x＝sfm(y)。
9、一種可能的實施方式中，所述進行遮罩估計，將采集到的圖片組使用深度學習算法直接逐幀檢測，將檢測到的需要建模的物體保存為rgb＝[255，255，255]，無需建模部分直接保存為rgb＝[0，0，0]，得到一個二值的黑白遮罩圖具體包括：將捕獲的n張圖像組y＝yi(0<i≤n)依次輸入遮罩估計模型中，輸入n張圖像組y，遮罩估計模型輸出n張遮罩圖組yfg，yfg表示帶有需要建模物體的圖像組，需要建模物體以rgb＝[255，255，255]的白色區域表示，作為有效區域；被遮罩的區域由rgb＝[0，0，0]的填充色填充，作為無效區域。
10、一種可能的實施方式中，所述進行法線估計，將采集到的圖片組使用深度學習算法逐幀計算單目的法線方向數據，并將數值規范化到[-1，1]進行保存具體包括：將捕獲的n張圖像組y＝yi(0<i≤n)依次輸入法線估計模型中，輸入n張圖像組y，法線估計模型輸出n個對應的法線方向數據組nor，nor表示圖像組y對應的法線方向，法線方向的數據被規范到[-1，1]。
11、一種可能的實施方式中，所述加載預處理部分得到的圖像組相機參數、初始化點云、遮罩圖組和法線方向數據，初始化構建一個3d高斯集，并通過初始化訓練迭代獲得一個更加精確的稀疏高斯集具體包括：加載相機參數imagecams，初始化點云x、法線方向數據組nor和遮罩圖組yfg，先根據加載的遮罩圖組yfg，刪除初始化點云x中在被遮罩區域中的點，得到點云x’，然后根據點云x’，創建一組3d高斯點云集g，點云x’中的每個點都對應于一個3d高斯點，高斯點包括位置均值、協方差矩陣σ、不透明度α和球諧函數sh的一個3d橢球體，當多個經過參數調整后的橢球體進行疊加，將重現真實的物體對象；
12、點的xyz坐標表示3d高斯點云的位置均值，基于點初始化協方差矩陣σ，具體定義如下，
13、
14、按照球諧函數sh的階數dsh以0初始化參數，并基于點的rgb值為球諧函數sh進行部分初始化，
15、sh＝zero((dsh+1)2)[rgb，...，0]
16、每個點的不透明度α初始化為0.1，并在計算時通過sigmoid函數處理不透明度α，此時輸出調整后的不透明度αs，αs的值被限制在[0，1)之間，
17、αs＝sigmoid(α)
18、imagecams和3d高斯點云通過可微光柵化將遮罩圖內的有效區域進行渲染，得到模型預測的法線方向數據和預測的圖像初始化階段不使用圖像進行約束，僅用法線方向數據和法線估計模型得到的法線方向數據nor來計算損失，并返回梯度更新3d高斯點云的參數，損失公式為：
19、
20、公式中表示法線方向數據的梯度，λ表示損失的權重；
21、重復以上更新過程t次，1000＜t＜3000，得到一個稀疏高斯集xgs。
22、一種可能的實施方式中，所述用從初始化模塊的稀疏高斯集開始，聯合圖像序列和法線方向數據進行建模訓練，經過代對模型進行微調，最后完成模型建模，得到一個3d高斯模型具體包括：
23、將稀疏高斯集xgs作為初始輸入，加載相機參數imagecams、法線方向數據nor，遮罩圖yfg和圖像組圖像y；在遮罩圖yfg的有效區域內，imagecams和稀疏高斯集xgs通過可微光柵化進行渲染，得到預測的法線方向數據和預測的圖像同時使用法線方向數據nor和圖像y作為建模約束計算損失，并返回梯度更新3d高斯點云的參數，新的損失公式如下，其中ly為圖像一致性約束，lnor為表面一致性約束，l為訓練過程的整體損失：
24、ly＝(1-本文檔來自技高網...
【技術保護點】
1.一種基于3D高斯的光滑表面建模方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于3D高斯的光滑表面建模方法，其特征在于，所述將采集到的圖片組進行運動結構匹配，進行相機參數推理得到對應的相機參數，并構建一個初始化點云具體包括：將捕獲的N張圖像組Y＝yi(0<i≤N)通過運動結構匹配SFM，得到對應的相機參數ImageCams，其中相機參數包括每一張圖像對應的焦距，扭曲參數，位置矩陣的相機內外參數矩陣，并構建一個初始化的場景點云X＝xk(0<k<M)，包括M個點的空間坐標xyz，顏色值rgb，將ImageCams和初始化場景點云進行模型訓練，
3.如權利要求2所述的基于3D高斯的光滑表面建模方法，其特征在于，所述進行遮罩估計，將采集到的圖片組使用深度學習算法直接逐幀檢測，將檢測到的需要建模的物體保存為rgb＝[255,255,255]，無需建模部分直接保存為rgb＝[0,0,0]，得到一個二值的黑白遮罩圖具體包括：將捕獲的N張圖像組Y＝yi(0<i≤N)依次輸入遮罩估計模型中，輸入N張圖像組Y，遮罩估計模型輸出N張遮罩圖組
4.如權利要求3所述的基于3D高斯的光滑表面建模方法，其特征在于，所述進行法線估計，將采集到的圖片組使用深度學習算法逐幀計算單目的法線方向數據，并將數值規范化到[-1,1]進行保存具體包括：將捕獲的N張圖像組Y＝yi(0<i≤N)依次輸入法線估計模型中，輸入N張圖像組Y，法線估計模型輸出N個對應的法線方向數據組Nor，Nor表示圖像組Y對應的法線方向，法線方向的數據被規范到[-1,1]。
5.如權利要求4所述的基于3D高斯的光滑表面建模方法，其特征在于，所述加載預處理部分得到的圖像組相機參數、初始化點云、遮罩圖組和法線方向數據，初始化構建一個3D高斯集，并通過初始化訓練迭代獲得一個更加精確的稀疏高斯集具體包括：加載相機參數ImageCams，初始化點云X、法線方向數據組Nor和遮罩圖組Yfg，先根據加載的遮罩圖組Yfg，刪除初始化點云X中在被遮罩區域中的點，得到點云X’，然后根據點云X’，創建一組3D高斯點云集G，點云X’中的每個點都對應于一個3D高斯點，高斯點包括位置均值、協方差矩陣Σ、不透明度α和球諧函數SH的一個3D橢球體，當多個經過參數調整后的橢球體進行疊加，將重現真實的物體對象；
6.如權利要求5所述的基于3D高斯的光滑表面建模方法，其特征在于，所述用從初始化模塊的稀疏高斯集開始，聯合圖像序列和法線方向數據進行建模訓練，經過代對模型進行微調，最后完成模型建模，得到一個3D高斯模型具體包括：
...【技術特征摘要】
1.一種基于3d高斯的光滑表面建模方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于3d高斯的光滑表面建模方法，其特征在于，所述將采集到的圖片組進行運動結構匹配，進行相機參數推理得到對應的相機參數，并構建一個初始化點云具體包括：將捕獲的n張圖像組y＝yi(0<i≤n)通過運動結構匹配sfm，得到對應的相機參數imagecams，其中相機參數包括每一張圖像對應的焦距，扭曲參數，位置矩陣的相機內外參數矩陣，并構建一個初始化的場景點云x＝xk(0<k<m)，包括m個點的空間坐標xyz，顏色值rgb，將imagecams和初始化場景點云進行模型訓練，
3.如權利要求2所述的基于3d高斯的光滑表面建模方法，其特征在于，所述進行遮罩估計，將采集到的圖片組使用深度學習算法直接逐幀檢測，將檢測到的需要建模的物體保存為rgb＝[255,255,255]，無需建模部分直接保存為rgb＝[0,0,0]，得到一個二值的黑白遮罩圖具體包括：將捕獲的n張圖像組y＝yi(0<i≤n)依次輸入遮罩估計模型中，輸入n張圖像組y，遮罩估計模型輸出n張遮罩圖組yfg，yfg表示帶有需要建模物體的圖像組，需要建模物體以rgb＝[255，255，255]的白色區域表示，作為有效區域；被遮罩的區域由rgb＝[0，0，0]的填充色填充，作為無效區域。
4.如權利要求3所述的基于3...
【專利技術屬性】
技術研發人員：陳豪，謝亞光，萬俊青，陶文許，
申請(專利權)人：杭州當虹科技股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。