【技術實現步驟摘要】
本專利技術屬于3d網格重構，尤其涉及基于深度3d可變形模型的3d網格重構方法及系統。
技術介紹
1、深度學習模型在2d視覺上的成功引發人們將其應用擴展到3d視覺上的巨大興趣。深度3d可變形模型將深度學習應用于3d網格數據，已成功應用于3d網格重建等任務。3d網格重建可以提取現實世界復雜的3d網格數據的特征并進行特征壓縮，是實現對3d網格數據分類、變形、生成等上游任務的一種基礎的3d視覺任務。因此，研究使用深度3d可變性模型進行3dz網格重建具有一定的學術和現實價值。
2、專利技術人發現，由于3d網格數據連接關系的不規則，一類將卷積拓展到3d網格上的方法使用3d體素或2d視圖將原數據進行轉換，再使用常規的卷積和池化進行操作。該類方法不可避免地會有信息的丟失從而影響模型精度。
3、另一類方法直接設計3d網格數據的卷積和池化算子取得了現有最好的結果。這一類方法的一個關鍵問題是如何進行特征的聚合，由于3d網格中采樣和連接的不規則，使得神經網絡中具有局部共享和平移不變性質的池化算子無法直接推廣到網格卷積。為解決該問題，采用可學習的特征聚合是現在最先進的方法，但該方法的問題是特征聚合的鄰域選擇和聚合權重選擇的共軛影響了其性能。
技術實現思路
1、為克服上述現有技術的不足，本專利技術提供了基于深度3d可變形模型的3d網格重構方法及系統，提出了基于注意力的鄰域選擇和聚合權重解耦的非局部的空間特征聚合算法以及基于螺旋鄰域的局部空間特征聚合算法，并可以結合兩者實現多頭注意力的特
2、為實現上述目的，本專利技術的一個或多個實施例提供了如下技術方案：
3、本專利技術第一方面提供了基于深度3d可變形模型的3d網格重構方法。
4、基于深度3d可變形模型的3d網格重構方法，包括以下步驟：
5、獲取3d網格數據；
6、將3d網格數據輸入至深度3d可變形模型的編碼器中，利用多個跳步部分注意力螺旋卷積對3d網格數據進行特征提取和下采樣，得到特征向量z；
7、將特征向量z輸入至深度3d可變形模型的解碼器中，分別進行基于注意力的鄰域選擇和聚合權重解耦的非局部空間特征聚合、以及進行基于螺旋鄰域的空間特征聚合，并將非局部空間特征聚合的結果和空間特征聚合的結果基于多頭注意力再次進行空間特征聚合，最終得到聚合結果；將聚合結果輸入至部分注意力螺旋卷積中；迭代上述兩個過程多次得到重構的3d網格。
8、本專利技術第二方面提供了基于深度3d可變形模型的3d網格重構系統。
9、基于深度3d可變形模型的3d網格重構系統，包括：
10、網格數據獲取模塊，被配置為：獲取3d網格數據；
11、編碼模塊，被配置為：將3d網格數據輸入至深度3d可變形模型的編碼器中，利用多個跳步部分注意力螺旋卷積對3d網格數據進行特征提取和下采樣，得到特征向量z；
12、解碼模塊，被配置為：將特征向量z輸入至深度3d可變形模型的解碼器中，分別進行基于注意力的鄰域選擇和聚合權重解耦的非局部空間特征聚合、以及進行基于螺旋鄰域的空間特征聚合，并將非局部空間特征聚合的結果和空間特征聚合的結果基于多頭注意力再次進行空間特征聚合；將聚合結果輸入至部分注意力螺旋卷積中；迭代上述兩個過程多次得到重構的3d網格。
13、本專利技術第三方面提供了計算機可讀存儲介質，其上存儲有程序，該程序被處理器執行時實現如本專利技術第一方面所述的基于深度3d可變形模型的3d網格重構方法中的步驟。
14、本專利技術第四方面提供了電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序，所述處理器執行所述程序時實現如本專利技術第一方面所述的基于深度3d可變形模型的3d網格重構方法中的步驟。
15、以上一個或多個技術方案存在以下有益效果：
16、本專利技術提供了一種基于深度3d可變形模型的3d網格重構方法及系統，針對池化操作，提出一種基于注意力的鄰域選擇和聚合權重解耦的非局部的空間特征聚合算法以及一種基于螺旋鄰域的局部空間特征聚合算法，并可以結合兩者實現多頭注意力的特征聚合，該特征聚合方法只在訓練中學習權重聚合矩陣，在推理階段無需額外的成本。
17、針對卷積操作，本專利技術提出跳步螺旋卷積以及部分注意力螺旋卷積，大幅度降低了模型參數量與計算量，實現了模型的輕量化。
18、本專利技術提出的模型結構采用在空間和通道部分解耦的算子以及注意力機制提升了模型的性能，所提出的池化和卷積模塊可以單獨嵌入到各類深度3d可變形卷積中作為直接替代。
19、本專利技術附加方面的優點將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本專利技術的實踐了解到。
本文檔來自技高網...【技術保護點】
1.基于深度3D可變形模型的3D網格重構方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于深度3D可變形模型的3D網格重構方法，其特征在于，利用多個跳步部分注意力螺旋卷積對3D網格數據進行依次編碼，得到特征向量Z，具體包括：
3.如權利要求1所述的基于深度3D可變形模型的3D網格重構方法，其特征在于，進行基于注意力的鄰域選擇和聚合權重解耦的非局部空間特征聚合，具體包括：
4.如權利要求1所述的基于深度3D可變形模型的3D網格重構方法，其特征在于，進行基于注意力的鄰域選擇和聚合權重解耦的非局部空間特征聚合，具體公式為：
5.如權利要求4所述的基于深度3D可變形模型的3D網格重構方法，其特征在于，進行基于螺旋鄰域的空間特征聚合，具體包括：
6.如權利要求5所述的基于深度3D可變形模型的3D網格重構方法，其特征在于，所述基于螺旋鄰域的空間特征聚合的具體公式為：
7.如權利要求6所述的基于深度3D可變形模型的3D網格重構方法，其特征在于，將非局部空間特征聚合的結果和空間特征聚合的結果基于多頭注意力再次進行空
8.基于深度3D可變形模型的3D網格重構系統，其特征在于，包括：
9.計算機可讀存儲介質，其上存儲有程序，其特征在于，該程序被處理器執行時實現如權利要求1-7任一項所述的基于深度3D可變形模型的3D網格重構方法中的步驟。
10.電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7任一項所述的基于深度3D可變形模型的3D網格重構方法中的步驟。
...【技術特征摘要】
1.基于深度3d可變形模型的3d網格重構方法，其特征在于，包括以下步驟：
2.如權利要求1所述的基于深度3d可變形模型的3d網格重構方法，其特征在于，利用多個跳步部分注意力螺旋卷積對3d網格數據進行依次編碼，得到特征向量z，具體包括：
3.如權利要求1所述的基于深度3d可變形模型的3d網格重構方法，其特征在于，進行基于注意力的鄰域選擇和聚合權重解耦的非局部空間特征聚合，具體包括：
4.如權利要求1所述的基于深度3d可變形模型的3d網格重構方法，其特征在于，進行基于注意力的鄰域選擇和聚合權重解耦的非局部空間特征聚合，具體公式為：
5.如權利要求4所述的基于深度3d可變形模型的3d網格重構方法，其特征在于，進行基于螺旋鄰域的空間特征聚合，具體包括：
6.如權利要求5所述...
【專利技術屬性】
技術研發人員：吳曉明，趙春霖，汪付強，張建強，張顥，
申請(專利權)人：山東省計算中心國家超級計算濟南中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。