【技術實現步驟摘要】
本申請涉及機器學習領域，特別是涉及一種基于擴散加噪的三維手部頂點優化模型的構建方法。
技術介紹
1、近年來，三維手部重建技術因其在動作識別、虛擬現實、人機交互等前沿領域的廣泛應用而備受矚目。在三維手部建模領域，現有的主流方法主要基于手部參數優化模型（model-based?articulated?hand?object,?mano）和基于神經輻射場（neural?radiancefields,?nerf）的技術，基于mano模型的手部參數化建模方法依托常見的深度學習網絡，從2d圖像或視頻數據中預測手部的三維關節點和表面結構，已經成為實現手部姿態重建的重要手段，該方法通過對手部形狀和姿態的參數化表達，提供了較高的靈活性和模型解釋性，使其廣泛應用于手勢識別和動態手部跟蹤中，然而，mano模型在復雜手勢細節和局部精度方面仍存在一定的局限性，由于局部特征往往因噪聲干擾、姿態變化、遮擋等而失去，因此在使用mano模型對復雜手勢進行識別時會由于局部特征的缺失導致生成的頂點位置不準確。
2、nerf也是同理，在對復雜手勢進行識別時同樣會由于手指之間出現的自遮擋現象導致局部特征缺失，從而無法進行準確的對頂點位置進行識別，所以，如何能夠對復雜的手勢進行高效、準確的頂點位置識別是現有技術亟需解決的問題。
技術實現思路
1、本申請實施例提供了一種基于擴散加噪的三維手部頂點優化模型的構建方法，通過在訓練過程中向真實頂點特征中逐步加噪和去噪使模型能夠捕捉每個頂點的空間關系和時間步長信息，有效解決
2、第一方面，本申請實施例提供了一種三維手部頂點優化模型的構建方法，所述方法包括：
3、構建三維手部頂點優化框架，所述三維手部頂點優化框架包括特征融合自注意力模塊以及加權頂點平衡模塊；
4、獲取至少一手部圖像以及與每一手部圖像對應的真實頂點特征，提取每一手部圖像的全局特征以及初始頂點特征，預設置時間步，并對時間步進行編碼得到時間步特征；
5、基于預設的時間步對每一手部圖像的真實頂點特征進行逐步加噪得到加噪頂點特征，并將每一手部圖像的加噪頂點特征與初始頂點特征進行拼接得到第一頂點特征，將對應同一手部圖像的全局特征、第一頂點特征與時間步特征作為訓練特征；
6、在特征融合自注意力模塊中將訓練特征中的全局特征、第一頂點特征以及時間步特征相加后進行多頭自注意力計算得到第一結果，再對第一結果進行去噪得到去噪頂點特征，在加權頂點平衡模塊中將初始頂點特征與去噪頂點特征進行加權融合得到優化頂點特征；
7、根據優化頂點特征與對應的真實頂點特征構建損失函數，并根據損失函數的結果來對三維手部頂點優化框架中的參數進行調整，當損失函數的值滿足設定條件時保存參數得到三維手部頂點優化模型，所述三維手部頂點優化模型以手部圖像的初始頂點特征作為第一頂點特征，并結合對應的全局特征以及時間步特征作為輸入。
8、第二方面，本申請實施例提供了一種三維手部頂點優化模型的應用方法，包括：
9、獲取待優化手部圖像的初始頂點特征、全局特征，獲取時間步特征，將所述初始頂點特征、全局特征以及時間步特征輸入至三維手部頂點優化模型中得到優化頂點特征；
10、構建標準化手部模型，將所述優化頂點特征與標準化手部模型進行匹配得到關節旋轉信息與手部個性化形狀信息，再由關節旋轉信息與手部個性化形狀信息生成變換矩陣；
11、定義標準化手部骨架，將標準化手部模型的頂點與標準化手部骨架進行綁定得到第一手部三維模型，并使用變換矩陣驅動第一手部三維模型的頂點進行運動得到第二手部三維模型；
12、將第二手部三維模型的頂點連接成三角網格得到最終的手部三維幾何模型。
13、第三方面，?本申請實施例提供了一種電子裝置，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行一種三維手部頂點優化模型的構建方法。
14、第四方面，本申請實施例提供了一種可讀存儲介質，所述可讀存儲介質中存儲有計算機程序，所述計算機程序包括用于控制過程以執行過程的程序代碼，所述過程包括一種三維手部頂點優化模型的構建方法。
15、本專利技術的主要貢獻和創新點如下：
16、本申請實施例在特征融合自注意力模塊中通過采用向真實頂點特征逐步加噪的操作，能增強模型魯棒性、增加數據多樣性并助力模型學習特征不變性，并且通過線性變換矩陣來對拼接結果進行線性變換，從而將自注意力操作應用于局部特征和全局信息，還通過丟棄操作來防止過擬合的情況發生，整個特征融合自注意力模塊通過計算多頭自注意力和逐步去噪使得模型能夠捕捉每個頂點的空間關系和時間步長信息，從而提升了手部建模的精確度和一致性，有效解決了因局部信息丟失引起的建模偏差；在加權頂點平衡模塊通過多層感知機來逐步處理去噪頂點特征和初始頂點特征，從而能根據不同頂點在位置、細節捕捉上的差異生成動態調整的自適應去噪權重與初始權重，并根據權重調整頂點位置以實現頂點位置的精確優化，去除殘留噪聲，確保頂點在復雜場景中的一致性和穩定性，加權頂點平衡模塊顯著增強了手部模型對噪聲和形變的魯棒性，提升了三維手部重建的精度和細節復現能力。
17、本申請的一個或多個實施例的細節在以下附圖和描述中提出，以使本申請的其他特征、目的和優點更加簡明易懂。
本文檔來自技高網...【技術保護點】
1.一種三維手部頂點優化模型的構建方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種三維手部頂點優化模型的構建方法，其特征在于，將手部圖像輸入到預訓練好的特征提取模型中得到手部圖像特征以及手部參數，先通過線性變換的方式對手部圖像特征進行降維，再使用非線性激活函數進行輸出得到全局特征，將手部參數輸入至預訓練好的MANO模型中得到初始頂點特征。
3.根據權利要求1所述的一種三維手部頂點優化模型的構建方法，其特征在于，所述特征融合自注意力模塊包括多頭自注意力機制層以及頂點注意力層，將全局特征、第一頂點特征以及時間步特征相加后得到融合特征，先將所述融合特征輸入至多頭自注意力層進行多頭自注意力計算，并將所有注意力頭的計算結果進行拼接得到第一結果，再將第一結果輸入至頂點注意力層進行去噪得到去噪頂點特征。
4.根據權利要求3所述的一種三維手部頂點優化模型的構建方法，其特征在于，先將每一注意力頭的計算結果進行拼接得到拼接結果，再通過線性變換矩陣對所述拼接結果進行線性變換得到第一結果。
5.根據權利要求3所述的一種三維手部頂點優化模型的構
6.根據權利要求1所述的一種三維手部頂點優化模型的構建方法，其特征在于，在加權頂點平衡模塊中將去噪頂點特征與初始頂點特征進行維度拼接得到第二結果，第二結果經過多層感知機得到初始權重與去噪權重，最后根據初始權重與去噪權重將初始頂點特征與去噪頂點特征進行加權融合得到優化頂點特征。
7.一種三維手部頂點優化模型的應用方法，其特征在于，包括：
8.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行權利要求1-7任一所述的一種三維手部頂點優化模型的構建方法。
9.一種可讀存儲介質，其特征在于，所述可讀存儲介質中存儲有計算機程序，所述計算機程序包括用于控制過程以執行過程的程序代碼，所述過程包括根據權利要求1-7任一所述的一種三維手部頂點優化模型的構建方法。
...【技術特征摘要】
1.一種三維手部頂點優化模型的構建方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種三維手部頂點優化模型的構建方法，其特征在于，將手部圖像輸入到預訓練好的特征提取模型中得到手部圖像特征以及手部參數，先通過線性變換的方式對手部圖像特征進行降維，再使用非線性激活函數進行輸出得到全局特征，將手部參數輸入至預訓練好的mano模型中得到初始頂點特征。
3.根據權利要求1所述的一種三維手部頂點優化模型的構建方法，其特征在于，所述特征融合自注意力模塊包括多頭自注意力機制層以及頂點注意力層，將全局特征、第一頂點特征以及時間步特征相加后得到融合特征，先將所述融合特征輸入至多頭自注意力層進行多頭自注意力計算，并將所有注意力頭的計算結果進行拼接得到第一結果，再將第一結果輸入至頂點注意力層進行去噪得到去噪頂點特征。
4.根據權利要求3所述的一種三維手部頂點優化模型的構建方法，其特征在于，先將每一注意力頭的計算結果進行拼接得到拼接結果，再通過線性變換矩陣對所述拼接結果進行線性變換得到第一結果。
5.根據權利要求3所述的一種三維手部...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。