【技術(shù)實現(xiàn)步驟摘要】
本公開實施例涉及計算機(jī)，具體涉及手部三維重建方法、裝置和電子設(shè)備。
技術(shù)介紹
1、隨著科學(xué)技術(shù)的不斷發(fā)展，虛擬現(xiàn)實技術(shù)也得到了快速地發(fā)展，例如，在虛擬場景中可以呈現(xiàn)與用戶相對應(yīng)的虛擬手部，而用戶還可以控制生成的虛擬手部在虛擬場景中進(jìn)行運(yùn)動。這樣，可以給用戶帶來較好地虛擬瀏覽體驗。
技術(shù)實現(xiàn)思路
1、提供該公開內(nèi)容部分以便以簡要的形式介紹構(gòu)思，這些構(gòu)思將在后面的具體實施方式部分被詳細(xì)描述。該公開內(nèi)容部分并不旨在標(biāo)識要求保護(hù)的技術(shù)方案的關(guān)鍵特征或必要特征，也不旨在用于限制所要求的保護(hù)的技術(shù)方案的范圍。
2、第一方面，本公開實施例提供了一種手部三維重建方法，包括：獲取在至少兩個視角下采集的手部圖像；基于預(yù)設(shè)的手部三維重建網(wǎng)絡(luò)，確定各個手部圖像對應(yīng)的初始手部三維重建結(jié)果，其中，手部三維重建結(jié)果包括手部三維模型和手部關(guān)鍵點(diǎn)；對至少兩個視角下采集的手部圖像對應(yīng)的初始手部三維重建結(jié)果進(jìn)行融合，得到融合后的手部三維重建結(jié)果。
3、第二方面，本公開實施例提供了一種手部三維重建裝置，包括：獲取單元，用于獲取在至少兩個視角下采集的手部圖像；確定單元，用于基于預(yù)設(shè)的手部三維重建網(wǎng)絡(luò)，確定各個手部圖像對應(yīng)的初始手部三維重建結(jié)果，其中，手部三維重建結(jié)果包括手部三維模型和手部關(guān)鍵點(diǎn)；融合單元，用于對至少兩個視角下采集的手部圖像對應(yīng)的初始手部三維重建結(jié)果進(jìn)行融合，得到融合后的手部三維重建結(jié)果。
4、第三方面，本公開實施例提供了一種電子設(shè)備，包括：一個或多個處理器；存儲裝置，用于
5、第四方面，本公開實施例提供了一種計算機(jī)可讀介質(zhì)，其上存儲有計算機(jī)程序，該程序被處理器執(zhí)行時實現(xiàn)如第一方面所述的手部三維重建方法的步驟。
6、本公開實施例提供的手部三維重建方法、裝置和電子設(shè)備，通過獲取在至少兩個視角下采集的手部圖像；之后，基于預(yù)設(shè)的手部三維重建網(wǎng)絡(luò)，確定各個手部圖像對應(yīng)的初始手部三維重建結(jié)果；最后，對上述至少兩個視角下采集的手部圖像對應(yīng)的初始手部三維重建結(jié)果進(jìn)行融合，得到融合后的手部三維重建結(jié)果。通過這種方式對各個視角下采集的手部圖像對應(yīng)的初始手部三維重建結(jié)果進(jìn)行融合，使用多視角的一致性，使得融合后的手部三維重建結(jié)果更加準(zhǔn)確。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種手部三維重建方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)設(shè)的手部三維重建網(wǎng)絡(luò)，確定各個手部圖像對應(yīng)的初始手部三維重建結(jié)果，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于預(yù)設(shè)的手部三維重建網(wǎng)絡(luò)，確定該手部圖像對應(yīng)的手部特征，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述目標(biāo)信息包括手部姿勢向量；以及
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于第一手部特征、第二手部特征和第三手部特征中的至少一項，確定該手部圖像對應(yīng)的手部特征，包括：
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述交互特征是通過如下方式確定的：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述跨視角注意力算法通過如下方式確定交互特征：
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述視角共享算法通過如下方式確定交互特征：
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述基于所述融合后的手部
11.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述基于所述融合后的手部三維重建結(jié)果和所述初始手部三維重建結(jié)果，利用預(yù)設(shè)的損失函數(shù)確定損失值，包括：
12.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述基于所述融合后的手部三維重建結(jié)果和所述初始手部三維重建結(jié)果，利用預(yù)設(shè)的損失函數(shù)確定損失值，包括：
13.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述基于所述融合后的手部三維重建結(jié)果和所述初始手部三維重建結(jié)果，利用預(yù)設(shè)的損失函數(shù)確定損失值，包括：
14.一種手部三維重建裝置，其特征在于，包括：
15.一種電子設(shè)備，其特征在于，包括：
16.一種計算機(jī)可讀介質(zhì)，其上存儲有計算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-13中任一所述的方法。
...【技術(shù)特征摘要】
1.一種手部三維重建方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于預(yù)設(shè)的手部三維重建網(wǎng)絡(luò)，確定各個手部圖像對應(yīng)的初始手部三維重建結(jié)果，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于預(yù)設(shè)的手部三維重建網(wǎng)絡(luò)，確定該手部圖像對應(yīng)的手部特征，包括：
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述目標(biāo)信息包括手部姿勢向量；以及
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于第一手部特征、第二手部特征和第三手部特征中的至少一項，確定該手部圖像對應(yīng)的手部特征，包括：
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述交互特征是通過如下方式確定的：
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述跨視角注意力算法通過如下方式確定交互特征：
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述視角共享算法通過如下方式確定交互特征：
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭曉錚，聞超，薛舟，
申請(專利權(quán))人：北京字跳網(wǎng)絡(luò)技術(shù)有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。