【技術實現步驟摘要】
本專利技術涉及元宇宙、數字人、人工智能，特別是涉及一種基于轉播視頻的冰壺運動員面部重建方法。
技術介紹
1、在冰壺比賽轉播視頻中，運動員的面部表情與互動細節對于觀眾的情感投入與沉浸式體驗的賽事氛圍營造至關重要。但由于冰壺比賽中場館照明與冰面反射的影響，使得運動員面部的紋理信息尤為復雜且難以捕捉。
2、傳統的三維建模方法，如軟件手動建模、高精度儀器掃描以及多視角圖像融合等，雖在特定場景下能取得良好效果，但普遍存在設備價格高、操作流程復雜以及對環境條件嚴格依賴等問題。尤其是多視角圖像融合建模方法，盡管在重建精度和邊緣處理上表現優異，但在處理比賽轉播視頻中具有高反光性和弱紋理特征的冰壺運動員面部表情時，往往難以避免模型不完整和紋理缺失等問題，嚴重影響了冰壺運動員數字人形象的逼真度和實用性。
技術實現思路
1、本專利技術目的是解決現有技術中的問題，提出了一種基于轉播視頻的冰壺運動員面部重建方法。所述方法考慮了轉播視頻中冰壺運動員面部圖像的弱紋理區域主要出現在臉頰、額頭、頭發等部分，通過提取冰壺運動員面部圖像中正確的弱紋理區域，結合傳統多視角三維重建和深度學習多視角三維重建方法，提出了一種基于評價的重建方法，提高了多視角面部三維重建的完整性和可用性。
2、本專利技術是通過以下技術方案實現的，本專利技術提出一種基于轉播視頻的冰壺運動員面部重建方法，所述方法包括以下步驟：
3、步驟1：針對轉播視頻采集投擲階段、滑行階段、擦冰階段和決策階段冰壺運動員的多視角圖片
4、步驟2：使用深度估計方法得到多視角的第一深度圖，使用深度學習深度估計方法得到多視角的第二深度圖，將第一深度圖和第二深度圖進行對齊和歸一化，按照掩膜合并得到第三深度圖；
5、步驟3：融合多視角的第三深度圖，使用多視角重建方法得到具有紋理貼圖的面部三維模型，分別基于模型平滑度評價方法和模型完整度評價方法定量評價面部三維模型重建效果，根據評價結果更新深度圖合并掩膜，直至重建出完整、正確的冰壺運動員面部模型。
6、進一步地，在步驟1中，提取冰壺運動員面部關鍵點，確定五官區域具體為：從轉播視頻采集投擲階段、滑行階段、擦冰階段和決策階段冰壺運動員的多視角圖片，使用灰色背景替換非面部部分；通過匹配圖片特征點，保留滿足幾何約束的匹配，使用sfm方法恢復轉播攝像機的內外參數；提取面部五官的關鍵點，包括眉毛、雙眼、鼻子和嘴部，繪制凸包并羽化得到五官區域，當去除五官區域，得到臉頰、額頭和頭發弱紋理區域。
7、進一步地，在步驟1中，基于灰度梯度閾值方法提取弱紋理區域具體為：使用水平和垂直方向的prewitt算子卷積得到像素點x和y方向的梯度gx(x,y),gy(x,y),則此像素點的梯度值為其中(x,y)為像素點位置；若此像素點屬于弱紋理區域，則其滿足：g(x,y)＜gt，其中，gt為梯度閾值，得到的像素點位置即為分割出的弱紋理區域。
8、進一步地，在步驟1中，得到用于深度圖合并的掩膜具體為：檢測到面部圖像中的弱紋理區域后，將圖像中弱紋理區域的掩膜值設為1，其余圖像處掩膜值設為0，即：
9、
10、其中，face_mask(x,y)是深度合并掩膜。
11、進一步地，所述步驟2具體為：
12、步驟2.1、使用patchmatch方法進行深度估計，以轉播攝像機位姿和冰壺運動員面部圖片為輸入，通過匹配代價構造、累積、估計和優化過程，得到第一深度圖depthmap1，有效區分背景與面部區域；使用深度學習網絡pva-mvsnet，基于多度量聚合多尺度的金字塔圖像信息，利用多尺度信息估計弱紋理區域的深度值，得到第二深度圖depthmap2；
13、步驟2.2、將第一深度圖和第二深度圖進行對齊和深度歸一化；將第一深度圖歸一化到第二深度圖的深度范圍內，設計歸一化系數為：
14、
15、其中，max{}指深度圖中的最大深度值，min{}指深度圖中的最小深度值；
16、歸一化后的第一深度圖depthmap1為:
17、depthmap1＝min{depthmap2}+k*(depthmap1－min{depthmap1})；
18、步驟2.3、將第一深度圖和第二深度圖按照掩膜合并得到第三深度圖depthmap3，并計算邊緣處的深度差，若超過閾值，進行加權濾波做深度圖平滑；其中，合并方式為：
19、depthmap3＝face_mask*depthmap2+(1－face_mask)*depthmap1
20、邊緣處深度差的判斷方法為：
21、∫|depthmap1(edge)－depthmap2(edge)|<th
22、其中，edge是深度合并掩膜的邊緣區域，th是深度差閾值；加權濾波方法選擇窗大小為5*5的卷積滑動平均濾波算法。
23、進一步地，在步驟3中，融合轉播視頻中投擲階段、滑行階段、擦冰階段和決策階段冰壺運動員的多視角第三深度圖，計算三維空間內冰壺運動員面部模型的稠密點云集，對點云集進行四面體網格劃分和曲面提取，得到面部網格模型，使用基于映射的彩色貼圖網格生成，得到紋理貼圖后的冰壺運動員面部三維模型。
24、進一步地，在步驟3中，模型平滑度評價具體為：計算面部三維模型除五官區域外的頂點的高斯曲率：
25、
26、其中，kg是高斯曲率，vi是第i個頂點，n(i)是所有包含頂點vi的三角形面片的個數，θij是第j個三角形面片與頂點法向量間的角度差；
27、若高斯曲率大于曲率閾值的點的數量多于數量閾值，則深度圖合并時的邊緣區域的深度值變化較大，此時加大加權濾波的窗大小。
28、進一步地，在步驟3中，模型完整度評價具體為：按步驟1中解算出的轉播攝像機的內外參數構建虛擬攝像機，渲染得到冰壺運動員面部紋理模型的各視角圖像，計算各視角圖像與轉播攝像機拍攝圖像的結構相似性ssim指標和峰值信噪比psnr指標；
29、具體的，結構相似性ssim指標為
30、
31、其中，μx,μy分別是x,y的平均值，分別是x,y的方差，σxy是x,y的協方差；c1,c2是用來維持穩定的常數；
32、對于給定一個大小為m*n的原圖ⅰ和噪聲圖k，均方誤差表示如下：
33、
34、峰值信噪比psnr指標為：其中maxi為圖像的最大像素值；
35、當結構相似性ssim指標和峰值信噪比psnr指標低于閾值時，評價模型是不完整的，此時膨脹或收縮深度圖合并掩膜中的非0部分，來更新深度合并掩膜；膨脹非0部分優化因弱紋理情況帶來的模型不完整；收縮非0部分優化因邊緣性能和精度問題帶來的模型不完整。本文檔來自技高網...
【技術保護點】
1.一種基于轉播視頻的冰壺運動員面部重建方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，在步驟1中，提取冰壺運動員面部關鍵點，確定五官區域具體為：從轉播視頻采集投擲階段、滑行階段、擦冰階段和決策階段冰壺運動員的多視角圖片，使用灰色背景替換非面部部分；通過匹配圖片特征點，保留滿足幾何約束的匹配，使用SFM方法恢復轉播攝像機的內外參數；提取面部五官的關鍵點，包括眉毛、雙眼、鼻子和嘴部，繪制凸包并羽化得到五官區域，當去除五官區域，得到臉頰、額頭和頭發弱紋理區域。
3.根據權利要求2所述的方法，其特征在于，在步驟1中，基于灰度梯度閾值方法提取弱紋理區域具體為：使用水平和垂直方向的Prewitt算子卷積得到像素點x和y方向的梯度gx(x,y),gy(x,y),則此像素點的梯度值為其中(x,y)為像素點位置；若此像素點屬于弱紋理區域，則其滿足：g(x,y)＜gt，其中，gt為梯度閾值，得到的像素點位置即為分割出的弱紋理區域。
4.根據權利要求3所述的方法，其特征在于，在步驟1中，得到用于深度圖合并的掩膜具體為：檢測到面部
5.根據權利要求4所述的方法，其特征在于，所述步驟2具體為：
6.根據權利要求5所述的方法，其特征在于，在步驟3中，融合轉播視頻中投擲階段、滑行階段、擦冰階段和決策階段冰壺運動員的多視角第三深度圖，計算三維空間內冰壺運動員面部模型的稠密點云集，對點云集進行四面體網格劃分和曲面提取，得到面部網格模型，使用基于映射的彩色貼圖網格生成，得到紋理貼圖后的冰壺運動員面部三維模型。
7.根據權利要求6所述的方法，其特征在于，在步驟3中，模型平滑度評價具體為：計算面部三維模型除五官區域外的頂點的高斯曲率：
8.根據權利要求7所述的方法，其特征在于，在步驟3中，模型完整度評價具體為：按步驟1中解算出的轉播攝像機的內外參數構建虛擬攝像機，渲染得到冰壺運動員面部紋理模型的各視角圖像，計算各視角圖像與轉播攝像機拍攝圖像的結構相似性SSIM指標和峰值信噪比PSNR指標；
9.一種電子設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1-8任一項所述方法的步驟。
10.一種計算機可讀存儲介質，用于存儲計算機指令，其特征在于，所述計算機指令被處理器執行時實現權利要求1-8任一項所述方法的步驟。
...【技術特征摘要】
1.一種基于轉播視頻的冰壺運動員面部重建方法，其特征在于，所述方法包括以下步驟：
2.根據權利要求1所述的方法，其特征在于，在步驟1中，提取冰壺運動員面部關鍵點，確定五官區域具體為：從轉播視頻采集投擲階段、滑行階段、擦冰階段和決策階段冰壺運動員的多視角圖片，使用灰色背景替換非面部部分；通過匹配圖片特征點，保留滿足幾何約束的匹配，使用sfm方法恢復轉播攝像機的內外參數；提取面部五官的關鍵點，包括眉毛、雙眼、鼻子和嘴部，繪制凸包并羽化得到五官區域，當去除五官區域，得到臉頰、額頭和頭發弱紋理區域。
3.根據權利要求2所述的方法，其特征在于，在步驟1中，基于灰度梯度閾值方法提取弱紋理區域具體為：使用水平和垂直方向的prewitt算子卷積得到像素點x和y方向的梯度gx(x,y),gy(x,y),則此像素點的梯度值為其中(x,y)為像素點位置；若此像素點屬于弱紋理區域，則其滿足：g(x,y)＜gt，其中，gt為梯度閾值，得到的像素點位置即為分割出的弱紋理區域。
4.根據權利要求3所述的方法，其特征在于，在步驟1中，得到用于深度圖合并的掩膜具體為：檢測到面部圖像中的弱紋理區域后，將圖像中弱紋理區域的掩膜值設為1，其余圖像處掩膜值設為0，即：
5....
【專利技術屬性】
技術研發人員：金晶，王紀龍，姜宇，李丹丹，
申請(專利權)人：哈爾濱工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。