發明專利技術公開的替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質，其中方法包括：獲取預設圖片或視頻一幀中的人臉部分信息；根據預設圖片或視頻一幀中的人臉部分信息，得到預設圖片或視頻一幀中人臉部分的眼睛狀態信息；判斷所述人臉部分的眼睛狀態是否為閉眼狀態，若是，則直接使用預設閉眼遮罩信息；若否，則通過預設眼動追蹤模塊，得到睜眼遮罩信息；將眼部遮罩發送至預設臉部遮罩，通過對齊、穩定性處理，得到更換圖片或視頻一幀信息；將更換圖片或視頻一幀發送至原圖片或視頻一幀處，得到替換效果。本發明專利技術比較完美的解決了使用遮罩方法進行實時換臉時，遮罩的眼睛部分沒辦法與被替換的主播同步動作的問題，有效的提升了換臉效果。果。果。
【技術實現步驟摘要】
替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質
[0001]本申請涉及圖像識別
，更具體的，涉及替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質。
技術介紹
[0002]在以面具遮罩為原理的實時換臉方案中，眼睛部位的替換一直是一個比較大的問題，因為眼睛是識別一個人的重要特征點，但是換臉需求又導致了眼睛必須實時的隨著主播的眼睛去運動。之前的解決方案是將遮罩的眼睛部分直接挖去，從而露出主播自己的眼睛。這樣做的缺陷就是加上遮罩之后，主播本人的特征仍然明顯，換臉效果不佳。
[0003]因此，現有技術存在缺陷，亟待改進。
技術實現思路
[0004]鑒于上述問題，本專利技術的目的是提供替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質，更夠更加有效的提高換臉效果。
[0005]本專利技術第一方面提供了替換人臉部眼睛樣式并跟隨眼睛動作的方法，包括：獲取預設圖片或視頻一幀中的人臉部分信息；根據預設圖片或視頻一幀中的人臉部分信息，得到預設圖片或視頻一幀中人臉部分的眼睛狀態信息；判斷所述人臉部分的眼睛狀態是否為閉眼狀態，若是，則直接使用預設閉眼遮罩信息；若否，則通過預設眼動追蹤模塊，得到睜眼遮罩信息；將眼部遮罩發送至預設臉部遮罩，通過對齊、穩定性處理，得到更換圖片或視頻一幀信息；將更換圖片或視頻一幀發送至原圖片或視頻一幀處，得到替換效果。
[0006]本方案中，所述通過預設眼動追蹤模塊，得到睜眼遮罩，具體為：基于預設眼動追蹤程序，檢測對應人臉部分的瞳孔位置，若檢測到，則直接輸出瞳孔位置；若沒有檢測到，則使用默認瞳孔位置；將預設睜眼模型按照瞳孔位置進行對齊，得到睜眼遮罩信息。
[0007]本方案中，還包括：將正臉且眼睛平射為基準，設定坐標系；將正臉對稱位置的中線設為y軸，方向朝上；眼睛平射位置的水平線設為x軸，方向朝右。
[0008]本方案中，還包括：獲取預設眼罩的眼睛尺寸值，其半徑設為；將眼睛平射時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；獲取眼睛轉動時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為
；根據坐標差值和眼睛尺寸值，得到瞳孔轉動的角度值，其公式為：，其中表示瞳孔上下轉動的角度，其中正數為向上轉動，負數為向下轉動；，其中表示瞳孔左右轉動的角度，其中正數為向右轉動，負數為向左轉動；其中和為瞳孔坐標的相對差值。
[0009]本方案中，還包括：根據瞳孔轉動的初始位置、終點位置和轉動的角度，得到瞳孔轉動的運動軌跡；所述運動軌跡的方向為初始位置至終點位置。
[0010]本方案中，還包括：獲取眼睛遮罩中的眼睛縮放比例；獲取人臉部分的實際眼睛尺寸信息；根據人臉部分的實際眼睛尺寸和縮放比值，得到眼睛遮罩中的眼睛大小值。
[0011]本專利技術第二方面提供了替換人臉部眼睛樣式并跟隨眼睛動作的系統，包括存儲器和處理器，所述存儲器中存儲有替換人臉部眼睛樣式并跟隨眼睛動作的方法程序，所述替換人臉部眼睛樣式并跟隨眼睛動作的方法程序被所述處理器執行時實現如下步驟：獲取預設圖片或視頻一幀中的人臉部分信息；根據預設圖片或視頻一幀中的人臉部分信息，得到預設圖片或視頻一幀中人臉部分的眼睛狀態信息；判斷所述人臉部分的眼睛狀態是否為閉眼狀態，若是，則直接使用預設閉眼遮罩信息；若否，則通過預設眼動追蹤模塊，得到睜眼遮罩信息；將眼部遮罩發送至預設臉部遮罩，通過對齊、穩定性處理，得到更換圖片或視頻一幀信息；將更換圖片或視頻一幀發送至原圖片或視頻一幀處，得到替換效果。
[0012]本方案中，所述通過預設眼動追蹤模塊，得到睜眼遮罩，具體為：基于預設眼動追蹤程序，檢測對應人臉部分的瞳孔位置，若檢測到，則直接輸出瞳孔位置；若沒有檢測到，則使用默認瞳孔位置；將預設睜眼模型按照瞳孔位置進行對齊，得到睜眼遮罩信息。
[0013]本方案中，還包括：將正臉且眼睛平射為基準，設定坐標系；將正臉對稱位置的中線設為y軸，方向朝上；眼睛平射位置的水平線設為x軸，方向朝右。
[0014]本方案中，還包括：獲取預設眼罩的眼睛尺寸值，其半徑設為；將眼睛平射時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；獲取眼睛轉動時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；
根據坐標差值和眼睛尺寸值，得到瞳孔轉動的角度值，其公式為：，其中表示瞳孔上下轉動的角度，其中正數為向上轉動，負數為向下轉動；，其中表示瞳孔左右轉動的角度，其中正數為向右轉動，負數為向左轉動；其中和為瞳孔坐標的相對差值。
[0015]本方案中，還包括：根據瞳孔轉動的初始位置、終點位置和轉動的角度，得到瞳孔轉動的運動軌跡；所述運動軌跡的方向為初始位置至終點位置。
[0016]本方案中，還包括：獲取眼睛遮罩中的眼睛縮放比例；獲取人臉部分的實際眼睛尺寸信息；根據人臉部分的實際眼睛尺寸和縮放比值，得到眼睛遮罩中的眼睛大小值。
[0017]本專利技術第三方面提供了一種計算機介質，所述計算機介質中存儲有替換人臉部眼睛樣式并跟隨眼睛動作的方法程序，所述替換人臉部眼睛樣式并跟隨眼睛動作的方法程序被處理器執行時，實現如上述任一項所述的替換人臉部眼睛樣式并跟隨眼睛動作的方法的步驟。
[0018]專利技術公開的替換人臉部眼睛樣式并跟隨眼睛動作的方法、系統和介質，通過將眼睛部分單獨制作一個遮罩，再將這個遮罩和臉部遮罩組合成一個整體，但是由一組坐標單獨控制，比較完美的解決了使用遮罩方法進行實時換臉時，遮罩的眼睛部分沒辦法與被替換的主播同步動作的問題，有效的提升了換臉效果。
附圖說明
[0019]圖1示出了本專利技術替換人臉部眼睛樣式并跟隨眼睛動作的方法的流程圖；圖2示出了本專利技術的眼部跟蹤方法的處理流程圖；圖3示出了本專利技術替換人臉部眼睛樣式并跟隨眼睛動作的系統的框圖。
具體實施方式
[0020]為了能夠更清楚地理解本專利技術的上述目的、特征和優點，下面結合附圖和具體實施方式對本專利技術進行進一步的詳細描述。需要說明的是，在不沖突的情況下，本申請的實施例及實施例中的特征可以相互組合。
[0021]在下面的描述中闡述了很多具體細節以便于充分理解本專利技術，但是，本專利技術還可以采用其他不同于在此描述的其他方式來實施，因此，本專利技術的保護范圍并不受下面公開的具體實施例的限制。
[0022]圖1示出了本專利技術替換人臉部眼睛樣式并跟隨眼睛動作的方法的流程圖。
[0023]如圖1所示，本專利技術公開了替換人臉部眼睛樣式并跟隨眼睛動作的方法，包括：S102，獲取預設圖片或視頻一幀中的人臉部分信息；S104，根據預設圖片或視頻一幀中的人臉部分信息，得到預設圖片或視頻一幀中人臉部分的眼睛狀態信息；
S106，判斷所述人臉部分的眼睛狀態是否為閉眼狀態，若是，則直接使用預設閉眼遮罩信息；若否，則通過預設眼動追蹤模塊，得到睜眼遮罩信息；S108，將眼部遮罩發送至預設臉部遮罩，通過對齊、穩定性處理，得到更換圖片或視頻一幀信息；S110，將更換圖片或視頻一幀發送至原圖片或視頻一幀處，得到替換效果。
[0024]需要說明的是，通過預設的人臉識別程序本文檔來自技高網...
【技術保護點】
【技術特征摘要】
1.替換人臉部眼睛樣式并跟隨眼睛動作的方法，其特征在于，包括：獲取預設圖片或視頻一幀中的人臉部分信息；根據預設圖片或視頻一幀中的人臉部分信息，得到預設圖片或視頻一幀中人臉部分的眼睛狀態信息；判斷所述人臉部分的眼睛狀態是否為閉眼狀態，若是，則直接使用預設閉眼遮罩信息；若否，則通過預設眼動追蹤模塊，得到睜眼遮罩信息；將眼部遮罩發送至預設臉部遮罩，通過對齊、穩定性處理，得到更換圖片或視頻一幀信息；將更換圖片或視頻一幀發送至原圖片或視頻一幀處，得到替換效果。2.根據權利要求1所述的替換人臉部眼睛樣式并跟隨眼睛動作的方法，其特征在于，所述通過預設眼動追蹤模塊，得到睜眼遮罩，具體為：基于預設眼動追蹤程序，檢測對應人臉部分的瞳孔位置，若檢測到，則直接輸出瞳孔位置；若沒有檢測到，則使用默認瞳孔位置；將預設睜眼模型按照瞳孔位置進行對齊，得到睜眼遮罩信息。3.根據權利要求1所述的替換人臉部眼睛樣式并跟隨眼睛動作的方法，其特征在于，還包括：將正臉且眼睛平射為基準，設定坐標系；將正臉對稱位置的中線設為y軸，方向朝上；眼睛平射位置的水平線設為x軸，方向朝右。4.根據權利要求3所述的替換人臉部眼睛樣式并跟隨眼睛動作的方法，其特征在于，還包括：獲取預設眼罩的眼睛尺寸值，其半徑設為；將眼睛平射時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；獲取眼睛轉動時的右瞳孔中心點坐標設為，左瞳孔中心點坐標設為；根據坐標差值和眼睛尺寸值，得到瞳孔轉動的角度值，其公式為：，其中表示瞳孔上下轉動的角度，其中正數為向上轉動，負數為向下轉動；，其中表示瞳孔左右轉動的角度，其中正數為向右轉動，負數為向左轉動；其中和為瞳孔坐標的相對差值。5.根據權利要求3所述的替換人臉部眼睛樣式并跟隨眼睛動作的方法，其特征在于，還包括：根據瞳孔轉動的初始位置、終點位置和轉動的角度，得到瞳孔轉動的運動軌跡；所述運動軌跡的方向為初始位置至終...
【專利技術屬性】
技術研發人員：王維，楊飛，
申請(專利權)人：北京鮮衣怒馬文化傳媒有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。