【技術實現步驟摘要】
本專利技術涉及機器視覺和圖像處理，特別是涉及基于深度學習的眼鏡識別和眼鏡移除方法、系統及設備。
技術介紹
1、在日常生活中，眼鏡作為常見的配飾，在人們的面部照片中經常出現，但這往往帶來了技術挑戰。首先，眼鏡的遮擋不僅可能遮蔽面部的關鍵特征，如眼睛，還可能在面部上投射陰影。這些因素都顯著降低了基于圖像的人臉識別、瞳孔定位和3d人臉重建等技術的準確性。此外，出于美觀考慮，許多用戶期望在編輯肖像時能夠去除眼鏡，以達到更好的視覺效果。
2、針對這一問題，開發自動人像眼鏡移除技術顯得尤為重要。然而，這一技術面臨幾個技術挑戰。首要挑戰在于恢復被眼鏡遮擋的面部區域，并確保其與周圍皮膚在細節和反射率上保持一致；其次，僅僅恢復遮擋區域并不足以達到視覺上的真實性，因為眼鏡還會帶來一系列復雜的照明效果，如陰影、反射和面部特征的扭曲。
3、考慮到人臉識別在日常應用中的普及性，眼鏡遮擋對人臉識別系統準確性的影響不容忽視。眼鏡遮擋往往會掩蓋面部的關鍵信息，導致面部特征值發生變化，進而降低識別的準確性，尤其是不同類型的眼鏡對人臉遮擋的影響不同，從而極大影響眼鏡移除的效果。因此，開發人臉眼鏡移除技術，對于提升人臉識別技術等技術的準確性和用戶滿意度具有重要意義。
技術實現思路
1、本專利技術的目的是實現生成移除眼鏡的人臉圖像，并使其與戴眼鏡的原始人臉圖像保持高度相似性。為了實現上述目的，本專利技術提供了一種基于深度學習的眼鏡識別和眼鏡移除方法、系統及設備。
2、第一方面，本專利技
3、將人臉圖像集輸入眼鏡字典進行鑒別，得到戴眼鏡人臉圖像集和不戴眼鏡人臉圖像集，所述眼鏡字典為用于識別人臉圖像中是否存在眼鏡的第一卷積神經網絡；
4、根據第一劃分器對所述戴眼鏡人臉圖像集進行劃分，得到不透明眼鏡人臉圖像集和透明眼鏡人臉圖像集，所述第一劃分器為經不透明眼鏡人臉圖像訓練集和透明眼鏡人臉圖像訓練集訓練得到的第二卷積神經網絡；
5、根據第二劃分器對所述透明眼鏡人臉圖像集進行劃分，得到無框眼鏡人臉圖像集、半框眼鏡人臉圖像集和全框眼鏡人臉圖像集，所述第二劃分器為經無框眼鏡人臉圖像訓練集、半框眼鏡人臉圖像訓練集和全框人臉圖像訓練集訓練得到的第三卷積神經網絡；
6、基于生成對抗網絡分別構建不透明眼鏡移除模型、無框眼鏡移除模型、半框眼鏡移除模型和全框眼鏡移除模型，所述不透明眼鏡移除模型包括眼鏡編碼器、面部編碼器、解碼器和鑒別器，所述無框眼鏡移除模型包括第一生成器、判別器和驗證器，所述半框眼鏡移除模型包括第二生成器、判別器和驗證器，所述全框眼鏡移除模型包括第三生成器、判別器和驗證器，所述第一生成器至少包括無框眼鏡解碼器，所述第二生成器至少包括半框眼鏡解碼器，所述第三生成器至少包括全框眼鏡解碼器；
7、將所述不透明眼鏡人臉圖像集、無框眼鏡人臉圖像集、半框眼鏡人臉圖像集和全框眼鏡人臉圖像集分別輸入對應的眼鏡移除模型進行眼鏡移除，得到對應的無眼鏡人臉圖像集。
8、優選地，在所述將人臉圖像集輸入眼鏡字典進行鑒別，得到戴眼鏡人臉圖像集和不戴眼鏡人臉圖像集之前，還包括：
9、基于戴眼鏡人臉圖像訓練集和不戴眼鏡人臉圖像訓練集，構建眼鏡字典。
10、優選地，所述基于戴眼鏡人臉圖像訓練集和不戴眼鏡人臉圖像訓練集，構建眼鏡字典，包括：
11、獲取多張戴眼鏡人臉圖像以構成戴眼鏡人臉圖像訓練集；
12、獲取多張不戴眼鏡人臉圖像以構成不戴眼鏡人臉圖像訓練集；
13、根據所述戴眼鏡人臉圖像訓練集和所述不戴眼鏡人臉圖像訓練集對第一卷積神經網絡進行訓練，得到眼鏡字典。
14、優選地，基于生成對抗網絡構建不透明眼鏡移除模型，包括：
15、基于生成對抗網絡構建初始不透明眼鏡移除模型，所述初始不透明眼鏡移除模型包括眼鏡編碼器、面部編碼器、解碼器和鑒別器；
16、基于多種損失函數構建所述初始不透明眼鏡移除模型的目標損失函數，多種所述損失函數至少包括人臉圖像合成損失函數、眼鏡區域損失函數、面部區域損失函數和對抗損失函數；
17、獲取多張不戴眼鏡人臉圖像以構成不戴眼鏡人臉圖像訓練集；
18、通過所述不戴眼鏡人臉圖像訓練集和所述不透明眼鏡人臉圖像訓練集，對所述初始不透明眼鏡移除模型進行訓練，得到不透明眼鏡移除模型，所述訓練包括通過所述不戴眼鏡人臉圖像訓練集和所述不透明眼鏡人臉圖像訓練集對所述目標損失函數進行優化。
19、優選地，基于生成對抗網絡構建無框眼鏡移除模型，包括：
20、基于生成對抗網絡構建初始無框眼鏡移除模型，所述初始無框眼鏡移除模型包括第一生成器、判別器和驗證器，所述第一生成器至少包括無框眼鏡解碼器；
21、基于多種損失函數構建所述初始無框眼鏡移除模型的目標損失函數，多種所述損失函數至少包括身份一致性損失函數、像素級損失函數、眼鏡掩膜損失函數、眼鏡陰影掩膜損失函數和對抗損失函數；
22、通過所述無框眼鏡人臉圖像訓練集，對所述初始無框眼鏡移除模型進行訓練，得到無框眼鏡移除模型，所述訓練包括通過所述無框眼鏡人臉圖像訓練集對所述目標損失函數進行優化。
23、優選地，基于生成對抗網絡構建半框眼鏡移除模型，包括：
24、基于生成對抗網絡構建初始半框眼鏡移除模型，所述初始半框眼鏡移除模型包括第二生成器、判別器和驗證器，所述第二生成器至少包括半框眼鏡解碼器；
25、基于多種損失函數構建所述初始半框眼鏡移除模型的目標損失函數，多種所述損失函數至少包括身份一致性損失函數、像素級損失函數、眼鏡掩膜損失函數、眼鏡陰影掩膜損失函數和對抗損失函數；
26、通過所述半框眼鏡人臉圖像訓練集，對所述初始半框眼鏡移除模型進行訓練，得到半框眼鏡移除模型，所述訓練包括通過所述半框眼鏡人臉圖像訓練集對所述目標損失函數進行優化。
27、優選地，基于生成對抗網絡構建全框眼鏡移除模型，包括：
28、基于生成對抗網絡構建初始全框眼鏡移除模型，所述初始全框眼鏡移除模型包括第三生成器、判別器和驗證器，所述第三生成器至少包括全框眼鏡解碼器；
29、基于多種損失函數構建所述初始全框眼鏡移除模型的目標損失函數，多種所述損失函數至少包括身份一致性損失函數、像素級損失函數、眼鏡掩膜損失函數、眼鏡陰影掩膜損失函數和對抗損失函數；
30、通過所述全框眼鏡人臉圖像訓練集，對所述初始全框眼鏡移除模型進行訓練，得到全框眼鏡移除模型，所述訓練包括通過所述全框眼鏡人臉圖像訓練集對所述目標損失函數進行優化。
31、優選地，將所述不透明眼鏡人臉圖像集、無框眼鏡人臉圖像集、半框眼鏡人臉圖像集和全框眼鏡人臉圖像集分別輸入對應的眼鏡移除模型進行眼鏡移除，得到對應的無眼鏡人臉圖像集，包括：
32、根據所述不透明眼鏡移除模型對所述不透明眼鏡人臉圖像集進行眼鏡本文檔來自技高網...
【技術保護點】
1.一種基于深度學習的眼鏡識別和眼鏡移除方法，其特征在于，包括：
2.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于，在所述將人臉圖像集輸入眼鏡字典進行鑒別，得到戴眼鏡人臉圖像集和不戴眼鏡人臉圖像集之前，還包括：
3.根據權利要求2所述的眼鏡識別和眼鏡移除方法，其特征在于，所述基于戴眼鏡人臉圖像訓練集和不戴眼鏡人臉圖像訓練集，構建眼鏡字典，包括：
4.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于，基于生成對抗網絡構建不透明眼鏡移除模型，包括：
5.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于，基于生成對抗網絡構建無框眼鏡移除模型，包括：
6.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于，基于生成對抗網絡構建半框眼鏡移除模型，包括：
7.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于，基于生成對抗網絡構建全框眼鏡移除模型，包括：
8.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于，將所述不透明眼鏡人臉圖像集、無框眼鏡人臉圖像集、半框眼鏡人臉圖像集
9.一種基于深度學習的眼鏡識別和眼鏡移除系統，其特征在于，包括：
10.一種終端設備，其特征在于，包括處理器、存儲器以及存儲在所述存儲器中且被配置為由所述處理器執行的計算機程序，所述處理器執行所述計算機程序時實現如權利要求1至8中任一項所述的眼鏡識別和眼鏡移除方法。
...【技術特征摘要】
1.一種基于深度學習的眼鏡識別和眼鏡移除方法，其特征在于，包括：
2.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于，在所述將人臉圖像集輸入眼鏡字典進行鑒別，得到戴眼鏡人臉圖像集和不戴眼鏡人臉圖像集之前，還包括：
3.根據權利要求2所述的眼鏡識別和眼鏡移除方法，其特征在于，所述基于戴眼鏡人臉圖像訓練集和不戴眼鏡人臉圖像訓練集，構建眼鏡字典，包括：
4.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于，基于生成對抗網絡構建不透明眼鏡移除模型，包括：
5.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于，基于生成對抗網絡構建無框眼鏡移除模型，包括：
6.根據權利要求1所述的眼鏡識別和眼鏡移除方法，其特征在于...
【專利技術屬性】
技術研發人員：孫喜民，黃玉彬，李勇，劉明明，田會娟，郝怡，牛萍娟，羅鵬，趙丙鎮，鄧春宇，
申請(專利權)人：國網電商科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。