【技術實現步驟摘要】
本專利技術屬于缺失多視圖人臉圖像數據中的數據聚類處理領域，具體涉及一種基于雙對齊補全的缺失多視圖人臉圖像聚類方法。
技術介紹
1、在多媒體信息處理領域，人臉圖像數據不僅是一種可廣泛獲取的數據，而且往往可以從多個不同角度或渠道采集用以描述同一個樣本。對于這種具有多種模式或者從不同的多個來源收集到的人臉圖像數據稱之為多視圖人臉圖像數據。對于此種數據進行聚類的關鍵在于如何從多視圖數據中挖掘不同視圖間的關聯性以及每個視圖內的知識，從而發現多視圖數據的規律并更好地對其進行聚類。然而，由于多視圖人臉圖像數據在采集、傳輸、存儲等各個階段都會有信息缺失或者某些渠道出現故障等情況發生，從而破壞多視圖人臉圖像數據的完整性。因此，對缺失多視圖人臉圖像數據聚類的研究也逐漸成為多視圖學習中不可或缺的一部分。此外，視圖的缺失不僅嚴重影響了人臉圖像數據在聚類過程中的精確度，同時也破壞了多視圖人臉圖像數據空間維度的一致性，增加了數據融合的難度。目前處理缺失人臉圖像數據最常見的方法為均值或零值填充，即根據存在數據樣本的均值或使用零值來填充缺失樣本數據，然而該方法可能會為原始數據引入額外的錯誤信息或異常值，從而對模型的聚類準確度產生影響。基于此，本專利技術提出了一種基于雙對齊補全的缺失多視圖人臉圖像聚類方法，該方法分別從原型和實例兩個方面來對齊同類簇中的原型與樣本，并通過引入注意力層來補全缺失視圖，使補全后的缺失視圖樣本更加接近于真實樣本，進而實現對缺失多視圖人臉圖像數據準確聚類的目的。
技術實現思路
1、為了解決上
2、首先對每個視圖中的存在多視圖人臉圖像數據進行歸一化后將其輸入編碼網絡以獲得每個視圖的潛在低維嵌入表示，然后將潛在低維嵌入表示通過解碼網絡獲得重構樣本特征，最后使用重構損失函數對多視圖人臉圖像數據和重構樣本特征進行約束。
3、在低維嵌入空間中使用視圖中的存在樣本為該視圖構建原型矩陣，并通過跨視圖原型對比損失函數對齊視圖間相同類簇的原型。
4、將每個視圖的低維嵌入表示以及對應的原型矩陣輸入注意力層，在注意力層中通過注意力矩陣一方面增加視圖內同類簇樣本的緊密性，另一方面通過視圖間同類簇的存在樣本補全缺失視圖。
5、將補全后的視圖樣本通過實例對比損失函數進行對齊，以挖掘視圖間樣本的一致性信息，并將補全后的視圖樣本通過特征融合層進行融合，以獲得所有視圖的公共低維嵌入表示。
6、使用小批量隨機梯度下降算法將基于雙對齊補全的缺失多視圖人臉圖像聚類方法總體損失函數優化至收斂，進而獲得最終的聚類結果。
7、根據所得聚類結果，計算缺失多視圖人臉圖像數據上的聚類準確率。
8、進一步地，所述方法對每個視圖中的存在多視圖人臉圖像數據樣本進行歸一化后輸入編碼網絡獲得每個視圖的低維嵌入表示，并將其通過解碼網絡獲得重構樣本特征，同時使用重構損失函數對多視圖人臉圖像數據和重構樣本特征進行約束。
9、對于每個視圖中的存在多視圖人臉圖像數據樣本，將其特征向量歸一化成均值為0，標準差為1的標準格式，擬定的歸一化表達式如下：
10、
11、其中，i表示第i個存在樣本，v表示第v個視圖，表示第v個視圖中第i個樣本的特征向量，和分別表示的均值和標準差。
12、將歸一化后的多視圖人臉圖像數據依次輸入編碼網絡和解碼網絡以獲得重構樣本特征。擬定的編碼網絡的表達式為：
13、
14、其中，表示第v個視圖的編碼網絡，xv表示第v個視圖的存在人臉圖像數據樣本，θv表示第v個視圖的編碼網絡可學習參數，nv表示第v個視圖中的存在樣本個數，dv表示第v個視圖的特征維度，zv表示第v個視圖的低維嵌入表示，d表示潛在嵌入表示的特征維度。
15、擬定的解碼網絡的表達式為：
16、
17、其中，表示第v個視圖的解碼網絡,φv表示第v個視圖的解碼網絡可學習參數，表示第v個視圖的重構樣本特征。
18、使用重構損失函數對多視圖人臉圖像數據樣本和重構樣本特征進行約束，擬定的重構損失函數的表達式為：
19、
20、其中，表示重構損失函數，v表示視圖個數，xv表示第v個視圖的存在人臉圖像數據樣本，zv表示第v個視圖的低維嵌入表示，表示第v個視圖的解碼網絡，‖·‖2表示矩陣的l2范數，nv表示第v個視圖中的存在樣本個數，表示第v個視圖中第i個樣本的特征向量，表示第v個視圖的編碼網絡。
21、進一步地，所述低維嵌入空間中使用每個視圖中的存在樣本為該視圖構建原型矩陣，并通過跨視圖的原型對比損失函數對齊視圖間相同類簇的原型。
22、在低維嵌入空間中對每個視圖構建原型矩陣，擬定的表達公式為：
23、
24、其中，pv表示第v個視圖的原型矩陣，表示第v個視圖中第j個原型，表示第v個視圖中第i個樣本的低維嵌入表示，k表示原型個數，nv表示第v個視圖中的存在樣本個數。
25、通過跨視圖的原型對比損失函數對齊視圖間相同類簇的原型，擬定的表達公式為：
26、
27、其中，表示所有視圖的原型對比損失函數，表示第v個視圖中第c個原型的對比損失，表示第v個視圖中的第c個原型，表示原型在第r個視圖中對應的正樣本，表示原型在第r個視圖中對應的負樣本，s(·)表示余弦相似性函數，τ表示溫度系數，v表示視圖個數，k表示原型個數。
28、進一步地，所述將每個視圖的低維嵌入表示以及對應原型矩陣輸入注意力層，通過注意力矩陣一方面增加視圖內同類簇樣本的緊密性，另一方面通過視圖間同類簇的存在樣本補全缺失視圖。
29、將每個視圖的低維嵌入表示輸入注意力層，增加視圖中同類簇樣本的緊密性，擬定的表達式為：
30、
31、其中，表示第v個視圖所對應原型矩陣的線性層，zv表示第v個視圖的低維嵌入表示，av表示第v個視圖的注意力矩陣，其表達公式為：
32、
33、其中，表示第v個視圖中低維嵌入表示zv的線性層，表示第v個視圖中原型矩陣pv的線性層，d表示潛在嵌入表示的特征維度，softmax(·)表示softmax激活函數。
34、對注意力矩陣av進行正則化約束，其表達公式為：
35、
36、其中，表示第v個視圖中的樣本屬于第j個類別的概率，表示第v個視圖中第i個樣本屬于第j個類別的概率，β為平衡參數。
37、在低維嵌入表示中利用視圖間同類簇的存在樣本補全缺失視圖，擬定的表達式為：
38、
39、其中，hv表示第v個視圖的完整低維嵌入表示，表示第v個視圖所對應原型矩陣的線性層，zm表示第m個視圖中存在樣本的低維嵌入表示，am表示第m個視圖的注意力矩陣，pv表示第v個視圖的原型矩陣。
40、進一步地，所述將補全后的視圖樣本通過實例本文檔來自技高網...
【技術保護點】
1.一種基于雙對齊補全的缺失多視圖人臉圖像聚類方法，其特征在于，所述方法包括步驟：
【技術特征摘要】
1.一種基于雙對齊補全的缺失多視圖人臉圖像...
【專利技術屬性】
技術研發人員：李驁，梅三林，高天宇，谷鳳偉，王莉莉，陳晨，
申請(專利權)人：哈爾濱理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。