一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法制造技術(shù)

本發(fā)明專利技術(shù)涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法，包括建立分類識(shí)別網(wǎng)絡(luò)模型，并基于該建立分類識(shí)別網(wǎng)絡(luò)模型進(jìn)行圖像多模態(tài)處理、圖像無標(biāo)簽分類和圖像集成決策分類；通過圖像多模態(tài)處理獲得基于復(fù)雜環(huán)境的多個(gè)數(shù)據(jù)集；通過無標(biāo)簽分類以區(qū)分正負(fù)樣本，然后基于正負(fù)樣本進(jìn)行圖像集成決策分類。本發(fā)明專利技術(shù)基于復(fù)雜環(huán)境變化，通過對(duì)數(shù)據(jù)集圖像處理得到多模態(tài)數(shù)據(jù)，使得目標(biāo)圖像有了多層次可梯次化的特性，為后續(xù)模型訓(xùn)練得到更穩(wěn)健的性能打下了良好的基礎(chǔ)，以運(yùn)用集成決策算法與無標(biāo)簽樣本辨識(shí)算法結(jié)合實(shí)現(xiàn)環(huán)境自適應(yīng)目標(biāo)識(shí)別算法，在復(fù)雜環(huán)境下能高效、準(zhǔn)確地識(shí)別出目標(biāo)。確地識(shí)別出目標(biāo)。確地識(shí)別出目標(biāo)。

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法


[0001]本專利技術(shù)涉及數(shù)據(jù)處理
，尤其涉及一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法。

技術(shù)介紹

[0002]目標(biāo)識(shí)別是利用計(jì)算機(jī)視覺技術(shù)對(duì)跨攝像頭的目標(biāo)圖像進(jìn)行特征提取，從而進(jìn)行目標(biāo)匹配的技術(shù)。目前常見的目標(biāo)識(shí)別是行人重識(shí)別。行人重識(shí)別廣泛應(yīng)用于智慧安防、智慧零售等領(lǐng)域。在目標(biāo)識(shí)別領(lǐng)域中，主要分為有監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)等技術(shù)方法。基于監(jiān)督學(xué)習(xí)的目標(biāo)識(shí)別準(zhǔn)確度較高，但需要大量的手工標(biāo)記圖片標(biāo)簽，耗費(fèi)人力過大；基于半監(jiān)督學(xué)習(xí)的目標(biāo)識(shí)別準(zhǔn)確度較高，但對(duì)于攝像頭、環(huán)境等變化時(shí)具有一定的局限性；基于無監(jiān)督學(xué)習(xí)的目標(biāo)識(shí)別能更好地解決關(guān)于局限性的拓展問題，但準(zhǔn)確度存在較大差距。
[0003]尤其在需要實(shí)現(xiàn)跨域目標(biāo)識(shí)別的模型中，數(shù)據(jù)集受復(fù)雜環(huán)境下的天氣變化、光線變化、姿態(tài)變化等影響，因此會(huì)導(dǎo)致目標(biāo)域的數(shù)據(jù)分布同源域相比差別較大，從而導(dǎo)致目標(biāo)識(shí)別的任務(wù)復(fù)雜化。限于以上原因，為了更好提升環(huán)境的現(xiàn)有的算法在復(fù)雜環(huán)境變化情況下，耗費(fèi)人力大小與準(zhǔn)確度高低很難得到平衡，并且同一模型對(duì)于不同數(shù)據(jù)集下的目標(biāo)識(shí)別結(jié)果存在很大差距。

技術(shù)實(shí)現(xiàn)思路

[0004]本專利技術(shù)針對(duì)上述現(xiàn)有技術(shù)的不足，提供一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法，該方法結(jié)合了圖像多模態(tài)處理、集成決策算法與無標(biāo)簽樣本辨識(shí)算法，針對(duì)復(fù)雜環(huán)境下的目標(biāo)，先通過對(duì)目標(biāo)域樣本的多模態(tài)處理實(shí)現(xiàn)多模態(tài)數(shù)據(jù)集形成，然后通過無監(jiān)督聚類算法為多模態(tài)數(shù)據(jù)貼上區(qū)分正負(fù)樣本偽標(biāo)簽，最后利用XGBoost算法模塊進(jìn)行集成決策，重復(fù)反饋訓(xùn)練，以提高復(fù)雜環(huán)境下目標(biāo)識(shí)別的準(zhǔn)確率。
[0005]本專利技術(shù)解決上述技術(shù)問題所采用的技術(shù)方案如下：
[0006]一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法，包括建立分類識(shí)別網(wǎng)絡(luò)模型，并基于該建立分類識(shí)別網(wǎng)絡(luò)模型進(jìn)行圖像多模態(tài)處理、圖像無標(biāo)簽分類和圖像集成決策分類；
[0007]所述建立分類識(shí)別網(wǎng)絡(luò)模型，包括以ResNet50模型為主干網(wǎng)絡(luò)，融入無監(jiān)督分類算法模塊以及基于triplet loss損失函數(shù)的XGBoost算法模塊，構(gòu)成分類識(shí)別網(wǎng)絡(luò)模型；
[0008]所述圖像多模態(tài)處理，包括獲取圖像數(shù)據(jù)集，并基于分類識(shí)別網(wǎng)絡(luò)模型將圖像數(shù)據(jù)集中的圖像基于復(fù)雜環(huán)境的多模態(tài)數(shù)據(jù)處理，以獲得基于復(fù)雜環(huán)境的多個(gè)數(shù)據(jù)集；其中，復(fù)雜環(huán)境包括亮度變化、姿態(tài)變化和清晰度變化；
[0009]所述圖像無標(biāo)簽分類，包括基于分類識(shí)別網(wǎng)絡(luò)模型，利用DBSCAN聚類算法基于復(fù)雜環(huán)境的種類為多樣性樣本中的目標(biāo)圖像貼上偽標(biāo)簽，以區(qū)分正負(fù)樣本；
[0010]所述圖像集成決策分類，包括基于分類識(shí)別網(wǎng)絡(luò)模型，利用XGBoost算法模型將可
辨識(shí)正樣本生成隨機(jī)森林，以進(jìn)行集成決策；基于集成決策結(jié)果更新負(fù)樣本的偽標(biāo)簽，基于最終的正負(fù)樣本進(jìn)行模型循環(huán)訓(xùn)練，直至分類識(shí)別網(wǎng)絡(luò)模型穩(wěn)定。
[0011]優(yōu)選的，所述圖像多模態(tài)處理包括以下步驟：
[0012]S11，將數(shù)據(jù)集DukeMTMC
?
reID作為目標(biāo)域T0，對(duì)目標(biāo)域T0中的每張圖像打上偽標(biāo)簽其中0＜i≤N，i∈Z，N標(biāo)表示表示數(shù)據(jù)集T0中的圖像數(shù)量；
[0013]S12，采用高斯模糊對(duì)目標(biāo)域T0中的圖像進(jìn)行降低清晰度處理，基于處理后的圖像數(shù)據(jù)建立新的數(shù)據(jù)集T1，并對(duì)數(shù)據(jù)集T1中的每張圖像打上偽標(biāo)簽其中，0＜i≤N，i∈Z；
[0014]S13，對(duì)目標(biāo)域T0中的圖像進(jìn)行亮度調(diào)節(jié)處理：包括提高圖像亮度，基于提高亮度后的圖像數(shù)據(jù)建立新的數(shù)據(jù)集T2，并對(duì)數(shù)據(jù)集T2中的每張圖像打上偽標(biāo)簽0＜i≤N，i∈Z；降低圖像亮度，基于降低亮度后的圖像數(shù)據(jù)建立新的數(shù)據(jù)集T3，并對(duì)數(shù)據(jù)集T2中的每張圖像打上偽標(biāo)簽其中，0＜i≤N，i∈Z；
[0015]S14，基于目標(biāo)域T0，采用DeeperCut算法對(duì)其圖像數(shù)據(jù)中呈現(xiàn)的人物進(jìn)行姿態(tài)分割處理，基于處理結(jié)果建立新的數(shù)據(jù)集，并對(duì)新的數(shù)據(jù)集中的每張圖像打上新的偽標(biāo)簽。
[0016]優(yōu)選的，所述步驟S14中，姿態(tài)分割處理所用的DeeperCut算法，其計(jì)算公式為：
[0017][0018]B
ub
＝[(0，y2?
2α)，(W
?
1，y
c
+2α)][0019]B
lb
＝[(0，y
c
?
2α)，(W
?
1，H
?
1)][0020]v＝y(tǒng)2?
y1+2α
[0021][0022][0023]其中，H為當(dāng)前所處理圖像的高度，W為當(dāng)前所處理圖像的寬度；(x1，y1)為頭部點(diǎn)坐標(biāo)；(x2，y2)為頸部點(diǎn)坐標(biāo)；(x3，y3)為左髖關(guān)節(jié)點(diǎn)坐標(biāo)；(x4，y4)為右髖關(guān)節(jié)點(diǎn)坐標(biāo)；x
c
為頭部點(diǎn)坐標(biāo)與頸部點(diǎn)坐標(biāo)在x軸上的中間值，y
c
為左髖關(guān)節(jié)點(diǎn)坐標(biāo)與右髖關(guān)節(jié)點(diǎn)坐標(biāo)在y軸上的中間值；v為頭部點(diǎn)坐標(biāo)與頸部點(diǎn)坐標(biāo)在y軸上的差值；α是控制相鄰部位區(qū)域之間重疊的參數(shù)；B
h
表示頭部區(qū)域作為數(shù)據(jù)集T4，對(duì)數(shù)據(jù)集T4中的每張圖像打上偽標(biāo)簽為其中，0＜i≤N，i∈Z；B
ub
表示上半身區(qū)域作為數(shù)據(jù)集T5，對(duì)數(shù)據(jù)集T5中的每張圖像打上偽標(biāo)簽為其中，0＜i≤N，i∈Z；B
lb
表示下半身區(qū)域作為數(shù)據(jù)集T6，對(duì)數(shù)據(jù)集T6中的每張圖像打上偽標(biāo)簽其中，0＜i≤N，i∈Z。
[0024]優(yōu)選的，所述圖像無標(biāo)簽分類包括以下步驟：
[0025]S21，將數(shù)據(jù)集Market
?
1501作為源域S，將源域S在基于ImageNet預(yù)訓(xùn)練后的ResNet50上進(jìn)行模型訓(xùn)練，期間的損失函數(shù)調(diào)用triplet loss，反復(fù)訓(xùn)練至模型穩(wěn)定，并定義該模型為baseline；
[0026]S22，將數(shù)據(jù)集T
j
在baseline上進(jìn)行圖像特征提取，表示為F
j
∈R
c
×
h
×
w
；其中，j表示圖像多模態(tài)處理中所有數(shù)據(jù)集樣本的序號(hào)，j＝1，2，3，4，5，6；F
j
表示輸出圖像特征，c為圖像特征的通道數(shù)量、h為圖像特征的高度、w為圖像特征的寬度；
[0027]S23，通過成分類識(shí)別網(wǎng)絡(luò)模型中的GAP池化模塊特征F
j
轉(zhuǎn)換為對(duì)應(yīng)的特征向量其中，N
t
表示目標(biāo)域T0中的行人人數(shù)；
[0028]S24，針對(duì)圖像多模態(tài)處理獲得的每個(gè)樣本，運(yùn)用無監(jiān)督聚類算法基于特征向量f
j
將可識(shí)別出的圖像添加偽標(biāo)簽k
j
，將不可識(shí)別出的圖像添加偽標(biāo)簽k
jf
，以產(chǎn)生兩個(gè)新的數(shù)據(jù)集，即：
[0029]可識(shí)別數(shù)據(jù)集
[0030]不可識(shí)別數(shù)據(jù)集
[0031]其中，M表示行人數(shù)量，表示第j個(gè)數(shù)據(jù)集樣本的第M個(gè)行人的圖像數(shù)據(jù)樣本，表示數(shù)據(jù)集Y
T
中第本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法，其特征在于：包括建立分類識(shí)別網(wǎng)絡(luò)模型，并基于該建立分類識(shí)別網(wǎng)絡(luò)模型進(jìn)行圖像多模態(tài)處理、圖像無標(biāo)簽分類和圖像集成決策分類；所述建立分類識(shí)別網(wǎng)絡(luò)模型，包括以ResNet50模型為主干網(wǎng)絡(luò)，融入無監(jiān)督分類算法模塊以及基于triplet loss損失函數(shù)的XGBoost算法模塊，構(gòu)成分類識(shí)別網(wǎng)絡(luò)模型；所述圖像多模態(tài)處理，包括獲取圖像數(shù)據(jù)集，并基于分類識(shí)別網(wǎng)絡(luò)模型將圖像數(shù)據(jù)集中的圖像基于復(fù)雜環(huán)境的多模態(tài)數(shù)據(jù)處理，以獲得基于復(fù)雜環(huán)境的多個(gè)數(shù)據(jù)集；其中，復(fù)雜環(huán)境包括亮度變化、姿態(tài)變化和清晰度變化；所述圖像無標(biāo)簽分類，包括基于分類識(shí)別網(wǎng)絡(luò)模型，利用DBSCAN聚類算法基于復(fù)雜環(huán)境的種類為多樣性樣本中的目標(biāo)圖像貼上偽標(biāo)簽，以區(qū)分正負(fù)樣本；所述圖像集成決策分類，包括基于分類識(shí)別網(wǎng)絡(luò)模型，利用XGBoost算法模型將可辨識(shí)正樣本生成隨機(jī)森林，以進(jìn)行集成決策；基于集成決策結(jié)果更新負(fù)樣本的偽標(biāo)簽，基于最終的正負(fù)樣本進(jìn)行模型循環(huán)訓(xùn)練，直至分類識(shí)別網(wǎng)絡(luò)模型穩(wěn)定。2.如權(quán)利要求1所述一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法，其特征在于：所述圖像多模態(tài)處理包括以下步驟：S11，將數(shù)據(jù)集DukeMTMC
?
reID作為目標(biāo)域T0，對(duì)目標(biāo)域T0中的每張圖像打上偽標(biāo)簽其中0＜i≤N，i∈Z，N標(biāo)表示表示數(shù)據(jù)集T0中的圖像數(shù)量；S12，采用高斯模糊對(duì)目標(biāo)域T0中的圖像進(jìn)行降低清晰度處理，基于處理后的圖像數(shù)據(jù)建立新的數(shù)據(jù)集T1，并對(duì)數(shù)據(jù)集T1中的每張圖像打上偽標(biāo)簽其中，0＜i≤N，i∈Z；S13，對(duì)目標(biāo)域T0中的圖像進(jìn)行亮度調(diào)節(jié)處理：包括提高圖像亮度，基于提高亮度后的圖像數(shù)據(jù)建立新的數(shù)據(jù)集T2，并對(duì)數(shù)據(jù)集T2中的每張圖像打上偽標(biāo)簽0＜i≤N，i∈Z；降低圖像亮度，基于降低亮度后的圖像數(shù)據(jù)建立新的數(shù)據(jù)集T3，并對(duì)數(shù)據(jù)集T2中的每張圖像打上偽標(biāo)簽其中，0＜i≤N，i∈Z；S14，基于目標(biāo)域T0，采用DeeperCut算法對(duì)其圖像數(shù)據(jù)中呈現(xiàn)的人物進(jìn)行姿態(tài)分割處理，基于處理結(jié)果建立新的數(shù)據(jù)集，并對(duì)新的數(shù)據(jù)集中的每張圖像打上新的偽標(biāo)簽。3.如權(quán)利要求2所述一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法，其特征在于所述步驟S14中，姿態(tài)分割處理所用的DeeperCut算法，其計(jì)算公式為：B
ub
＝[(0，y2?
2α)，(W
?
1，y
c
+2α)]B
lb
＝[(0，y
c
?
2α)，(W
?
1，H
?
1)]v＝y(tǒng)2?
y1+2α+2α
其中，H為當(dāng)前所處理圖像的高度，W為當(dāng)前所處理圖像的寬度；(x1，y1)為頭部點(diǎn)坐標(biāo)；(x2，y2)為頸部點(diǎn)坐標(biāo)；(x3，y3)為左髖關(guān)節(jié)點(diǎn)坐標(biāo)；(x4，y4)為右髖關(guān)節(jié)點(diǎn)坐標(biāo)；x
c
為頭部點(diǎn)坐標(biāo)與頸部點(diǎn)坐標(biāo)在x軸上的中間值，y
c
為左髖關(guān)節(jié)點(diǎn)坐標(biāo)與右髖關(guān)節(jié)點(diǎn)坐標(biāo)在y軸上的中間值；v為頭部點(diǎn)坐標(biāo)與頸部點(diǎn)坐標(biāo)在y軸上的差值；α是控制相鄰部位區(qū)域之間重疊的參數(shù)；B
h
表示頭部區(qū)域作為數(shù)據(jù)集T4，對(duì)數(shù)據(jù)集T4中的每張圖像打上偽標(biāo)簽為其中，0＜i≤N，i∈Z；B
ub
表示上半身區(qū)域作為數(shù)據(jù)集T5，對(duì)數(shù)據(jù)集T5中的每張圖像打上偽標(biāo)簽為其中，0＜i≤N，i∈Z；B
lb
表示下半身區(qū)域作為數(shù)據(jù)集T6，對(duì)數(shù)據(jù)集T6中的每張圖像打上偽標(biāo)簽其中，0＜i≤N，i∈Z。4.如權(quán)利要求3所述一種基于多模態(tài)數(shù)據(jù)集成決策的目標(biāo)識(shí)別算法，其特征在于，所述圖像無標(biāo)簽分類包括以下步驟：S21，將數(shù)據(jù)集Market
?
1501作為源域S，將源域S在基于ImageNet預(yù)訓(xùn)練后的ResNet50上進(jìn)行模型...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：殷光強(qiáng)，李超，王治國(guó)，楊曉宇，常益凡，
申請(qǐng)(專利權(quán))人：電子科技大學(xué)，
類型：發(fā)明
國(guó)別省市：