【技術實現步驟摘要】
本專利技術涉及人物素描圖像處理，更具體地說，涉及一種基于跨模態可靠主觀特征的素描行人重識別方法及設備。
技術介紹
1、行人重識別（personre-identification，reid）是智能監控系統中至關重要的技術之一，旨在通過比對不同攝像頭拍攝的圖像，識別同一行人身份。傳統的reid方法主要依賴于從可見光攝像頭中捕獲的rgb圖像，通過行人的外觀特征來進行身份識別。然而，在某些犯罪場景中，罪犯往往不會出現在攝像頭覆蓋范圍內，導致無法獲取其照片信息。這種情況下，警方通常依賴目擊者的描述，基于此繪制罪犯的素描圖像。素描圖像中通常包含了罪犯的關鍵外貌特征，如面部輪廓和體態特征，這使得素描行人重識別成為一種潛在的解決方案。
2、素描行人重識別是一種跨模態的再識別任務，其目標是通過匹配手繪的素描圖像和圖庫中的照片來識別特定目標。然而，由于素描和照片在成像原理、細節保留和信息表達等方面存在顯著差異，這一任務面臨著極大的挑戰。素描圖像往往抽象、簡約，缺乏顏色和紋理等豐富的視覺信息，僅保留了對象的基本輪廓或結構信息，而照片則包含了更為詳盡的外觀特征。目擊者對嫌疑人外貌的描述往往不完整，且可能受到主觀偏見的影響。目擊者之間的觀點差異和感知細微差別可能導致描述的沖突，使得準確描繪嫌疑人變得更加復雜。此外，由于藝術家個人的審美傾向和藝術風格的不同，素描可能會出現偏差。因此，理解并處理這些主觀因素對于在素描中精確識別和匹配特征至關重要。
3、現有的一些研究工作致力于減輕這種跨模態差異，主要集中在通過特征提取和度量學習來實現模
4、隨著技術的發展，近年來涌現出許多基于深度學習的素描行人重識別方法。這些方法主要通過設計雙流網絡結構或引入新的損失函數，來提升跨模態特征的對齊效果。專利“cn117953539a跨模態提示調整的素描行人重識別方法”公開了一種跨模態提示調整的素描行人重識別方法，該專利技術引導淺層凍結的預訓練模型從樣本提示和特征增強的角度執行素描檢索任務，同時考慮到了模態間差距大的問題。
5、在先前的研究中，研究人員提出了利用雙流網絡架構的方法，這種架構同時處理素描和照片模式，以捕捉互補信息。現有的素描行人重識別方法雖然在深度學習領域取得了顯著進展，已經顯示出了有希望的結果，并且開始關注主觀性對識別任務的影響，然而這些方法仍面臨多個問題，如忽略了主觀性中潛藏的客觀性，以及模態差異大、模型泛化能力不足等，在捕捉素描中的主觀性和風格變異性方面仍有不足，它們通常忽略了素描的主觀因素，例如藝術風格和筆畫變化，而這對于精確匹配至關重要。
6、素描圖像通常具有多樣化的藝術風格，不同的藝術感知會帶來多變的藝術傾向。然而，即便在這些不同的藝術表現下，素描圖像中依然存在一些可靠的共有特征，如目標人物的發型、衣著輪廓等。這些特征具備普遍認知性，可以用于增強跨模態匹配的準確性。因此，越來越需要更復雜的模型，這些模型能夠顯式地對素描的主觀特征進行建模，并學習能夠彌合不同模式之間差距的魯棒表示。為此，亟需更加智能化和靈活的算法，來更好地平衡素描和照片之間的主觀信息差異，提升素描行人重識別的準確性和魯棒性。
技術實現思路
1、本專利技術的目的在于，提供一種基于跨模態可靠主觀特征的素描行人重識別方法及設備，能提升跨模態檢索任務的準確性和魯棒性。
2、本專利技術提供一種基于跨模態可靠主觀特征的素描行人重識別方法，包括以下步驟：s01：獲取人物rgb和素描圖像，對人物rgb和素描圖像進行預處理，得到人物rgb和素描圖像數據集，將人物rgb和素描圖像數據集劃分為訓練集、驗證集和測試集；s02：利用殘差網絡構建雙路徑特征增強網絡；s03：利用訓練集對雙路徑特征增強網絡進行訓練，得到訓練好的雙路徑特征增強網絡；s04：根據測試集，利用訓練好的雙路徑特征增強網絡，得到人物素描檢索結果。
3、進一步地，上述基于跨模態可靠主觀特征的素描行人重識別方法的預處理包括：尺寸調整、灰度化和歸一化。
4、進一步地，上述基于跨模態可靠主觀特征的素描行人重識別方法的雙路徑特征增強網絡，以resnet50為骨干網絡，在resnet50的每一個殘差模塊block后串接跨模態特征增強模塊；跨模態特征增強模塊用于提取特征，進一步融合局部和全局信息；跨模態特征增強模塊包括依次串聯的平均池化層、第一全連接層、線性整流函數relu、第二全連接層、sigmoid函數和逐元素相乘操作；其中，平均池化層的輸入端與逐元素相乘操作的輸入端并聯連接。
5、進一步地，上述基于跨模態可靠主觀特征的素描行人重識別方法的步驟s03具體包括：s031：設置雙路徑特征增強網絡的訓練參數并調節權重，將訓練集和驗證集輸入到雙路徑特征增強網絡；s032：利用跨模態特征增強模塊分別將輸入照片特征和輸入關鍵特征提取為rgb關鍵特征和素描關鍵特征；s033：根據rgb關鍵特征和素描關鍵特征，構建損失函數；s034：重復步驟s032-s033至預設次數，計算損失函數，將損失函數最小的模型作為訓練好的雙路徑特征增強網絡。
6、進一步地，上述基于跨模態可靠主觀特征的素描行人重識別方法的步驟s032具體包括：利用跨模態特征增強模塊分別將輸入照片特征和輸入關鍵特征提取為rgb關鍵特征和素描關鍵特征，如公式：
7、，
8、，
9、其中，表示第?c類或通道的特征向量，為經過變換后得到的第?c?類的特征向量，表示sigmoid?激活函數，表示第一全連接層的權重矩陣，表示第二全連接層的權重矩陣，代表壓縮后的通道特征表示，表示表示所有類別的變換特征向量的集合。
10、進一步地，上述基于跨模態可靠主觀特征的素描行人重識別方法的步驟s033具體包括：根據rgb關鍵特征和素描關鍵特征，構建損失函數，如公式：
11、，
12、，
13、，
14、，
15、，
16、其中，為損失函數，為模態內和跨模態下與其他正樣本的平均距離，為約束公式，為樣本總數量，表示在一個小批量中樣本的數量，為模態內與其他正樣本的距離，為跨模態下與其他正樣本的距離，?表示第個樣本素描圖像的特征向量，表示第個rgb圖像的特征向量，表示第個樣本的特征向量，表示第個樣本的特征向量，表示對某一組數據進行均值運算，?表示屬于類別的樣本的特征中心向量，表示類別的負樣本的平均距離。
17、本專利技術還提供一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現上述基本文檔來自技高網...
【技術保護點】
1.一種基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，所述預處理包括：尺寸調整、灰度化和歸一化。
3.根據權利要求1所述的基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，所述雙路徑特征增強網絡，以ResNet50為骨干網絡，在ResNet50的每一個殘差模塊Block后串接跨模態特征增強模塊；所述跨模態特征增強模塊用于提取特征，進一步融合局部和全局信息；所述跨模態特征增強模塊包括依次串聯的平均池化層、第一全連接層、線性整流函數ReLU、第二全連接層、Sigmoid函數和逐元素相乘操作；其中，平均池化層的輸入端與逐元素相乘操作的輸入端并聯連接。
4.根據權利要求1所述的基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，步驟S03具體包括：
5.根據權利要求4所述的基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，步驟S032具體包括：利用跨模態特征增強模塊分別將輸入照片特征和輸入關鍵特征提取為RGB關鍵特征和素
6.根據權利要求4所述的基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，步驟S033具體包括：根據所述RGB關鍵特征和素描關鍵特征，構建損失函數，如公式：
7.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該計算機程序被處理器執行時實現如權利要求1-6任一所述的基于跨模態可靠主觀特征的素描行人重識別方法的步驟。
8.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1-6任一所述的基于跨模態可靠主觀特征的素描行人重識別方法的步驟。
9.一種計算機程序產品，包括計算機程序，其特征在于，該計算機程序被處理器執行時實現權利要求1-6任一所述的基于跨模態可靠主觀特征的素描行人重識別方法的步驟。
...【技術特征摘要】
1.一種基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，所述預處理包括：尺寸調整、灰度化和歸一化。
3.根據權利要求1所述的基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，所述雙路徑特征增強網絡，以resnet50為骨干網絡，在resnet50的每一個殘差模塊block后串接跨模態特征增強模塊；所述跨模態特征增強模塊用于提取特征，進一步融合局部和全局信息；所述跨模態特征增強模塊包括依次串聯的平均池化層、第一全連接層、線性整流函數relu、第二全連接層、sigmoid函數和逐元素相乘操作；其中，平均池化層的輸入端與逐元素相乘操作的輸入端并聯連接。
4.根據權利要求1所述的基于跨模態可靠主觀特征的素描行人重識別方法，其特征在于，步驟s03具體包括：
5.根據權利要求4所述的基于跨模態可靠主觀特征的素描行人重識別方法，...
【專利技術屬性】
技術研發人員：黃俊杰，李創，陳卡，朱泳卓，崔傲疊，趙國強，潘寒陽，黎瑤，
申請(專利權)人：武漢紡織大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。