【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于生物特征識別，具體涉及一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法。
技術(shù)介紹
1、生物特征識別技術(shù)作為一種高效、安全、便捷的身份認證手段，已經(jīng)廣泛應(yīng)用于我們生活的各個領(lǐng)域，如門禁系統(tǒng)、支付驗證、安全防護等。在眾多生物特征識別技術(shù)中，手指靜脈識別技術(shù)以其唯一性、活體性和防偽性的特點，成為近年來研究的熱點。
2、在實際應(yīng)用過程中，手指靜脈識別技術(shù)面臨諸多挑戰(zhàn)，其中靜脈圖像的質(zhì)量是制約識別性能的關(guān)鍵因素。手指靜脈圖像在采集過程中易受采集設(shè)備性能、環(huán)境光照或者用戶手指擺放位置等因素的影響，所獲取的圖像質(zhì)量存在差異，低質(zhì)量的靜脈圖像不利于后續(xù)的特征提取，易使識別出現(xiàn)錯誤。
3、當(dāng)前的手指靜脈圖像質(zhì)量評估模型，盡管引入了卷積神經(jīng)網(wǎng)絡(luò)(cnn)進行特征提取，但大多數(shù)模型在單條支路(如灰度圖支路或二值圖支路)內(nèi)部的特征提取過程中，未能充分挖掘和利用特征圖之間的多層次、多尺度信息，導(dǎo)致單支路特征表達能力受限，無法全面反映手指靜脈圖像的質(zhì)量特性。
4、現(xiàn)有的雙支路質(zhì)量評估模型在融合灰度圖和二值圖特征時，主要采用簡單的全連接層特征融合方式，忽略了單支路內(nèi)部特征圖在提取過程中的潛在聯(lián)系以及兩條支路間深層次的關(guān)聯(lián)性和互補信息。這種融合策略限制了模型在復(fù)雜環(huán)境下對靜脈圖像質(zhì)量進行準(zhǔn)確評估的能力。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)所為了解決
技術(shù)介紹
中存在的技術(shù)問題，目的在于提供了一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，通過圖像預(yù)處理和深度學(xué)習(xí)技術(shù)實現(xiàn)
2、為了解決技術(shù)問題，本專利技術(shù)的技術(shù)方案是：
3、一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，所述方法包括：
4、獲取手指靜脈灰度圖和二值圖，輸入至構(gòu)建的二階段融合的雙支路手指靜脈圖像質(zhì)量評估模型中，通過模型輸出的質(zhì)量類別，判斷是高質(zhì)量靜脈圖像還是低質(zhì)量；所述二階段融合的雙支路手指靜脈圖像質(zhì)量評估模型包括：用于提取手指靜脈灰度圖特征的主路網(wǎng)絡(luò)、用于提取手指靜脈二值圖特征的輔路網(wǎng)絡(luò)、第一階段單支路的多尺度融合模塊和第二階段基于vit的跨支路融合模塊；
5、其中，在第一階段，進行單支路內(nèi)部特征優(yōu)化，主路和輔路均采用多尺度特征融合策略，并結(jié)合通道注意力機制，對其特征圖進行精細處理，以增強特征表達能力；在第二階段，進行跨支路特征深度融合，基于vit的方法用于捕捉主路和輔路特征之間的全局依賴關(guān)系，對兩條支路提取的特征信息進行深度整合。
6、進一步，通過對采集到的手指靜脈的灰度圖像進行圖像預(yù)處理，應(yīng)用sobel邊緣檢測算法來識別圖像中的頂部與底部邊界，從而界定出一個感興趣區(qū)域roi，然后對獲取到的roi進行血管脈絡(luò)的提取，得到手指靜脈二值化圖像。
7、進一步，在所述主路網(wǎng)絡(luò)中：手指靜脈灰度圖作為主路輸入，主路網(wǎng)絡(luò)采用五層卷積模塊堆疊而成，在第四層和第五層卷積中，嵌入了通道注意力模塊，通過為特征通道分配不同的權(quán)重，強調(diào)重要特征，增強模型的特征表達能力，捕捉靜脈圖像中的關(guān)鍵信息。
8、進一步，在所述輔路網(wǎng)絡(luò)中：手指靜脈二值圖作為輔路輸入，通過最大熵閾值分割方法，得到包含血管脈絡(luò)結(jié)構(gòu)的黑白圖像，輔路網(wǎng)絡(luò)采用五個深度可分離卷積塊進行堆疊，在第四層和第五層卷積中引入通道注意力模塊，強化關(guān)鍵血管脈絡(luò)特征的提取，補充和增強主路所提取的特征。
9、進一步，所述第一階段單支路的多尺度融合模塊包括兩個部分：通道注意力加權(quán)和特征圖重組融合；
10、確定通道注意力模塊輸入特征圖的尺寸為c×h×w，對每個通道進行全局平均池化與最大平均池化得到兩個形狀為c×1×1的特征向量；再將兩個向量通過一個多層感知機mlp生成每個通道的注意力權(quán)重；最后將計算得到的通道權(quán)重與輸入特征圖的每個通道相乘，得到加強后的特征圖；這里兩支路第四層卷積塊的輸出特征圖大小為256×32×32，經(jīng)過重組后為4個大小256×4×4的特征子圖，隨后與第五層輸出經(jīng)過通道融合輸出1536×8×8的特征圖，通道注意力的權(quán)重計算公式和加權(quán)后的特征圖如公式(1)和(2)所示：
11、mc＝σ(mlp(avgpool(f))+mlp(maxpool(f)))??(6)
12、
13、其中，mc代表通道注意力權(quán)重，σ代表sigmoid激活操作，代表加權(quán)后的特征圖，·代表點乘。
14、進一步，在第二階段基于vit跨支路融合中，把兩條支路拼接后的特征圖作為模塊輸入，特征圖大小為8×8，補丁大小為4×4，共分為4個補丁；每個補丁展平成一維向量后，通過線性層將一維向量映射到固定維度，形成嵌入向量,如公式(3)所示：
15、
16、其中，為補丁展平后的一維向量，e是線性投影矩陣，epos是位置編碼，z0為初始嵌入向量，歸一化后的嵌入向量，被送入多頭自注意力層，計算輸入序列的自注意力，捕捉不同補丁之間的依賴關(guān)系，然后使用跳連接將msa輸出直接與輸入相加，形成殘差連接，緩解梯度消失，如公式(4)所示：
17、
18、式中，為自注意力輸出，ln為歸一化操作，第層的輸入嵌入向量，經(jīng)過歸一化后，通過mlp進行特征變換與提取，再添加一個跳連接將輸入添加到mlp的輸出上，完成transformer層的處理，如公式(5)所示：
19、
20、式中，為當(dāng)前層的輸出嵌入向量,當(dāng)前層的索引，經(jīng)過前饋神經(jīng)網(wǎng)絡(luò)和層歸一化處理后，將前饋神經(jīng)網(wǎng)絡(luò)的輸出與自注意力輸出相加，整個過程包含8個transformer層，最后經(jīng)過一個1×1卷積降低特征維度，輸出的特征圖保留了輸入圖像的全局和局部關(guān)鍵特征信息，促進了圖像質(zhì)量評估效果的提升。
21、與現(xiàn)有技術(shù)相比，本專利技術(shù)的優(yōu)點在于：
22、1.二階段融合策略：整個方法采用模型二階段融合策略，第一階段聚焦于單支路內(nèi)部特征優(yōu)化，第二階段則進行跨支路特征深度融合。這種分階段融合的方式有助于逐步提升模型的特征表達能力，最終提高模型的整體性能。
23、2.多尺度特征融合與通道注意力機制：在單支路(灰度圖支路和二值圖支路)內(nèi)部，采用多尺度特征融合策略，并結(jié)合通道注意力機制，對特征圖進行精細處理。這一技術(shù)關(guān)鍵點旨在增強單條支路內(nèi)部的特征表達能力，使得模型能夠更全面地捕捉靜脈圖像中的多層次、多尺度信息。
24、3.基于vit的跨支路特征融合：在兩條支路(灰度圖支路和二值圖支路)之間，引入基于vit的跨支路融合方法，對兩條支路提取的特征信息進行深度整合。vit模型通過自注意力機制能夠捕捉特征之間的全局依賴關(guān)系，從而有效整合灰度圖和二值圖中的深層次關(guān)聯(lián)性和互補信息。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，其特征在于，通過對采集到的手指靜脈的灰度圖像進行圖像預(yù)處理，應(yīng)用Sobel邊緣檢測算法來識別圖像中的頂部與底部邊界，從而界定出一個感興趣區(qū)域ROI，然后對獲取到的ROI進行血管脈絡(luò)的提取，得到手指靜脈二值化圖像。
3.根據(jù)權(quán)利要求1所述的一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，其特征在于，在所述主路網(wǎng)絡(luò)中：手指靜脈灰度圖作為主路輸入，主路網(wǎng)絡(luò)采用五層卷積模塊堆疊而成，在第四層和第五層卷積中，嵌入了通道注意力模塊，通過為特征通道分配不同的權(quán)重，強調(diào)重要特征，增強模型的特征表達能力，捕捉靜脈圖像中的關(guān)鍵信息。
4.根據(jù)權(quán)利要求1所述的一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，其特征在于，在所述輔路網(wǎng)絡(luò)中：手指靜脈二值圖作為輔路輸入，通過最大熵閾值分割方法，得到包含血管脈絡(luò)結(jié)構(gòu)的黑白圖像，輔路網(wǎng)絡(luò)采用五個深度可分離卷積塊進行堆疊，在第四層和第五層卷積中引入通道注意力模塊，強化關(guān)鍵
5.根據(jù)權(quán)利要求1所述的一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，其特征在于，所述第一階段單支路的多尺度融合模塊包括兩個部分：通道注意力加權(quán)和特征圖重組融合；
6.根據(jù)權(quán)利要求1所述的一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，其特征在于，在第二階段基于ViT跨支路融合中，把兩條支路拼接后的特征圖作為模塊輸入，特征圖大小為8×8，補丁大小為4×4，共分為4個補丁；每個補丁展平成一維向量后，通過線性層將一維向量映射到固定維度，形成嵌入向量,如公式(3)所示：
...【技術(shù)特征摘要】
1.一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，其特征在于，通過對采集到的手指靜脈的灰度圖像進行圖像預(yù)處理，應(yīng)用sobel邊緣檢測算法來識別圖像中的頂部與底部邊界，從而界定出一個感興趣區(qū)域roi，然后對獲取到的roi進行血管脈絡(luò)的提取，得到手指靜脈二值化圖像。
3.根據(jù)權(quán)利要求1所述的一種基于二階段融合模型的手指靜脈圖像質(zhì)量評估方法，其特征在于，在所述主路網(wǎng)絡(luò)中：手指靜脈灰度圖作為主路輸入，主路網(wǎng)絡(luò)采用五層卷積模塊堆疊而成，在第四層和第五層卷積中，嵌入了通道注意力模塊，通過為特征通道分配不同的權(quán)重，強調(diào)重要特征，增強模型的特征表達能力，捕捉靜脈圖像中的關(guān)鍵信息。
4.根據(jù)權(quán)利要求1所述的一種基于二階段融合模型的手指靜脈圖...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃潤夏，周穎玥，侯俊濤，
申請(專利權(quán))人：西南科技大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。