本發明專利技術公開了一種用于皮膚病診斷的多模態圖像融合方法及系統，屬于醫學圖像處理技術領域，包括計算機可讀存儲介質，所述極端及可讀存儲介質上設有去噪處理單元，所述去噪處理單元與圖像對齊單元連接，所述圖像對齊單元與尺度歸一化單元連接，所述尺度歸一化單元與特征提取單元連接，所述特征提取單元與特征融合單元連接，所述特征融合單元和分類與診斷單元連接。本發明專利技術采用上述的一種用于皮膚病診斷的多模態圖像融合方法及系統，融合各技術的優點，通過多層次、多角度的圖像信息綜合分析，實現對皮膚病的更加全面和準確的診斷，不僅可以提高診斷的準確率，還可以減少患者接受多次檢查的時間，提高醫療資源利用效率。
【技術實現步驟摘要】
本專利技術涉及醫學圖像處理，尤其是涉及一種用于皮膚病診斷的多模態圖像融合方法及系統。
技術介紹
1、隨著醫學影像技術的不斷進步，皮膚病診斷方法經歷了顯著的變化。從早期僅依賴醫生的肉眼觀察和組織活檢，到現在借助多種成像技術進行輔助診斷，影像技術在診斷精度和速度上取得了長足的進步。目前，皮膚鏡檢查、高光譜成像和高頻超聲是皮膚科領域常用的三種成像技術。
2、皮膚鏡是一種非侵入性的診斷工具，廣泛用于觀察皮膚表面微結構。這種技術通過放大皮膚表面，能夠幫助醫生更清晰地觀察色素模式和血管分布，便于識別常見的皮膚病變如色素痣和基底細胞癌。雖然皮膚鏡檢查在檢測表淺病變中表現良好，但其對深層組織的觀察能力有限。
3、高光譜成像技術通過捕捉皮膚在不同光譜波段下的反射信息，生成包含豐富光譜數據的圖像。這種技術能夠識別皮膚病變中不同成分的光譜特征，使其在早期癌癥篩查和無色素性病變的檢測中有獨特的優勢。然而，該技術復雜的光譜數據處理需要高昂的計算成本，并且受限于設備的昂貴和數據獲取速度。
4、高頻超聲利用高頻聲波穿透皮膚，提供皮膚和其下面組織的高分辨率成像。它在顯示皮膚厚度、病變深度和血流特征方面具有顯著優勢，尤其適用于檢查深層病變和評估皮膚及其亞皮結構的變化。雖然高頻超聲較適合定位病變區域及評估厚度，但其對色素斑及表面紋理的信息較為局限。
5、單一成像模式的局限性使得依賴于傳統方法的診斷可能會漏診或誤診。因此，將皮膚鏡檢查、高光譜成像和高頻超聲相結合的多模態圖像融合技術成為一種重要的發展方向。
/>技術實現思路
1、本專利技術的目的是提供一種用于皮膚病診斷的多模態圖像融合方法及系統，融合各技術的優點，通過多層次、多角度的圖像信息綜合分析，實現對皮膚病的更加全面和準確的診斷，不僅可以提高診斷的準確率，還可以減少患者接受多次檢查的時間，提高醫療資源利用效率。
2、為實現上述目的，本專利技術提供了一種用于皮膚病診斷的多模態圖像融合系統，包括計算機可讀存儲介質，所述極端及可讀存儲介質上設有去噪處理單元，所述去噪處理單元與圖像對齊單元連接，所述圖像對齊單元與尺度歸一化單元連接，所述尺度歸一化單元與特征提取單元連接，所述特征提取單元與特征融合單元連接，所述特征融合單元和分類與診斷單元連接。
3、優選的，所述去噪處理單元應用濾波算法去除圖像中的隨機噪聲；所述圖像對齊單元通過計算互信息實現圖像對齊；所述尺度歸一化單元將不同模態的圖像調整到統一的尺寸和分辨率，確保各模態圖像在后續處理中的一致性；所述特征提取單元中每種模態的圖像通過獨立的卷積神經網絡分支進行特征提取；所述特征融合模塊將各模態的深度特征向量通過向量拼接的方式進行初步融合生成融合特征向量，結合空間注意力和通道注意力后的特征向量進行加權求和，生成最終的融合特征向量；所述分類和診斷單元基于融合特征向量進行皮膚病的分類和診斷。
4、一種用于皮膚病診斷的多模態圖像融合系統的使用方法，包括以下步驟：
5、s1、通過皮膚鏡檢查設備獲取皮膚表面的多模態圖像；
6、s2、對采集的多模態圖像進行標準化處理；
7、s3、基于多模態卷積神經網絡對預處理后的各模態圖像進行特征提取；
8、s4、在特征提取后的多模態卷積神經網絡的融合層中，結合注意力機制對提取的多模態特征進行加權整合，生成融合特征向量；
9、s5、基于融合特征向量進行皮膚病類型的分類與診斷。
10、優選的，所述s2中標準化處理包括去噪、對齊和尺度歸一化，去噪處理單元中濾波算法采用高斯濾波，高斯濾波的公示如下所示：
11、
12、其中，σ為標準差，g(x,y)為高斯核函數；
13、圖像對齊單元中互信息的公式如下所示：
14、
15、其中，是參考圖像i1和待配準圖像i2的聯合概率分布，和分別是參考圖像i1和待配準圖像i2的邊緣概率分布，，i為參考圖像i1中的某個像素的灰度值或強度值，j為待配準圖像i2中的某個像素的灰度值或強度值；
16、尺度歸一化單元通過線性插值縮放將不同模態的圖像調整到統一的尺寸和分辨率，線性插值縮放的公式如下所示：
17、i(x，y)＝∑i，ji(xi，yj)·w(x-xi，y-yj)；
18、其中，w為插值權重函數，i為原始圖像，i`為縮放后的圖像，x和y分別為縮放后圖像i`中的某個像素點的坐標位置，xi和yj分別為原始圖像i中相鄰的像素點的坐標位置。
19、所述s4中將隔膜泰德深度特征向量f1，f2，f3通過向量拼接的方式進行初步融合，向量拼接的公式如下所示：
20、fconcat＝[f1，f2，f3]；
21、其中，fconcat是拼接后的多模態特征圖；
22、結合空間注意力和通道注意力，對拼接后的特征向量進行加權整合，在空間注意力中，生成空間注意力圖，公示如下所示：
23、as＝sigmoid(conv(fconcat))；
24、其中，as為生成的空間注意力圖，sigmoid為在空間維度上對各個特征的權重，是sigmoid激活函數，用于將輸出壓縮到[0，1]范圍內，conv表示卷積操作，用于提取特征的局部信息，conv(fconcat)為將不同模態的特征圖f1，f2，f3在通道維度上進行拼接的操作；
25、應用空間注意力的公示如下所示：
26、
27、其中，fs為應用空間注意力后的特征圖，fconcat為拼接后的多模態特征圖，為逐元素相乘，用于將空間注意力圖應用到特征圖上；
28、通道注意力機制中，全局平均池化的公式如下所示：
29、z＝globalavgpool(fconcat)；
30、其中，z為通過全局平均池化后的特征向量，每個值表示一個通道的全局信息，globalavgpool為全局平均池化操作，將每個通道的特征圖縮減為一個標量；全連接層與激活的公式如下所示：
31、ac＝σ(fc2(δ(fc1(z))))；
32、其中，ac為通道注意力權重，用于調整每個通道的重要性，fc1和fc2分別為兩個全連接層，用于對通道特征進行處理，δ為relu激活函數，用于引入非線性，sigmoid為sigmoid激活函數，用于將輸出壓縮到[0，1]范圍內；應用通道注意力的公示如下所示：
33、
34、其中，fc為應用通道注意力后的特征圖，為逐通道相乘，用于將通道注意力權重應用到特征圖上；
35、融合特征向量生成，結合空間注意力和通道注意力后的特征向量進行加權求和，生成最終的融合特征向量，公式如下所示：
36、ffusion＝αfs+βfc；
37、其中，α和β為權重參數，設定為α+β＝1。
38、優選的，所述s5中采用vision?transformer(vit)模型作本文檔來自技高網...
【技術保護點】
1.一種用于皮膚病診斷的多模態圖像融合系統，其特征在于：包括計算機可讀存儲介質，所述極端及可讀存儲介質上設有去噪處理單元，所述去噪處理單元與圖像對齊單元連接，所述圖像對齊單元與尺度歸一化單元連接，所述尺度歸一化單元與特征提取單元連接，所述特征提取單元與特征融合單元連接，所述特征融合單元和分類與診斷單元連接。
2.根據權利要求1所述的一種用于皮膚病診斷的多模態圖像融合系統，其特征在于：所述去噪處理單元應用濾波算法去除圖像中的隨機噪聲；所述圖像對齊單元通過計算互信息實現圖像對齊；所述尺度歸一化單元將不同模態的圖像調整到統一的尺寸和分辨率，確保各模態圖像在后續處理中的一致性；所述特征提取單元中每種模態的圖像通過獨立的卷積神經網絡分支進行特征提取；所述特征融合模塊將各模態的深度特征向量通過向量拼接的方式進行初步融合生成融合特征向量，結合空間注意力和通道注意力后的特征向量進行加權求和，生成最終的融合特征向量；所述分類和診斷單元基于融合特征向量進行皮膚病的分類和診斷。
3.一種如權利要求1-2所述的一種用于皮膚病診斷的多模態圖像融合系統的使用方法，其特征在于：包括以下步驟：
4.根據權利要求3所述的一種用于皮膚病診斷的多模態圖像融合系統的使用方法，其特征在于：所述S2中標準化處理包括去噪、對齊和尺度歸一化，去噪處理單元中濾波算法采用高斯濾波，高斯濾波的公示如下所示：
5.根據權利要求4所述的一種用于皮膚病診斷的多模態圖像融合系統的使用方法，其特征在于：所述S4中將隔膜泰德深度特征向量f1，f2，f3通過向量拼接的方式進行初步融合，向量拼接的公式如下所示：
6.根據權利要求5所述的一種用于皮膚病診斷的多模態圖像融合系統的使用方法，其特征在于：所述S5中采用Vision?Transformer(ViT)模型作為分類器。ViT模型將輸入的融合特征向量劃分為多個圖像補丁，然后通過自注意力機制和Transformer編碼器進行處理，其中，融合特征向量ffusion的維度為D，將其劃分為N個補丁，每個補丁的維度為Dp，
...
【技術特征摘要】
1.一種用于皮膚病診斷的多模態圖像融合系統，其特征在于：包括計算機可讀存儲介質，所述極端及可讀存儲介質上設有去噪處理單元，所述去噪處理單元與圖像對齊單元連接，所述圖像對齊單元與尺度歸一化單元連接，所述尺度歸一化單元與特征提取單元連接，所述特征提取單元與特征融合單元連接，所述特征融合單元和分類與診斷單元連接。
2.根據權利要求1所述的一種用于皮膚病診斷的多模態圖像融合系統，其特征在于：所述去噪處理單元應用濾波算法去除圖像中的隨機噪聲；所述圖像對齊單元通過計算互信息實現圖像對齊；所述尺度歸一化單元將不同模態的圖像調整到統一的尺寸和分辨率，確保各模態圖像在后續處理中的一致性；所述特征提取單元中每種模態的圖像通過獨立的卷積神經網絡分支進行特征提取；所述特征融合模塊將各模態的深度特征向量通過向量拼接的方式進行初步融合生成融合特征向量，結合空間注意力和通道注意力后的特征向量進行加權求和，生成最終的融合特征向量；所述分類和診斷單元基于融合特征向量進行皮膚病的分類和診斷。
【專利技術屬性】
技術研發人員：徐聰聰，孫英倫，李政君，
申請(專利權)人：山東大學齊魯醫院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。