【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及多模態(tài)圖像融合，特別是涉及一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法。
技術(shù)介紹
1、多模態(tài)醫(yī)學(xué)圖像融合方法通常分為傳統(tǒng)的圖像融合方法和基于深度學(xué)習(xí)的圖像融合方法。常見的傳統(tǒng)融合方法基于空間域，變換域，稀疏表示和傳統(tǒng)模型。其中，空域融合涉及到對分割后的圖像塊進(jìn)行組合，這會導(dǎo)致融合后的圖像出現(xiàn)偽影。變換域方法首先對原始圖像進(jìn)行變換，然后融合得到的信息層，最后通過逆變換重建融合后的圖像?；谙∈璞硎镜膭t需要創(chuàng)建字典來表示權(quán)重信息，然后不斷更新字典來生成融合圖像。基于傳統(tǒng)模型的融合方法常常需要選擇合適的優(yōu)化方案對模型進(jìn)行持續(xù)優(yōu)化?；谏疃葘W(xué)習(xí)的多模態(tài)融合方法通過使用卷積神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行特征提取和表示，有效提升了特征魯棒性和模型的泛化性。此外，生成對抗網(wǎng)絡(luò)和視覺transformer等深度學(xué)習(xí)模型也常常用于圖像融合。
2、在多模態(tài)醫(yī)學(xué)圖像融合中，常常針對噪聲圖像的融合方法主要有基于傳統(tǒng)的變分模型和稀疏表示方法。但是這兩種融合和去噪方法存在一定的局限：現(xiàn)有的融合和去噪方法大多基于傳統(tǒng)的變分模型和稀疏表示方法，本質(zhì)上是傳統(tǒng)的融合方法。它們需要根據(jù)特定場景手動調(diào)整大量參數(shù)，融合和去噪的效率低下，融合過程中的光照衰減會導(dǎo)致融合結(jié)果中紋理模糊和色彩失真。雖然現(xiàn)有的部分融合方法會在融合過程中增強(qiáng)光照度，但它們無法在增強(qiáng)照度的同時(shí)有效去除噪聲，導(dǎo)致它們的魯棒性和泛化性較差，不能有效去除真實(shí)場景中的隨機(jī)噪聲，融合圖像的去噪效果不佳。
技術(shù)實(shí)現(xiàn)思路
1、針對現(xiàn)有技術(shù)存在的
2、s1：將多模態(tài)醫(yī)學(xué)圖像輸入照度和對比度增強(qiáng)網(wǎng)絡(luò)進(jìn)行光照強(qiáng)度校正生成增強(qiáng)圖像；
3、s2：為多模態(tài)醫(yī)學(xué)圖像添加隨機(jī)噪聲，得到噪聲圖像；構(gòu)建去噪和重建網(wǎng)絡(luò)并將噪聲圖像輸入去噪和重建網(wǎng)絡(luò)進(jìn)行去噪和重建任務(wù)；去噪和重建網(wǎng)絡(luò)通過特征編碼器提取噪聲特征，通過特征解碼器生成重建圖像；
4、s3：將增強(qiáng)圖像和多模態(tài)醫(yī)學(xué)圖像作為標(biāo)簽共同監(jiān)督訓(xùn)練去噪和重建網(wǎng)絡(luò)，獲得具有去噪和照度增強(qiáng)功能的特征編碼器和特征解碼器；
5、s4：利用訓(xùn)練好的特征編碼器分別提取不同模態(tài)圖像的特征，得到模態(tài)特征圖，將不同模態(tài)圖像的模態(tài)特征圖采用lgle或glme融合規(guī)則進(jìn)行特征融合，采用訓(xùn)練好的特征解碼器對融合后的特征圖進(jìn)行重建得到多模態(tài)醫(yī)學(xué)圖像融合結(jié)果。
6、本專利技術(shù)至少具有以下有益效果
7、本專利技術(shù)通過照度和對比度增強(qiáng)網(wǎng)絡(luò)和去噪和重建網(wǎng)絡(luò)的聯(lián)合訓(xùn)練，通過將增強(qiáng)圖像和多模態(tài)醫(yī)學(xué)圖像作為標(biāo)簽共同監(jiān)督訓(xùn)練去噪和重建網(wǎng)絡(luò)，使模型學(xué)習(xí)到具有去噪和照度增強(qiáng)的特征編碼器和特征解碼器，能夠有效的去除圖像中的隨機(jī)噪聲，提高模型的魯棒性和泛化性能，特征編碼器和特征解碼器分別實(shí)現(xiàn)了在特征提取和特征重建過程中，有效的去除隨機(jī)噪聲并增強(qiáng)照度，解決了噪聲干擾和照度退化問題；提高了圖像融合的質(zhì)量；同時(shí)本專利技術(shù)針對不同的融合任務(wù)的特點(diǎn)，即不同模態(tài)圖片之間融合的特征，設(shè)計(jì)了兩個(gè)lgle融合規(guī)則和glme融合規(guī)則，增加了紋理細(xì)節(jié)、生理代謝和顯著目標(biāo)等語義信息的保留，解決了關(guān)鍵的語義信息丟失問題，避免了不同特征圖之間像素分布發(fā)生變化，導(dǎo)致特征重建過程中信息丟失的問題，相比基于傳統(tǒng)變分模型和稀疏表示的融合方法，本專利技術(shù)融合效率更高，且有效緩解了融合過程中照度衰退問題。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述照度和對比度增強(qiáng)網(wǎng)絡(luò)包括：照度估計(jì)模塊、傅里葉變換模塊；
3.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述隨機(jī)噪聲包括：標(biāo)準(zhǔn)差為隨機(jī)大小的高斯噪聲、椒鹽噪聲、泊松噪聲或斑點(diǎn)噪聲。
4.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述特征編碼器由N個(gè)常規(guī)卷積層級聯(lián)組成；所述常規(guī)卷積層包括級聯(lián)的3×3的卷積核、ReLu激活層和BN層；所述特征解碼器采用可逆神經(jīng)網(wǎng)絡(luò)模型。
5.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述將增強(qiáng)圖像和多模態(tài)醫(yī)學(xué)圖像作為標(biāo)簽共同監(jiān)督訓(xùn)練去噪和重建網(wǎng)絡(luò)包括：將增強(qiáng)圖像作為訓(xùn)練偽標(biāo)簽，根據(jù)增強(qiáng)圖像和重建圖像之間的L2范數(shù)構(gòu)建第一損失函數(shù)；根據(jù)重建圖像和輸入的多模態(tài)醫(yī)學(xué)圖像之間的梯度信息差異構(gòu)建第二損失函數(shù)；根據(jù)重建
6.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述將不同模態(tài)圖像的模態(tài)特征圖采用LGLE或者GLME融合規(guī)則進(jìn)行特征融合包括：
7.根據(jù)權(quán)利要求6所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述LGLE融合規(guī)則包括：
8.根據(jù)權(quán)利要求6所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述GLME融合規(guī)則包括：
9.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述特征解碼器采用可逆神經(jīng)網(wǎng)絡(luò)模型，對融合特征圖進(jìn)行重建。
...【技術(shù)特征摘要】
1.一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述照度和對比度增強(qiáng)網(wǎng)絡(luò)包括：照度估計(jì)模塊、傅里葉變換模塊；
3.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述隨機(jī)噪聲包括：標(biāo)準(zhǔn)差為隨機(jī)大小的高斯噪聲、椒鹽噪聲、泊松噪聲或斑點(diǎn)噪聲。
4.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述特征編碼器由n個(gè)常規(guī)卷積層級聯(lián)組成；所述常規(guī)卷積層包括級聯(lián)的3×3的卷積核、relu激活層和bn層；所述特征解碼器采用可逆神經(jīng)網(wǎng)絡(luò)模型。
5.根據(jù)權(quán)利要求1所述的一種基于圖像去噪和照度增強(qiáng)的多模態(tài)醫(yī)學(xué)圖像融合方法，其特征在于，所述將增強(qiáng)圖像和多模態(tài)醫(yī)學(xué)圖像作為標(biāo)簽共同監(jiān)督訓(xùn)練去噪和重建網(wǎng)絡(luò)包括：將增強(qiáng)圖像作為訓(xùn)練偽標(biāo)簽，根據(jù)增強(qiáng)圖像和重建...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李偉生，劉世強(qiáng)，
申請(專利權(quán))人：重慶郵電大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。