【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及圖像分割，更確切地說，它涉及基于圖形匹配策略的可解釋圖像分割方法。
技術(shù)介紹
1、圖像分割是計算機(jī)視覺領(lǐng)域中的關(guān)鍵任務(wù)，旨在將圖像中的像素分組成具有相似特征或語義的區(qū)域。從圖像分割方法在醫(yī)學(xué)影像領(lǐng)域上的成功開始，如deeplab，u-net等，圖像分割方法的應(yīng)用能提供更豐富的數(shù)據(jù)和更深入的理解，已被廣泛應(yīng)用于各個領(lǐng)域，如自動駕駛、物體識別與跟蹤、虛擬現(xiàn)實等。
2、然而，盡管基于深度學(xué)習(xí)的模型在具有挑戰(zhàn)性的基準(zhǔn)上取得了很好的性能，但由于缺乏可解釋性，它的決策仍尚不明確。這個問題可能在關(guān)鍵應(yīng)用中出現(xiàn)特別大的影響，如在醫(yī)療診斷、自動駕駛等領(lǐng)域，可能導(dǎo)致安全性的降低。
3、大多數(shù)可解釋人工智能方法側(cè)重于分類或回歸任務(wù)。因此，可解釋的分割仍被認(rèn)為是一個懸而未決的問題，在xai個分割的交叉點上只有很少的初步研究。一種是符號語義框架，與分割一起，模型生成從分類分布派生的符號語句。另一種方法將grad-cam方法推廣到分割問題。然而，這兩種方法都有顯著的缺點。前者需要預(yù)定義符號詞匯表，而后者可能不可靠，并給結(jié)果引入額外的偏差。
4、已有的圖像分割可解釋方法主要包括基于梯度的方法、基于反向傳播的方法、基于積分的方法?；谔荻鹊姆椒ㄍㄟ^計算特征圖的梯度和類別分?jǐn)?shù)之間的關(guān)系，生成關(guān)注區(qū)域的熱力圖，從而揭示模型的分類決策?；诜聪騻鞑サ姆椒▽τ谡せ畹南袼乇Ａ粽奶荻?，對于負(fù)激活的像素保留負(fù)的梯度，通過將這些梯度傳播回到輸入圖像，生成可視化的熱力圖?；诜e分的方法通過計算輸入圖像和基準(zhǔn)圖像之間的梯度差異
5、除此之外，現(xiàn)有圖像分割方法主要是用在卷積神經(jīng)網(wǎng)絡(luò)作為圖像分割方法的核心架構(gòu)，通過跳躍鏈接、空洞卷積和注意力機(jī)制等方法，不斷提升分割精度，在特征提取、空間信息保留、多尺度特征融合等方面具有優(yōu)勢。而在其他非卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)上，傳統(tǒng)方法則關(guān)注于利用圖像的局部特征、連通性和邊緣信息進(jìn)行分割。正因如此，上述這些方法缺乏對模型的解釋性和可理解性，甚至在錯誤決策時無法糾正問題，并不適用于某些需要決策過程的關(guān)鍵應(yīng)用。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的是針對現(xiàn)有技術(shù)的不足，提出了基于圖形匹配策略的可解釋圖像分割方法。
2、第一方面，提供了基于圖形匹配策略的可解釋圖像分割方法，包括：
3、s1、選擇圖像分割骨干網(wǎng)絡(luò)，并對所述圖像分割骨干網(wǎng)絡(luò)進(jìn)行訓(xùn)練；
4、s2、通過圖像分割骨干網(wǎng)絡(luò)對輸入圖像提取具有語義信息的視覺單詞；
5、s3、根據(jù)所述具有語義信息的視覺單詞，逐空間位置建立特征單元級語義成分關(guān)系圖與整體的類別級語義成分關(guān)系圖；
6、s4、測量特征單元級語義成分關(guān)系圖和類別級語義成分關(guān)系圖之間的相似性并預(yù)測圖像的分割結(jié)果。
7、作為優(yōu)選，s2包括：
8、s201、給定預(yù)訓(xùn)練主干和輸入圖像，獲取中間特征，將中間特征離散化為具有特定語義的特征成分序列；特征成分是視覺單詞的索引；
9、s202、將特征成分映射到成分關(guān)系圖的加權(quán)頂點；
10、s203、為每個頂點對分配一條加權(quán)邊，表示它們之間的相互作用，獲取成分關(guān)系圖。
11、作為優(yōu)選，s3包括：
12、s301、對于離散化后的特征成分序列，以其每個像素點為中心逐空間位置建立單元級成分關(guān)系圖；
13、s302、根據(jù)最終分割結(jié)果的類別數(shù)量，建立對應(yīng)數(shù)量的整體的類別級語義成分關(guān)系圖，即類別級語義成分關(guān)系圖譜；對于每個整體的類別級語義成分關(guān)系圖，選取分割結(jié)果中該類別對應(yīng)特征成分最多的若干視覺詞索引，作為每個整體的類別級語義成分關(guān)系圖的頂點，并將其初始化為全連接圖。
14、作為優(yōu)選，s4中，通過匹配器在類別級語義成分關(guān)系圖譜中找到與輸入圖像所對應(yīng)成分關(guān)系圖相似性最高的類別級語義成分關(guān)系圖，最終逐像素得到圖像的分割結(jié)果；所述匹配器由gcn模塊和相似度計算模塊組成。
15、作為優(yōu)選，s4中，對成分關(guān)系圖譜的復(fù)雜性進(jìn)行約束，包括：平均每個類別的成分關(guān)系圖實例來初始化成分關(guān)系圖譜，并從特定類別的圖中刪除與權(quán)重低于給定閾值的頂點相連的邊。
16、作為優(yōu)選，s1中，所述圖像分割骨干網(wǎng)絡(luò)為deeplabv2或u-net。
17、第二方面，提供了基于圖形匹配策略的可解釋圖像分割系統(tǒng)，用于執(zhí)行第一方面任一所述的方法，包括：
18、選擇模塊，用于選擇圖像分割骨干網(wǎng)絡(luò)，并對所述圖像分割骨干網(wǎng)絡(luò)進(jìn)行訓(xùn)練；
19、提取模塊，用于通過圖像分割骨干網(wǎng)絡(luò)對輸入圖像提取具有語義信息的視覺單詞；
20、建立模塊，用于根據(jù)所述具有語義信息的視覺單詞，逐空間位置建立特征單元級語義成分關(guān)系圖與整體的類別級語義成分關(guān)系圖；
21、預(yù)測模塊，用于測量特征單元級語義成分關(guān)系圖和類別級語義成分關(guān)系圖之間的相似性并預(yù)測圖像的分割結(jié)果。
22、第三方面，提供了一種計算機(jī)存儲介質(zhì)，所述計算機(jī)存儲介質(zhì)內(nèi)存儲有計算機(jī)程序；所述計算機(jī)程序在計算機(jī)上運行時，使得計算機(jī)執(zhí)行第一方面任一所述的方法。
23、第四方面，提供了一種電子設(shè)備，包括：
24、存儲器，用于保存計算機(jī)程序；
25、處理器，用于執(zhí)行所述計算機(jī)程序以實現(xiàn)如第一方面任一所述的方法。
26、本專利技術(shù)的有益效果是：
27、1.本專利技術(shù)通過實例級別圖與類別級別圖之間的交互匹配過程，將深度神經(jīng)網(wǎng)絡(luò)（dnn）的推理轉(zhuǎn)化為一個可解釋的演繹推理過程。這種方法不僅增強(qiáng)了模型決策的透明度，而且在關(guān)鍵應(yīng)用領(lǐng)域（如醫(yī)療診斷和自動駕駛）中提高了用戶對模型預(yù)測的信任度。
28、2.?本專利技術(shù)通過將圖像分割問題轉(zhuǎn)化為圖形匹配問題，能夠準(zhǔn)確地識別和解釋每個像素的分類決策，從而在關(guān)鍵應(yīng)用中減少錯誤決策的風(fēng)險。這對于那些對準(zhǔn)確性和可靠性要求極高的應(yīng)用尤為重要，如醫(yī)療圖像分析和自動駕駛系統(tǒng)。
29、3.本專利技術(shù)不依賴于特定的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，而是可以與任何現(xiàn)有的深度圖像分割模型（例如deeplabv2、u-net）結(jié)合使用。這種兼容性和靈活性使得本方法可以輕松集成到現(xiàn)有的計算機(jī)視覺系統(tǒng)中，無需對底層模型架構(gòu)進(jìn)行大規(guī)模修改。
30、4.本專利技術(shù)通過精確的圖形匹配策略和成分關(guān)系圖譜的使用，能夠更準(zhǔn)確地識別圖像中的細(xì)節(jié)和特征，從而提高分割精度。這對于那些需要高度精確圖像分割的應(yīng)用（如精確醫(yī)療診斷和精細(xì)目標(biāo)跟蹤）提供了顯著的優(yōu)勢。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點】
1.基于圖形匹配策略的可解釋圖像分割方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于圖形匹配策略的可解釋圖像分割方法，其特征在于，S2包括：
3.根據(jù)權(quán)利要求2所述的基于圖形匹配策略的可解釋圖像分割方法，其特征在于，S3包括：
4.根據(jù)權(quán)利要求3所述的基于圖形匹配策略的可解釋圖像分割方法，其特征在于，S4中，通過匹配器在成分關(guān)系圖譜中找到與輸入圖像所對應(yīng)成分關(guān)系圖相似性最高的類別級圖，最終逐像素得到圖像的分割結(jié)果；所述匹配器由GCN模塊和相似度計算模塊組成。
5.根據(jù)權(quán)利要求4所述的基于圖形匹配策略的可解釋圖像分割方法，其特征在于，S4中，對成分關(guān)系圖譜的復(fù)雜性進(jìn)行約束，包括：平均每個類別的成分關(guān)系圖實例來初始化成分關(guān)系圖譜，并從特定類別的圖中刪除與權(quán)重低于給定閾值的頂點相連的邊。
6.根據(jù)權(quán)利要求5所述的基于圖形匹配策略的可解釋圖像分割方法，其特征在于，S1中，所述圖像分割骨干網(wǎng)絡(luò)為Deeplabv2或U-net。
7.基于圖形匹配策略的可解釋圖像分割系統(tǒng)，其特征在于，用于執(zhí)行權(quán)利要求1至6任一所述的
8.一種計算機(jī)存儲介質(zhì)，其特征在于，所述計算機(jī)存儲介質(zhì)內(nèi)存儲有計算機(jī)程序；所述計算機(jī)程序在計算機(jī)上運行時，使得計算機(jī)執(zhí)行權(quán)利要求1至6任一所述的方法。
9.一種電子設(shè)備，其特征在于，包括：
...【技術(shù)特征摘要】
1.基于圖形匹配策略的可解釋圖像分割方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于圖形匹配策略的可解釋圖像分割方法，其特征在于，s2包括：
3.根據(jù)權(quán)利要求2所述的基于圖形匹配策略的可解釋圖像分割方法，其特征在于，s3包括：
4.根據(jù)權(quán)利要求3所述的基于圖形匹配策略的可解釋圖像分割方法，其特征在于，s4中，通過匹配器在成分關(guān)系圖譜中找到與輸入圖像所對應(yīng)成分關(guān)系圖相似性最高的類別級圖，最終逐像素得到圖像的分割結(jié)果；所述匹配器由gcn模塊和相似度計算模塊組成。
5.根據(jù)權(quán)利要求4所述的基于圖形匹配策略的可解釋圖像分割方法，其特征在于，s4中，對成分關(guān)系...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：薛夢琦，劉嘉軒，宋祺瑞，俞璟怡，宋杰，金蒼宏，
申請(專利權(quán))人：浙大城市學(xué)院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。