【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種跨模型知識(shí)蒸餾方法，屬于遙感圖像處理。
技術(shù)介紹
1、遙感圖像語義分割是遙感影像處理中的重要任務(wù)，主要目標(biāo)是對(duì)遙感圖像中的每一個(gè)像素進(jìn)行分類，進(jìn)而識(shí)別和提取不同地物類別，如植被、建筑、道路、水體等。這一技術(shù)在國(guó)土資源監(jiān)測(cè)、生態(tài)環(huán)境評(píng)估、城市規(guī)劃、防災(zāi)減災(zāi)等領(lǐng)域有著廣泛的應(yīng)用。隨著遙感數(shù)據(jù)獲取方式和分辨率的快速提升，遙感圖像語義分割任務(wù)面臨越來越復(fù)雜的數(shù)據(jù)處理需求，傳統(tǒng)方法難以滿足對(duì)高效、準(zhǔn)確分割的要求。
2、現(xiàn)階段，深度學(xué)習(xí)在語義分割領(lǐng)域取得了顯著進(jìn)展。許多基于深度學(xué)習(xí)的模型，如卷積神經(jīng)網(wǎng)絡(luò)(cnn)、循環(huán)神經(jīng)網(wǎng)絡(luò)(rnn)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)(lstm)、圖神經(jīng)網(wǎng)絡(luò)(gnn)、transformer、mamba等，已經(jīng)在語義分割任務(wù)中取得了較好的效果。然而，針對(duì)遙感數(shù)據(jù)的特殊性，這些模型依然面臨一些挑戰(zhàn)。
3、首先，遙感圖像具有高分辨率和復(fù)雜的場(chǎng)景特征，常常包含多種尺度的物體，且地物類別分布具有高度不平衡性。高分辨率的圖像增加了模型的計(jì)算復(fù)雜度，且大范圍場(chǎng)景中地物的形態(tài)差異較大，給分割精度帶來了困難。其次，遙感圖像的數(shù)據(jù)量通常十分龐大，傳統(tǒng)深度學(xué)習(xí)模型需要耗費(fèi)大量的計(jì)算資源進(jìn)行訓(xùn)練與推理，難以在資源有限的情況下應(yīng)用于實(shí)際任務(wù)。
4、為了提高遙感語義分割的效率和精度，同時(shí)減少對(duì)計(jì)算資源的依賴，知識(shí)蒸餾(knowledge?distillation)方法逐漸受到關(guān)注。知識(shí)蒸餾是一種通過將復(fù)雜模型(教師模型)的知識(shí)遷移到輕量模型(學(xué)生模型)中的技術(shù)，旨在減少模型的計(jì)算開銷，提升其在實(shí)
5、盡管知識(shí)蒸餾技術(shù)在一般的計(jì)算機(jī)視覺任務(wù)中取得了一定的進(jìn)展，但其在遙感語義分割中的應(yīng)用仍處于初步探索階段。當(dāng)前大部分研究主要集中于同質(zhì)模型之間的知識(shí)遷移，然而在面對(duì)多源異構(gòu)的遙感數(shù)據(jù)時(shí)，跨模型的知識(shí)蒸餾技術(shù)還未得到充分研究。因此，開發(fā)一種能夠有效進(jìn)行跨模型知識(shí)遷移的蒸餾方法，既能在多模態(tài)數(shù)據(jù)下保持模型的高效性，又能減少對(duì)計(jì)算資源的依賴，具有重要的研究意義和應(yīng)用價(jià)值。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)為解決現(xiàn)有遙感圖像語義分割模型參數(shù)量大、消耗資源大的問題，進(jìn)而提出一種面向遙感語義分割任務(wù)的跨模型知識(shí)蒸餾方法。
2、本專利技術(shù)為解決上述問題采取的技術(shù)方案是：本專利技術(shù)的步驟包括：
3、步驟1、選擇能力互補(bǔ)的學(xué)生模型和教師模型，選取數(shù)據(jù)集訓(xùn)練教師模型，使用訓(xùn)練好的教師模型輸出的特征圖作為知識(shí)輸入學(xué)生模型；
4、步驟2、將步驟1中輸入到學(xué)生模型的特征圖按照通道進(jìn)行注意力加權(quán)，為注意力映射操作分配不同的通道比率，將相應(yīng)的權(quán)重分配給特征圖的每一層，并計(jì)算步驟2的損失；
5、步驟3、將步驟1中由教師模型傳遞的知識(shí)解耦成為目標(biāo)區(qū)域與非目標(biāo)區(qū)域，將這兩個(gè)獨(dú)立的目標(biāo)區(qū)域進(jìn)行預(yù)測(cè)與知識(shí)蒸餾，計(jì)算步驟3的損失；
6、步驟4、將學(xué)生模型語義分割的損失與步驟2和步驟3的損失進(jìn)行加權(quán)求和，計(jì)算出總損失，通過總損失更新學(xué)生模型的參數(shù)，最終將學(xué)生模型訓(xùn)練完畢。
7、進(jìn)一步的，步驟1的具體過程為：
8、步驟101、根據(jù)目標(biāo)任務(wù)的特性和要求，選擇具有互補(bǔ)性的學(xué)生模型和教師模型，根據(jù)任務(wù)的復(fù)雜性和實(shí)際需求選定適合的數(shù)據(jù)集，確保數(shù)據(jù)集的多樣性和代表性，使用該數(shù)據(jù)集對(duì)教師模型進(jìn)行訓(xùn)練，獲取高質(zhì)量的特征表示，在訓(xùn)練教師模型的過程中，通過反復(fù)調(diào)整模型的結(jié)構(gòu)和參數(shù)，確保其在給定任務(wù)上的性能達(dá)到最優(yōu)，教師模型的訓(xùn)練過程包括多輪次的優(yōu)化，以最大化其對(duì)輸入數(shù)據(jù)的表征能力；
9、步驟102、將處理好的數(shù)據(jù)集中的圖像輸入到訓(xùn)練好的教師模型中；
10、教師模型首先利用其編碼器進(jìn)行特征提取，將原始的輸入圖像逐層映射為多尺度的特征圖
11、編碼器的每一層都對(duì)輸入數(shù)據(jù)進(jìn)行更高層次的抽象，以捕捉圖像中的結(jié)構(gòu)信息、紋理特征以及空間上下文信息；
12、隨后，教師模型的解碼器將這些特征圖通過上采樣操作逐步還原到與原圖像相同的分辨率，生成輸出的logit圖該logit圖包含了對(duì)每個(gè)像素的預(yù)測(cè)結(jié)果，是教師模型對(duì)輸入圖像的最終輸出；在該步驟中，定義一個(gè)損失函數(shù)，用于衡量教師模型的預(yù)測(cè)與真實(shí)標(biāo)簽之間的差異；該損失函數(shù)包括交叉熵?fù)p失或均方誤差損失，損失函數(shù)的形式為：
13、
14、公式(1)中，h表示原始圖像高度，w表示原始圖像寬度，σ表示softmax函數(shù)，ce表示交叉熵?fù)p失，表示訓(xùn)練中的圖像的逐像素值，表示真值的逐像素值；
15、步驟103、在知識(shí)蒸餾過程中，關(guān)鍵在于將教師模型與學(xué)生模型之間的輸出概率分布進(jìn)行對(duì)齊。具體來說，通過對(duì)教師模型生成的logit圖進(jìn)行處理，將其作為目標(biāo)，用來指導(dǎo)學(xué)生模型的訓(xùn)練。在此過程中，計(jì)算兩者的像素級(jí)別對(duì)齊損失，確保學(xué)生模型能夠充分學(xué)習(xí)到教師模型中的豐富特征表示，定義上述任務(wù)的損失函數(shù)為：
16、
17、公式(2)中，kl表示兩個(gè)概率之間的kullback-leibler分歧，α是一個(gè)超參數(shù)權(quán)重，τ表示溫度系數(shù)；
18、步驟104、將教師模型的所有超參數(shù)進(jìn)行凍結(jié)，確保教師模型在訓(xùn)練過程中保持穩(wěn)定，學(xué)生模型的超參數(shù)則通過反向傳播不斷更新，學(xué)生模型的訓(xùn)練目標(biāo)是最小化上述對(duì)齊損失和任務(wù)損失，直至損失函數(shù)收斂或達(dá)到預(yù)設(shè)的性能指標(biāo)。
19、進(jìn)一步的，步驟2的具體過程為：
20、步驟201、將步驟一中由教師模型輸出的特征圖經(jīng)過空間平均池化操作將其擠壓成長(zhǎng)度為c的特征，然后通過歸一化函數(shù)將其限制到(0，1)范圍內(nèi)，從而得到通道注意力嵌入該過程的數(shù)學(xué)表達(dá)為：
21、
22、公式(3)中，表示特征圖高度，表示特征圖寬度，δ表示激活函數(shù)，特征圖；
23、步驟202、將步驟201中得到的通道注意力嵌入與原始特征圖進(jìn)行逐通道相乘，生成加權(quán)后的通道特征圖，在加權(quán)后的特征圖上執(zhí)行歸一化處理，該過程的數(shù)學(xué)表達(dá)式為：
24、
25、公式(4)中，表示歸一化后特征圖，表示特征圖；
26、步驟203、在獲得加權(quán)通道特征圖后，進(jìn)一步通過空間平均池化層對(duì)通道特征圖進(jìn)行處理，得到一個(gè)空間注意力圖該步驟的數(shù)學(xué)表達(dá)如下：
27、
28、公式(5)中，c表示特征圖維度；
29、步驟204、通過計(jì)算兩個(gè)模型輸出的空間注意力圖之間的距離，確保學(xué)生模型的空間表征與教師模型保持一致，該步驟的損失函數(shù)定義如下：
30、
31、公式(6)中，表示教師模型的空間注意力圖，表示學(xué)生模型的空間注意力圖。
32、進(jìn)一步的，步驟3的具體過程為：
33、步驟301、在步驟1中，教師模型輸出的logit圖通過應(yīng)用argmax函數(shù)，從n個(gè)類別中選取出目標(biāo)類別的分?jǐn)?shù)；這一過程將logit圖轉(zhuǎn)換為硬標(biāo)簽，即為每個(gè)像素分配一個(gè)明確的本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種面向遙感語義分割任務(wù)的跨模型知識(shí)蒸餾方法，其特征在于，具體步驟包括：
2.根據(jù)權(quán)利要求1所述的一種面向遙感語義分割任務(wù)的跨模型知識(shí)蒸餾方法，其特征在于，步驟1的具體過程為：
3.根據(jù)權(quán)利要求1所述的一種面向遙感語義分割任務(wù)的跨模型知識(shí)蒸餾方法，其特征在于，步驟2的具體過程為：
4.根據(jù)權(quán)利要求1所述的一種面向遙感語義分割任務(wù)的跨模型知識(shí)蒸餾方法，其特征在于，步驟3的具體過程為：
5.根據(jù)權(quán)利要求1所述的一種面向遙感語義分割任務(wù)的跨模型知識(shí)蒸餾方法，其特征在于，步驟4中最終的總損失函數(shù)為：
【技術(shù)特征摘要】
1.一種面向遙感語義分割任務(wù)的跨模型知識(shí)蒸餾方法，其特征在于，具體步驟包括：
2.根據(jù)權(quán)利要求1所述的一種面向遙感語義分割任務(wù)的跨模型知識(shí)蒸餾方法，其特征在于，步驟1的具體過程為：
3.根據(jù)權(quán)利要求1所述的一種面向遙感語義分割任務(wù)的跨模型知識(shí)蒸餾方法...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：谷延鋒，孫鈺哲，劉天竹，
申請(qǐng)(專利權(quán))人：哈爾濱工業(yè)大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。