【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及人工智能生成內(nèi)容、遙感影像智能解譯。具體地說是一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法。
技術(shù)介紹
1、遙感影像的獲取和處理是地球觀測(cè)、環(huán)境監(jiān)測(cè)、災(zāi)害應(yīng)急等領(lǐng)域的重要技術(shù)手段。然而，基于數(shù)據(jù)驅(qū)動(dòng)的遙感影像分析方法通常依賴于大量標(biāo)注數(shù)據(jù)，以支持復(fù)雜的圖像分類、目標(biāo)檢測(cè)和語義分割等任務(wù)。這些標(biāo)注數(shù)據(jù)的獲取往往耗時(shí)費(fèi)力，尤其是在需要高質(zhì)量語義標(biāo)注的情況下，更加增加了數(shù)據(jù)獲取的成本和難度。因此，如何高效且低成本地獲取遙感樣本對(duì)于智能解譯尤為重要。
2、現(xiàn)有的數(shù)據(jù)增強(qiáng)方法雖然能夠在一定程度上增加訓(xùn)練數(shù)據(jù)的多樣性，但在生成高質(zhì)量的遙感影像數(shù)據(jù)時(shí)，仍存在無法改變高層語義信息的問題。傳統(tǒng)深度學(xué)習(xí)方法主要依賴于生成對(duì)抗網(wǎng)絡(luò)(gan)，盡管在一定程度上取得了成功，但由于其在復(fù)雜場(chǎng)景中的生成質(zhì)量和多樣性表現(xiàn)不佳，限制了其在實(shí)際應(yīng)用中的推廣。此外，生成過程中如何有效利用語義信息和噪聲圖像進(jìn)行條件生成，仍然是一個(gè)亟待解決的難題。因此，探索新的生成模型以提高生成圖像的質(zhì)量和多樣性對(duì)于遙感影像智能解譯具有重要的意義。
3、在此背景下，擴(kuò)散模型作為一種新興的生成模型技術(shù)，因其在圖像生成與編輯任務(wù)中的顯著表現(xiàn)，逐漸引起了廣泛關(guān)注。去噪擴(kuò)散概率模型(ddpm)作為一種基于最大似然估計(jì)的生成模型，展示了其在圖像生成任務(wù)中的巨大潛力。相較于傳統(tǒng)的gan模型，ddpm通過逐步去噪的過程，從隨機(jī)噪聲中生成高質(zhì)量圖像，能夠有效捕捉圖像中的復(fù)雜語義信息。特別是可控?cái)U(kuò)散模型的引入，使得研究人員可以在生成過程中精確控制圖像的特定內(nèi)容和結(jié)
技術(shù)實(shí)現(xiàn)思路
1、為此，本專利技術(shù)所要解決的技術(shù)問題在于提供一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，克服現(xiàn)有生成對(duì)抗網(wǎng)絡(luò)在復(fù)雜場(chǎng)景下生成高保真度和高多樣性圖像的局限性，充分考慮噪聲圖像與語義布局在語義遙感影像生成過程中的共同作用。
2、為解決上述技術(shù)問題，本專利技術(shù)提供如下技術(shù)方案：
3、一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，包括如下步驟：
4、(1)數(shù)據(jù)準(zhǔn)備，獲取用于訓(xùn)練的語義布局圖像與對(duì)應(yīng)的高質(zhì)量遙感影像；
5、(2)構(gòu)建去噪擴(kuò)散模型，分別構(gòu)建前向擴(kuò)散結(jié)構(gòu)與逆向推理去噪結(jié)構(gòu)；
6、(3)在訓(xùn)練過程中，以初始遙感影響逐步添加高斯造噪聲，生成噪聲目標(biāo)圖像；
7、(4)基于所述目標(biāo)噪聲圖像與語義布局圖像進(jìn)行逆向推理采樣，生成遙感影響。
8、上述一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，在步驟(2)中，前向擴(kuò)散結(jié)構(gòu)通過逐步添加高斯噪聲，將語義布局圖像轉(zhuǎn)化為噪聲圖像，公式(1)描述每一步添加噪聲的過程：
9、
10、其中，xt為在第t步的圖像或數(shù)據(jù)，αt控制噪聲添加量的系數(shù)，通常與時(shí)間步t有關(guān)，η為正態(tài)分布，i為單位矩陣，表示噪聲的協(xié)方差矩陣。
11、上述一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，逆向推理去噪結(jié)構(gòu)中，使用u-net網(wǎng)絡(luò)預(yù)測(cè)噪聲，生成與語義布局圖像高度對(duì)應(yīng)的遙感影像，公式為：
12、pθ(xt-1|xt)＝η(xt-1；μθ(xt,t),∑θ(xt,t))??(2)；
13、其中，μθ為由模型參數(shù)θ學(xué)習(xí)的均值函數(shù)，表示去噪后在第t-1步的估計(jì)，∑θ(xt,t)為由模型參數(shù)θ學(xué)習(xí)的方差函數(shù)，表示去噪后的不確定性，η為正態(tài)分布，pθ為基于模型參數(shù)θ的逆向分布。
14、上述一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，生成前向擴(kuò)散結(jié)構(gòu)過程中，通過馬爾可夫鏈逐步添加噪聲到圖像中。
15、在圖像生成的過程中，馬爾可夫鏈能夠漸進(jìn)狀態(tài)，在每一步添加小量噪聲，使得生成過程更加平滑和可控。馬爾可夫鏈具有隨機(jī)性，通過隨機(jī)選擇狀態(tài)的變化路徑，可以幫助模型在生成過程中產(chǎn)生更多樣化的圖像結(jié)果。使用馬爾可夫鏈可以簡(jiǎn)化復(fù)雜性的生成過程，使得添加噪聲的步驟能夠有條理地階梯進(jìn)行，而不是一次性處理整個(gè)圖像。通過馬爾可夫鏈漸進(jìn)向圖像中添加噪聲，圖像的原始特征信息會(huì)逐步喪失，從而提高噪聲目標(biāo)圖像的增加。隨著時(shí)間步長(zhǎng)的增加，圖像會(huì)逐漸趨近于高斯噪聲分布
16、上述一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，生成逆向推理去噪結(jié)構(gòu)中，從純?cè)肼晥D像開始，結(jié)合語義布局圖像條件，逐步去除噪聲，生成最終遙感影像。
17、上述一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，在生成逆向推理去噪結(jié)構(gòu)過程中，采用多層空間自適應(yīng)歸一化操作，將語義布局像信息通過多層空間自適應(yīng)歸一化操作嵌入到模型的解碼器中，其公式如下：
18、fi+1＝γi(x)·norm(fi)+βi(x)?????(3)；
19、其中，fi為第i層的輸入特征圖，norm(·)指無參數(shù)的歸一化操作，γi(x)和βi(x)分別是從語義布局x學(xué)習(xí)到的空間自適應(yīng)權(quán)重和偏置。
20、上述一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，逆向推理去噪過程中采用分類器無引導(dǎo)采樣策略，通過調(diào)節(jié)模型輸出的方差和均值，以提高生成圖像的質(zhì)量和語義相關(guān)性，其公式如下：
21、
22、其中，為引導(dǎo)后調(diào)整的均值；它是通過在原始均值基礎(chǔ)上添加一個(gè)額外的引導(dǎo)項(xiàng)來得到的；μθ(yt|x)為原始模型估計(jì)的均值，表示在條件x下，噪聲圖像yt的均值，s為引導(dǎo)因子它控制著生成圖像質(zhì)量和多樣性之間的權(quán)衡，當(dāng)s增大時(shí)，生成圖像的質(zhì)量可能提高，但多樣性可能降低；∑θ(yt|x)為模型估計(jì)的方差；為條件分布p(x|yt)相對(duì)于yt的梯度。
23、上述一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，分類器無引導(dǎo)采樣策略，通過結(jié)合有條件和無條件模型的預(yù)測(cè)結(jié)果，調(diào)節(jié)生成過程中噪聲的去除過程，以進(jìn)一步提高生成圖像的細(xì)節(jié)保真度和語義一致性。
24、有條件模型是指在采樣過程中結(jié)合了輸入的語義布局(semantic?map)，用于指導(dǎo)生成圖像的去噪過程，使生成的圖像與輸入的語義布局保持高度的語義一致性。這種有條件模型可以確保生成的圖像反映出特定的語義信息，從而增強(qiáng)圖像的語義相關(guān)性。無條件模型則是在沒有語義布局條件下，僅依賴噪聲來生成圖像，允許生成圖像具有更多的自由度和多樣性。它并不需要特定的輸入條件，因此可以生成出更加多樣化的結(jié)果。在分類器無引導(dǎo)采樣策略中，通過結(jié)合有條件模型和無條件模型，系統(tǒng)可以通過插值兩者的輸出結(jié)果，動(dòng)態(tài)調(diào)節(jié)生成圖像的質(zhì)量和多樣性。
25、上述一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，在步驟(3)中，訓(xùn)練過程中，在前向擴(kuò)散過程中，模型通過逐步向輸入的語義布局圖像添加高斯噪聲，將原始清晰的圖像逐漸擾亂至接近標(biāo)準(zhǔn)高斯分布的噪聲目標(biāo)圖像；該過程采用馬爾可夫鏈進(jìn)行，通過不斷疊加噪聲，使得語義信息逐步喪失。
26、上述一種基于去噪擴(kuò)散概率模型的語義本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，在步驟(2)中，前向擴(kuò)散結(jié)構(gòu)通過逐步添加高斯噪聲，將語義布局圖像轉(zhuǎn)化為噪聲圖像，公式(1)描述每一步添加噪聲的過程：
3.根據(jù)權(quán)利要求1所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，逆向推理去噪結(jié)構(gòu)中，使用U-Net網(wǎng)絡(luò)預(yù)測(cè)噪聲，生成與語義布局圖像高度對(duì)應(yīng)的遙感影像，公式為：
4.根據(jù)權(quán)利要求2所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，生成前向擴(kuò)散結(jié)構(gòu)過程中，通過馬爾可夫鏈逐步添加噪聲到圖像中。
5.根據(jù)權(quán)利要求3所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，生成逆向推理去噪結(jié)構(gòu)中，從純?cè)肼晥D像開始，結(jié)合語義布局圖像條件，逐步去除噪聲，生成最終遙感影像。
6.根據(jù)權(quán)利要求3所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，在生成逆向推理去噪結(jié)構(gòu)過程中，采用多層空間自適應(yīng)歸一化操作，
7.根據(jù)權(quán)利要求3所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，逆向推理去噪過程中采用分類器無引導(dǎo)采樣策略，通過調(diào)節(jié)模型輸出的方差和均值，以提高生成圖像的質(zhì)量和語義相關(guān)性，其公式如下：
8.根據(jù)權(quán)利要求7所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，分類器無引導(dǎo)采樣策略，通過結(jié)合有條件和無條件模型的預(yù)測(cè)結(jié)果，調(diào)節(jié)生成過程中噪聲的去除過程，以進(jìn)一步提高生成圖像的細(xì)節(jié)保真度和語義一致性。
9.根據(jù)權(quán)利要求1所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，在步驟(3)中，訓(xùn)練過程中，在前向擴(kuò)散過程中，模型通過逐步向輸入的語義布局圖像添加高斯噪聲，將原始清晰的圖像逐漸擾亂至接近標(biāo)準(zhǔn)高斯分布的噪聲目標(biāo)圖像；該過程采用馬爾可夫鏈進(jìn)行，通過不斷疊加噪聲，使得語義信息逐步喪失。
10.根據(jù)權(quán)利要求1所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，在步驟(4)中，在逆向去噪過程中，模型基于已擾亂的噪聲目標(biāo)圖像，結(jié)合輸入的語義布局圖像，逐步去除噪聲，恢復(fù)出高質(zhì)量的語義遙感影像。
...【技術(shù)特征摘要】
1.一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，在步驟(2)中，前向擴(kuò)散結(jié)構(gòu)通過逐步添加高斯噪聲，將語義布局圖像轉(zhuǎn)化為噪聲圖像，公式(1)描述每一步添加噪聲的過程：
3.根據(jù)權(quán)利要求1所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，逆向推理去噪結(jié)構(gòu)中，使用u-net網(wǎng)絡(luò)預(yù)測(cè)噪聲，生成與語義布局圖像高度對(duì)應(yīng)的遙感影像，公式為：
4.根據(jù)權(quán)利要求2所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，生成前向擴(kuò)散結(jié)構(gòu)過程中，通過馬爾可夫鏈逐步添加噪聲到圖像中。
5.根據(jù)權(quán)利要求3所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，生成逆向推理去噪結(jié)構(gòu)中，從純?cè)肼晥D像開始，結(jié)合語義布局圖像條件，逐步去除噪聲，生成最終遙感影像。
6.根據(jù)權(quán)利要求3所述的一種基于去噪擴(kuò)散概率模型的語義遙感影像生成方法，其特征在于，在生成逆向推理去噪結(jié)構(gòu)過程中，采用多層空間自適應(yīng)歸一化操作，將語義布局像信息通過多層空間自適應(yīng)歸一化...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張銳，
申請(qǐng)(專利權(quán))人：中國(guó)科學(xué)院西北生態(tài)環(huán)境資源研究院，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。