【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬人工智能生成技術(shù)與遙感交叉，涉及一種面向光學(xué)遙感傳感器的，用于根據(jù)文本引導(dǎo)生產(chǎn)相應(yīng)圖像的遙感圖像可控編輯方法和系統(tǒng)。
技術(shù)介紹
1、遙感圖像生成技術(shù)在地理信息系統(tǒng)、環(huán)境監(jiān)測、城市規(guī)劃等領(lǐng)域具有重要應(yīng)用價(jià)值。通過生成高質(zhì)量的遙感圖像，可以彌補(bǔ)實(shí)地?cái)?shù)據(jù)采集的不足。關(guān)鍵技術(shù)點(diǎn)包括圖像合成、圖像增強(qiáng)和圖像超分辨率重建等。圖像合成能夠模擬不同條件下的地表景觀，提供多樣化的地物信息；圖像增強(qiáng)則旨在改善圖像質(zhì)量，增強(qiáng)特定目標(biāo)的可視性和辨識度；圖像超分辨率重建則通過算法提升圖像的空間分辨率，以獲取更精細(xì)的地物細(xì)節(jié)。遙感圖像生成技術(shù)的發(fā)展，為各類應(yīng)用提供了豐富的空間數(shù)據(jù)資源，推動了地理信息技術(shù)的進(jìn)步與應(yīng)用。
2、目前，主流的遙感圖像生成技術(shù)包括基于傳統(tǒng)方法和深度學(xué)習(xí)方法兩大類。傳統(tǒng)方法通常依賴于數(shù)學(xué)模型和圖像處理技術(shù)，如插值方法、多光譜圖像合成和復(fù)原算法等。這些方法在特定場景和數(shù)據(jù)條件下表現(xiàn)良好，但在處理復(fù)雜的地理環(huán)境和多源數(shù)據(jù)融合時(shí)存在一定局限性。深度學(xué)習(xí)方法近年來得到廣泛應(yīng)用，特別是生成對抗網(wǎng)絡(luò)和變分自編碼器等模型。這些模型能夠?qū)W習(xí)并模擬復(fù)雜的地物特征和空間分布，生成逼真且具有高度語義信息的遙感圖像，顯著提升了生成圖像的質(zhì)量和多樣性。
3、盡管遙感圖像生成技術(shù)取得了顯著進(jìn)展，但仍面臨一些挑戰(zhàn)。首先，特定場景下的訓(xùn)練數(shù)據(jù)匱乏限制了模型對特定環(huán)境的適應(yīng)能力，尤其是在極端天氣或地形復(fù)雜的情況下。缺乏多樣性的訓(xùn)練數(shù)據(jù)可能導(dǎo)致生成圖像的泛化能力不足，影響其在實(shí)際應(yīng)用中的表現(xiàn)。其次，現(xiàn)有技術(shù)在實(shí)現(xiàn)用戶可控的圖像編輯上存
技術(shù)實(shí)現(xiàn)思路
1、針對現(xiàn)有的遙感圖像生成技術(shù)在圖像內(nèi)容的可控編輯能力方面存在的技術(shù)問題，本專利技術(shù)的目的在于提供一種基于圖像去噪擴(kuò)散模型的遙感圖像可控編輯方法和系統(tǒng)。本專利技術(shù)采用基于單幅圖像的去噪擴(kuò)散模型，以及文本引導(dǎo)的圖像可控編輯方法，通過單幅遙感圖像對去噪擴(kuò)散模型進(jìn)行訓(xùn)練，利用在遙感圖像上微調(diào)的文本圖像預(yù)訓(xùn)練模型進(jìn)行文本引導(dǎo)，以實(shí)現(xiàn)穩(wěn)定、可控的文本引導(dǎo)遙感圖像編輯。
2、本專利技術(shù)通過研究發(fā)現(xiàn)面向遙感圖像的文本編碼和圖像編碼之間的相似性關(guān)聯(lián)，并將去噪擴(kuò)散模型的靈活性和強(qiáng)大的生成能力與多尺度架構(gòu)相結(jié)合，實(shí)現(xiàn)了單樣本訓(xùn)練范式，利用提示詞集成技術(shù)處理復(fù)雜文本的語義模糊性，從而提供一種用文本引導(dǎo)的穩(wěn)定可控遙感圖像編輯的方法，只需在單幅圖像上進(jìn)行訓(xùn)練，就能實(shí)現(xiàn)穩(wěn)定可控的遙感圖像編輯，這為遙感圖像生成在實(shí)際應(yīng)用中賦予了新的現(xiàn)實(shí)意義。
3、本專利技術(shù)的技術(shù)方案為：
4、一種基于圖像去噪擴(kuò)散模型的遙感圖像可控編輯方法和系統(tǒng)，其步驟包括：
5、對目標(biāo)區(qū)域進(jìn)行探測，獲取目標(biāo)區(qū)域的單幅遙感場景圖像；
6、利用獲取的目標(biāo)區(qū)域的單幅遙感場景圖像，采用基于去噪擴(kuò)散模型的圖像生成方法生成光學(xué)遙感圖像；
7、采用基于大語言模型的文本生成方法對一組文本編輯指令進(jìn)行多樣化擴(kuò)充，生成經(jīng)優(yōu)化后的多組文本編輯指令；
8、采用基于遙感圖像預(yù)訓(xùn)練的圖像編碼器對光學(xué)遙感圖像的生成結(jié)果進(jìn)行圖像特征編碼；
9、采用基于遙感圖像預(yù)訓(xùn)練的文本編碼器對多組文本編輯指令進(jìn)行文本特征編碼，并對編碼后的結(jié)果進(jìn)行平均化操作；
10、對光學(xué)遙感圖像生成結(jié)果的圖像特征編碼與文本編輯指令的文本特征編碼進(jìn)行相似度計(jì)算，根據(jù)相似度計(jì)算結(jié)果，通過優(yōu)化損失函數(shù)實(shí)現(xiàn)對遙感圖像生成過程中針對文本編輯指令的微調(diào)，得到編輯后的遙感圖像生成結(jié)果。
11、進(jìn)一步地，利用遙感圖像采集設(shè)備對目標(biāo)區(qū)域進(jìn)行探測，獲取目標(biāo)區(qū)域的單幅遙感場景圖像并將其發(fā)送至數(shù)據(jù)處理器；所述數(shù)據(jù)處理器包括遙感圖像生成模塊、提示詞集成模塊、生成圖像特征提取模塊、編輯指令文本特征提取模塊、圖文相似度計(jì)算模塊。
12、進(jìn)一步地，所述數(shù)據(jù)處理器中的遙感圖像生成模塊定義一個(gè)具有擴(kuò)散步驟的馬爾可夫鏈，以漸進(jìn)的方式向輸入數(shù)據(jù)x中引入隨機(jī)噪聲，然后學(xué)習(xí)擴(kuò)散過程的逆過程，從噪聲中重建圖像以實(shí)現(xiàn)圖像生成。所述遙感圖像生成模塊的處理過程包括以下步驟：
13、首先，構(gòu)建圖像金字塔：{xn-1,xn-2,…,x0}，其中xn-1表示輸入圖像本身，x0表示經(jīng)過n-1次下采樣后的輸入圖像，對于(0,1,…,n-1)中的一個(gè)尺度s，前向過程被表示為：其中t∈(0,t)表示向圖像添加噪聲的前向過程的步數(shù)，是每一步的方差，表示經(jīng)過n-1次下采樣后，且添加了t步前向過程噪聲的輸入圖像，表示標(biāo)準(zhǔn)正態(tài)分布，i表示方差，t表示前向過程總步數(shù)；
14、然后，將原始數(shù)據(jù)xs任意步的噪聲圖像表示為：∈表示添加的噪聲，和是通過重參數(shù)化技巧構(gòu)建的信號率和噪聲率；
15、其次，進(jìn)行模型的反向擴(kuò)散過程，逐步預(yù)測前向階段添加的噪聲∈：其中pθ表示預(yù)測概率分布，表示t時(shí)刻去噪操作的均值，
16、最后，在模型訓(xùn)練的優(yōu)化階段，使用以下?lián)p失函數(shù)來實(shí)現(xiàn)模型優(yōu)化：其中∈θ為擴(kuò)散模型的噪聲預(yù)測結(jié)果。
17、進(jìn)一步地，所述提示詞集成模塊使用大語言模型，輸入一段文本形式的圖像編輯目標(biāo)，輸出多組語義相同但形式不同的文本提示，同時(shí)避免產(chǎn)生無關(guān)內(nèi)容，形成多樣化、高質(zhì)量的提示信息，輸出多組文本編輯指令。
18、進(jìn)一步地，所述生成圖像特征提取模塊與所述編輯指令文本特征提取模塊使用基于遙感圖像自監(jiān)督的文本-圖像預(yù)訓(xùn)練clip模型，對光學(xué)遙感圖像的生成結(jié)果和多組文本編輯指令分別進(jìn)行圖像特征編碼和文本特征編碼。該過程可以被表示為和ft(text)，其中fi和ft分別表示遙感圖像上使用多模態(tài)對比學(xué)習(xí)方法預(yù)訓(xùn)練的圖像特征編碼器和文本特征編碼器，和text分別表示當(dāng)前生成的圖像和經(jīng)大語言模型擴(kuò)充后的文本編輯指令，這也就獲得了編輯后圖像在圖像和文本兩種不同模態(tài)下的特征編碼。
19、進(jìn)一步地，所述圖文相似度計(jì)算模塊使用余弦距離來衡量和ft(text)兩種特征編碼之間的差異，并將其作為微調(diào)過程中的優(yōu)化目標(biāo)，以再次更新生成模型參數(shù)并實(shí)現(xiàn)文本引導(dǎo)的可控編輯，優(yōu)化目標(biāo)被定義為：通過優(yōu)化損失函數(shù)l，實(shí)現(xiàn)對遙感圖像生成過程中針對文本編輯指令的微調(diào)，得到編輯后的遙感圖像生成結(jié)果。
20、進(jìn)一步地，所述遙感圖像可控編輯方法為基于單幅圖像去噪擴(kuò)散模型的遙感圖像可控編輯方法。
21、進(jìn)一步地，所述遙感圖像采集設(shè)備為網(wǎng)絡(luò)攝像機(jī)。
22、進(jìn)一步地，所述數(shù)據(jù)處理器為計(jì)算機(jī)或嵌入式主板。
23、進(jìn)一步地，所述遙感圖像生成模塊為去噪擴(kuò)散模型。
24、進(jìn)一步地，所述提示詞集成模塊為大語言模型。
25、進(jìn)一步地，所述生成圖像特征提取模塊與編輯指令文本特征提取模塊為自監(jiān)督的遙感圖像文本-圖像預(yù)訓(xùn)練模型。
26、一種基于圖像去本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于圖像去噪擴(kuò)散模型的遙感圖像可控編輯方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用遙感圖像采集設(shè)備對所述目標(biāo)區(qū)域進(jìn)行探測，獲取目標(biāo)區(qū)域的單幅遙感場景圖像并將其發(fā)送至數(shù)據(jù)處理器；所述數(shù)據(jù)處理器包括遙感圖像生成模塊、提示詞集成模塊、生成圖像特征提取模塊、編輯指令文本特征提取模塊、圖文相似度計(jì)算模塊。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述遙感圖像生成模塊定義一個(gè)具有擴(kuò)散步驟的馬爾可夫鏈，以漸進(jìn)的方式向輸入數(shù)據(jù)x中引入隨機(jī)噪聲，然后學(xué)習(xí)擴(kuò)散過程的逆過程，從噪聲中重建圖像以實(shí)現(xiàn)圖像生成；所述遙感圖像生成模塊的處理過程包括以下步驟：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述提示詞集成模塊使用大語言模型，輸入一段文本形式的圖像編輯目標(biāo)，輸出多組語義相同但形式不同的文本提示，同時(shí)避免產(chǎn)生無關(guān)內(nèi)容，形成多樣化、高質(zhì)量的提示信息，得到多組文本編輯指令。
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述生成圖像特征提取模塊與所述編輯指令文本特征提取模塊使用基于遙感圖像自監(jiān)督的文本-圖像預(yù)訓(xùn)練CLI
6.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述圖文相似度計(jì)算模塊使用余弦距離來衡量和fT(text)兩種特征編碼之間的差異，并將其作為微調(diào)過程中的優(yōu)化目標(biāo)，以再次更新生成模型參數(shù)并實(shí)現(xiàn)文本引導(dǎo)的可控編輯；優(yōu)化目標(biāo)被定義為：
7.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述遙感圖像采集設(shè)備為網(wǎng)絡(luò)攝像機(jī)；所述數(shù)據(jù)處理器為計(jì)算機(jī)或嵌入式主板；所述遙感圖像生成模塊為去噪擴(kuò)散模型；所述提示詞集成模塊為大語言模型；所述生成圖像特征提取模塊與編輯指令文本特征提取模塊為自監(jiān)督的遙感圖像文本-圖像預(yù)訓(xùn)練模型。
8.一種基于圖像去噪擴(kuò)散模型的遙感圖像可控編輯系統(tǒng)，其特征在于，包括遙感圖像采集設(shè)備和數(shù)據(jù)處理器；所述數(shù)據(jù)處理器包括遙感圖像生成模塊、提示詞集成模塊、生成圖像特征提取模塊、編輯指令文本特征提取模塊和圖文相似度計(jì)算模塊；
9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括存儲器和處理器，所述存儲器存儲計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被配置為由所述處理器執(zhí)行，所述計(jì)算機(jī)程序包括用于執(zhí)行權(quán)利要求1～7中任一項(xiàng)所述方法的指令。
10.一種計(jì)算機(jī)可讀存儲介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被計(jì)算機(jī)執(zhí)行時(shí)，實(shí)現(xiàn)權(quán)利要求1～7中任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種基于圖像去噪擴(kuò)散模型的遙感圖像可控編輯方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用遙感圖像采集設(shè)備對所述目標(biāo)區(qū)域進(jìn)行探測，獲取目標(biāo)區(qū)域的單幅遙感場景圖像并將其發(fā)送至數(shù)據(jù)處理器；所述數(shù)據(jù)處理器包括遙感圖像生成模塊、提示詞集成模塊、生成圖像特征提取模塊、編輯指令文本特征提取模塊、圖文相似度計(jì)算模塊。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述遙感圖像生成模塊定義一個(gè)具有擴(kuò)散步驟的馬爾可夫鏈，以漸進(jìn)的方式向輸入數(shù)據(jù)x中引入隨機(jī)噪聲，然后學(xué)習(xí)擴(kuò)散過程的逆過程，從噪聲中重建圖像以實(shí)現(xiàn)圖像生成；所述遙感圖像生成模塊的處理過程包括以下步驟：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述提示詞集成模塊使用大語言模型，輸入一段文本形式的圖像編輯目標(biāo)，輸出多組語義相同但形式不同的文本提示，同時(shí)避免產(chǎn)生無關(guān)內(nèi)容，形成多樣化、高質(zhì)量的提示信息，得到多組文本編輯指令。
5.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述生成圖像特征提取模塊與所述編輯指令文本特征提取模塊使用基于遙感圖像自監(jiān)督的文本-圖像預(yù)訓(xùn)練clip模型，對光學(xué)遙感圖像的生成結(jié)果和多組文本編輯指令分別進(jìn)行圖像特征編碼和文本特征編碼，將該過程表示為和ft(text)，其中fi和ft分別表示遙感圖像上使用多模態(tài)對比學(xué)習(xí)方法預(yù)訓(xùn)練的圖像特征編碼器和文...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：董洪偉，司凌宇，陳浩，張臘梅，張睿恒，強(qiáng)文文，
申請(專利權(quán))人：中國科學(xué)院軟件研究所，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。