【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種高光譜重建方法，具體涉及一種基于單幅rgb圖像的高光譜重建方法。
技術(shù)介紹
1、高光譜(hyperspectral，hs)成像技術(shù)記錄了物體的反射率或透射率，結(jié)合成像技術(shù)和光譜技術(shù)來檢測(cè)目標(biāo)的二維幾何空間和一維光譜信息，從而獲得具有高光譜分辨率的連續(xù)窄帶圖像。依靠該技術(shù)所獲取的高光譜圖像(hyperspectral?image,hsi)通常具有從紅外光譜到紫外光譜的多個(gè)光譜波段。豐富的光譜特征已被廣泛用于遙感領(lǐng)域中，例如地質(zhì)勘探、海洋環(huán)境監(jiān)測(cè)、船舶探測(cè)、軍事偵察、生態(tài)研究和農(nóng)作物生長(zhǎng)等方面。然而近年來hs成像的發(fā)展遇到瓶頸，因?yàn)橐延械母吖庾V成像設(shè)備制造涉及光學(xué)、機(jī)械、計(jì)算機(jī)等領(lǐng)域，集成復(fù)雜度較高，設(shè)備體型較大。同時(shí)由于成像技術(shù)的限制，獲取這類包含豐富光譜信息的高時(shí)空分辨率的高光譜圖像耗時(shí)較長(zhǎng)，從而不可避免地限制了高光譜成像技術(shù)的應(yīng)用范圍。特別是在便攜式平臺(tái)和高速移動(dòng)場(chǎng)景中的相關(guān)應(yīng)用。解決這個(gè)問題的一種方法是通過從給定的rgb圖像中恢復(fù)丟失的光譜信息來生成此類高光譜圖像，這種方法可稱之為基于rgb圖像的高光譜重建。它是指通過發(fā)現(xiàn)一個(gè)逆響應(yīng)函數(shù)來實(shí)現(xiàn)高光譜成像的逆過程。但是由于hsi的數(shù)量可以投射到任何rgb輸入，因此對(duì)于同一個(gè)rgb圖像可能存在多種合理的hs圖像組合，如何重建出最佳的hs圖像成為了研究的核心與熱點(diǎn)問題。
2、為了解決該問題，已提出了大量的光譜重建(spectral?reconstruction,sr)方法，大致可分為傳統(tǒng)方法、機(jī)器方法和深度學(xué)習(xí)方法。
3、現(xiàn)有的傳統(tǒng)方法包括
4、現(xiàn)有的基于機(jī)器學(xué)習(xí)的光譜重建方法主要集中在從特定的高光譜建立稀疏編碼或相對(duì)淺層的學(xué)習(xí)模型，這些方法依然存在容易手外部因素影響、訓(xùn)練數(shù)據(jù)需求量大、訓(xùn)練耗時(shí)較長(zhǎng)、重建圖像質(zhì)量有待提高等問題。
5、現(xiàn)有的深度學(xué)習(xí)方法已經(jīng)實(shí)現(xiàn)了較好的性能，但重建的高光譜圖像的精度還有待進(jìn)一步提高。此外，為獲取更高級(jí)的特征表達(dá)，多數(shù)方法致力于設(shè)計(jì)更深的網(wǎng)絡(luò)結(jié)構(gòu)，同時(shí)也缺乏對(duì)局部區(qū)域間的信息和像素間遠(yuǎn)程依賴關(guān)系的探索，限制了網(wǎng)絡(luò)對(duì)細(xì)節(jié)的追隨度和區(qū)分性學(xué)習(xí)。
6、總之現(xiàn)有的光譜重建方法還有進(jìn)一步提高生成圖像質(zhì)量的空間。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)是為了解決上述問題而進(jìn)行的，目的在于提供一種基于單幅rgb圖像的高光譜重建方法。
2、本專利技術(shù)提供了一種基于單幅rgb圖像的高光譜重建方法，用于將單幅rgb圖像輸入高光譜重建模型得到對(duì)應(yīng)的高光譜圖像，具有這樣的特征，高光譜重建模型包括：錐形多尺度特征提取模塊，用于對(duì)單幅rgb圖像經(jīng)由切片分區(qū)處理后的特征映射進(jìn)行特征提取，得到淺層區(qū)域聚合特征；多個(gè)依次連接的多尺度自適應(yīng)殘差注意模塊，用于對(duì)淺層區(qū)域聚合特征進(jìn)行處理，得到深層特征；組合處理模塊，用于對(duì)深層特征進(jìn)行卷積和激活函數(shù)處理，得到高光譜圖像，其中，多尺度自適應(yīng)殘差注意模塊包括順次連接的錐形多尺度特征提取模塊、最優(yōu)非局部模塊、像素自注意力模塊、layernorm模塊和多層感知機(jī)模塊，錐形多尺度特征提取模塊用于將單幅rgb圖像經(jīng)由切片分區(qū)處理后的特征映射或包含該錐形多尺度特征提取模塊的多尺度自適應(yīng)殘差注意模塊的輸入作為輸入特征fin，并對(duì)輸入特征fin依次進(jìn)行多尺度細(xì)節(jié)特征初步提取和多層拼接得到特征fleft，再對(duì)特征fleft依次進(jìn)行多尺度細(xì)節(jié)特征交錯(cuò)提取和多層拼接得到淺層區(qū)域聚合特征或與該錐形多尺度特征提取模塊相連的最優(yōu)非局部模塊的輸入作為輸出特征fout，最優(yōu)非局部模塊用于將輸出特征fout分成四個(gè)等尺寸區(qū)域的分區(qū)特征，再增強(qiáng)分區(qū)特征之間的聯(lián)系得到特征序列ti，像素自注意力模塊用于對(duì)特征序列ti中的像素間的遠(yuǎn)程依賴關(guān)系進(jìn)行捕捉，得到融合表示tout，layernorm模塊用于消除融合表示tout和特征fleft的相加結(jié)果中奇異樣本數(shù)據(jù)導(dǎo)致的不良影響，將相加結(jié)果作為特征多層感知機(jī)模塊用于對(duì)layernorm模塊的輸出進(jìn)行特征轉(zhuǎn)換和信息重組，得到特征在每個(gè)多尺度自適應(yīng)殘差注意模塊中，將該多尺度自適應(yīng)殘差注意模塊的輸入特征fin、特征和特征進(jìn)行連接得到連接結(jié)果，作為與該多尺度自適應(yīng)殘差注意模塊順次連接的下一多尺度自適應(yīng)殘差注意模塊的輸入，最后一個(gè)多尺度自適應(yīng)殘差注意模塊的連接結(jié)果為深層特征。
3、在本專利技術(shù)提供的基于單幅rgb圖像的高光譜重建方法中，還可以具有這樣的特征：其中，錐形多尺度特征提取模塊包括依次連接的left子模塊和right子模塊，left子模塊包括四層left通道域和對(duì)應(yīng)的四層不同尺度的卷積，四層left通道域的通道均為輸入錐形多尺度特征提取模塊的輸入特征fin的通道的四分之一，第nleft層left通道域?qū)?yīng)的卷積的卷積核大小為k1＝2nleft+1，將輸入特征fin輸入left子模塊得到特征fleft的表達(dá)公式為：fleft＝relu(bn(f'out)，式中∑cat為多層拼接運(yùn)算，為第nleft層left通道域的第i組特征映射，wk1,i為以k1為卷積核尺寸大小的第i組卷積核，第nleft層left通道域中通道數(shù)為原先四分之一的輸入特征fin作為特征映射和對(duì)應(yīng)的卷積核均被分成m組，bn為批歸一化層，relu為激活函數(shù)，right子模塊包括四層right通道域和對(duì)應(yīng)的四層不同尺度的卷積，四層right通道域的通道均為輸入錐形多尺度特征提取模塊的輸入特征fin的通道的四分之一，四層right通道域與四層left通道域依次對(duì)應(yīng)，第nright層right通道域?qū)?yīng)的卷積的卷積核大小為k2＝11-2nright，將特征fleft輸入right子模塊得到輸出特征fout的表達(dá)公式為：fout＝relu(bn(f”out)，式中∑cat為多層拼接運(yùn)算，gi,j為第nright層通道域的第i組特征映射，wk2,i為以k2為卷積核尺寸大小的第i組卷積核，第nright層通道域中通道數(shù)為原先四分之一的特征fleft作為特征映射和對(duì)應(yīng)的卷積核均被分成m組，bn為批歸一化層，relu為激活函數(shù)。
4、在本專利技術(shù)提供的基于單幅rgb圖像的高光譜重建方法中，還可以具有這樣的特征：其中，將輸出特征fout輸入最優(yōu)非局部模塊得到特征序列ti的表達(dá)公式為：ti＝onb(fout{lu,ld,ru,rd})，式中onb為最優(yōu)非局部模塊，fout{lu,ld,ru,rd}為將特征fout分成左上、左下、右上、右下的四個(gè)等尺寸區(qū)域。
5、在本專利技術(shù)提供的基于單幅rgb圖像的高光譜重建方法中，還可以具有這樣的特征：其中，像素自注意力模塊對(duì)特征序列ti進(jìn)行處理得到融合表示tout的具體步驟為：步驟s1，對(duì)特征ti使用卷積-激活函數(shù)-卷積的組合處理，得到初步特征，再將初步特征分為注意力機(jī)制的q、k和v；步驟s2，根據(jù)q和k計(jì)算得到每個(gè)像素區(qū)域的權(quán)重；步驟s3，根據(jù)特征序列ti、權(quán)重和v計(jì)算得到融合表示tout。
6、在本專利技術(shù)提供的基于單幅rgb本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于單幅RGB圖像的高光譜重建方法，用于將單幅RGB圖像輸入高光譜重建模型得到對(duì)應(yīng)的高光譜圖像，其特征在于，所述高光譜重建模型包括：
2.根據(jù)權(quán)利要求1所述的基于單幅RGB圖像的高光譜重建方法，其特征在于：
3.根據(jù)權(quán)利要求1所述的基于單幅RGB圖像的高光譜重建方法，其特征在于：
4.根據(jù)權(quán)利要求1所述的基于單幅RGB圖像的高光譜重建方法，其特征在于：
5.根據(jù)權(quán)利要求4所述的基于單幅RGB圖像的高光譜重建方法，其特征在于：
6.根據(jù)權(quán)利要求4所述的基于單幅RGB圖像的高光譜重建方法，其特征在于：
7.根據(jù)權(quán)利要求4所述的基于單幅RGB圖像的高光譜重建方法，其特征在于：
【技術(shù)特征摘要】
1.一種基于單幅rgb圖像的高光譜重建方法，用于將單幅rgb圖像輸入高光譜重建模型得到對(duì)應(yīng)的高光譜圖像，其特征在于，所述高光譜重建模型包括：
2.根據(jù)權(quán)利要求1所述的基于單幅rgb圖像的高光譜重建方法，其特征在于：
3.根據(jù)權(quán)利要求1所述的基于單幅rgb圖像的高光譜重建方法，其特征在于：
4...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張婉言，王文舉，周穎梅，姜中敏，
申請(qǐng)(專利權(quán))人：上海理工大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。