【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及影像語義分割術(shù)，特別涉及一種多模態(tài)土地覆蓋的分類方法、裝置、計算機(jī)設(shè)備及介質(zhì)。
技術(shù)介紹
1、基于遙感影像進(jìn)行土地覆蓋分類是指按照預(yù)定義的語義集合進(jìn)行像元級分類。因此，其又稱遙感影像語義分割。近年來，由于異構(gòu)遙感影像具有相關(guān)和互補(bǔ)的信息，多模態(tài)土地覆蓋分類受到越來越多的關(guān)注。光學(xué)影像可以提供光譜、顏色和紋理的詳細(xì)描述，但容易受到云、霧等復(fù)雜環(huán)境的影響。相比之下，sar影像可以實(shí)現(xiàn)全天、全天候的主動觀測，并捕獲更豐富的幾何信息。近年來，利用光學(xué)影像和sar影像進(jìn)行土地覆蓋分類已成為研究熱點(diǎn)。
2、多模態(tài)融合的效果對土地覆蓋分類的結(jié)果有重要影響?，F(xiàn)有的融合策略可大致可分為三類：數(shù)據(jù)融合、決策融合和特征融合。數(shù)據(jù)融合將輸入影像合并以產(chǎn)生更高質(zhì)量的影像，其依賴于手工特征或者生成式模型。決策融合利用一定規(guī)則將不同模態(tài)的學(xué)習(xí)結(jié)果相結(jié)合，如投票策略概率集成。特征融合首先分別提取每個模態(tài)的特征，然后進(jìn)行更靈活的處理。隨著深度學(xué)習(xí)的發(fā)展，深度空間中的特征融合策略已經(jīng)得到了廣泛的研究，使土地覆蓋分類的性能得到了顯著的改進(jìn)。
3、在基于深度學(xué)習(xí)的多模態(tài)分類方法中，通道連接和元素加和是相對簡單的融合策略。然而，這不能充分有效地整合多模態(tài)知識，且不可避免地引入冗余信息。盡管各種融合策略層出不窮，但仍有兩個問題有待解決。如圖10所示，(1)缺乏深度融合機(jī)制，大多數(shù)方法通常設(shè)計一層或兩層的融合模塊，這被認(rèn)為是淺層融合，僅限于領(lǐng)域級。(2)強(qiáng)調(diào)判別性卻忽視多樣性，現(xiàn)有方法旨在提高多模態(tài)特征的類別可分性。然而，多樣性同樣重要
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本專利技術(shù)實(shí)施例提供了一種多模態(tài)土地覆蓋的分類方法，以解決現(xiàn)有技術(shù)中缺乏深度融合、缺乏多樣性的技術(shù)問題。該方法包括：
2、構(gòu)建第一主干網(wǎng)絡(luò)和第二主干網(wǎng)絡(luò)，構(gòu)建多模態(tài)級聯(lián)專家森林，通過第一主干網(wǎng)絡(luò)、第二主干網(wǎng)絡(luò)和多模態(tài)級聯(lián)專家森林構(gòu)建多模態(tài)特征融合模型，其中，第一主干網(wǎng)絡(luò)和第二主干網(wǎng)絡(luò)均包括多個相互連接的網(wǎng)絡(luò)塊，多模態(tài)級聯(lián)專家森林包括多個相互連接的多模態(tài)專家森林；
3、將sar影像數(shù)據(jù)輸入至第一主干網(wǎng)絡(luò)，輸出第一特征s，將光學(xué)影像數(shù)據(jù)輸入至第二主干網(wǎng)絡(luò)，輸出第二特征o，將第一特征s和第二特征o輸入至多模態(tài)級聯(lián)專家森林的各個多模態(tài)專家森林，輸出第三特征z；
4、為多模態(tài)特征融合模型設(shè)置優(yōu)化目標(biāo)，對第三特征z進(jìn)行尺寸調(diào)整、通道連接和卷積處理后，生成融合后特征，判斷融合后特征是否滿足優(yōu)化目標(biāo)，若滿足優(yōu)化目標(biāo)，根據(jù)融合后特征對土地覆蓋進(jìn)行分類。
5、本專利技術(shù)實(shí)施例還提供了一種多模態(tài)土地覆蓋的分類裝置，以解決現(xiàn)有技術(shù)中缺乏深度融合、缺乏多樣性的技術(shù)問題。該裝置包括：
6、模型構(gòu)建模塊，用于構(gòu)建第一主干網(wǎng)絡(luò)和第二主干網(wǎng)絡(luò)，構(gòu)建多模態(tài)級聯(lián)專家森林，通過第一主干網(wǎng)絡(luò)、第二主干網(wǎng)絡(luò)和多模態(tài)級聯(lián)專家森林構(gòu)建多模態(tài)特征融合模型，其中，第一主干網(wǎng)絡(luò)和第二主干網(wǎng)絡(luò)均包括多個相互連接的網(wǎng)絡(luò)塊，多模態(tài)級聯(lián)專家森林包括多個相互連接的多模態(tài)專家森林；
7、特征融合模塊，用于將sar影像數(shù)據(jù)輸入至第一主干網(wǎng)絡(luò)，輸出第一特征s，將光學(xué)影像數(shù)據(jù)輸入至第二主干網(wǎng)絡(luò)，輸出第二特征o，將第一特征s和第二特征o輸入至多模態(tài)級聯(lián)專家森林的各個多模態(tài)專家森林，輸出第三特征z；
8、土地覆蓋分類模塊，用于為多模態(tài)特征融合模型設(shè)置優(yōu)化目標(biāo)，對第三特征z進(jìn)行尺寸調(diào)整、通道連接和卷積處理后，生成融合后特征，判斷融合后特征是否滿足優(yōu)化目標(biāo)，若滿足優(yōu)化目標(biāo)，根據(jù)融合后特征對土地覆蓋進(jìn)行分類。
9、本專利技術(shù)實(shí)施例還提供了一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)上述任意的多模態(tài)土地覆蓋的分類方法，以解決現(xiàn)有技術(shù)中缺乏深度融合、缺乏多樣性的技術(shù)問題。
10、本專利技術(shù)實(shí)施例還提供了一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)存儲有執(zhí)行上述任意的多模態(tài)土地覆蓋的分類方法的計算機(jī)程序，以解決現(xiàn)有技術(shù)中缺乏深度融合、缺乏多樣性的技術(shù)問題。
11、與現(xiàn)有技術(shù)相比，本說明書實(shí)施例采用的上述至少一個技術(shù)方案能夠達(dá)到的有益效果至少包括：
12、使用了級聯(lián)多模態(tài)專家森林的特征融合方法，使融合方法具有更深入、更廣泛的融合能力，提高了土地覆蓋分類的性能。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種多模態(tài)土地覆蓋的分類方法，其特征在于，包括：
2.如權(quán)利要求1所述的多模態(tài)土地覆蓋的分類方法，其特征在于，構(gòu)建多模態(tài)級聯(lián)專家森林，包括：
3.如權(quán)利要求1所述的多模態(tài)土地覆蓋的分類方法，其特征在于，將SAR影像數(shù)據(jù)輸入至所述第一主干網(wǎng)絡(luò)，輸出第一特征s，將光學(xué)影像數(shù)據(jù)輸入至第二主干網(wǎng)絡(luò)，輸出第二特征o，將所述第一特征s和所述第二特征o輸入至所述多模態(tài)級聯(lián)專家森林的各個所述多模態(tài)專家森林，輸出第三特征z，包括：
4.如權(quán)利要求3所述的多模態(tài)土地覆蓋的分類方法，其特征在于，將所述第一特征s和所述第二特征o輸入至所述多模態(tài)專家樹，輸出所述多模態(tài)專家樹對應(yīng)的學(xué)習(xí)后多模態(tài)特征，包括：
5.如權(quán)利要求3所述的多模態(tài)土地覆蓋的分類方法，其特征在于，通過專家交換策略將所述多模態(tài)專家深林中的一個所述多模態(tài)專家樹Ti，j中任意一層l輸出的特征替換為所述多模態(tài)專家深林中的另一個所述多模態(tài)專家樹中任意一層l輸出的特征，包括：
6.如權(quán)利要求3所述的多模態(tài)土地覆蓋的分類方法，其特征在于，通過專家交換策略將所述多模態(tài)專家深林中的一個所述多模
7.如權(quán)利要求1至6中任意一項所述的多模態(tài)土地覆蓋的分類方法，其特征在于，為所述多模態(tài)特征融合模型設(shè)置優(yōu)化目標(biāo)，包括：
8.一種多模態(tài)土地覆蓋的分類裝置，其特征在于，包括：
9.一種計算機(jī)設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計算機(jī)程序時實(shí)現(xiàn)權(quán)利要求1至7中任一項所述的多模態(tài)土地覆蓋的分類方法。
10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)存儲有執(zhí)行權(quán)利要求1至7中任一項所述的多模態(tài)土地覆蓋的分類方法的計算機(jī)程序。
...【技術(shù)特征摘要】
1.一種多模態(tài)土地覆蓋的分類方法，其特征在于，包括：
2.如權(quán)利要求1所述的多模態(tài)土地覆蓋的分類方法，其特征在于，構(gòu)建多模態(tài)級聯(lián)專家森林，包括：
3.如權(quán)利要求1所述的多模態(tài)土地覆蓋的分類方法，其特征在于，將sar影像數(shù)據(jù)輸入至所述第一主干網(wǎng)絡(luò)，輸出第一特征s，將光學(xué)影像數(shù)據(jù)輸入至第二主干網(wǎng)絡(luò)，輸出第二特征o，將所述第一特征s和所述第二特征o輸入至所述多模態(tài)級聯(lián)專家森林的各個所述多模態(tài)專家森林，輸出第三特征z，包括：
4.如權(quán)利要求3所述的多模態(tài)土地覆蓋的分類方法，其特征在于，將所述第一特征s和所述第二特征o輸入至所述多模態(tài)專家樹，輸出所述多模態(tài)專家樹對應(yīng)的學(xué)習(xí)后多模態(tài)特征，包括：
5.如權(quán)利要求3所述的多模態(tài)土地覆蓋的分類方法，其特征在于，通過專家交換策略將所述多模態(tài)專家深林中的一個所述多模態(tài)專家樹ti，j中任意一層l輸出的特征替換為所述多模態(tài)專家深林中的另一個所述多模態(tài)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：高奎亮，王光霞，游雄，雷娟，左溪冰，赫志韋，劉建湘，劉成龍，
申請(專利權(quán))人：中國人民解放軍網(wǎng)絡(luò)空間部隊信息工程大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。