本申請公開了生成超分辨率深度圖的方法、裝置及系統(tǒng)。生成超分辨率深度圖的方法包括：根據(jù)初始深度圖分別生成與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖；根據(jù)目標(biāo)分辨率分別逐步增采樣多個(gè)子頻帶深度特征圖，目標(biāo)分辨率高于初始深度圖的初始分辨率；以及根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及計(jì)算機(jī)視覺和圖像處理領(lǐng)域，具體涉及生成超分辨率深度圖的方法、裝置及系統(tǒng)。
技術(shù)介紹
在許多應(yīng)用中，比如自主導(dǎo)航、三維重建、人機(jī)交互和虛擬現(xiàn)實(shí)，場景的深度信息是不可少的。低成本深度相機(jī)雖然促進(jìn)了深度信息在日常生活中的使用，但是，低成本深度相機(jī)所提供的深度圖的分辨率通常是非常有限的，其中，深度圖為具有深度信息的圖像，其可以表示圖像中的物體距離相機(jī)的深度信息。為了更好的使用深度數(shù)據(jù)，需要對深度圖進(jìn)行超分辨率處理，即從一幅給定的低分辨率深度圖恢復(fù)出對應(yīng)的高分辨率深度圖。產(chǎn)生超分辨率的深度圖并不簡單。由于低分辨深度圖有限的空間分辨率不能完全呈現(xiàn)出實(shí)際場景中具有的一些精細(xì)結(jié)構(gòu)，所以在從低分辨深度圖恢復(fù)得到的高分辨率深度圖中通常會丟失這些精細(xì)結(jié)構(gòu)或出現(xiàn)一些結(jié)構(gòu)嚴(yán)重扭曲的現(xiàn)象。強(qiáng)行對低分辨率深度圖進(jìn)行超分辨率容易導(dǎo)致本該具有清晰邊界的精細(xì)結(jié)構(gòu)在超分辨率后變得模糊。超分辨率中的模糊和其導(dǎo)致的精細(xì)結(jié)構(gòu)嚴(yán)重扭曲的情況總是存在的，尤其是對僅使用單張圖像進(jìn)行超分辨率的情況。通常，可以使用高分辨率的強(qiáng)度圖來引導(dǎo)超分辨率深度圖的產(chǎn)生，以使用強(qiáng)度圖中的精細(xì)結(jié)構(gòu)來補(bǔ)充深度圖中的對應(yīng)結(jié)構(gòu)，但是，由于深度圖中的結(jié)構(gòu)的變化并非與強(qiáng)度圖中的結(jié)構(gòu)變化完全一致，傳統(tǒng)的使用強(qiáng)度圖引導(dǎo)的超分辨率深度圖的產(chǎn)生方式通常會將強(qiáng)度圖像紋理均勻區(qū)域的邊界上的特征過度轉(zhuǎn)移到深度圖中。另外，傳統(tǒng)超分辨率深度圖產(chǎn)生方案通常使用同一種增采樣方法對深度圖中的所有特征進(jìn)行增采樣，但是該單一的增采樣方法并非對所遇結(jié)構(gòu)特征都適用，所以容易引起某些結(jié)構(gòu)在超分辨率后出現(xiàn)扭曲。
技術(shù)實(shí)現(xiàn)思路
本申請實(shí)施例提供了一種生成超分辨率深度圖技術(shù)方案。本申請實(shí)施例的一方面公開了一種生成超分辨率深度圖的方法，該方法包括：根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖；根據(jù)目標(biāo)分辨率分別逐步增采樣多個(gè)子頻帶深度特征圖，目標(biāo)分辨率高于初始深度圖的初始分辨率；以及根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖。在本申請的一個(gè)實(shí)施例中，增采樣的操作包括：對于不同的子頻帶深度特征圖采用不同的增采樣方法。在本申請的一個(gè)實(shí)施例中，方法還包括：通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的方式來預(yù)先學(xué)習(xí)多個(gè)不同的增采樣方法，其中，訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)包括多個(gè)參數(shù)不同的卷積核，多個(gè)不同的卷積核分別對應(yīng)多個(gè)不同的增采樣方法。在本申請的一個(gè)實(shí)施例中，方法還包括：在生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖之前，過濾掉初始深度圖中的低頻分量。在本申請的一個(gè)實(shí)施例中，根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖包括：合并經(jīng)過增采樣的各子頻帶深度特征圖；根據(jù)合并的子頻帶深度特征圖生成高頻深度圖；以及將低頻分量加至高頻深度圖以生成最終深度圖。在本申請的一個(gè)實(shí)施例中，根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖包括：根據(jù)初始深度圖生成初始深度特征圖；以及分解初始深度特征圖以生成與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖。本申請實(shí)施例提供的生成超分辨率深度圖的技術(shù)方案，在對初始分辨率的深度圖進(jìn)行超分辨率操作時(shí)逐步將深度圖增采樣為具有目標(biāo)分辨率的深度圖，從而避免了將初始分辨率的深度圖直接超分辨率到目標(biāo)分辨率的最終深度圖的過程中出現(xiàn)的特征扭曲和丟失的問題，從而有效地提高了所生成的超分辨率深度圖的質(zhì)量。本申請實(shí)施例的另一方面公開了一種生成超分辨率深度圖的方法，該方法包括：根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖；根據(jù)目標(biāo)分辨率的引導(dǎo)強(qiáng)度圖生成分別與所述多個(gè)子頻帶對應(yīng)的、具有所述目標(biāo)分辨率的多個(gè)子頻帶強(qiáng)度特征圖，目標(biāo)分辨率高于初始深度圖的初始分辨率；根據(jù)所述多個(gè)子頻帶強(qiáng)度特征圖分別增采樣所述多個(gè)子頻帶深度特征圖，以使得所述子頻帶深度特征圖中的每個(gè)具有所述目標(biāo)分辨率；以及根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖。在本申請的一個(gè)實(shí)施例中，增采樣的操作包括：對于不同的子頻帶深度特征圖采用不同的增采樣方法。在本申請的一個(gè)實(shí)施例中，至少一種增采樣方法包括：降采樣多個(gè)子頻帶強(qiáng)度特征圖以生成與多個(gè)中間分辨率對應(yīng)的多個(gè)中間子頻帶強(qiáng)度特征圖，其中，中間分辨率大于或等于初始分辨率且小于或等于目標(biāo)分辨率；以及根據(jù)多個(gè)中間子頻帶強(qiáng)度特征圖將多個(gè)子頻帶深度特征圖分別逐步增采樣為各自分別具有目標(biāo)分辨率。在本申請的一個(gè)實(shí)施例中，方法還包括：通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的方式來預(yù)先學(xué)習(xí)多個(gè)不同的增采樣方法，其中，訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)包括多個(gè)參數(shù)不同的卷積核，多個(gè)不同的卷積核分別對應(yīng)多個(gè)不同的增采樣方法。在本申請的一個(gè)實(shí)施例中，方法還包括：在生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖之前，過濾掉初始深度圖中的低頻分量；以及在生成分別與多個(gè)子頻帶對應(yīng)的、具有目標(biāo)分辨率的多個(gè)子頻帶強(qiáng)度特征圖之前，過濾掉引導(dǎo)強(qiáng)度圖中的低頻分量。在本申請的一個(gè)實(shí)施例中，根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖包括：合并經(jīng)過增采樣的各子頻帶深度特征圖；根據(jù)合并的子頻帶深度特征圖生成高頻深度圖；以及將低頻分量加至高頻深度圖以生成最終深度圖。在本申請的一個(gè)實(shí)施例中，根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖包括：根據(jù)初始深度圖生成初始深度特征圖；以及分解初始深度特征圖以生成與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖。在本申請的一個(gè)實(shí)施例中，根據(jù)目標(biāo)分辨率的引導(dǎo)強(qiáng)度圖生成分別與多個(gè)子頻帶對應(yīng)的、具有目標(biāo)分辨率的多個(gè)子頻帶強(qiáng)度特征圖包括：根據(jù)引導(dǎo)強(qiáng)度圖生成引導(dǎo)強(qiáng)度特征圖；以及分解引導(dǎo)強(qiáng)度特征圖以生成與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖。本申請實(shí)施例提供的生成超分辨率深度圖的技術(shù)方案，對于深度圖中進(jìn)行逐步增采樣，并且以強(qiáng)度圖作為輔助逐步將深度圖增采樣為具有目標(biāo)分辨率，在逐步增采樣過程根據(jù)強(qiáng)度圖補(bǔ)充深度圖的特征，從而有效地提高了所生成的超分辨率深度圖的質(zhì)量。本申請實(shí)施例的另一方面公開了一種生成超分辨率深度圖的裝置，該裝置包括：深度特征圖提取模塊，用于根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖；增采樣模塊，用于根據(jù)目標(biāo)分辨率分別逐步增采樣多個(gè)子頻帶深度特征圖，目標(biāo)分辨率高于初始深度圖的初始分辨率；以及轉(zhuǎn)換模塊，用于根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖。在本申請的一個(gè)實(shí)施例中，增采樣模塊用于對于不同的子頻帶深度特征圖采用不同的增采樣方法。在本申請的一個(gè)實(shí)施例中，增采樣模塊通過訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的方式來預(yù)先學(xué)習(xí)多個(gè)不同的增采樣方法，其中，訓(xùn)練后的卷積神經(jīng)網(wǎng)絡(luò)包括多個(gè)參數(shù)不同的卷積核，多個(gè)不同的卷積核分別對應(yīng)多個(gè)不同的增采樣方法。在本申請的一個(gè)實(shí)施例中，深度特征圖提取模塊在生成與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖之前，過濾掉初始深度圖中的低頻分量。在本申請的一個(gè)實(shí)施例中，轉(zhuǎn)換模塊用于：合并經(jīng)過增采樣的各子頻帶深度特征圖；根據(jù)合并的子頻帶深度特征圖生成高頻深度圖；以及將低頻分量加至高頻深度圖以生成最終深度圖。在本申請的一個(gè)實(shí)施例中，深度特征圖提取模塊用于：根據(jù)初始深度圖生成初始深度特征圖；以及分解初始深度特征圖以生成與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖。本申請實(shí)施例的另一方面公開了一種生成超分辨率深度圖的裝置，該裝置包括：深度特征圖提取模塊，用于根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種生成超分辨率深度圖的方法，包括：根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖；根據(jù)目標(biāo)分辨率分別逐步增采樣所述多個(gè)子頻帶深度特征圖，所述目標(biāo)分辨率高于所述初始深度圖的初始分辨率；以及根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖。
【技術(shù)特征摘要】
1.一種生成超分辨率深度圖的方法，包括：根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖；根據(jù)目標(biāo)分辨率分別逐步增采樣所述多個(gè)子頻帶深度特征圖，所述目標(biāo)分辨率高于所述初始深度圖的初始分辨率；以及根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖。2.如權(quán)利要求1所述的方法，其特征在于，所述增采樣的操作包括：對于不同的子頻帶深度特征圖采用不同的增采樣方法。3.一種生成超分辨率深度圖的方法，包括：根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖；根據(jù)目標(biāo)分辨率的引導(dǎo)強(qiáng)度圖生成分別與所述多個(gè)子頻帶對應(yīng)的、具有所述目標(biāo)分辨率的多個(gè)子頻帶強(qiáng)度特征圖，所述目標(biāo)分辨率高于所述初始深度圖的初始分辨率；根據(jù)所述多個(gè)子頻帶強(qiáng)度特征圖分別增采樣所述多個(gè)子頻帶深度特征圖，以使得所述子頻帶深度特征圖中的每個(gè)具有所述目標(biāo)分辨率；以及根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖。4.如權(quán)利要求3所述的方法，其特征在于，所述增采樣的操作包括：對于不同的子頻帶深度特征圖采用不同的增采樣方法。5.一種生成超分辨率深度圖的裝置，包括：深度特征圖提取模塊，用于根據(jù)初始深度圖生成分別與多個(gè)子頻帶對應(yīng)的多個(gè)子頻帶深度特征圖；增采樣模塊，用于根據(jù)目標(biāo)分辨率分別逐步增采樣所述多個(gè)子頻帶深度特征圖，所述目標(biāo)分辨率高于所述初始深度圖的初始分辨率；以及轉(zhuǎn)換模塊，用于根據(jù)經(jīng)過增采樣的各子頻帶深度特征圖生成最終深度圖。6.如權(quán)利要求5所述的裝置，其特征在于，所述增采樣模塊用于對于不同的子頻帶深度特征圖采用不同的增采樣方法。7.一種生成超分辨率深度圖的裝置，包括：深度特征圖提取模塊，用于根據(jù)初始...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：湯曉鷗，許德唯，呂健勤，
申請(專利權(quán))人：北京市商湯科技開發(fā)有限公司，
類型：發(fā)明
國別省市：北京;11
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。