【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)的交叉，具體涉及一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法、系統(tǒng)、設(shè)備和介質(zhì)。
技術(shù)介紹
1、場(chǎng)景草圖生成任務(wù)是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究方向。場(chǎng)景草圖相關(guān)的應(yīng)用也十分廣泛，比如3d場(chǎng)景的手繪場(chǎng)景草圖建模能夠幫助建筑設(shè)計(jì)師分析、設(shè)計(jì)和展示自己的成果；在游戲領(lǐng)域，通過(guò)設(shè)想的場(chǎng)景草圖，游戲場(chǎng)景設(shè)計(jì)師能夠根據(jù)場(chǎng)景草圖快速搭建精美的游戲場(chǎng)景，這樣可以大幅度降低游戲開(kāi)發(fā)成本，提高開(kāi)發(fā)效率。因此，對(duì)于場(chǎng)景的手繪草圖的生成是一個(gè)非常有前景的研究課題。但同時(shí)，場(chǎng)景草圖生成也是一個(gè)非常具有挑戰(zhàn)性的任務(wù)，一個(gè)場(chǎng)景中可能包含著單一物體簡(jiǎn)單背景、單一物體復(fù)雜背景以及多個(gè)物體復(fù)雜背景等各種前景和背景的交叉關(guān)系組成，因此想要計(jì)算機(jī)能夠理解這種復(fù)雜的場(chǎng)景關(guān)系并生成合理的草圖是非常困難的。
2、現(xiàn)有的草圖相關(guān)的工作主要都是基于深度學(xué)習(xí)的方法，利用卷積神經(jīng)網(wǎng)絡(luò)來(lái)提取原始圖像以及草圖的圖像特征。這些方法相比于傳統(tǒng)的草圖生成算法，可以生成質(zhì)量更高的草圖。但是，現(xiàn)有的方法也存在一些局限性，例如：草圖生成僅僅關(guān)注單個(gè)物體，并沒(méi)有將生成任務(wù)擴(kuò)大到場(chǎng)景級(jí)別上；現(xiàn)有方法在技術(shù)層面上大多采用邊緣檢測(cè)的方法來(lái)提取原始圖像的邊緣信息，導(dǎo)致生成的草圖在視覺(jué)上更多地傳達(dá)物體的幾何特征，無(wú)法突出語(yǔ)義特征。
3、公開(kāi)號(hào)為cn106126581b的專利申請(qǐng)文件，公開(kāi)了一種基于深度學(xué)習(xí)的手繪草圖圖像檢索方法，該專利技術(shù)通過(guò)邊緣輪廓檢測(cè)技術(shù)和非極大值抑制技術(shù)實(shí)現(xiàn)彩色圖像到類草圖圖像的轉(zhuǎn)換，之后利用深度學(xué)習(xí)技術(shù)來(lái)學(xué)習(xí)待查詢草圖和
4、公開(kāi)號(hào)為cn108009286a的專利申請(qǐng)文件，公開(kāi)了一種基于深度學(xué)習(xí)的草圖檢索方法，該專利技術(shù)采用計(jì)算常規(guī)圖片邊緣概率圖并獲取邊緣概率描述子的方法實(shí)現(xiàn)彩色常規(guī)圖到類手繪圖像的轉(zhuǎn)換，之后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)建立手繪圖像所需的特征庫(kù)來(lái)進(jìn)行后續(xù)的檢索任務(wù)，提高了檢索的準(zhǔn)確率。但是該方法給出的草圖同樣只有單個(gè)物體，無(wú)法草圖生成任務(wù)擴(kuò)大到場(chǎng)景級(jí)別上，同時(shí)還具備使用邊緣信息生成草圖方法共有的缺點(diǎn)，即無(wú)法突出物體的語(yǔ)義信息，并且生成的草圖不具備多樣性。
技術(shù)實(shí)現(xiàn)思路
1、針對(duì)當(dāng)前的場(chǎng)景草圖生成算法無(wú)法生成符合人類手繪草圖特征的不足，以及其結(jié)果草圖對(duì)于原場(chǎng)景圖像信息的反映的局限性，本專利技術(shù)的目的在于提供一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法、系統(tǒng)、設(shè)備和介質(zhì)，通過(guò)引入基于transformer架構(gòu)的場(chǎng)景布局建模模塊，使得最終生成的場(chǎng)景草圖符合人類手繪草圖的對(duì)應(yīng)位置松散的特征，通過(guò)引入單個(gè)物體草圖生成模塊，使用融合條件來(lái)控制擴(kuò)散模型的生成過(guò)程，有效監(jiān)督生成過(guò)程，提高了模型輸出結(jié)果的質(zhì)量，通過(guò)引入草圖矢量化模塊，有效地展示出人類手繪場(chǎng)景草圖時(shí)詳略得當(dāng)?shù)奶卣鳎⑹沟媒Y(jié)果可編輯化輸出，最終通過(guò)將各個(gè)模塊連接到一起，共同組成一個(gè)由場(chǎng)景圖像到多樣化、可編輯的手繪場(chǎng)景草圖的生成模型，使得最終生成的場(chǎng)景草圖具備場(chǎng)景級(jí)別的手繪抽象特性，同時(shí)在布局和物體形態(tài)上顯示出多樣性。
2、為了實(shí)現(xiàn)上述目的，本專利技術(shù)采取的技術(shù)方案是：
3、一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，包括以下步驟：
4、步驟1，場(chǎng)景圖像預(yù)處理，得到預(yù)處理后的場(chǎng)景圖像中的單個(gè)物體的圖像草圖圖像對(duì)；
5、步驟2，構(gòu)建場(chǎng)景圖像全景分割模塊、場(chǎng)景布局建模模塊、單個(gè)物體草圖生成模塊、草圖矢量化模塊以及場(chǎng)景草圖組合模塊；其中：
6、場(chǎng)景圖像全景分割模塊用于將輸入的場(chǎng)景圖像進(jìn)行全景分割，將場(chǎng)景圖像的場(chǎng)景級(jí)信息轉(zhuǎn)換為物體級(jí)別的信息，輸出原場(chǎng)景圖像的語(yǔ)義布局、輸入的場(chǎng)景圖像中所有物體的類別以及對(duì)應(yīng)的物體實(shí)例分割圖和背景分割圖；
7、場(chǎng)景布局建模模塊用于對(duì)原場(chǎng)景圖像的語(yǔ)義布局進(jìn)行預(yù)測(cè)并生成多個(gè)場(chǎng)景圖像布局；
8、單個(gè)物體草圖生成模塊用于生成輸入場(chǎng)景圖像中的像素級(jí)的單個(gè)物體草圖，并實(shí)現(xiàn)同一物體對(duì)應(yīng)多種多樣形態(tài)的物體草圖；
9、草圖矢量化模塊用于將場(chǎng)景圖像中的像素級(jí)的單個(gè)物體草圖變成單個(gè)物體的矢量化草圖；
10、場(chǎng)景草圖組合模塊用于將單個(gè)物體的矢量化草圖根據(jù)生成的多個(gè)場(chǎng)景圖像布局組合為多個(gè)場(chǎng)景草圖；
11、步驟3，對(duì)步驟2構(gòu)建的場(chǎng)景布局建模模塊和單個(gè)物體草圖生成模塊進(jìn)行模型訓(xùn)練；
12、步驟4，基于步驟2構(gòu)建的場(chǎng)景圖像全景分割模塊、草圖矢量化模塊和場(chǎng)景草圖組合模塊，以及步驟3訓(xùn)練完成的場(chǎng)景布局建模模塊和單個(gè)物體草圖生成模塊，構(gòu)建完整的場(chǎng)景草圖生成模型。
13、所述步驟1的具體方法為：
14、步驟1.1，針對(duì)場(chǎng)景圖像中的多個(gè)物體，以及物體對(duì)應(yīng)的草圖，將物體及其對(duì)應(yīng)的草圖一一對(duì)應(yīng)，構(gòu)成單個(gè)物體的圖像草圖對(duì)，物體草圖作為真實(shí)目標(biāo)圖像；
15、步驟1.2，通過(guò)pytorch深度學(xué)習(xí)圖像處理庫(kù)工具對(duì)步驟1.1中得到的單個(gè)物體的圖像草圖對(duì)進(jìn)行讀取，在輸入單個(gè)物體草圖生成模塊之前將單個(gè)物體的圖像草圖對(duì)的形狀調(diào)整至單個(gè)物體草圖圖像生成模塊所需大小；同時(shí)對(duì)單個(gè)物體的圖像草圖對(duì)進(jìn)行歸一化處理，輸入的圖像數(shù)據(jù)色值范圍從[0～255]的整型數(shù)值映射到[-1～1]的浮點(diǎn)數(shù)值，得到預(yù)處理后的單個(gè)物體的圖像草圖圖像對(duì)。
16、所述步驟2的具體方法為：
17、步驟2.1，場(chǎng)景圖像全景分割模塊包括一個(gè)全景分割網(wǎng)絡(luò)模型，全景分割網(wǎng)絡(luò)模型用于將輸入的場(chǎng)景圖像進(jìn)行全景分割，得到原場(chǎng)景圖像的語(yǔ)義布局、輸入的場(chǎng)景圖像中所有物體的類別以及對(duì)應(yīng)的物體實(shí)例分割圖和背景分割圖；
18、步驟2.2，場(chǎng)景布局建模模塊包括一個(gè)基于transformer架構(gòu)的網(wǎng)絡(luò)模型，基于transformer架構(gòu)的網(wǎng)絡(luò)模型中包括多個(gè)transformer?layer，每個(gè)transformer?layer由兩個(gè)layernorm歸一化層、causal自注意力層以及一個(gè)mlp多層感知器組成；所述mlp多層感知器由linear線性層、gelu激活層以及l(fā)inear線性層組成；通過(guò)輸入步驟2.1得到的原場(chǎng)景圖像的語(yǔ)義布局中的一個(gè)起始布局信息元素，所述transformer?layer預(yù)測(cè)下一個(gè)可能的場(chǎng)景布局信息元素，最終輸出由原場(chǎng)景圖像的語(yǔ)義布局預(yù)測(cè)的多個(gè)場(chǎng)景圖像布局；
19、步驟2.3，單個(gè)物體草圖生成模塊包括一個(gè)自編碼模型以及一個(gè)基于條件的擴(kuò)散生成模型，所述基于條件的擴(kuò)散生成模型輸入為步驟2.1得到的輸入的場(chǎng)景圖像中所有物體的類別以及對(duì)應(yīng)的物體實(shí)例分割圖，所述單個(gè)物體草圖生成模塊輸出為輸入場(chǎng)景圖像中的像素級(jí)的單個(gè)物體草圖；
20、步驟2.4本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，所述步驟1的具體方法為：
3.根據(jù)權(quán)利要求1所述的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，所述步驟2的具體方法為：
4.根據(jù)權(quán)利要求1所述的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，所述步驟3的具體方法為：
5.根據(jù)權(quán)利要求1所述的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，所述步驟4的具體方法為：
6.根據(jù)權(quán)利要求3所述的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，所述步驟2.3中的自編碼模型和基于條件的擴(kuò)散生成模型具體包括：
7.基于權(quán)利要求1至6任一項(xiàng)所述方法的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯系統(tǒng)，其特征在于，包括：
8.一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯設(shè)備，其特征在于，包括：
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在
...【技術(shù)特征摘要】
1.一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，所述步驟1的具體方法為：
3.根據(jù)權(quán)利要求1所述的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，所述步驟2的具體方法為：
4.根據(jù)權(quán)利要求1所述的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，所述步驟3的具體方法為：
5.根據(jù)權(quán)利要求1所述的一種基于語(yǔ)義布局驅(qū)動(dòng)的場(chǎng)景手繪草圖生成和編輯方法，其特征在于，所述步驟4的具體方法...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：喬曉田，張九州，馮同輝，夏小芳，崔江濤，
申請(qǐng)(專利權(quán))人：西安電子科技大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。