【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)涉及手寫(xiě)字體生成領(lǐng)域，尤其涉及一種基于resnest和擴(kuò)散模型的手寫(xiě)字體生成方法。
技術(shù)介紹
1、手寫(xiě)字體生成是一項(xiàng)具有重要實(shí)際應(yīng)用和研究?jī)r(jià)值的任務(wù)，旨在模仿書(shū)寫(xiě)者手寫(xiě)風(fēng)格以產(chǎn)生逼真的手寫(xiě)字體，在數(shù)字化文檔處理、個(gè)性化字體設(shè)計(jì)、文化保護(hù)等領(lǐng)域中扮演著重要角色。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，自動(dòng)生成高質(zhì)量、逼真的手寫(xiě)字體對(duì)于提升用戶(hù)體驗(yàn)、降低人工成本具有重要價(jià)值。
2、目前手寫(xiě)字體生成方法在進(jìn)行特征提取時(shí)，未能充分捕捉到字體的細(xì)粒度特征導(dǎo)致生成字體的逼真度不足。
技術(shù)實(shí)現(xiàn)思路
1、為克服現(xiàn)有技術(shù)的不足，有效地提高生成手寫(xiě)字體的質(zhì)量，本專(zhuān)利技術(shù)提出一種基于resnest和擴(kuò)散模型的手寫(xiě)字體生成方法。
2、本專(zhuān)利技術(shù)的技術(shù)方案是這樣實(shí)現(xiàn)的，一種基于resnest和擴(kuò)散模型的手寫(xiě)字體生成方法，包括步驟：
3、s1，使用resnest作為模型提取特征圖的主干網(wǎng)絡(luò)，將特征圖向量輸入到transformer編碼器中進(jìn)行全局特征提取，包括步驟：
4、s11，將輸入x按通道維度c分成k組，使用一個(gè)新的超參數(shù)r表示對(duì)特征圖組實(shí)現(xiàn)進(jìn)一步劃分的splits數(shù)，因此特征組的總數(shù)為g＝kr；
5、s12，對(duì)每個(gè)組使用一系列變換{f1,f2,…fg}，則每組的中間過(guò)程表示為ui＝fi(x)，其中i∈{1,2,...g}；
6、s13，通過(guò)融合操作，將若干基數(shù)組構(gòu)成一個(gè)組合表示，第k個(gè)基數(shù)組可表示為，其中輸出特征圖的形狀可由h,w和c表示
7、s14，使用跨空間維度的全局平均池化來(lái)集合具有嵌入通道統(tǒng)計(jì)數(shù)據(jù)的全局上下文信息；
8、s15，將基數(shù)組表示沿通道維度拼接起來(lái)，再由殘差連接得到最后的輸出；
9、s16，將輸出傳到transformer編碼器中進(jìn)行全局特征提取；
10、s2，使用cnn解碼器和transformer解碼器生成手寫(xiě)字體圖像；
11、s3，將生成的手寫(xiě)字體圖像進(jìn)行加噪處理；
12、s4，使用擴(kuò)散模型從帶噪聲的圖像中預(yù)測(cè)噪聲，計(jì)算出原始圖像；
13、s5，將擴(kuò)散模型生成的手寫(xiě)字體圖像與真實(shí)圖像使用對(duì)比學(xué)習(xí)計(jì)算出兩者的對(duì)比損失函數(shù)，用來(lái)促使生成的圖像向真實(shí)圖像靠攏。
14、進(jìn)一步地，所述s3中降噪處理包括步驟：
15、將生成的字體圖像進(jìn)行加噪處理，從真實(shí)數(shù)據(jù)分布z0開(kāi)始，擴(kuò)散模型在每一步中添加少量噪聲，生成一系列的中間狀態(tài)z1,z2,…,zt，直到數(shù)據(jù)變得接近純?cè)肼暦植紌t，在樣本數(shù)據(jù)中逐步加入噪聲的過(guò)程如公式(1)所述：
16、
17、其中zt為在時(shí)間步長(zhǎng)t∈{0,1,…,t}變換后的噪聲，βs是控制噪聲強(qiáng)度的參數(shù)，并且隨著時(shí)間t的增加而增加，在樣本數(shù)據(jù)中逐步加入噪聲使得zt變成標(biāo)準(zhǔn)正態(tài)分布，zt表示為z0和噪聲變量∈t的線性組合，如公式(2)所示：
18、
19、其中在訓(xùn)練過(guò)程中，神經(jīng)網(wǎng)絡(luò)通過(guò)最小化z0和zt之間的l2損失來(lái)預(yù)測(cè)加入的噪聲，φθ(zt,t)是通過(guò)神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)的均值，損失函數(shù)如公式(3)所示：
20、
21、其中，ldiff是損失函數(shù)，
22、進(jìn)一步地，所述s4包括步驟：在推理過(guò)程中，利用初始噪聲zt，訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)樣本z0實(shí)現(xiàn)迭代去噪操作，所述迭代去噪操作過(guò)程如公式(4)所示：
23、
24、其中表示模型中時(shí)間步t的噪聲方差，定義了反向過(guò)程中每個(gè)時(shí)間步的噪聲水平，通過(guò)少量的分?jǐn)?shù)函數(shù)評(píng)估次數(shù)采樣來(lái)加速模型的去噪過(guò)程。
25、進(jìn)一步地，所述s5包括步驟：使用歸一化溫度標(biāo)度交叉熵?fù)p失(nt-xent)作為對(duì)比損失，通過(guò)計(jì)算經(jīng)過(guò)擴(kuò)散模型處理后生成的字體圖像和真實(shí)圖像之間的對(duì)比損失，從而引導(dǎo)最終生成的字體向真實(shí)字體靠攏，對(duì)比損失如公式(5)所示：
26、
27、其中sim(u,v)表示余弦相似度，τ為溫度參數(shù)，g(z)為經(jīng)過(guò)擴(kuò)散模型去噪操作后生成的字體圖像，x為真實(shí)的字體圖像，n為一個(gè)批次的大小。
28、本專(zhuān)利技術(shù)的有益效果在于，與現(xiàn)有技術(shù)相比，本專(zhuān)利技術(shù)為手寫(xiě)字體生成提供了一種新方法，克服了現(xiàn)有方法生成的字體逼真度不足的問(wèn)題，有效地提高了生成的手寫(xiě)字體質(zhì)量。。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于ResNeSt和擴(kuò)散模型的手寫(xiě)字體生成方法，包括步驟：
2.如權(quán)利要求1所述的基于ResNeSt和擴(kuò)散模型的手寫(xiě)字體生成方法，所述S3中降噪處理包括步驟：
3.如權(quán)利要求1所述的基于ResNeSt和擴(kuò)散模型的手寫(xiě)字體生成方法，所述S4包括步驟：在推理過(guò)程中，利用初始噪聲zt，訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)樣本z0實(shí)現(xiàn)迭代去噪操作，所述迭代去噪操作過(guò)程如公式(4)所示：
4.如權(quán)利要求1所述的基于ResNeSt和擴(kuò)散模型的手寫(xiě)字體生成方法，所述S5包括步驟：使用歸一化溫度標(biāo)度交叉熵?fù)p失(NT-Xent)作為對(duì)比損失，通過(guò)計(jì)算經(jīng)過(guò)擴(kuò)散模型處理后生成的字體圖像和真實(shí)圖像之間的對(duì)比損失，從而引導(dǎo)最終生成的字體向真實(shí)字體靠攏，對(duì)比損失如公式(5)所示：
【技術(shù)特征摘要】
1.一種基于resnest和擴(kuò)散模型的手寫(xiě)字體生成方法，包括步驟：
2.如權(quán)利要求1所述的基于resnest和擴(kuò)散模型的手寫(xiě)字體生成方法，所述s3中降噪處理包括步驟：
3.如權(quán)利要求1所述的基于resnest和擴(kuò)散模型的手寫(xiě)字體生成方法，所述s4包括步驟：在推理過(guò)程中，利用初始噪聲zt，訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)樣本z0實(shí)現(xiàn)...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：趙宏，黃金海，黨育，安定，黃黛麟，劉雯君，李丹，劉澤，楊默涵，陳青峰，
申請(qǐng)(專(zhuān)利權(quán))人：蘭州理工大學(xué)，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。