【技術(shù)實現(xiàn)步驟摘要】
本申請涉及圖像處理，特別是涉及一種圖像生成模型的訓(xùn)練方法及圖像生成方法。
技術(shù)介紹
1、通常，為了阻隔紅外線產(chǎn)生的熱量，以及減少紫外線對空間內(nèi)人員的傷害，可以在空間所設(shè)置的用于透光的窗戶所安裝的玻璃內(nèi)側(cè)進行貼膜，例如，為了提升乘客的乘車體驗，可以在車輛前擋風(fēng)玻璃內(nèi)側(cè)進行貼膜等。進而，當(dāng)對貼膜的窗戶進行圖像采集時，由于自然光的折射、反射等原因，往往可能在所采集到的圖像中形成彩虹紋，以遮擋圖像中的面部圖像、物體圖像等，降低圖像識別的準(zhǔn)確率。
2、以貼有車膜的車窗為例，當(dāng)自然光照射到車窗表面時，一部分光線在車窗表面反射，而另一部分光線穿過車窗玻璃到達(dá)車窗內(nèi)側(cè)所貼的車膜。其中，上述到達(dá)車膜的光線為部分偏振光，其一部分發(fā)生晶體雙折射后射回車外，另一部分穿過車膜射入到車內(nèi)，并在經(jīng)過車內(nèi)物體的反射后射回車外，而上述射回車外的光線可以被圖像采集設(shè)備的鏡頭所接收。而上述發(fā)生晶體雙折射后射回車外的光，在經(jīng)過鏡頭所設(shè)置的ir（infrared，紅外）偏振片時，可以發(fā)生干涉現(xiàn)象在所采集到的車窗圖像中形成彩虹紋。
3、通常，可以將不存在彩虹紋的圖像稱為干凈圖像，而將存在彩虹紋的圖像稱為彩虹紋圖像。例如，如圖3（a）為干凈圖像，而如圖3（b）和圖3（c）為彩虹紋圖像。由于彩虹紋圖像中的彩虹紋會遮擋圖像背景層中的人物、物體等對象的細(xì)節(jié)，因此，在圖像識別場景下，為了提高圖像識別的準(zhǔn)確率，需要訓(xùn)練用于消除彩虹紋圖像中的彩虹紋的圖像處理模型，而為了訓(xùn)練上述圖像處理模型，需要提前獲取大量的彩虹紋圖像，基于此，如何訓(xùn)練得到的一圖像生成模型，以生
技術(shù)實現(xiàn)思路
1、本申請實施例的目的在于提供一種圖像生成模型的訓(xùn)練方法及圖像生成方法，以訓(xùn)練得到的一圖像生成模型，以生成具有較高保真度的彩虹紋車窗圖像。具體技術(shù)方案如下：
2、第一方面，本申請實施例提供了一種圖像生成模型的訓(xùn)練方法，所述方法包括：
3、獲取第一樣本圖像；其中，所述第一樣本圖像為干凈圖像；
4、將所述第一樣本圖像輸入待訓(xùn)練的圖像生成模型，以使所述圖像生成模型對所述第一樣本圖像進行編碼，得到圖像特征向量，基于所述圖像特征向量，利用預(yù)設(shè)的干凈圖像先驗碼本，預(yù)測干凈圖像編碼，并基于所述圖像特征向量，利用預(yù)設(shè)的彩虹紋圖像先驗碼本，預(yù)測彩虹紋圖像編碼，對所述干凈圖像編碼和所述彩虹紋圖像編碼進行對比，得到背景層編碼和彩虹紋層編碼，對所述背景層編碼和所述彩虹紋層編碼進行編碼融合，得到目標(biāo)彩虹紋圖像編碼，對所述目標(biāo)彩虹紋圖像編碼進行解碼，得到彩虹紋圖像；
5、基于所述第一樣本圖像和所述彩虹紋圖像，計算第一損失值，并基于所述第一損失值，調(diào)整所述圖像生成模型的模型參數(shù)；
6、其中，所述干凈圖像先驗碼本是離散向量生成模型對預(yù)先獲取的干凈圖像進行離散向量編碼得到的離散向量碼本，所述彩虹紋圖像先驗碼本是所述離散向量生成模型對預(yù)先獲取的彩虹紋圖像進行離散向量編碼得到的離散向量碼本；所述離散向量生成模型是利用第二樣本圖像，對待訓(xùn)練的離散向量生成模型進行訓(xùn)練得到的；所述第二樣本圖像包括：干凈圖像和彩虹紋圖像。
7、可選的，一種具體實現(xiàn)方式中，所述圖像生成模型包括transforemer模塊；
8、所述圖像生成模型基于所述圖像特征向量，利用預(yù)設(shè)的干凈圖像先驗碼本，預(yù)測干凈圖像編碼，并基于所述圖像特征向量，利用預(yù)設(shè)的彩虹紋圖像先驗碼本，預(yù)測彩虹紋圖像編碼，包括：
9、利用所述transforemer模塊對所述圖像特征向量進行特征計算，得到所述圖像特征向量對應(yīng)的編碼序列；
10、針對每個編碼序列，在預(yù)設(shè)的干凈圖像先驗碼本中，檢索與該編碼序列的相似度最高的干凈車窗代碼項，并利用所檢索到的所述干凈車窗代碼項，對該編碼序列進行預(yù)測，得到干凈圖像編碼；
11、針對每個編碼序列，在預(yù)設(shè)的彩虹紋圖像先驗碼本中，檢索與該編碼序列的相似度最高的彩虹紋車窗代碼項，并利用所檢索到的所述彩虹紋車窗代碼項，對該編碼序列進行預(yù)測，得到彩虹紋圖像編碼。
12、可選的，一種具體實現(xiàn)方式中，所述transforemer模塊包括：多個自注意力子模塊；
13、所述利用所述transforemer模塊對所述圖像特征向量進行特征計算，得到所述圖像特征向量對應(yīng)的編碼序列，包括：
14、基于所述圖像特征向量，依次利用所述多個自注意力子模塊進行指定計算，得到最后一個自注意力模塊輸出的計算結(jié)果；
15、利用線性層將所述計算結(jié)果投影到與所述圖像特征向量的維度相匹配的特定維度，得到所述圖像特征向量對應(yīng)的編碼序列；其中，所述特定維度為：，表示與的乘積，所述圖像特征向量的維度為。
16、可選的，一種具體實現(xiàn)方式中，每個自注意力子模塊基于所述圖像特征向量進行指定計算的方式，包括：
17、每個自注意力子模塊利用第一公式基于所述圖像特征向量進行指定計算；其中，所述第一公式為：
18、；
19、其中，為所述圖像特征向量，為第s個自注意力自模塊的計算結(jié)果，為第s+1個自注意力自模塊的計算結(jié)果，0≤s≤m-1，m為所述多個自注意力子模塊的數(shù)量；為的query值，為的key值，為的value值。
20、可選的，一種具體實現(xiàn)方式中，所述圖像生成模型對所述干凈圖像編碼和所述彩虹紋圖像編碼進行對比，得到背景層編碼和彩虹紋層編碼，對所述背景層編碼和所述彩虹紋層編碼進行編碼融合，得到目標(biāo)彩虹紋圖像編碼，包括：
21、利用第二公式，計算滿足優(yōu)化目標(biāo)的目標(biāo)彩虹紋圖像編碼；
22、其中，所述第二公式為：
23、；
24、其中，為所述目標(biāo)彩虹紋圖像編碼，為所述彩虹紋圖像編碼中的第個編碼序列，是所述彩虹紋圖像編碼中的第個編碼序列，為所述干凈圖像編碼中的第個編碼序列，是所述干凈圖像編碼中的第個編碼序列，為預(yù)設(shè)參數(shù)，n為預(yù)設(shè)的碼本維度；
25、所述優(yōu)化目標(biāo)為：
26、+；
27、其中，為所述目標(biāo)彩虹紋圖像編碼，是預(yù)設(shè)的自洽數(shù)據(jù)保真度且，為所述干凈圖像先驗碼本，為所述彩虹紋圖像先驗碼本，為的權(quán)重系數(shù)，為的權(quán)重系數(shù)。
28、可選的，一種具體實現(xiàn)方式中，所述離散向量生成模型的訓(xùn)練方式，包括：
29、獲取第二樣本圖像；其中，所述第二樣本圖像包括：干凈圖像和彩虹紋圖像；
30、針對每個第二樣本圖像，執(zhí)行如下步驟：
31、將該第二樣本圖像輸入待訓(xùn)練的離散向量生成模型，以使所述離散向量生成模型對該第二樣本圖像進行編碼，得到該第二樣本圖像的中間特征向量，在預(yù)設(shè)離散向量碼本中，檢索與所述中間特征向量的每一個編碼位置距離最近的離散向量，利用所檢索到的離散向量，生成該第二樣本圖像的離散編碼向量，對所述離散編碼向量進行解碼，得到該第二樣本圖像對應(yīng)的重建圖像；其中，所述預(yù)設(shè)離散向量碼本記錄有已生成的第二樣本圖像的離本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種圖像生成模型的訓(xùn)練方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像生成模型包括Transforemer模塊；
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述Transforemer模塊包括：多個自注意力子模塊；
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，每個自注意力子模塊基于所述圖像特征向量進行指定計算的方式，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像生成模型對所述干凈圖像編碼和所述彩虹紋圖像編碼進行對比，得到背景層編碼和彩虹紋層編碼，對所述背景層編碼和所述彩虹紋層編碼進行編碼融合，得到目標(biāo)彩虹紋圖像編碼，包括：
6.根據(jù)權(quán)利要求1-5任一項所述的方法，其特征在于，所述離散向量生成模型的訓(xùn)練方式，包括：
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述基于所述第一損失值，調(diào)整所述圖像生成模型的模型參數(shù)之前，所述方法還包括：
8.一種圖像生成方法，其特征在于，所述方法包括：
9.一種圖像生成模型的訓(xùn)練裝置，其特征在于，所述裝置包
10.一種圖像生成裝置，其特征在于，所述裝置包括：
11.一種圖像生成方法，其特征在于，所述方法包括：
12.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)內(nèi)存儲有計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)權(quán)利要求1-8任一所述的方法。
...【技術(shù)特征摘要】
1.一種圖像生成模型的訓(xùn)練方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像生成模型包括transforemer模塊；
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述transforemer模塊包括：多個自注意力子模塊；
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，每個自注意力子模塊基于所述圖像特征向量進行指定計算的方式，包括：
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述圖像生成模型對所述干凈圖像編碼和所述彩虹紋圖像編碼進行對比，得到背景層編碼和彩虹紋層編碼，對所述背景層編碼和所述彩虹紋層編碼進行編碼融合，得到目標(biāo)彩虹紋圖像編碼，包括：
6....
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭海濤，彭懷亮，
申請(專利權(quán))人：杭州海康威視數(shù)字技術(shù)股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。