本申請屬于人工智能和大數據領域，應用于金融/醫療領域中，涉及一種流模型的圖片生成方法，包括響應于接收的有關圖片類型的標簽文本，生成標簽文本的文本向量；獲取滿足先驗分布的向量樣本集，從向量樣本集中隨機提取第一特征向量；將第一特征向量和文本向量結合，并輸入預訓練的流模型中，生成與第一特征向量對應的第二特征向量；獲取與第二特征向量對應的圖片。本申請還提供流模型的圖片生成裝置、計算機設備及存儲介質。本申請可以提高圖片的生成效率。
【技術實現步驟摘要】
本申請涉及人工智能和大數據，尤其涉及一種基于流模型的圖片生成方法、裝置、設備及存儲介質。
技術介紹
1、業內在圖片生成的應用中一般使用對抗神經網絡gan的模型算法，gan的算法模型可解釋性較差：gan不是概率模型，是通過網絡完成的，是隱式的，所以不知道它到底學到了什么，不知道其遵循了什么分布訓練時不穩定：因為要同時訓練兩個網絡，就有需要平衡的問題，訓練不好的話容易模型坍塌，生成圖片時候的多樣性較差。后續雖然有改進的版本，例如cgan，帶條件輸入的對抗神經網絡，可以通過輸入來控制輸出的風格類型或者圖片內容，但同樣面臨訓練不穩定的問題。
2、近年來，擴散模型(stab?l?e?d?i?ffus?i?on)比較流行，這個模型通過對輸入圖片正向加噪再反向去噪還原輸入圖片來訓練網絡參數。擴散模型的缺點是速度慢，擴散模型本身其實是基于馬爾科夫過程，在訓練和推理的時候都需要進行很多步驟導致速度效率低。
技術實現思路
1、本申請實施例的目的在于提出一種基于流模型的圖片生成方法、裝置、計算機設備及存儲介質，其主要目的可以提高圖片的生成效率。
2、為了解決上述技術問題，本申請實施例提供一種基于流模型的圖片生成方法，采用了如下所述的技術方案：
3、一種基于流模型的圖片生成方法，包括下述步驟：
4、響應于接收的有關圖片類型的標簽文本，生成所述標簽文本的文本向量；
5、獲取滿足先驗分布的向量樣本集，從所述向量樣本集中隨機提取第一特征向量；
<
p>6、將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量；7、基于所述第二特征向量生成對應的圖片。
8、進一步的，所述將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量包括下述步驟：
9、將所述文本向量作為一個塊向量；
10、將所述文本向量對應的所述塊向量與包括n個塊特征向量的所述第一特征向量結合，得到包括n+1個塊向量的結合向量；
11、將所述結合向量輸入所述預訓練的流模型中，生成與所述第一特征向量對應的所述第二特征向量。
12、進一步的，所述生成所述標簽文本的文本向量的步驟，具體包括下述步驟：
13、獲取預訓練的one?hot模型；
14、將所述標簽文本輸入所述預訓練的one?hot模型中，生成基于one-hot向量表示的所述文本向量；其中，所述文本向量與每個所述塊特征向量的維度相同。
15、進一步的，所述將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量之前，還包括下述步驟：
16、從圖片訓練樣本集中抽取當前樣本圖片；
17、對所述當前樣本圖片進行特征編碼，得到當前第二特征向量樣本；
18、將所述當前第二特征向量樣本反向輸入流模型中，生成當前第一特征向量樣本；
19、以所述當前第一特征向量樣本滿足所述先驗分布為基準，調整所述流模型的當前參數，直到滿足預設終止條件，以得到所述預訓練的流模型。
20、進一步的，所述對所述當前樣本圖片進行特征編碼包括下述步驟：
21、將所述當前樣本圖片分割成大小相等的n個圖像塊；其中，n為大于等于2的整數；
22、將所述n個圖像塊依序連接，并輸入預訓練的塊向量生成模型，生成包括n個塊特征向量的所述當前第二特征向量樣本；
23、基于最大池化法，將所有的所述塊特征向量的每個維度的最大值作為所述當前第二特征向量樣本對應的各維度的值；
24、將表征所述當前樣本圖片的圖像類型的樣本標簽文本對應的樣本文本向量作為所述當前第二特征向量樣本的第一個塊特征向量。
25、進一步的，所述以所述當前第一特征向量樣本滿足所述先驗分布為基準，調整所述流模型的當前參數包括下述步驟：
26、將所述第一特征向量的每個維度的值作為先驗分布函數的輸入，得到每個維度對應的輸出值；
27、計算每個所述輸出值相對于標準值的損失值；
28、對所有的所述損失值求和，得到總損失值；
29、基于所述總損失值，調整所述流模型的參數；或，
30、當所述先驗分布為高斯分布，所述以所述當前第一特征向量樣本滿足所述先驗分布為基準，調整所述流模型的當前參數包括下述步驟：
31、將所述第一特征向量的每個維度的值作為高斯分布函數(1)的輸入，得到每個維度對應的輸出值；
32、
33、其中，μ為均值，σ為標準差，標準高斯分布的均值為0，標準差為1；
34、用1減去所述輸出值，得到每個所述輸出值對應的損失值；
35、對所有的所述損失值求和，得到總損失值；
36、基于所述總損失值，調整所述流模型的參數。
37、進一步的，所述將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量包括下述步驟：
38、將所述第一特征向量輸入所述流模型的耦合層，以將所述第一特征向量分為前d個向量和后d個向量；
39、復制所述第一特征向量中的前d個向量作為第二特征向量的前d個向量；
40、將所述第一特征向量的前d個向量經過第一轉換層，得到第一轉換向量；
41、將所述第一特征向量的前d個向量經過第二轉換層，得到第二轉換向量；
42、將所述第一特征向量的后d個向量與所述第一轉換向量做點積，再加上所述第二轉換向量，生成第二特征向量的后d個向量；
43、將所述第二特征向量的前d個向量與所述第二特征向量的后d個向量結拼接，得到所述的第二特征向量。
44、為了解決上述技術問題，本申請實施例還提供一種基于流模型的圖片生成裝置，采用了如下所述的技術方案：
45、一種基于流模型的圖片生成裝置，包括：
46、文本生成模塊，用于響應于接收的有關圖片類型的標簽文本，生成所述標簽文本的文本向量；
47、向量提取模塊，用于獲取滿足先驗分布的向量樣本集，從所述向量樣本集中隨機提取第一特征向量；
48、向量生成模塊，用于將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量；
49、圖片生成模塊，用于生成基于所述第二特征向量生成對應的圖片。
50、為了解決上述技術問題，本申請實施例還提供一種計算機設備，采用了如下所述的技術方案：
51、一種計算機設備，包括存儲器和處理器，所述存儲器中存儲有計算機可讀指令，所述處理器執行所述計算機可讀指令時實現如上面任一項所述的基于流模型的圖片生成方法的步驟。
52、為了解決上述技術問題，本申請實施例還本文檔來自技高網
...
【技術保護點】
1.一種基于流模型的圖片生成方法，其特征在于，包括下述步驟：
2.根據權利要求1所述的基于流模型的圖片生成方法，其特征在于，所述將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量包括下述步驟：
3.根據權利要求2所述的基于流模型的圖片生成方法，其特征在于，所述生成所述標簽文本的文本向量的步驟，具體包括下述步驟：
4.根據權利要求1或2所述的基于流模型的圖片生成方法，其特征在于，所述將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量之前，還包括下述步驟：
5.根據權利要求4所述的基于流模型的圖片生成方法，其特征在于，所述對所述當前樣本圖片進行特征編碼包括下述步驟：
6.根據權利要求4所述的基于流模型的圖片生成方法，其特征在于，所述以所述當前第一特征向量樣本滿足所述先驗分布為基準，調整所述流模型的當前參數包括下述步驟：
7.根據權利要求1或2所述的基于流模型的圖片生成方法，其特征在于，所述將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量包括下述步驟：
8.一種基于流模型的圖片生成裝置，其特征在于，包括：
9.一種計算機設備，其特征在于，包括存儲器和處理器，所述存儲器中存儲有計算機可讀指令，所述處理器執行所述計算機可讀指令時實現如權利要求1至7中任一項所述的基于流模型的圖片生成方法的步驟。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機可讀指令，所述計算機可讀指令被處理器執行時實現如權利要求1至7中任一項所述的基于流模型的圖片生成方法的步驟。
...
【技術特征摘要】
1.一種基于流模型的圖片生成方法，其特征在于，包括下述步驟：
2.根據權利要求1所述的基于流模型的圖片生成方法，其特征在于，所述將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量包括下述步驟：
3.根據權利要求2所述的基于流模型的圖片生成方法，其特征在于，所述生成所述標簽文本的文本向量的步驟，具體包括下述步驟：
4.根據權利要求1或2所述的基于流模型的圖片生成方法，其特征在于，所述將所述文本向量與所述第一特征向量結合，并輸入預訓練的流模型中，生成與所述第一特征向量對應的第二特征向量之前，還包括下述步驟：
5.根據權利要求4所述的基于流模型的圖片生成方法，其特征在于，所述對所述當前樣本圖片進行特征編碼包括下述步驟：
6.根據權利要求4所述的基于流模型的圖片生成...
【專利技術屬性】
技術研發人員：舒暢，陳又新，
申請(專利權)人：平安科技深圳有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。