【技術實現步驟摘要】
本申請屬于人工智能，具體涉及一種圖像處理方法及裝置、電子設備和可讀存儲介質。
技術介紹
1、用戶拍攝的照片，可能會出現表情不好、姿勢不好等問題，由于用戶后續想復刻當時的場景又比較困難，且修圖的成本比較高，因此，用戶希望能夠通過簡單的文字輸入來編輯用戶的人像。比如，通過直接輸入：苦瓜臉變微笑，編輯工具就能實現用戶的編輯意圖。
2、隨著aigc(ai-generated?content，人工智能創作內容)技術的發展，目前已經存在借助生成式ai(artificial?intelligence，人工智能)大模型，通過基于擴散模型的圖像編輯算法來智能編輯圖像的方案。
3、然而，現有的圖像編輯算法存在生成圖像質量差、生成內容一致性差以及指令跟隨性不足等缺陷，使得智能生成的圖像效果較差。
技術實現思路
1、本申請實施例的目的是提供一種圖像處理方法及裝置、電子設備和可讀存儲介質，能夠提高智能生成的圖像效果。
2、第一方面，本申請實施例提供了一種圖像處理方法，該方法包括：接收第一圖像和提示信息，提示信息包括生成指令信息；根據第一圖像和生成指令信息，確定第一掩膜圖像；根據第一掩膜圖像確定第二掩膜圖像；根據第一圖像、第二掩膜圖像和提示信息，生成第二圖像；對第一圖像和第二圖像進行融合處理，得到第三圖像。
3、第二方面，本申請實施例提供了一種圖像處理裝置，該裝置包括：接收單元，用于接收第一圖像和提示信息，提示信息包括生成指令信息；處理單元，用于根據第一圖像和生
4、第三方面，本申請實施例提供了一種電子設備，該電子設備包括處理器和存儲器，存儲器存儲可在處理器上運行的程序或指令，程序或指令被處理器執行時實現如第一方面的圖像處理方法的步驟。
5、第四方面，本申請實施例提供了一種可讀存儲介質，該可讀存儲介質上存儲有程序或指令，程序或指令被處理器執行時實現如第一方面的圖像處理方法的步驟。
6、第五方面，本申請實施例提供了一種芯片，該芯片包括處理器和通信接口，通信接口和處理器耦合，處理器用于運行程序或指令，實現如第一方面的圖像處理方法的步驟。
7、第六方面，本申請實施例提供一種計算機程序產品，該程序產品被存儲在存儲介質中，該程序產品被至少一個處理器執行以實現如第一方面的圖像處理方法的步驟。
8、在本申請實施例提供的圖像處理方法中，接收第一圖像和提示信息，提示信息包括生成指令信息；根據第一圖像和生成指令信息，確定第一掩膜圖像；根據第一掩膜圖像確定第二掩膜圖像；根據第一圖像、第二掩膜圖像和提示信息，生成第二圖像；對第一圖像和第二圖像進行融合處理，得到第三圖像。通過上述圖像處理方法，基于用戶輸入的第一圖像以及生成指令信息，確定第一掩膜圖像，進而確定待編輯的第二掩膜圖像，基于此，根據用戶輸入的第一圖像、提示信息以及待編輯的第二掩膜圖像，智能生成符合用戶要求的初始圖像即第二圖像，并通過對原始的第一圖像以及智能生成的第二圖像進行融合，得到最終的第三圖像。這樣，根據用戶提示以及可編輯的掩膜圖像對圖像進行智能編輯，能夠在保持原始圖像信息的同時，實現更加靈活的圖像編輯，并且，通過融合原始圖像和生成圖像，能夠減少生成圖像的色差，保證了智能生成圖像過程中對用戶指令的跟隨性，保證了生成內容的一致性，提高了智能生成圖像的質量，提高了智能生成的圖像效果。
本文檔來自技高網...【技術保護點】
1.一種圖像處理方法，其特征在于，包括：
2.根據權利要求1所述的圖像處理方法，其特征在于，所述根據所述第一圖像和所述生成指令信息，確定第一掩膜圖像，包括：
3.根據權利要求2所述的圖像處理方法，其特征在于，所述對所述第一圖像進行人臉檢測和人臉分割，得到第三掩膜圖像，包括：
4.根據權利要求3所述的圖像處理方法，其特征在于，所述在所述目標人臉框的尺寸不符合第一條件的情況下，通過第一處理調整所述目標人臉框的尺寸，包括：
5.根據權利要求2所述的圖像處理方法，其特征在于，所述根據所述第三掩膜圖像和所述實體名詞，確定所述第一掩膜圖像，包括：
6.根據權利要求1至5中任一項所述的圖像處理方法，其特征在于，所述根據所述第一圖像、所述第二掩膜圖像和所述提示信息，生成第二圖像，包括：
7.根據權利要求6所述的圖像處理方法，其特征在于，所述提示信息還包括期望圖像信息，所述根據所述提示信息確定第一圖像特征，包括：
8.根據權利要求6所述的圖像處理方法，其特征在于，所述根據所述第一圖像和所述第二掩膜圖像，確定第二圖像
9.根據權利要求8所述的圖像處理方法，其特征在于，所述根據所述第一圖像和所述第二掩膜圖像確定第四圖像，包括：
10.根據權利要求6所述的圖像處理方法，其特征在于，所述根據所述第一圖像特征和所述第二圖像特征，生成所述第二圖像，包括：
11.根據權利要求10所述的圖像處理方法，其特征在于，每個所述網絡模塊包括依次連接的殘差網絡、第一注意力模塊、第二注意力模塊和采樣模塊，所述依次利用多個所述網絡模塊處理所述第一圖像特征和所述第二圖像特征，生成所述第二圖像，包括：
12.根據權利要求11所述的圖像處理方法，其特征在于，所述通過所述第一注意力模塊處理所述第一查詢向量、所述第一鍵向量和所述第一值向量，得到第二值向量，包括：
13.根據權利要求1至5中任一項所述的圖像處理方法，其特征在于，所述對所述第一圖像和所述第二圖像進行融合處理，得到第三圖像，包括：
14.一種圖像處理裝置，其特征在于，包括：
15.根據權利要求14所述的圖像處理裝置，其特征在于，所述處理單元具體用于：
16.根據權利要求15所述的圖像處理裝置，其特征在于，所述處理單元具體用于：
17.根據權利要求16所述的圖像處理裝置，其特征在于，所述處理單元具體用于：
18.根據權利要求14至17中任一項所述的圖像處理裝置，其特征在于，所述處理單元具體用于：
19.根據權利要求18所述的圖像處理裝置，其特征在于，所述處理單元具體用于：
20.根據權利要求18所述的圖像處理裝置，其特征在于，所述處理單元具體用于：
21.根據權利要求20所述的圖像處理裝置，其特征在于，每個所述網絡模塊包括依次連接的殘差網絡、第一注意力模塊、第二注意力模塊和采樣模塊，所述處理單元具體用于：
22.一種電子設備，其特征在于，包括處理器和存儲器，所述存儲器存儲可在所述處理器上運行的程序或指令，所述程序或指令被所述處理器執行時實現如權利要求1至13中任一項所述的圖像處理方法的步驟。
23.一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有程序或指令，所述程序或指令被處理器執行時實現如權利要求1至13中任一項所述的圖像處理方法的步驟。
...【技術特征摘要】
1.一種圖像處理方法，其特征在于，包括：
2.根據權利要求1所述的圖像處理方法，其特征在于，所述根據所述第一圖像和所述生成指令信息，確定第一掩膜圖像，包括：
3.根據權利要求2所述的圖像處理方法，其特征在于，所述對所述第一圖像進行人臉檢測和人臉分割，得到第三掩膜圖像，包括：
4.根據權利要求3所述的圖像處理方法，其特征在于，所述在所述目標人臉框的尺寸不符合第一條件的情況下，通過第一處理調整所述目標人臉框的尺寸，包括：
5.根據權利要求2所述的圖像處理方法，其特征在于，所述根據所述第三掩膜圖像和所述實體名詞，確定所述第一掩膜圖像，包括：
6.根據權利要求1至5中任一項所述的圖像處理方法，其特征在于，所述根據所述第一圖像、所述第二掩膜圖像和所述提示信息，生成第二圖像，包括：
7.根據權利要求6所述的圖像處理方法，其特征在于，所述提示信息還包括期望圖像信息，所述根據所述提示信息確定第一圖像特征，包括：
8.根據權利要求6所述的圖像處理方法，其特征在于，所述根據所述第一圖像和所述第二掩膜圖像，確定第二圖像特征，包括：
9.根據權利要求8所述的圖像處理方法，其特征在于，所述根據所述第一圖像和所述第二掩膜圖像確定第四圖像，包括：
10.根據權利要求6所述的圖像處理方法，其特征在于，所述根據所述第一圖像特征和所述第二圖像特征，生成所述第二圖像，包括：
11.根據權利要求10所述的圖像處理方法，其特征在于，每個所述網絡模塊包括依次連接的殘差網絡、第一注意力模塊、第二注意力模塊和采樣模塊，所述依次利用多個所述網絡模塊處理所述第一圖像特征和所述第二圖像特征，生成所...
【專利技術屬性】
技術研發人員：阮曉虎，
申請(專利權)人：維沃移動通信深圳有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。