【技術實現步驟摘要】
本申請涉及終端，并且具體地，涉及一種圖像處理方法、終端設備及可讀存儲介質。
技術介紹
1、隨著終端設備的發(fā)展，終端設備中設置的拍照模式也越來越多。終端設備通過設置多種拍照模式能夠滿足不同用戶的不同拍照需求。
2、目前，當用戶使用終端設備拍攝與終端設備之間的距離較遠的物體時，終端設備可以采用用戶期望的實際放大倍率對物體進行拍照，從而得到放大后的物體圖像。然而，在用戶期望的實際放大倍率過大時，會導致終端設備得到的放大后的物體圖像的細節(jié)損失嚴重，圖像的清晰度較差。
技術實現思路
1、本申請?zhí)峁┝艘环N圖像處理方法、終端設備及可讀存儲介質，可以使得超分放大后的圖像的細節(jié)信息較完善，提高超分放大后的圖像的清晰度，進而提高用戶的視覺體驗。
2、第一方面，本申請?zhí)峁┝艘环N圖像處理方法，該方法包括：
3、獲取第一圖像，第一圖像的分辨率為第一分辨率；
4、基于第一圖像，生成第一圖像的文本描述信息；文本描述信息用于描述第一圖像，文本描述信息至少包括第一類信息和第二類信息；第一類信息包括第一圖像對應的時間和/或第一圖像對應的地點；第二類信息用于表征第一圖像中包括的內容所屬的類別；
5、獲取噪聲圖像；噪聲圖像用于為第一圖像提供噪聲分布特征；
6、將第一圖像、文本描述信息以及噪聲圖像輸入至多模態(tài)生成式放大模型，輸出第二圖像；第二圖像的分辨率為第二分辨率，第二分辨率大于第一分辨率。
7、本申請通過獲取第一圖像，能夠得到待進行放大
8、在一些可能的實現方式中，將第一圖像、文本描述信息以及噪聲圖像輸入至多模態(tài)生成式放大模型，輸出第二圖像，包括：
9、將第一圖像、文本描述信息以及噪聲圖像輸入至多模態(tài)生成式放大模型中執(zhí)行n次迭代，得到第二圖像，n為大于或等于1且小于或等于預設迭代閾值的正整數。
10、上述實現方式中，通過將第一圖像、文本描述信息以及噪聲圖像這三種模態(tài)的數據源輸入至多模態(tài)生成式放大模型中，執(zhí)行n次迭代，能夠使得生成式超分放大處理后的第二圖像中的細節(jié)信息更清晰，得到的生成式超分放大處理后的第二圖像的質量更高，可以提升用戶視覺體驗。
11、在一些可能的實現方式中，多模態(tài)生成式放大模型可以包括去噪網絡和超分放大網絡；
12、將第一圖像、文本描述信息以及噪聲圖像輸入至多模態(tài)生成式放大模型中執(zhí)行n次迭代，得到第二圖像，包括：
13、在執(zhí)行第1次迭代時，將第一圖像、文本描述信息以及噪聲圖像輸入至去噪網絡，并通過去噪網絡基于文本描述信息和第一圖像，對噪聲圖像進行去噪處理，得到第四圖像；
14、將第四圖像輸入至超分放大網絡，并通過超分放大網絡對來自去噪網絡的第四圖像進行超分放大處理，得到第五圖像；
15、在執(zhí)行第n次迭代時，將第五圖像、文本描述信息和第一圖像輸入至去噪網絡，得到去噪處理后的第五圖像，并將去噪處理后的第五圖像輸入至超分放大網絡，得到超分放大處理后的第五圖像；
16、在n等于預設迭代閾值的情況下，將超分放大處理后的第五圖像輸出為第二圖像。
17、上述實現方式中，通過在執(zhí)行第1次迭代時，采用去噪網絡基于文本描述信息和第一圖像，對噪聲圖像進行去噪處理，能夠得到第四圖像，第四圖像的細節(jié)信息相較于第一圖像的細節(jié)信息更清晰。基于此，通過超分放大網絡對第四圖像進行超分放大處理，得到的第五圖像的細節(jié)信息損失較少。進一步地，將得到的第五圖像和文本描述信息以及第一圖像進行下一次迭代，經過n次迭代之后，得到的第二圖像的細節(jié)信息更清晰，質量更好。
18、在一些可能的實現方式中，去噪網絡包括第一編碼器、第一解碼器和注意力網絡；
19、在執(zhí)行第1次迭代時，將第一圖像、文本描述信息以及噪聲圖像輸入至去噪網絡，并通過去噪網絡基于文本描述信息和第一圖像，對噪聲圖像進行去噪處理，得到第四圖像，包括：
20、在執(zhí)行第1次迭代時，將第一特征信息、第二特征信息、第三特征信息和第四特征信息輸入至注意力網絡，得到第五特征信息；第五特征信息用于表征注意力網絡將多種特征融合后的特征；第一特征信息用于表征與第一圖像對應的圖像特征；第二特征信息用于表征與文本描述信息對應的文本特征；第三特征信息用于表征與噪聲圖像對應的噪聲特征；第四特征信息用于表征與第1次迭代對應的次數特征；
21、將噪聲圖像和第五特征信息輸入至第一編碼器，輸出第一編碼特征圖；第一編碼器用于對噪聲圖像和第五特征信息進行特征編碼處理；
22、將第一編碼特征圖輸入至第一解碼器，輸出第四圖像；第一解碼器用于對第一編碼特征圖進行特征解碼處理。
23、上述實現方式中，通過注意力網絡將多種信息進行融合處理，能夠使得第一編碼特征圖中生成的細節(jié)信息更準確，進而使得第四圖像中的細節(jié)信息更清晰。
24、在一些可能的實現方式中，多模態(tài)生成式放大模型還包括第二編碼器、第三編碼器和第四編碼器；
25、在將第一特征信息、第二特征信息、第三特征信息和第四特征信息輸入至注意力網絡之前，方法還包括：
26、將第一圖像輸入至第二編碼器，得到第一特征信息；第二編碼器用于對第一圖像進行特征編碼處理；
27、將文本描述信息輸入至第三編碼器，得到第二特征信息；第三編碼器用于對文本描述信息進行特征編碼處理；
28、將噪聲圖像輸入至第一編碼器，得到第三特征信息；
29、將當前迭代次數輸入至第四編碼器，得到第四特征信息；第四編碼器用于對當前迭代次數進行特征編碼處理。
30、上述實現方式中，通過不同的編碼器分別對不同的輸入信息進行特征編碼處理，得到對應的特征信息，能夠為后續(xù)的注意力網絡進行特征融合處理做準備。
31、在一些可能的實現方式中，超分放大網絡包括至少一個卷積層；將第四圖像輸入至超分放大網絡，并通過超分放大網絡本文檔來自技高網...
【技術保護點】
1.一種圖像處理方法，其特征在于，應用于終端設備，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述將所述第一圖像、所述文本描述信息以及所述噪聲圖像輸入至多模態(tài)生成式放大模型，輸出第二圖像，包括：
3.根據權利要求2所述的方法，其特征在于，所述多模態(tài)生成式放大模型包括去噪網絡和超分放大網絡；
4.根據權利要求3所述的方法，其特征在于，所述去噪網絡包括第一編碼器、第一解碼器和注意力網絡；
5.根據權利要求4所述的方法，其特征在于，所述多模態(tài)生成式放大模型還包括第二編碼器、第三編碼器和第四編碼器；
6.根據權利要求3至5中任一項所述的方法，其特征在于，所述超分放大網絡包括至少一個卷積層；
7.根據權利要求1至6中任一項所述的方法，其特征在于，所述基于所述第一圖像，生成所述第一圖像的文本描述信息，包括：
8.根據權利要求7所述的方法，其特征在于，所述分類模型至少包括編碼器層和全連接層；
9.根據權利要求1至8中任一項所述的方法，其特征在于，在獲取第一圖像之前，所述方法還包括：p>
10.根據權利要求9所述的方法，其特征在于，在顯示所述第二圖像之前，所述方法還包括：
11.根據權利要求1至10中任一項所述的方法，其特征在于，所述多模態(tài)生成式放大模型采用以下訓練方法得到：
12.一種終端設備，其特征在于，所述終端設備包括：一個或多個處理器，以及存儲器；所述存儲器與所述一個或多個處理器耦合，所述存儲器用于存儲計算機程序代碼，所述計算機程序代碼包括計算機指令，所述一個或多個處理器調用所述計算機指令以使得所述終端設備執(zhí)行如權利要求1至11中任一項所述的方法。
13.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質包括指令，當所述指令在終端設備上運行時，使得所述終端設備執(zhí)行如權利要求1至11中任一項所述的方法。
14.一種芯片系統，其特征在于，所述芯片系統應用于終端設備；所述芯片系統包括一個或多個處理器；所述一個或多個處理器用于調用計算機指令以使得所述終端設備執(zhí)行如權利要求1至11中任一項所述的方法。
...【技術特征摘要】
1.一種圖像處理方法，其特征在于，應用于終端設備，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述將所述第一圖像、所述文本描述信息以及所述噪聲圖像輸入至多模態(tài)生成式放大模型，輸出第二圖像，包括：
3.根據權利要求2所述的方法，其特征在于，所述多模態(tài)生成式放大模型包括去噪網絡和超分放大網絡；
4.根據權利要求3所述的方法，其特征在于，所述去噪網絡包括第一編碼器、第一解碼器和注意力網絡；
5.根據權利要求4所述的方法，其特征在于，所述多模態(tài)生成式放大模型還包括第二編碼器、第三編碼器和第四編碼器；
6.根據權利要求3至5中任一項所述的方法，其特征在于，所述超分放大網絡包括至少一個卷積層；
7.根據權利要求1至6中任一項所述的方法，其特征在于，所述基于所述第一圖像，生成所述第一圖像的文本描述信息，包括：
8.根據權利要求7所述的方法，其特征在于，所述分類模型至少包括編碼器層和全連接層；
9.根據權利要求1至8中任一項所述的方法，其...
【專利技術屬性】
技術研發(fā)人員：魏芅，畢涵，朱超，連楓釗，武臻堯，王松，
申請(專利權)人：榮耀終端有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。