目標區域的圖像細節增強方法、裝置、設備和存儲介質制造方法及圖紙

本申請實施例公開了一種目標區域的圖像細節增強方法、裝置、設備和存儲介質，該方法包括：獲取待處理視頻，判斷待處理視頻是否符合圖像細節增強條件；若符合圖像細節增強條件，則對待處理視頻的幀圖像進行目標區域的模板變換處理，得到目標區域的輸入矩陣；將輸入矩陣輸入至增強網絡模型，基于提取到的多層特征、隱向量以及隨機信號生成目標區域的增強結果；將目標區域的增強結果采用與模板變換對應的還原處理，并基于逆變換處理結果與原幀圖像進行融合，得到圖像細節增強結果。本方案可以提高圖像處理質量和精度，從而提升用戶的觀看體驗，同時，在進行圖像細節增強的同時，還對計算數據計算量進行精確的控制，確保處理效率。確保處理效率。確保處理效率。

【技術實現步驟摘要】
目標區域的圖像細節增強方法、裝置、設備和存儲介質


[0001]本申請實施例涉及視頻數據處理
，尤其涉及一種目標區域的圖像細節增強方法、裝置、設備和存儲介質。

技術介紹

[0002]隨著直播視頻技術的日趨成熟和相關應用的普及，畫質內容的呈現質量也成為各個直播應用需要關注的核心競爭力。觀眾在觀看視頻節目時，會對所特定關注的區域有著更明顯的偏好和停留，例如人臉區域、物品所在區域以及風景區域等，因此對特定區域的細節的增強刻畫也是提高視頻主觀質量比較重要的一部分。
[0003]如今利用卷積深度神經網絡通過對圖像多次先降采樣再經歷同樣多次的上采樣，并充分利用不同神經網絡層學習到的圖像特征可以得到高分辨率但是仍然無細節缺失的高清圖像。
[0004]但卷積神經網絡并不專門針對圖像特定區域進行處理，雖然對于圖像特定區域可以獲得不差的超分效果，但還是無法很好的還原特定區域細節特征。因此，如何提升圖像中特定區域的特征，滿足各個視頻應用場景下用戶對于高質量內容的呈現，從而提升用戶使用感受，提升用戶的留存時間是本領域亟待解決的問題。

技術實現思路

[0005]本申請實施例提供了一種目標區域的圖像細節增強方法、裝置、設備和存儲介質，解決了現有技術中由于無法很好的還原視頻中特定區域細節特征，從而降低了視頻質量的問題。通過采用本方案，可以提高圖像處理質量和精度，從而提升用戶的觀看體驗，同時，在進行圖像細節增強的同時，還對計算數據計算量進行精確的控制，確保處理效率。
[0006]第一方面，本申請實施例提供了一種目標區域的圖像細節增強方法，該方法包括：
[0007]獲取待處理視頻，判斷所述待處理視頻是否符合圖像細節增強條件；
[0008]若符合圖像細節增強條件，則對所述待處理視頻的幀圖像進行目標區域的模板變換處理，得到目標區域的輸入矩陣；
[0009]將所述輸入矩陣輸入至增強網絡模型，基于提取到的多層特征、隱向量以及隨機信號生成目標區域的增強結果；
[0010]將所述目標區域的增強結果采用所述模板變換處理的逆變換處理，并基于逆變換處理結果與原幀圖像進行融合，得到圖像細節增強結果。
[0011]第二方面，本申請實施例還提供了一種目標區域的圖像細節增強裝置，包括：
[0012]獲取模塊，用于獲取待處理視頻，判斷所述待處理視頻是否符合圖像細節增強條件；
[0013]幀圖像處理模塊，用于若符合圖像細節增強條件，則對所述待處理視頻的幀圖像進行目標區域的模板變換處理，得到目標區域的輸入矩陣；
[0014]目標區域增強結果生成模塊，用于將所述輸入矩陣輸入至增強網絡模型，基于提
取到的多層特征、隱向量以及隨機信號生成目標區域的增強結果；
[0015]圖像細節增強結果生成模塊，用于將所述目標區域的增強結果采用所述模板變換處理的逆變換處理，并基于逆變換處理結果與原幀圖像進行融合，得到圖像細節增強結果。
[0016]第三方面，本申請實施例還提供了一種目標區域的圖像細節增強設備，該設備包括：
[0017]一個或多個處理器；
[0018]存儲裝置，用于存儲一個或多個程序，
[0019]當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現本申請實施例所述的目標區域的圖像細節增強方法。
[0020]第四方面，本申請實施例還提供了一種存儲計算機可執行指令的存儲介質，所述計算機可執行指令在由計算機處理器執行時用于執行本申請實施例所述的目標區域的圖像細節增強方法。
[0021]第五方面，本申請實施例還提供了一種計算機程序產品，該計算機程序產品包括計算機程序，該計算機程序存儲在計算機可讀存儲介質中，設備的至少一個處理器從計算機可讀存儲介質讀取并執行計算機程序，使得設備執行本申請實施例所述的目標區域的圖像細節增強方法。
[0022]本申請實施例中，獲取待處理視頻，判斷所述待處理視頻是否符合圖像細節增強條件；若符合圖像細節增強條件，則對所述待處理視頻的幀圖像進行目標區域的模板變換處理，得到目標區域的輸入矩陣；將所述輸入矩陣輸入至增強網絡模型，基于提取到的多層特征、隱向量以及隨機信號生成目標區域的增強結果；將所述目標區域的增強結果采用所述模板變換處理的逆變換處理，并基于逆變換處理結果與原幀圖像進行融合，得到圖像細節增強結果。通過上述目標區域的圖像細節增強方法，可以提高圖像處理質量和精度，從而提升用戶的觀看體驗，同時，在進行圖像細節增強的同時，還對計算數據計算量進行精確的控制，確保處理效率。
附圖說明
[0023]圖1為本申請實施例一提供的目標區域的圖像細節增強方法的流程示意圖；
[0024]圖2為本申請實施例一提供的目標區域的圖像細節增強的網絡結構的框架示意圖；
[0025]圖3為本申請實施例一提供的目標區域的圖像細節增強的還原處理的步驟示意圖；
[0026]圖4為本申請實施例二提供的目標區域的圖像細節增強方法的流程示意圖；
[0027]圖5為本申請實施例三提供的目標區域的圖像細節增強裝置的結構示意圖；
[0028]圖6為本申請實施例四提供的目標區域的圖像細節增強設備的結構示意圖。
具體實施方式
[0029]下面結合附圖和實施例對本申請實施例作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋本申請實施例，而非對本申請實施例的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本申請實施例相關的部分而非全部結構。
[0030]本申請的說明書和權利要求書中的術語“第一”、“第二”等是用于區別類似的對象，而不用于描述特定的順序或先后次序。應該理解這樣使用的數據在適當情況下可以互換，以便本申請的實施例能夠以除了在這里圖示或描述的那些以外的順序實施，且“第一”、“第二”等所區分的對象通常為一類，并不限定對象的個數，例如第一對象可以是一個，也可以是多個。此外，說明書以及權利要求中“和/或”表示所連接對象的至少其中之一，字符“/”，一般表示前后關聯對象是一種“或”的關系。
[0031]實施例一
[0032]圖1是本申請實施例一提供的目標區域的圖像細節增強方法的流程示意圖。如圖1所示，具體包括如下步驟：
[0033]S101，獲取待處理視頻，判斷所述待處理視頻是否符合圖像細節增強條件。
[0034]首先，本方案的使用場景可以是在智能終端中對待處理視頻進行處理，對待處理視頻的幀圖像的目標區域進行細節增強，并輸出進行細節增強后的圖像的場景。
[0035]基于上述使用場景，可以理解的，本申請的執行主體可以是該智能終端，此處不做過多的限定。
[0036]本方案中，待處理視頻可以是指需要進行圖像細節增強處理的視頻文件，具體包括哪些視頻文件需要根據具體的應用場景和需求來確定。例如，在視頻編輯領域中，需要對錄制的原始視頻進行圖像細節增強處理，以改善畫面質量和視覺效果。
[0037]可以通過以下幾種方本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種目標區域的圖像細節增強方法，其特征在于，包括：獲取待處理視頻，判斷所述待處理視頻是否符合圖像細節增強條件；若符合圖像細節增強條件，則對所述待處理視頻的幀圖像進行目標區域的模板變換處理，得到目標區域的輸入矩陣；將所述輸入矩陣輸入至增強網絡模型，基于提取到的多層特征、隱向量以及隨機信號生成目標區域的增強結果；將所述目標區域的增強結果采用所述模板變換處理的逆變換處理，并基于逆變換處理結果與原幀圖像進行融合，得到圖像細節增強結果。2.根據權利要求1所述的目標區域的圖像細節增強方法，其特征在于，對所述待處理視頻的幀圖像進行目標區域的模板變換處理，得到目標區域的輸入矩陣，包括：獲取預設大小的目標區域；獲取所述目標區域中的關鍵點信息；基于所述關鍵點信息以及預先設置的模板變換規則，對所述目標區域進行變換處理，得到目標區域的輸入矩陣。3.根據權利要求2所述的目標區域的圖像細節增強方法，其特征在于，所述關鍵點信息包括關鍵點坐標；基于所述關鍵點信息以及預先設置的模板變換規則，對所述目標區域進行變換處理，得到目標區域的輸入矩陣，包括：基于所述關鍵點坐標以及預先設置的模板變換規則，對所述目標區域進行平移、旋轉以及縮放中的至少一種處理，識別處理結果中是否存在缺失區域；對所述缺失區域按照預設規則進行填充，得到目標區域的輸入矩陣。4.根據權利要求1所述的目標區域的圖像細節增強方法，其特征在于，將所述輸入矩陣輸入至增強網絡模型，基于提取到的多層特征、隱向量以及隨機信號生成目標區域的增強結果，包括：將所述輸入矩陣輸入至增強網絡模型的卷積層，以得到多層特征；將最后一個卷積層輸出的特征輸入至線性連接層，以得到幀圖像的隱向量；將所述多層特征、所述隱向量以及預先得到的隨機信號輸入至所述增強網絡模型的生成器，以得到目標區域的增強結果；其中，所述隨機信號是基于信號生成網絡得到的符合高斯分布的隨機噪聲。5.根據權利要求4所述的目標區域的圖像細節增強方法，其特征在于，所述增強網絡模型還包括：判別器，用于在訓練過程中與所述生成器形成對抗神經網絡，以對所述生成器生成的目標區域的增強結果進行真偽判別。6.根據權利要求1所述的目標區域的圖像細節增強方法，其特征在于，基于目標區域的增強結果與原幀圖像進行融合，得到圖像細節增強結果，包括：將所述目標區域的增強結果與原幀圖像中的目標區域進行加權處理，得到加權處理結果；采用分割算法確定所述加權處理結果中的分割對象；或者，采用分...

【專利技術屬性】
技術研發人員：楊瑩，靳凱，
申請(專利權)人：百果園技術新加坡有限公司，
類型：發明
國別省市：