生成動態圖的方法、裝置、電子設備及存儲介質制造方法及圖紙

本公開是關于一種生成動態圖的方法、裝置、電子設備及存儲介質，涉及計算機處理技術領域，該方法包括：從視頻中獲取含有表情信息的圖像幀序列，其中所述圖像幀序列中的每一幀圖像均包括所述表情信息；識別所述表情信息對應的情感信息，以確定所述圖像幀序列對應的動圖情感信息；根據所述動圖情感信息生成與所述動圖情感信息對應的情感文字；根據所述圖像幀序列和所述情感文字，生成動態圖。故此，本公開中并不需要搜集大量動態圖以及對應的視頻進行標注訓練，由此節省了人工成本，并且，為自動為動態圖匹配對應的情感文字，解決了現有技術中生成的動態圖缺乏趣味性，難以在社交媒體平臺上流傳的問題。

【技術實現步驟摘要】
生成動態圖的方法、裝置、電子設備及存儲介質
本專利技術涉及計算機
，特別涉及一種生成動態圖的方法、裝置、電子設備及存儲介質。
技術介紹
動態圖(GraphicsInterchangeFormat，GIF)以位圖的形式被廣泛地應用于社交媒體、網絡新聞、數字論壇、信息公告甚至是通信郵件中。以此來提升使用者的情感表達效果。動態圖是介于視頻與靜態圖像之間的特殊媒體，作為簡潔無聲、循環播放、低存儲介質消耗以及豐富情感表達的記錄時空變化的容器。并且動態圖具有良好的平臺兼容性、可移植性以及需要較低的網絡傳輸帶寬等特點。目前主要利用動畫錄制軟件ScreenToGif、在線動態圖片編輯工具Ezgif等制作工具從影視作品、卡通動畫、電視節目等視頻媒體中產生，通過借助物體面部表情、動作姿態與對應的姿態語言進行情感表達，是情感研究的有力媒介。因為動態圖具有要求低網絡傳輸帶寬、情感表達豐富等特點，近年來受到了廣泛地應用。其中主要被應用于社交情感表達，在網絡社交平臺上被廣泛傳播?，F有技術中，可采用視頻自動生成動態圖，該方法主要是通過深度學習模型自動從視頻生成動態圖，但是，需要搜集或者制作大量的動態圖以及存儲與之對應的視頻作為標注數據集以訓練深度學習模型。例如，為了收集訓練樣本需要人工的從大量的視頻中抽取出動態圖，然后進行標注。再以有標注的訓練樣本，訓練模型，以使得模型能夠學習如何從各視頻中抽取出動態圖。故此，相應技術的方法不僅會消耗大量的人工成本來制作訓練樣本，在訓練的階段由于訓練樣本和視頻數據量較大，對設備的處理性能也有一定的要求。
技術實現思路
本公開提供一種生成動態圖的方法、裝置、電子設備及存儲介質，以解決現有技術中消耗大量的人工成本的問題。本公開的技術方案如下：根據本公開實施例的第一方面，提供一種生成動態圖的方法，包括：從視頻中獲取含有表情信息的圖像幀序列，其中所述圖像幀序列中的每一幀圖像均包括所述表情信息；識別所述表情信息對應的情感信息，以確定所述圖像幀序列對應的動圖情感信息；根據所述動圖情感信息生成與所述動圖情感信息對應的情感文字；根據所述圖像幀序列和所述情感文字，生成動態圖。在一個實施例中，所述從視頻中獲取含有表情信息的圖像幀序列，包括：從所述視頻中篩選出屬于同一鏡頭的視頻片段；對所述視頻片段進行目標對象檢測；若在所述視頻片段中檢測出所述目標對象，則從所述視頻片段中篩選出所述目標對象的含有所述表情信息的連續多幀圖像構成所述圖像幀序列。在一個實施例中，所述從所述視頻片段中篩選出所述目標對象的含有所述表情信息的連續多幀圖像構成所述圖像幀序列，包括：對所述視頻片段進行等間隔采樣，得到樣本圖像序列；將所述樣本圖像序列輸入所述目標對象的表情分類模型，得到所述目標對象在每張樣本圖像中的表情類別；若所述目標對象在連續多張樣本圖像中均具有目標表情類別，則從所述視頻片段中截取含有所述目標表情類別的片段部分作為所述圖像幀序列。在一個實施例中，所述將所述樣本圖像序列輸入所述目標對象的表情分類模型之前，所述方法還包括：將所述樣本圖像序列進行臉部特征識別，得到所述目標對象的臉部區域和臉部特征的置信度；將所述置信度低于置信度閾值的樣本圖像從所述樣本圖像序列中剔除；對剔除樣本圖像后的樣本圖像序列，裁剪出每張樣本圖像的所述臉部區域，由每張樣本圖像的臉部區域重構出的所述樣本圖像序列。在一個實施例中，所述識別所述表情信息對應的情感信息，以確定所述圖像幀序列對應的動圖情感信息，包括：識別所述圖像幀序列中多幀圖像的表情信息分別對應的情感信息類別；根據所述多幀圖像的情感信息類別進行主情感分析，得到所述圖像幀序列的主情感作為所述動圖情感信息。在一個實施例中，每種情感對應多條情感文字，則所述根據所述動圖情感信息生成與所述動圖情感信息對應的情感文字，包括：在所述動圖情感信息對應的多條情感文字中，隨機選擇一條情感文字。在一個實施例中，所述根據所述圖像幀序列和所述情感文字，生成動態圖，包括：對所述圖像幀序列中的每幀圖像，按照包含所述目標對象的臉部區域的裁剪框，從所述圖像中裁剪出包含所述臉部區域的圖像部分作為所述動態圖的一幀圖像；將所述情感文字添加到所述動態圖的每幀圖像中，生成圖文結合的所述動態圖。在一個實施例中，所述將所述情感文字添加到所述動態圖的每幀圖像中，包括：根據所述臉部區域在所述動態圖中的位置信息，確定出與所述臉部區域不重疊的文字展示區域；將所述情感文字添加到每幀圖像的所述文字展示區域中。在一個實施例中，所述方法還包括：識別所述文字展示區域的背景色，將所述情感文字的顏色設置為與所述背色不同的顏色。根據本公開實施例的第二方面，提供一種生成動態圖的裝置，所述裝置包括：獲取模塊，被配置為執行從視頻中獲取含有表情信息的圖像幀序列，其中所述圖像幀序列中的每一幀圖像均包括所述表情信息；動圖情感信息確定模塊，被配置為執行識別所述表情信息對應的情感信息，以確定所述圖像幀序列對應的動圖情感信息；情感文字生成模塊，被配置為執行根據所述動圖情感信息生成與所述動圖情感信息對應的情感文字；動態圖生成模塊，被配置為執行根據所述圖像幀序列和所述情感文字，生成動態圖。在一個實施例中，所述獲取模塊，具體被配置為執行：從所述視頻中篩選出屬于同一鏡頭的視頻片段；對所述視頻片段進行目標對象檢測；若在所述視頻片段中檢測出所述目標對象，則從所述視頻片段中篩選出所述目標對象的含有所述表情信息的連續多幀圖像構成所述圖像幀序列。在一個實施例中，所述獲取模塊，還被配置為執行：對所述視頻片段進行等間隔采樣，得到樣本圖像序列；將所述樣本圖像序列輸入所述目標對象的表情分類模型，得到所述目標對象在每張樣本圖像中的表情類別；若所述目標對象在連續多張樣本圖像中均具有目標表情類別，則從所述視頻片段中截取含有所述目標表情類別的片段部分作為所述圖像幀序列。在一個實施例中，所述裝置還包括：臉部特征識別模塊，被配置為所述將所述樣本圖像序列輸入所述目標對象的表情分類模型之前，執行將所述樣本圖像序列進行臉部特征識別，得到所述目標對象的臉部區域和臉部特征的置信度；剔除模塊，被配置為執行將所述置信度低于置信度閾值的樣本圖像從所述樣本圖像序列中剔除；裁剪模塊，被配置為執行對剔除樣本圖像后的樣本圖像序列，裁剪出每張樣本圖像的所述臉部區域，由每張樣本圖像的臉部區域重構出的所述樣本圖像序列。在一個實施例中，所述動圖情感信息確定模塊，具體被配置為執行：識別所述圖像幀序列中多幀圖像的表情信息分別對應的情感信息類別；根據所述多幀圖像的情感信息類別進行主情感分析，得到所述圖像幀序列的主情感作為所述動圖情感信息。在一個實施例中，每種情感對應多條情感文字，所述情感文字本文檔來自技高網...

【技術保護點】
1.一種生成動態圖的方法，其特征在于，該方法包括：/n從視頻中獲取含有表情信息的圖像幀序列，其中所述圖像幀序列中的每一幀圖像均包括所述表情信息；/n識別所述表情信息對應的情感信息，以確定所述圖像幀序列對應的動圖情感信息；/n根據所述動圖情感信息生成與所述動圖情感信息對應的情感文字；/n根據所述圖像幀序列和所述情感文字，生成動態圖。/n

【技術特征摘要】
1.一種生成動態圖的方法，其特征在于，該方法包括：
從視頻中獲取含有表情信息的圖像幀序列，其中所述圖像幀序列中的每一幀圖像均包括所述表情信息；
識別所述表情信息對應的情感信息，以確定所述圖像幀序列對應的動圖情感信息；
根據所述動圖情感信息生成與所述動圖情感信息對應的情感文字；
根據所述圖像幀序列和所述情感文字，生成動態圖。


2.根據權利要求1所述的方法，其特征在于，所述從視頻中獲取含有表情信息的圖像幀序列，包括：
從所述視頻中篩選出屬于同一鏡頭的視頻片段；
對所述視頻片段進行目標對象檢測；
若在所述視頻片段中檢測出所述目標對象，則從所述視頻片段中篩選出所述目標對象的含有所述表情信息的連續多幀圖像構成所述圖像幀序列。


3.根據權利要求2所述的方法，其特征在于，所述從所述視頻片段中篩選出所述目標對象的含有所述表情信息的連續多幀圖像構成所述圖像幀序列，包括：
對所述視頻片段進行等間隔采樣，得到樣本圖像序列；
將所述樣本圖像序列輸入所述目標對象的表情分類模型，得到所述目標對象在每張樣本圖像中的表情類別；
若所述目標對象在連續多張樣本圖像中均具有目標表情類別，則從所述視頻片段中截取含有所述目標表情類別的片段部分作為所述圖像幀序列。


4.根據權利要求3所述的方法，其特征在于，所述將所述樣本圖像序列輸入所述目標對象的表情分類模型之前，所述方法還包括：
將所述樣本圖像序列進行臉部特征識別，得到所述目標對象的臉部區域和臉部特征的置信度；
將所述置信度低于置信度閾值的樣本圖像從所述樣本圖像序列中剔除；
對剔除樣本圖像后的樣本圖像序列，裁剪出每張樣本圖像的所述臉部區域，由每張樣本圖像的臉部區域重構出的所述樣本圖像序列。


5.根據權利要求1-4中任一所述的方法，其特征在于，所述識別所述表情信息對應的情感信息，以確定所述圖像幀序列對應的動圖...

【專利技術屬性】
技術研發人員：譚沖，李馬丁，章佳杰，鄭云飛，
申請(專利權)人：北京達佳互聯信息技術有限公司，
類型：發明
國別省市：北京;11