【技術實現步驟摘要】
本專利技術屬于視頻轉碼及有參考視頻質量評估，涉及一種基于圖像組抽取的視頻質量評估的加速方法、加速系統及應用。
技術介紹
1、在過去幾十年間，人們觀看視頻的方式和場景發生了巨大的變化，從傳統的電視系統已經逐漸切換到通過互聯網，在臺式電腦、筆記本電腦和智能手機上進行視頻流媒體播放。據騰訊公司的報告，估計到2024年，流媒體流量將增加至約占整個互聯網流量的74％。流媒體大體上可以區分為點播形式和直播形式。無論是點播形式還是直播形式的流媒體，都需要根據客戶設備的特性進行轉換，即原始視頻必須根據客戶設備支持的視頻格式、分辨率、網絡帶寬進行轉換，此過程被稱作視頻轉碼。
2、在視頻轉碼的過程中，包括視頻內容清晰度、色彩準確性、失真程度在內的視頻質量指標都會發生一定的變化。因此，視頻質量評估必不可少，這個過程對保障用戶高質量的視頻觀看體驗和推動流媒體服務商持續提高視頻質量至關重要。首先，它有助于確保用戶請求的視頻維持在一個較高的質量，讓用戶可以基于他們的實時網絡、設備條件順暢地觀看視頻，減少緩沖、凍結、模糊等問題的發生。這對于流媒體服務提供商來說至關重要，因為用戶總是期望他們可以獲得最好的觀看體驗。其次，視頻質量評估可以幫助識別對整個視頻產生惡劣影響的技術問題或錯誤，例如編碼錯誤、比特率或者分辨率異常等等。最后，視頻質量評估可以幫助內容創作者和服務提供商確定服務改進的方向，并獲得反饋以改善用戶的整體觀看體驗。
3、視頻質量估計分為三個類別，分別是全參考視頻質量估計、半參考視頻質量估計以及無參考視頻質量估計，他們的含義、優
4、表1視頻質量估計方法對比
5、
6、全參考視頻質量估計和半參考視頻質量估計都是基于參考視頻的方法，通過比較參考視頻和被測視頻之間的相似度估計被測視頻的質量，許多半參考視頻質量估計方法都來源于全參考視頻質量估計方法，主要區別在于半參考視頻質量估計僅比較視頻的局部信息，常用于視頻傳輸場景中。無參考視頻質量估計通過分析視頻自身特征評估質量[1]。有參考視頻質量估計的好處在于可以相對準確地評估壓縮后的視頻質量，ssim(structuralsimilarity，結構相似性)和psnr(peaksignal-to-noiseratio，峰值信噪比)是兩種常見的視頻質量評估指標的計算方法。它們的優點在于易于理解、計算簡單、運算速度快；缺點在于它們只關注圖像的像素值而沒有考慮感知色差、清晰度、銳度、動態范圍等因素，無法客觀反映人眼對視頻質量的感知。相對來說，vmaf(videomultimethodassessmentfusion)，一種新興的結合神經網絡模型訓練出的視頻質量評估方法采用多種算法進行質量評估，并將不同算法的評估結果融合起來，相較于ssim、psnr類似的傳統算法可以更準確地反映出觀眾對視頻質量的實際感受。然而，由于vmaf對算力要求更高，使得其運行會花費更高的算力和時間成本。因此，需要尋找一種能夠在較低的計算能力和時間成本下，保證測量視頻質量準確性的方法。
7、現有的場景檢測算法大體上分為兩類，第一類是傳統的基于像素的場景識別算法，第二類為基于深度學習的場景檢測算法。基于像素的場景識別算法包括opencv內置的scenedetect[4]算法與ffmpeg內置的selectgt[5]算法，此算法計算每一幀的數值(由像素的飽和度、亮度、色調值構成)，并且依次比較相鄰幀的數值差，每當差異高于一定閾值時，可以認為當前幀為場景變化幀(當前幀的畫面相對上一幀的畫面有了足夠的改變)。基于深度學習的場景檢測算法包括fastr-cnn算法、yolo算法，這類算法對視頻的每一幀進行對象檢測，當識別到一些特殊對象的出現或者特殊行為的發生時，認為當前幀為場景變化幀。對每一個場景變化幀進行截取生成的視頻切片進行視頻質量評估可以有效減少運算次數。
8、除了以上內容，目前大多數視頻質量評估服務都在虛擬機或者容器上直接部署。這種部署方式下，服務會具有較高的靈活度，用戶能夠為服務自定義多樣的配置，然而為了保障不同需求下服務的平穩運行，用戶也需要進行較多的人工干預和資源規劃。考慮到不同應用場景對視頻服務質量(qos)要求的差異性，除了直接在虛擬機或者容器上部署服務之外，額外選用其他的部署方式例如無服務器計算(serverlesscomputing)，有機會在保證qos的前提下達到降低服務成本的目的。在serverlesscomputing中，服務器的管理和運維工作都由云廠商完成，這使得用戶能夠將更多的注意力放在自身的業務邏輯上，提升研發效率；serverless架構提供了較為完善、全面的按量付費模型，使用者只需按照自己實際使用的資源量付費即可。serverless的缺點在于它在實時性要求較高的場景中表現不佳。總而言之，在部分實時性要求不強的場景中，serverless能夠在保證服務質量的同時，有效幫助用戶降低運維、人力成本。
技術實現思路
1、為了解決現有技術存在的不足，本專利技術的目的是提供一種基于圖像組抽取的視頻質量評估的加速方法、加速系統及應用。本專利技術中的加速方法屬于全參考與半參考視頻質量估計領域(有參考視頻質量估計)，并依賴于有效的場景檢測方法挑選能夠代表圖像組的幀，以這些幀作為截取點生成視頻切片。
2、本專利技術主要解決的技術問題是如何保證在獲得與人眼評估結果高度一致的視頻質量評估結果的前提下，有效縮短視頻質量評估的時間開銷。圖像組(groupofpictures)是視頻中一系列連續的畫面，一個圖像組中可以根據實際需要包含一個或多個視頻切片。通過借助提取圖像組生成視頻切片，對整個圖像組中的視頻切片進行視頻質量評估以評估整個圖像組的質量，最后根據每個圖像組的質量使用統計學方法計算出需要衡量的完整視頻質量。gop與視頻切片的詳細說明見下：
3、所述圖像組是指視頻中一組連續的畫面，它由一張i幀(能夠獨立解碼的幀，被稱為關鍵幀)和數張b/p幀(無法獨立解碼的幀，b幀和p幀的解碼依賴i幀)組成，一組gop是視頻圖像編碼器和解碼器存取的基本單位。每個視頻都可以認為是由多組gop構成。
4、所述視頻切片是指一組gop中的連續的視頻幀，本專利技術不區分視頻切片是否擁有圖像組的原始關鍵幀,因為在生成視頻切片時，視頻切割工具將會自動為視頻切片創建關鍵幀。
5、此外，本專利技術還關注不同視頻應用場景的服務等級協議(sla)的差異性。不同應用場景對視頻服務的服務質量要求不一，例如云游戲，直播等對延遲較高的場景要求更快的響應時間和并發處理能力，而存儲、處理預錄制的視頻并不要求高實時性。考慮到以上實際應用中情景，本專利技術解決的第二個核心問題是對不同應用場景，選擇合適的云部署方式提供服務，在保證qos的前提下節省服務本身的經濟開銷。總的來說，本專利技術提出的方法本身能夠在有效保證視頻質量評估結果的基礎上降低視頻質量評估的運算量。針對不同應用場景，有選擇地以容器化服務器模式、serverless部署服務在保障qos的前提下降低本文檔來自技高網...
【技術保護點】
1.一種基于圖像組抽取的視頻質量評估的加速方法，其特征在于，所述方法包括如下步驟：
2.如權利要求1所述的加速方法，其特征在于，步驟一中，視頻上傳至對象存儲服務器中后能夠獲得對象存儲的訪問鏈接；視頻質量評估服務的部署形式包括無服務形式部署和/或容器直接部署和/或本地直接部署；當視頻質量評估服務以無服務形式部署時，函數控制器捕獲請求并封裝為事件，并且根據請求初始化對應的容器；當視頻質量評估服務直接在容器中進行部署時，容器直接捕獲請求。
3.如權利要求1所述的加速方法，其特征在于，步驟二中，所述預處理是指將原視頻和待評估的基于原視頻重新編碼的視頻按照時間戳對齊，裁剪出公共部分，使用視頻分析工具定位源視頻的關鍵幀的顯示時間戳與在視頻中幀的序列號，并且根據時間戳和序列號確定相應的圖像組；所述視頻分析工具為開源工具，包括ffmpeg、mediainfo。
4.如權利要求1所述的加速方法，其特征在于，步驟二中，使用幀選擇算法根據圖像組的范圍選擇場景變化幀，以所述場景變化幀作為截斷點將原視頻和待評估的基于原視頻重新編碼的視頻分別切割為一個或多個長度為1幀或多
5.如權利要求1所述的加速方法，其特征在于，步驟三中，使用視頻質量評估算法分別對每個視頻切片進行評估，視頻質量評估過程會對視頻的時域信息和空間信息進行評估，獲得每個視頻切片的質量評估結果，并將每個視頻切片對應的視頻質量分數存儲到對象存儲服務器中。
6.如權利要求1所述的加速方法，其特征在于，步驟四中，獲取存儲在對象存儲服務器中的視頻質量評估結果，清除視頻質量評估結果中的異常部分，根據圖像組幀數占總視頻幀數的比例作為視頻切片質量分數的質量權重，計算視頻切片質量分數的加權評分作為待評估質量視頻的質量分數；所述異常部分是指包括因圖像組切割過程中產生的噪音導致的原視頻與重新編碼視頻的視頻幀無法一一對應出現的異常結果。
7.一種實現如權利要求1-6之任一項所述的加速方法的加速系統，其特征在于，所述加速系統包括：
8.如權利要求7所述的加速系統，其特征在于，當系統以Serverless的形式部署時，所述加速系統還包括函數控制器，所述函數控制器能夠捕獲視頻質量評估請求，并將請求封裝為事件，然后將事件分發給容器。
9.如權利要求1-6之任一項所述的加速方法，或如權利要求7或8所述的加速系統在加速視頻質量評估中的應用。
...【技術特征摘要】
1.一種基于圖像組抽取的視頻質量評估的加速方法，其特征在于，所述方法包括如下步驟：
2.如權利要求1所述的加速方法，其特征在于，步驟一中，視頻上傳至對象存儲服務器中后能夠獲得對象存儲的訪問鏈接；視頻質量評估服務的部署形式包括無服務形式部署和/或容器直接部署和/或本地直接部署；當視頻質量評估服務以無服務形式部署時，函數控制器捕獲請求并封裝為事件，并且根據請求初始化對應的容器；當視頻質量評估服務直接在容器中進行部署時，容器直接捕獲請求。
3.如權利要求1所述的加速方法，其特征在于，步驟二中，所述預處理是指將原視頻和待評估的基于原視頻重新編碼的視頻按照時間戳對齊，裁剪出公共部分，使用視頻分析工具定位源視頻的關鍵幀的顯示時間戳與在視頻中幀的序列號，并且根據時間戳和序列號確定相應的圖像組；所述視頻分析工具為開源工具，包括ffmpeg、mediainfo。
4.如權利要求1所述的加速方法，其特征在于，步驟二中，使用幀選擇算法根據圖像組的范圍選擇場景變化幀，以所述場景變化幀作為截斷點將原視頻和待評估的基于原視頻重新編碼的視頻分別切割為一個或多個長度為1幀或多幀的視頻切片，并將視頻切片和圖像組包含的幀數量數據上傳至對象存儲服務器；所述幀選擇算法包括yolo、scenedetect、基...
【專利技術屬性】
技術研發人員：吳迪，廖浩宇，黃波，郭健美，張琰彬，
申請(專利權)人：華東師范大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。