用于視頻流服務(wù)的內(nèi)容相關(guān)的視頻質(zhì)量模型制造技術(shù)

本發(fā)明專(zhuān)利技術(shù)涉及一種方法和設(shè)備，用于評(píng)估數(shù)字視頻信號(hào)的感知質(zhì)量，優(yōu)選地在諸如互聯(lián)網(wǎng)協(xié)議電視(IPTV)或視頻點(diǎn)播(VoD)的視頻流服務(wù)的背景下，并且尤其用于通過(guò)提供內(nèi)容復(fù)雜度參數(shù)并且通過(guò)由所提供的內(nèi)容復(fù)雜度參數(shù)控制基于現(xiàn)有或未來(lái)的參數(shù)的視頻質(zhì)量評(píng)估方法，來(lái)進(jìn)行數(shù)字視頻信號(hào)的感知質(zhì)量的內(nèi)容相關(guān)的評(píng)估。本發(fā)明專(zhuān)利技術(shù)設(shè)計(jì)為用于加密視頻流，但是也對(duì)未加密的視頻流起作用。

【技術(shù)實(shí)現(xiàn)步驟摘要】
【國(guó)外來(lái)華專(zhuān)利技術(shù)】用于視頻流服務(wù)的內(nèi)容相關(guān)的視頻質(zhì)量模型
本專(zhuān)利技術(shù)涉及一種方法和設(shè)備，用于評(píng)估數(shù)字視頻信號(hào)的感知質(zhì)量，優(yōu)選地在視頻流服務(wù)(例如，互聯(lián)網(wǎng)協(xié)議電視(IPTV)或視頻點(diǎn)播(VoD))的背景下，并且尤其用于通過(guò)提供內(nèi)容復(fù)雜度參數(shù)并且通過(guò)由所提供的內(nèi)容復(fù)雜度參數(shù)控制基于現(xiàn)有或未來(lái)的參數(shù)的視頻質(zhì)量評(píng)估方法，來(lái)進(jìn)行數(shù)字視頻信號(hào)的感知質(zhì)量的內(nèi)容相關(guān)的評(píng)估。本專(zhuān)利技術(shù)設(shè)計(jì)為用于加密視頻流，但是也對(duì)未加密的視頻流起作用。
技術(shù)介紹
為了確保高度滿足視頻服務(wù)(例如，非互動(dòng)流視頻(IPTV、VoD))的用戶，需要評(píng)估那些服務(wù)的感知視頻質(zhì)量。內(nèi)容提供商和客戶的廣播提供商的主要責(zé)任在于保持其服務(wù)的質(zhì)量。在大型IPTV網(wǎng)絡(luò)中，僅完全自動(dòng)的質(zhì)量監(jiān)控探頭可滿足該要求。為此，開(kāi)發(fā)提供由用戶感知的視頻質(zhì)量的評(píng)估的視頻質(zhì)量模型。例如，那些模型可輸出在用戶端接收的視頻與原始的未降質(zhì)視頻之間的相似度。此外，并且通過(guò)更復(fù)雜的方式，可對(duì)人類(lèi)視覺(jué)系統(tǒng)(HVS)建模。最后，可將模型輸出映射到大量主觀質(zhì)量測(cè)試的結(jié)果中，以便最后提供感知質(zhì)量的評(píng)估。視頻質(zhì)量模型以及測(cè)量系統(tǒng)通常可如下分類(lèi)：質(zhì)量模型類(lèi)型·全參考(FR)：需要參考信號(hào)。·部分參考(RR)：需要從源信號(hào)中提取的部分信息。·無(wú)參考(NR)：不需要參考信號(hào)。輸入?yún)?shù)類(lèi)型·基于信號(hào)/媒體：需要解碼圖像(像素信息)。·基于參數(shù)：需要比特流水平的信息。信息的范圍可以是數(shù)據(jù)包報(bào)頭信息，需要解析數(shù)據(jù)包報(bào)頭，解析包括有效載荷的比特流(即，編碼信息)，并且部分或完全解碼比特流。應(yīng)用類(lèi)型·網(wǎng)絡(luò)規(guī)劃：在實(shí)現(xiàn)網(wǎng)絡(luò)之前，使用模型或測(cè)量系統(tǒng)，以便規(guī)劃可能最好的實(shí)現(xiàn)方式。·服務(wù)監(jiān)控：在服務(wù)操作期間，使用模型。在參考文獻(xiàn)【1-3】中，可找出視頻質(zhì)量模型的類(lèi)型的相關(guān)信息。在文獻(xiàn)【4-6】中描述了幾種基于數(shù)據(jù)包的參數(shù)視頻質(zhì)量模型。然而，這些模型的主要缺點(diǎn)在于，它們未考慮內(nèi)容的質(zhì)量影響。換言之，并且根據(jù)先前研究【7-12】的報(bào)告，感知視頻質(zhì)量取決于視頻的空間-時(shí)間特征。例如，眾所周知，在視頻中(例如，在廣播新聞中)沒(méi)有復(fù)雜運(yùn)動(dòng)時(shí)，丟包通常被更好地掩蓋。在沒(méi)有丟包時(shí)，并且對(duì)于中低比特率，具有低空間-時(shí)間復(fù)雜度的內(nèi)容比空間-時(shí)間復(fù)雜內(nèi)容實(shí)現(xiàn)更好的質(zhì)量。與參考文獻(xiàn)【13a、13b、14、15、16】相比，對(duì)于丟包和非丟包情況，進(jìn)一步的先有技術(shù)的目的還在于，在基于參數(shù)的參數(shù)視頻質(zhì)量模型內(nèi)包括內(nèi)容的質(zhì)量影響。例如，在參考文獻(xiàn)【13a、13b、14】中，通過(guò)比較當(dāng)前幀尺寸和自適應(yīng)閾值，確定每個(gè)視頻幀的內(nèi)容的復(fù)雜度。當(dāng)前幀尺寸是高于、等于還是低于該閾值，都會(huì)造成增大或減小與當(dāng)前幀相關(guān)的評(píng)估質(zhì)量。然而，由于使用閾值并且產(chǎn)生了大于、等于或小于該閾值這三種可能性，所以在這些參考文獻(xiàn)中公開(kāi)的方法僅僅提供了視頻內(nèi)容的比較粗略的考慮。換言之，沒(méi)有在規(guī)定的測(cè)量窗口內(nèi)順利或連續(xù)地測(cè)量幀的復(fù)雜度。而且，由于在整個(gè)或部分測(cè)量窗口上計(jì)算自適應(yīng)閾值，所以相對(duì)于在相同視頻序列中的其它幀的復(fù)雜度，而非相對(duì)于其它內(nèi)容的復(fù)雜度，確定每個(gè)幀的復(fù)雜度。在參考文獻(xiàn)【15】中，提出了一種解決方法，用于將內(nèi)容相關(guān)的參數(shù)(即，反應(yīng)內(nèi)容的空間-時(shí)間復(fù)雜度的參數(shù)，例如，量化參數(shù)和運(yùn)動(dòng)向量)插入基于參數(shù)的視頻質(zhì)量模型內(nèi)。然而，不能從加密的比特流中提取這些內(nèi)容相關(guān)的參數(shù)，所以不能通過(guò)與本專(zhuān)利技術(shù)相同的方式使用參考文獻(xiàn)【15】。參考文獻(xiàn)【16】提出了一種解決方法，用于在具有單個(gè)參數(shù)的丟包情況下，評(píng)估感知的視頻質(zhì)量，單個(gè)參數(shù)表示由丟包造成的信號(hào)降質(zhì)的幅度。該解決方法預(yù)期包括校正系數(shù)，用于根據(jù)內(nèi)容的時(shí)間或空間-時(shí)間復(fù)雜度調(diào)整信號(hào)降質(zhì)的評(píng)估幅度。然而例如，未提出用于在加密視頻的情況下計(jì)算該校正系數(shù)的解決方法。因此，依然需要一種方法，來(lái)評(píng)估數(shù)字視頻信號(hào)的感知質(zhì)量。一方面，這種方法應(yīng)允許相當(dāng)精細(xì)地考慮視頻信號(hào)的內(nèi)容的質(zhì)量影響，另一方面，還應(yīng)適用于加密視頻，包括具有和沒(méi)有丟包的編碼降質(zhì)的情況。同樣需要一種被配置為用于執(zhí)行具有這些特征的方法的設(shè)備。
技術(shù)實(shí)現(xiàn)思路
通過(guò)具有由在本文檔中提出的權(quán)利要求所公開(kāi)的特征的方法和設(shè)備，實(shí)現(xiàn)這些目標(biāo)。本專(zhuān)利技術(shù)的目標(biāo)在于，在加密視頻的情況下(即，在僅僅可使用數(shù)據(jù)包報(bào)頭信息時(shí))，使用基于參數(shù)的視頻質(zhì)量模型。本專(zhuān)利技術(shù)在未加密視頻的情況下也同樣起作用，但是本專(zhuān)利技術(shù)的設(shè)計(jì)不如根據(jù)完全解密的或從未加密的比特流中提取的更深入的信息的視頻質(zhì)量模型精確。僅僅使用基于數(shù)據(jù)包的信息，提供了使本專(zhuān)利技術(shù)的計(jì)算復(fù)雜度保持低的優(yōu)點(diǎn)，并且當(dāng)然，將應(yīng)用范圍擴(kuò)展為未加密流以及加密流。可如下概述本專(zhuān)利技術(shù)：本專(zhuān)利技術(shù)的目標(biāo)在于，提供一種方法，該方法通過(guò)提供內(nèi)容復(fù)雜度參數(shù)并且使用這些內(nèi)容復(fù)雜度參數(shù)控制任意的(因此，現(xiàn)有的或未來(lái)的)基于參數(shù)的視頻質(zhì)量評(píng)估方法，來(lái)評(píng)估數(shù)字視頻信號(hào)的感知質(zhì)量。一方面，根據(jù)本專(zhuān)利技術(shù)的方法允許相當(dāng)精細(xì)地考慮視頻信號(hào)的內(nèi)容的質(zhì)量影響，另一方面，還應(yīng)適用于加密視頻，并且適用于丟包的情況以及未丟包的情況。本專(zhuān)利技術(shù)的另一個(gè)目標(biāo)在于，提供一種設(shè)備，該設(shè)備被配置為用于計(jì)算內(nèi)容復(fù)雜度參數(shù)并且將這些參數(shù)插入任意的基于參數(shù)的視頻質(zhì)量模型內(nèi)，具有與這種基于數(shù)據(jù)包報(bào)頭的方法相關(guān)聯(lián)的所有優(yōu)點(diǎn)。還應(yīng)注意的是，本專(zhuān)利技術(shù)與上面引用的參考文獻(xiàn)【13a、13b、14】的方法的主要差異在于所計(jì)算的內(nèi)容相關(guān)的參數(shù)以及在模型內(nèi)包括這些參數(shù)的方法。在本專(zhuān)利技術(shù)中，內(nèi)容相關(guān)的參數(shù)用作不取決于在參考文獻(xiàn)【13a、13b、14】中公開(kāi)的幀的歷史的絕對(duì)值。因此，原則上，這些參數(shù)可用于比較兩個(gè)不同內(nèi)容的復(fù)雜度或者一個(gè)內(nèi)容的不同場(chǎng)景或通道的復(fù)雜度。而且，在本專(zhuān)利技術(shù)中使用的內(nèi)容相關(guān)的參數(shù)的值具有連續(xù)性，并且與在【13a、13b、14】中不同，不分類(lèi)成模糊的類(lèi)別，從而允許非常精細(xì)地評(píng)估內(nèi)容的質(zhì)量影響。此外，在本專(zhuān)利技術(shù)中，在整個(gè)測(cè)量窗口上，為每個(gè)圖像組(GOP)或每個(gè)視頻場(chǎng)景計(jì)算所有參數(shù)，而在現(xiàn)有技術(shù)(與參考文獻(xiàn)【13a、13b、14】相比)中，為每個(gè)幀計(jì)算所有參數(shù)。要注意的是，在加密視頻的情況下，可使用【20】評(píng)估GOP結(jié)構(gòu)。進(jìn)一步要注意的是，(視頻)場(chǎng)景從I幀開(kāi)始，并且通常包含幾個(gè)GOP。在使用參考文獻(xiàn)【21】(在本申請(qǐng)的提交日期之前未公布)的加密視頻的情況下，可檢測(cè)場(chǎng)景切換。兩個(gè)視頻場(chǎng)景的語(yǔ)義內(nèi)容通常不同。而且，內(nèi)容信號(hào)的空間-時(shí)間(ST)復(fù)雜度的場(chǎng)景內(nèi)部變化通常低于其場(chǎng)景之間的變化。在以下等式中，根據(jù)不同類(lèi)型的降質(zhì)的作用，顯示表示評(píng)估的視頻質(zhì)量Qv的兩種一般方法，Qv＝Qvo–Icod–Itra,(1)Qv＝Qvo×Icod×Itra,(2)其中，Icod和Itra是“損害因數(shù)”(IF)的實(shí)例。損害因數(shù)量化特定降質(zhì)類(lèi)型的質(zhì)量影響，并且能從信號(hào)和傳輸路徑的參數(shù)描述計(jì)算每個(gè)損害因數(shù)。在等式(1)和(2)中，Icod表示壓縮失真的質(zhì)量影響，Itra表示傳輸誤差(丟包)的質(zhì)量影響。要注意的是，在等式(2)中并且在整個(gè)申請(qǐng)中，符號(hào)“×”表示兩個(gè)實(shí)數(shù)之間的普通乘法，有時(shí)也表示為符號(hào)“·”。例如，在等式(1)和(2)中的所有術(shù)語(yǔ)表示在從0到100或者從1到5的范圍內(nèi)。Qvo是基本質(zhì)量并且通常與用于表示感知質(zhì)量的規(guī)模的最高值對(duì)應(yīng)，例如，Qvo＝100或Qvo＝5。根據(jù)本專(zhuān)利技術(shù)，可計(jì)算每個(gè)測(cè)量窗口的Icod和Itra以及Qv，一個(gè)測(cè)量窗口通常持續(xù)10到20秒。例如，在參考文獻(xiàn)【13】和【14】之后本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種評(píng)估數(shù)字視頻信號(hào)的感知質(zhì)量的方法，所述方法包括以下步驟：(1a)提取在解碼之前捕捉的視頻比特流的信息；(1b)為每個(gè)評(píng)估使用適合于各個(gè)損害因數(shù)IF的影響函數(shù)，來(lái)獲得一個(gè)或多個(gè)損害因數(shù)的評(píng)估；(1c)使用在步驟(1b)中獲得的所述評(píng)估，評(píng)估所述數(shù)字視頻信號(hào)的所述感知質(zhì)量；所述方法的特征在于，在步驟(1b)中使用的所述影響函數(shù)中的每個(gè)將從GOP/場(chǎng)景復(fù)雜度參數(shù)的集合計(jì)算的內(nèi)容相關(guān)的參數(shù)q的集合作為輸入，其中，能從數(shù)據(jù)包報(bào)頭信息中得出GOP/場(chǎng)景復(fù)雜度參數(shù)并且能在加密的視頻比特流的情況下使用GOP/場(chǎng)景復(fù)雜度參數(shù)；其中，至少?gòu)腉OP/場(chǎng)景復(fù)雜度參數(shù)中獲得所述內(nèi)容相關(guān)的參數(shù)q的集合，表示每個(gè)場(chǎng)景的平均I幀尺寸，其中，優(yōu)選地忽略第一場(chǎng)景的第一I幀；并且其中，為了評(píng)估所述損害因數(shù)中的至少一個(gè)，優(yōu)選地評(píng)估由壓縮失真造成的質(zhì)量影響，使用取決于內(nèi)容相關(guān)的參數(shù)q1的影響函數(shù)fIF，通過(guò)使場(chǎng)景sc乘以系數(shù)，從所述GOP/場(chǎng)景復(fù)雜度參數(shù)的加權(quán)平均數(shù)的倒數(shù)計(jì)算所述內(nèi)容相關(guān)的參數(shù)q1。

【技術(shù)特征摘要】
【國(guó)外來(lái)華專(zhuān)利技術(shù)】2012.08.20 EP 12181015.41.一種評(píng)估數(shù)字視頻信號(hào)的感知質(zhì)量的方法，所述方法包括以下步驟：(1a)提取在解碼之前捕捉的視頻比特流的信息；(1b)為每個(gè)評(píng)估使用適合于各個(gè)損害因數(shù)IF的影響函數(shù)，來(lái)獲得一個(gè)或多個(gè)損害因數(shù)的評(píng)估；(1c)使用在步驟(1b)中獲得的所述評(píng)估，評(píng)估所述數(shù)字視頻信號(hào)的所述感知質(zhì)量；所述方法的特征在于，在步驟(1b)中使用的所述影響函數(shù)中的每個(gè)將從GOP/場(chǎng)景復(fù)雜度參數(shù)的集合計(jì)算的內(nèi)容相關(guān)的參數(shù)q的集合作為輸入，其中，能從數(shù)據(jù)包報(bào)頭信息中得出GOP/場(chǎng)景復(fù)雜度參數(shù)并且能在加密的視頻比特流的情況下使用GOP/場(chǎng)景復(fù)雜度參數(shù)；其中，至少?gòu)腉OP/場(chǎng)景復(fù)雜度參數(shù)中獲得所述內(nèi)容相關(guān)的參數(shù)q的集合，表示每個(gè)場(chǎng)景的平均I幀尺寸；其中，為了評(píng)估所述損害因數(shù)中的至少一個(gè)，使用取決于內(nèi)容相關(guān)的參數(shù)q1的影響函數(shù)fIF，通過(guò)使場(chǎng)景sc乘以系數(shù)，從所述GOP/場(chǎng)景復(fù)雜度參數(shù)的加權(quán)平均數(shù)的倒數(shù)計(jì)算所述內(nèi)容相關(guān)的參數(shù)q1，并且其中，每個(gè)場(chǎng)景sc具有加權(quán)wsc×Nsc，Nsc是每個(gè)場(chǎng)景的GOP的數(shù)量，并且wsc是加權(quán)因子，其中，對(duì)于具有最低值的場(chǎng)景：wsc被設(shè)為大于1的值，并且對(duì)于所有其它場(chǎng)景：wsc被設(shè)為等于1。2.根據(jù)權(quán)利要求1所述的方法，其中，所述系數(shù)與每個(gè)視頻幀的像素?cái)?shù)量nx和視頻幀速率fr成比例。3.根據(jù)權(quán)利要求2所述的方法，其中，所述內(nèi)容相關(guān)的參數(shù)q1由以下公式表示：4.根據(jù)權(quán)利要求1所述的方法，其中，為每個(gè)圖像組(GOP)或每個(gè)視頻場(chǎng)景計(jì)算所述GOP/場(chǎng)景復(fù)雜度參數(shù)。5.根據(jù)權(quán)利要求1所述的方法，其中，在步驟(1b)中使用的所述影響函數(shù)中的每個(gè)進(jìn)一步取決于：編碼或網(wǎng)絡(luò)技術(shù)特征。6.根據(jù)權(quán)利要求1所述的方法，其中，在步驟(1b)中使用的所述影響函數(shù)中的每個(gè)進(jìn)一步取決于：與所述影響函數(shù)相關(guān)聯(lián)的系數(shù)。7.根據(jù)權(quán)利要求1所述的方法，其中，在步驟(1b)中使用的所述影響函數(shù)中的每個(gè)進(jìn)一步取決于：編碼或網(wǎng)絡(luò)技術(shù)特征；以及與所述影響函數(shù)相關(guān)聯(lián)的系數(shù)。8.根據(jù)權(quán)利要求1所述的方法，其中，進(jìn)一步從以下GOP/場(chǎng)景復(fù)雜度參數(shù)中的至少一個(gè)中獲得所述內(nèi)容相關(guān)的參數(shù)q的集合：表示每個(gè)GOP的平均P幀尺寸；表示每個(gè)GOP的平均參考B幀尺寸；表示每個(gè)GOP的平均非參考b幀尺寸；表示每個(gè)GOP的聯(lián)合平均P、B以及b幀尺寸；表示為每個(gè)場(chǎng)景計(jì)算的I幀的比特率；表示為每個(gè)場(chǎng)景計(jì)算的P幀的比特率；表示為每個(gè)場(chǎng)景計(jì)算的B幀的比特率；表示為每個(gè)場(chǎng)景計(jì)算的b幀的比特率；表示為每個(gè)場(chǎng)景計(jì)算的P、B以及b幀的比特率。9.根據(jù)權(quán)利要求8所述的方法，其中，從以下GOP/場(chǎng)景復(fù)雜度參數(shù)中的至少一個(gè)中獲得所述參數(shù)q的集合：10.根據(jù)權(quán)利要求1所述的方法，其中，取決于所述內(nèi)容相關(guān)的參數(shù)q＝q1的影響函數(shù)fIF由以下公式表示：fIF(p,q,α)＝α1×exp(α2×p1)+α3×q1+α4，其中，p＝p1是描述每個(gè)像素的比特?cái)?shù)的參數(shù)，并且其中，α＝(α1,α2,α3,α4)是與所述影響函數(shù)相關(guān)聯(lián)的系數(shù)的集合。11.根據(jù)權(quán)利要求9所述的方法，其中，使用取決于所述內(nèi)容相關(guān)的參數(shù)q＝(q1,q2)的集合的影響函數(shù)fIF，用于評(píng)估由傳輸失真造成的質(zhì)量影響，通過(guò)取決于GOP/場(chǎng)景復(fù)雜度參數(shù)的參數(shù)βk,i的加權(quán)Rk,j總和，獲得所述集合的每個(gè)分量qj，j∈{1,2}。12.根據(jù)權(quán)利要求11所述的方法，其中，根據(jù)以下公式，計(jì)算每個(gè)j∈{1,2}的所述加權(quán)總和：13.根據(jù)權(quán)利要求11所述的方法，其中，通過(guò)以下公式提供所述加權(quán)：TK是GOPk的損失持續(xù)時(shí)間，ti是在損失事件i的GOP中的位置，并且ri表示損失事件i的空間幅度。14.根據(jù)權(quán)利要求13所述的方法，其中，在每個(gè)幀具有一個(gè)片段的情況下，并且在每個(gè)幀具有多個(gè)片段的情況下，其中，np是在幀中的數(shù)據(jù)包的數(shù)量，nap是在擊中幀中的受影響的傳輸流(TS)數(shù)據(jù)包的數(shù)量，nlp是在幀中的丟包的數(shù)量，nle是在幀中的損失事件的數(shù)量，并且nsl是在幀中的片段的數(shù)量。15.根據(jù)權(quán)利要求12所述的方法，其中，參數(shù)βk,1取決于GOP/場(chǎng)景復(fù)雜度參數(shù)SnoI/I。16.根據(jù)權(quán)利要求12所述的方法，其中，參數(shù)βk,2取決于GOP/場(chǎng)景復(fù)雜度參數(shù)Sb/P。17.根據(jù)權(quán)利要求12所述的方法，其中，參數(shù)βk,1取決于GOP/場(chǎng)景復(fù)雜度參數(shù)SnoI/...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：瑪麗內(nèi)日·加西亞，亞歷山大·拉克，薩瓦斯·阿伊羅普洛斯，伯恩哈德·費(fèi)坦恩，彼得·利斯特，
申請(qǐng)(專(zhuān)利權(quán))人：德國(guó)電信股份有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：德國(guó);DE