自適應視頻流的技術制造技術

在視頻編碼系統(200)中，多次編碼公共視頻序列以產生編碼視頻數據的相應實例。可根據從相應服務層的目標比特率導出的一組編碼參數對每個實例進行編碼。可根據將最大層編碼率限制到小于另一預先確定的服務層的目標比特率的約束條件對每個層進行編碼。根據約束條件進行編碼有助于通過請求客戶端設備處理資源在層間動態切換或者通信帶寬變化。在不同編碼流之間切換的改進編碼系統可提高流式傳輸的視頻質量同時減小此類內容的傳輸和存儲大小。

【技術實現步驟摘要】
【國外來華專利技術】相關申請的交叉引用本申請要求于2015年5月4日提交的美國專利申請14/703,366以及2014年9月8日提交的美國臨時申請62/047,415的優先權，其內容全文并入本文。
技術介紹
在自適應流式傳輸的場景中，公共視頻序列通常被編碼成不同比特率的多個流。每個流通常被分割成傳輸單元序列(稱為“塊”)用于遞送。通常創建標識用于視頻序列的比特率的清單文件。例如，在流式傳輸服務中，視頻流和伴隨的播放列表文件托管在服務器中。客戶端設備中的播放器通過訪問播放列表文件獲得流信息，允許播放器根據對可用帶寬的估計在不同流之間切換。然而，當前編碼系統不能足以適應在代表公共視頻內容項的不同編碼流之間的切換。專利技術人察覺到在編碼視頻序列的瞬時數據率超過編碼視頻序列被編碼的目標比特率的時刻切換問題有可能變得常見。例如，考慮針對目標比特率為1Mbps編碼的視頻序列。視頻編碼器將導出一組用于編碼的編碼參數，基于對視頻序列的復雜度和內容的估計，所述編碼參數預計產生目標比特率例如0.9Mbps或附近的編碼視頻數據。然而，視頻序列的內容，大概在短期情況下可能與視頻編碼器的估計存在偏差，將導致編碼數據率明顯超過目標比特率。例如，如果編碼數據率可以跳到1.5Mbps，則會超過客戶端設備的會話的資源限制。客戶端設備可能將嘗試切換到針對較低目標比特率開發的編碼視頻數據的另一副本，但其他副本也可能超過客戶端設備的資源限制，至少針對在引起瞬時數據率增大的短期事件。客戶端設備可能必須迭代地識別和請求編碼視頻的不同副本，直到定在數據率滿足其資源限制的副本上為止。在客戶端設備如此操作時，其可能經歷呈現的視頻的中斷，會減小感知到的解碼會話的質量。因此，本專利技術人認識到對用于提供公共視頻序列的不同編碼流之間有效切換的視頻流式傳輸
中的需要。附圖說明圖1為適合與本公開一起使用的視頻分發系統的簡化框圖。圖2是根據本公開的實施方案的具有集成編碼服務器和分發服務器的系統的簡化框圖。圖3示出了根據本公開的實施方案的方法300。圖4示出根據本公開的實施方案的層編碼的比特率曲線圖。圖5示出了根據本公開的另一實施方案的編碼方法。圖6示出了根據本公開的實施方案的示例性編碼視頻流。圖7示出了根據本公開的實施方案的層在編碼視頻流中的應用。具體實施方式本公開的實施方案提供用于編碼視頻數據的技術，其中對公共視頻序列進行多次編碼以產生編碼視頻數據的相應實例。可根據從相應服務層的目標比特率導出的一組編碼參數對每個實例進行編碼。可根據將最大層編碼率限制到小于另一預先確定的服務層的目標比特率的約束條件對每個層進行編碼。根據約束條件進行編碼有助于通過請求客戶端設備處理資源在層間動態切換或者通信帶寬變化。在不同編碼流之間切換的改進編碼系統可提高流式傳輸的視頻質量同時減小此類內容的傳輸和存儲大小。圖1為適合與本公開一起使用的視頻分發系統100的簡化框圖。系統100可包括經由通信網絡130連接的分發服務器系統110和客戶端設備120。分發系統100可響應于客戶請求向客戶端120提供編碼視頻數據。客戶端120可解碼編碼的視頻數據并且將其呈現在顯示器上。分發服務器110可包括存儲系統140，多個視頻內容項150(例如，電影、電視節目和其他運動畫面內容)存儲在存儲系統140上用于由客戶端設備120下載。在圖1的實施例中示出了單個視頻內容項150。分發服務器110可存儲視頻內容項150的若干編碼表示152-156，示為“層”，該編碼表示已由不同編碼參數編碼。層152-156可根據平均比特率變化，可由編碼中的差異導出，例如，編碼復雜度、幀速率、幀大小等。每個視頻流層152,154,156可被解析成的多個“塊”CH1.1-CH1.N、CH2.1-CH2.N和CH3.1-CH3.N，代表不同時間的視頻內容的視頻內容項150的編碼區段。不同塊可從存儲裝置獲得并且通過在網絡130中定義的信道輸送到客戶端120。傳輸塊的聚合表示圖1中的信道流160。圖1的實施例示出三個編碼視頻層，第一層、第二層和第三層，每個都以不同平均比特率編碼成N個塊(1到N)。在圖1的實施例中，層152,154，156分別以4Mb/s、2Mb/s和500Kb/s編碼。在該實施例中，每個層的塊在時間上對準從而塊邊界定義視頻內容的對應持續時間(t1,t2,t3,…,tN)。然而，其他實施方案可能未在時間上對準塊邊界，并且可提供比圖1所示更多或更少的層數。分發服務器110還可存儲索引文件158，在本文中稱為“清單文件”，描述可用于每個層的視頻內容項150和不同層152-156。清單文件158可將編碼視頻流與視頻內容項150相關聯并且將每個編碼視頻流的塊與其他視頻流的對應塊相關聯。例如，清單文件158可提供描述每個服務層的元數據，客戶端120可參考該清單文件確定請求哪個服務層。清單文件158還可標識每個塊在存儲系統140中的存儲位置用于由客戶端設備120獲取。當分發服務器110接收對視頻內容項150的請求時，服務器110可將來自清單文件158的數據提供給客戶端設備120。裝備有表示編碼視頻流的不同數據率的信息，客戶端設備120可標識視頻流中的一個(例如，層152)或者用于遞送視頻的平均比特率中的一個。遞送帶寬的設備標識可基于對網絡130中可用的帶寬的估計和/或客戶端設備120處解碼接收數據的可用的處理資源的估計。作為應答，分發服務器110可從存儲裝置140以指定數據率獲得數據塊，可從獲得的塊構建信道流160并且可將信道流160傳輸到客戶端設備120。在分發服務器110隨時間將其塊遞送到客戶端設備120時，客戶端設備120可請求以不同數據率遞送視頻內容項150。例如，客戶端設備120可修改其對網絡帶寬和/或本地處理資源的估計。作為應答，分發服務器110可獲得對應于不同數據率(例如，層154)的塊并且將其構建成信道流160。客戶端設備120可在遞送會話期間重復地請求不同數據率，并且因此，遞送到客戶端設備120的信道流160可包括從多個視頻編碼流得到的塊。對于實況流式傳輸情況，客戶端設備120可從分發服務器110請求“實況內容”，例如，作為源產生并且盡可能快編碼和分發的內容。在此情況下，編碼器可在實況流式傳輸會話期間改變視頻流設置，并且清單文件158中的初始信息可在實況流式傳輸期間由分發服務器110更新。清單文件158可包括代表客戶端120可在解碼會話期間參考的編碼媒體項的各種參數的句法元素。例如，它可針對每個層包括其是否包含具有不同分辨率的塊的指示。客戶端設備120可決定它是否將在塊開始時更新視頻分辨率信息。在另一實施方案中，清單文件158可針對每個層包括所有塊的第一幀是否為同步幀的指示。客戶端設備120可決定在層之間切換時將切換到哪個幀或塊。在另一實施方案中，清單文件158可針對每個層包括其視覺質量的指示。客戶端設備可在層之間切換來實現最佳視覺體驗，例如，最大化平均視覺質量和/或最小化視覺質量跳躍。在另一實施方案中，清單文件158可針對每個塊包括其平均比特率的指示。客戶端設備可根據塊平均比特率確定其緩沖和切換行為。在另一實施方案中，清單文件158可針對每個塊包括其分辨率的指示。客戶端設備可決定它是否將更新視頻分辨率。在另一本文檔來自技高網...

【技術保護點】
一種方法，包括：多次編碼公共視頻序列以產生編碼視頻數據的相應實例，每個實例具有根據從相應服務層的目標比特率導出的一組編碼參數被編碼的視頻數據，其中對于給定層，編碼被約束為將該層的最大編碼率限制為小于另一預先確定的服務層的目標比特率。

【技術特征摘要】
【國外來華專利技術】2014.09.08 US 62/047,415;2015.05.04 US 14/703,3661.一種方法，包括：多次編碼公共視頻序列以產生編碼視頻數據的相應實例，每個實例具有根據從相應服務層的目標比特率導出的一組編碼參數被編碼的視頻數據，其中對于給定層，編碼被約束為將該層的最大編碼率限制為小于另一預先確定的服務層的目標比特率。2.根據權利要求1所述的方法，其中編碼視頻的實例各自包括多個塊的編碼視頻數據。3.根據權利要求1所述的方法，其中編碼視頻的實例各自包括多個塊的編碼視頻數據，所述多個塊的編碼視頻數據具有與來自其他實例的塊的邊界在時間上對準的塊邊界。4.根據權利要求3所述的方法，其中至少一個塊的第一幀為無需參考編碼次序中任何先前幀而可解碼的幀，并且在編碼次序中所述第一幀之后的相應塊的所有其他編碼幀具有不早于所述第一幀的預測參考。5.根據權利要求1所述的方法，還包括將編碼視頻的實例與包含描述層的數據的清單文件相關聯地存儲在分發服務器處。6.根據權利要求1所述的方法，還包括：針對至少一個編碼實例，標識相應實例的編碼率超過該實例的目標比特率的部分，將視頻序列的對應于所標識部分的部分編碼為多個子層，每個子層具有針對所標識部分得出相應編碼率的編碼參數，以及將所編碼實例和所編碼子層存儲在分發服務器處的存儲裝置中。7.根據權利要求1所述的方法，其中每個編碼的層具有不同分辨率但具有彼此大致相似的縱橫比。8.根據權利要求1所述的方法，其中至少一個編碼的層具有從顯示縱橫比和存儲縱橫比導出的像素縱橫比。9.根據權利要求1所述的方法，其中所述編碼包括：針對第一層，估計視頻序列的特征，基于所估計的特征和所述第一層的目標比特率來選擇編碼參數以及根據所選擇的第一層的編碼參數來編碼視頻序列，以及針對至少一個其他層，基于所估計的特征以及所述其他層的目標比特率來選擇編碼參數，以及根據所選擇的所述其他層的編碼參數來編碼視頻序列。10.根據權利要求1所述的方法，其中所述編碼包括：針對至少一層估計視頻序列的特征，基于所估計的特征和相應層的目標比特率來選擇編碼參數，根據所選擇的編碼參數來編碼視頻序列，估計從所述編碼獲得的編碼質量，以及以及如果所估計的編碼質量低于預先確定的閾值，則修改所述編碼參數，以及使用所修改的編碼參數重復所述編碼。11.一種分發服務器，包括：計算機可讀存儲設備，所述計算機可讀存儲設備在其上存儲有表示媒體項的文件，所述文件包括：所述媒體項的多個編碼實例，每個實例具有編碼視頻數據，所述編碼視頻數據表示根據從相應服務層的目標比特率導出的一組編碼參數已被編碼的媒體項，其中對于給定層，編碼被約束為將該層的最大編碼率限制為小于另一預先確定的服務層的目標比特率，以及，包含描述該層的數據的清單文件。12.根據權利要求11所述的服務器，還包括用于在請求時提供相應層的數據的通信系統。13.根據權利要求11所述的服務器，其中每一編碼實例包括多個塊的編碼視頻數據。14.根據權利要求11所述的服務器，其中每一編碼實例包括多個塊的編碼視頻數據，所述多個塊的編碼視頻數據具有與來自其他實例的塊的邊界在時間上對準的塊邊界。15.根據權利要求11所述的服務器，其中至少一個塊的第...

【專利技術屬性】
技術研發人員：蘇野平，吳錫榮，張珂，鄭裕倉，周小松，
申請(專利權)人：蘋果公司，
類型：發明
國別省市：美國;US