視頻播放器的跳幀同步系統(tǒng)及其控制方法技術(shù)方案

本發(fā)明專(zhuān)利技術(shù)涉及一種視頻播放器的跳幀同步系統(tǒng)及其控制方法，包括播放能力檢測(cè)模塊、跳幀控制模塊、音/視頻解碼模塊和音/視頻輸出模塊，此播放器能夠解碼當(dāng)前通用格式的視頻文件，在視頻播放過(guò)程中，當(dāng)播放器檢測(cè)到播放器處理能力不夠時(shí)，在保證音頻數(shù)據(jù)正常解碼輸出的情況下，合理進(jìn)行視頻跳幀處理，從而實(shí)現(xiàn)音視頻的同步播放；當(dāng)播放器檢測(cè)到播放器處理能力足夠時(shí)，就和通用視頻播放器一樣進(jìn)行音視頻的正常解碼輸出，且檢測(cè)是實(shí)時(shí)進(jìn)行的，一旦發(fā)現(xiàn)播放能力不足即刻就能精確確定跳幀時(shí)間點(diǎn)，對(duì)跳幀模式的選擇也做到了音視頻同步，解決了通用播放器在終端處理能力不足的情況下不能音視頻同步播放高壓縮比、高分辨率、高幀率的視頻內(nèi)容的問(wèn)題，改善了用戶(hù)體驗(yàn)。

Frame skipping video player synchronization system and its control method

Frame synchronization system of the present invention relates to a video player and its control method, including the ability to play both detection module, control module, video decoding module and audio / video output module, the player can decode the video file format, in the video playback process, when the player is detected when the player treatment capacity is not enough in order to ensure the normal data, audio decoding output under the condition of reasonable video frame skipping treatment, so as to realize the synchronization of audio and video playback; when the player detects the player enough processing power, for normal decoding of audio and video output and universal video player, and the detection is performed in real time, once found insufficient ability to play immediately to accurately determine the time point of skipping, skipping mode selection is done to solve the general synchronization of audio and video, broadcast In the case of insufficient processing power of the terminal, the transmitter can not broadcast the video content of the high compression ratio, high resolution and high frame rate synchronously with audio-video, thereby improving the user experience.

【技術(shù)實(shí)現(xiàn)步驟摘要】
視頻播放器的跳幀同步系統(tǒng)及其控制方法
本專(zhuān)利技術(shù)涉及多媒體信息處理領(lǐng)域，尤其涉及視頻播放領(lǐng)域，具體是指一種視頻播放器的跳幀同步系統(tǒng)及其控制方法。
技術(shù)介紹
隨著多媒體壓縮技術(shù)和網(wǎng)絡(luò)通信技術(shù)的發(fā)展，媒體業(yè)務(wù)提供商推出了越來(lái)越多的高壓縮比、高分辨率、高幀率的視頻內(nèi)容，它將極大地改善用戶(hù)的視覺(jué)體驗(yàn)，豐富用戶(hù)的娛樂(lè)生活。但要播放這些高壓縮比、高分辨率、高幀率的視頻內(nèi)容，對(duì)終端播放器的計(jì)算能力和數(shù)據(jù)處理能力也提出了很高的要求。由于很大一部分用戶(hù)的電視機(jī)、機(jī)頂盒、手機(jī)、平板電腦等播放設(shè)備的更新速度跟不上媒體內(nèi)容清晰度更新?lián)Q代的速度。比如對(duì)當(dāng)前出現(xiàn)的超高分辨率(如UHD4k分辨率3840×2160)、高幀率(如高達(dá)120p)、高壓縮比(如H.265編碼)的視頻，很多視頻播放設(shè)備還不支持或不能流暢播放這樣的視頻。如果使用老的播放設(shè)備中自帶的播放器播放這些高壓縮比、高分辨率、高幀率的視頻內(nèi)容，就會(huì)出現(xiàn)這樣的情況：要么播放格式不支持，要么音/視頻嚴(yán)重不同步(聲音播放正常，圖像越來(lái)越滯后)。從而嚴(yán)重影響用戶(hù)體驗(yàn)。如何使播放設(shè)備自適應(yīng)播放大部分通用格式的視頻，已經(jīng)成為當(dāng)前視頻播放領(lǐng)域較為熱門(mén)的研究課題。
技術(shù)實(shí)現(xiàn)思路
為了克服上述現(xiàn)有技術(shù)中的問(wèn)題，本專(zhuān)利技術(shù)提出了一種支持大多數(shù)通用視頻播放的視頻播放器的跳幀同步系統(tǒng)及其控制方法。本專(zhuān)利技術(shù)的視頻播放器的跳幀同步系統(tǒng)及其控制方法具體如下：該視頻播放器的跳幀同步系統(tǒng)，其主要特點(diǎn)是，所述的系統(tǒng)包括播放能力檢測(cè)模塊、跳幀處理模塊、音/視頻解碼輸出模塊及音/視頻輸出模塊，其中，所述的播放能力檢測(cè)模塊獲取視頻數(shù)據(jù)的基本信息，對(duì)所述的視頻數(shù)據(jù)進(jìn)行播放能力檢測(cè)并判斷視頻數(shù)據(jù)是否需要跳幀處理，根據(jù)判斷結(jié)果傳送視頻數(shù)據(jù)至所述的音/視頻解碼模塊或所述的跳幀處理模塊；所述的跳幀處理模塊獲取視頻數(shù)據(jù)的基本信息，并對(duì)需進(jìn)行跳幀處理的視頻數(shù)據(jù)進(jìn)行跳幀處理，獲取跳幀處理視頻數(shù)據(jù)；所述的音/視頻解碼模塊用以對(duì)其接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行解碼，以獲取音/視頻解碼數(shù)據(jù)，并將所述的音/視頻解碼數(shù)據(jù)傳送至所述的音/視頻輸出模塊，所述的音/視頻解碼模塊還向所述的播放能力檢測(cè)模塊和所述的跳幀處理模塊提供解碼信息；所述的音/視頻輸出模塊用以輸出其接收到的所述的音/視頻解碼數(shù)據(jù)；所述的基本信息包括視頻數(shù)據(jù)的幀率；所述的解碼信息包括當(dāng)前解碼圖像幀的解碼時(shí)間戳Tvc、下一個(gè)I幀圖像的解碼時(shí)間戳Ti、當(dāng)前解碼音頻幀的解碼時(shí)間戳Tac和解碼該幀視頻圖像所需的時(shí)間t。較佳地，所述的播放能力檢測(cè)模塊包括第一計(jì)算單元、第一控制單元和第一判斷單元，其中，所述的第一計(jì)算單元用以根據(jù)其所獲取的解碼該幀視頻圖像所需的時(shí)間t獲取解碼每幀圖像的平均花費(fèi)時(shí)間T，且所述的第一計(jì)算單元還用以根據(jù)所述的視頻數(shù)據(jù)的幀率計(jì)算視頻數(shù)據(jù)的解碼一幀圖像允許最大時(shí)間Tmax；所述的第一判斷單元用以根據(jù)所述的解碼每幀圖像的平均花費(fèi)時(shí)間T和所述的解碼一幀圖像允許最大時(shí)間Tmax判斷視頻數(shù)據(jù)當(dāng)前是否需要跳幀處理；所述的控制單元根據(jù)所述的第一判斷單元得出的判斷結(jié)果將所述的當(dāng)前視頻數(shù)據(jù)傳送給所述的音/視頻解碼模塊或所述的跳幀處理模塊。較佳地，所述的跳幀處理模塊包括第二計(jì)算單元、第二判斷單元、I幀型跳幀單元、B幀型跳幀單元和第二控制單元，其中，所述的第二計(jì)算單元用以獲取播放能力檢測(cè)參數(shù)和音/視頻同步參數(shù)；所述的第二判斷單元根據(jù)需進(jìn)行跳幀的視頻數(shù)據(jù)的幀率、所述的播放能力檢測(cè)參數(shù)和所述的音/視頻同步參數(shù)以判斷需進(jìn)行跳幀的視頻數(shù)據(jù)的跳幀模式，且所述的跳幀模式包括I幀型跳幀模式和B幀型跳幀模式；所述的第二控制單元用以根據(jù)所述的第二判斷單元的判斷將需進(jìn)行跳幀的視頻數(shù)據(jù)傳送給所述的I幀型跳幀單元或所述的B幀型跳幀單元；其中，所述的I幀型跳幀單元用以實(shí)現(xiàn)所述的I幀型跳幀模式，所述的I幀型跳幀模式即為跳過(guò)當(dāng)前幀到下一個(gè)I幀之間的所有類(lèi)型的圖像幀；所述的B幀型跳幀單元用以實(shí)現(xiàn)所述的B幀型跳幀模式，所述的B幀型跳幀模式即為跳過(guò)當(dāng)前的B幀，且當(dāng)前連續(xù)3個(gè)B幀時(shí)保留中間的B幀。基于上述的系統(tǒng)實(shí)現(xiàn)視頻播放器跳幀同步控制的方法，其主要特點(diǎn)是，所述的方法包括以下步驟：(1)所述的播放能力檢測(cè)模塊對(duì)接收到的視頻數(shù)據(jù)進(jìn)行播放能力檢測(cè)，并判斷該視頻數(shù)據(jù)是否需要跳幀處理，如果需要，則所述的播放能力檢測(cè)模塊將所述的視頻數(shù)據(jù)傳送給所述的跳幀處理模塊，并繼續(xù)步驟(2)；否則所述的播放能力檢測(cè)模塊將所述的視頻數(shù)據(jù)傳送給所述的音/視頻解碼模塊，并繼續(xù)步驟(3)；(2)所述的跳幀處理模塊對(duì)輸入的需進(jìn)行跳幀的視頻數(shù)據(jù)進(jìn)行跳幀處理，并將所得的跳幀處理數(shù)據(jù)傳送給所述的音/視頻解碼模塊；(3)所述的音/視頻解碼模塊對(duì)視頻數(shù)據(jù)進(jìn)行解碼，并將所述的音/視頻解碼數(shù)據(jù)傳送給所述的視頻輸出模塊，且所述的音/視頻解碼模塊將所述的解碼信息傳送給所述的播放能力檢測(cè)模塊和所述的跳幀處理模塊；(4)所述的音/視頻輸出模塊輸出其接收到的視頻數(shù)據(jù)。較佳地，所述的步驟(1)的具體步驟如下：(1.1)所述的播放檢測(cè)模塊根據(jù)其獲取的視頻數(shù)據(jù)的幀率和所述的解碼該幀視頻圖像所需的時(shí)間t獲取解碼一幀圖像允許最大時(shí)間Tmax和解碼每幀圖像的平均花費(fèi)時(shí)間T；(1.2)所述的播放檢測(cè)模塊將計(jì)算所述的解碼一幀圖像允許最大時(shí)間Tmax和所述的解碼每幀圖像的平均花費(fèi)時(shí)間T按以下公式相比較：ΔT＝T-0.5×Tmax；其中所述的ΔT為一播放能力檢測(cè)參數(shù)，所述的T為所述的平均解碼每幀圖像所需時(shí)間，所述的Tmax為所述的解碼一幀圖像允許最大時(shí)間；(1.3)所述的播放能力檢測(cè)模塊判斷所述的ΔT是否大于零，如果所述的ΔT大于零，則判斷該視頻數(shù)據(jù)需要進(jìn)行跳幀操作，并將所述的視頻數(shù)據(jù)傳送給所述的跳幀處理模塊；否則判斷該視頻數(shù)據(jù)不需要進(jìn)行跳幀操作，所述的播放能力檢測(cè)模塊將視頻數(shù)據(jù)傳送給所述的音/視頻解碼模塊。較佳地，所述的步驟(2)的具體步驟如下：(2.1)所述的跳幀處理模塊根據(jù)其獲取的解碼該視頻數(shù)據(jù)的基本信息，判斷該視頻數(shù)據(jù)的跳幀模式為對(duì)應(yīng)于所述的B幀跳幀單元的B幀跳幀模式或?qū)?yīng)于所述的I幀跳幀單元的I幀跳幀模式；(2.2)所述的跳幀處理模塊根據(jù)該視頻數(shù)據(jù)的跳幀模式將所述的視頻數(shù)據(jù)傳送到該跳幀模式對(duì)應(yīng)的所述的I幀跳幀單元、B幀跳幀單元或音/視頻解碼模塊中。更佳地，所述的步驟(2.1)具體為：(2.1.1)所述的跳幀處理模塊獲取當(dāng)前解碼圖像幀的解碼時(shí)間戳Tvc、下一個(gè)I幀圖像的解碼時(shí)間戳Ti和當(dāng)前解碼音頻幀的解碼時(shí)間戳Tac，按以下公式計(jì)算該視頻數(shù)據(jù)的音/視頻同步情況：ΔT1＝Ti-Tac-Tmax；其中，所述的ΔT1為該視頻數(shù)據(jù)的音/視頻同步參數(shù)，所述的Ti為所述的下一個(gè)I幀圖像的解碼時(shí)間戳，所述的Tac為所述的當(dāng)前解碼音頻幀的解碼時(shí)間戳，所述的Tmax為所述的解碼一幀圖像所需時(shí)間；(2.1.2)所述的跳幀處理模塊判斷該ΔT1是否大于零，如果所述的ΔT1的大于零，則繼續(xù)步驟(2.1.4)；否則繼續(xù)步驟(2.1.3)；(2.1.3)所述的跳幀處理模塊判斷該視頻數(shù)據(jù)的跳幀模式為I幀跳幀模式并繼續(xù)所述的步驟(2.2)；(2.1.4)所述的跳幀處理模塊按以下公式判斷該視頻數(shù)據(jù)的解碼是否滯后于所述的音頻幀的解碼：ΔT2＝Tac-Tvc；其中所述的ΔT2為該視頻數(shù)據(jù)的解碼是否滯后于所述的音頻幀的解碼的判斷標(biāo)準(zhǔn)本文檔來(lái)自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種視頻播放器的跳幀同步系統(tǒng)，其特征在于，所述的系統(tǒng)包括播放能力檢測(cè)模塊、跳幀處理模塊、音/視頻解碼輸出模塊及音/視頻輸出模塊，其中，所述的播放能力檢測(cè)模塊獲取視頻數(shù)據(jù)的基本信息，對(duì)所述的視頻數(shù)據(jù)進(jìn)行播放能力檢測(cè)并判斷視頻數(shù)據(jù)是否需要跳幀處理，根據(jù)判斷結(jié)果傳送視頻數(shù)據(jù)至所述的音/視頻解碼模塊或所述的跳幀處理模塊；所述的跳幀處理模塊獲取視頻數(shù)據(jù)的基本信息，并對(duì)需進(jìn)行跳幀處理的視頻數(shù)據(jù)進(jìn)行跳幀處理，獲取跳幀處理視頻數(shù)據(jù)；所述的音/視頻解碼模塊用以對(duì)其接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行解碼，以獲取音/視頻解碼數(shù)據(jù)，并將所述的音/視頻解碼數(shù)據(jù)傳送至所述的音/視頻輸出模塊，所述的音/視頻解碼模塊還向所述的播放能力檢測(cè)模塊和所述的跳幀處理模塊提供解碼信息；所述的音/視頻輸出模塊用以輸出其接收到的所述的音/視頻解碼數(shù)據(jù)；所述的基本信息包括視頻數(shù)據(jù)的幀率；所述的解碼信息包括當(dāng)前解碼圖像幀的解碼時(shí)間戳T

【技術(shù)特征摘要】
1.一種視頻播放器的跳幀同步系統(tǒng)，其特征在于，所述的系統(tǒng)包括播放能力檢測(cè)模塊、跳幀處理模塊、音/視頻解碼輸出模塊及音/視頻輸出模塊，其中，所述的播放能力檢測(cè)模塊獲取視頻數(shù)據(jù)的基本信息，對(duì)所述的視頻數(shù)據(jù)進(jìn)行播放能力檢測(cè)并判斷視頻數(shù)據(jù)是否需要跳幀處理，根據(jù)判斷結(jié)果傳送視頻數(shù)據(jù)至所述的音/視頻解碼模塊或所述的跳幀處理模塊；所述的跳幀處理模塊獲取視頻數(shù)據(jù)的基本信息，并對(duì)需進(jìn)行跳幀處理的視頻數(shù)據(jù)進(jìn)行跳幀處理，獲取跳幀處理視頻數(shù)據(jù)；所述的音/視頻解碼模塊用以對(duì)其接收到的視頻數(shù)據(jù)和音頻數(shù)據(jù)進(jìn)行解碼，以獲取音/視頻解碼數(shù)據(jù)，并將所述的音/視頻解碼數(shù)據(jù)傳送至所述的音/視頻輸出模塊，所述的音/視頻解碼模塊還向所述的播放能力檢測(cè)模塊和所述的跳幀處理模塊提供解碼信息；所述的音/視頻輸出模塊用以輸出其接收到的所述的音/視頻解碼數(shù)據(jù)；所述的基本信息包括視頻數(shù)據(jù)的幀率；所述的解碼信息包括當(dāng)前解碼圖像幀的解碼時(shí)間戳Tvc、下一個(gè)I幀圖像的解碼時(shí)間戳Ti、當(dāng)前解碼音頻幀的解碼時(shí)間戳Tac和解碼該幀視頻圖像所需的時(shí)間t。2.根據(jù)權(quán)利要求1所述的視頻播放器的跳幀同步系統(tǒng)，其特征在于，所述的播放能力檢測(cè)模塊包括第一計(jì)算單元、第一控制單元和第一判斷單元，其中，所述的第一計(jì)算單元用以根據(jù)其所獲取的解碼該幀視頻圖像所需的時(shí)間t獲取解碼每幀圖像的平均花費(fèi)時(shí)間T，且所述的第一計(jì)算單元還用以根據(jù)所述的視頻數(shù)據(jù)的幀率計(jì)算視頻數(shù)據(jù)的解碼一幀圖像允許最大時(shí)間Tmax；所述的第一判斷單元用以根據(jù)所述的解碼每幀圖像的平均花費(fèi)時(shí)間T和所述的解碼一幀圖像允許最大時(shí)間Tmax判斷視頻數(shù)據(jù)當(dāng)前是否需要跳幀處理；所述的控制單元根據(jù)所述的第一判斷單元得出的判斷結(jié)果將所述的當(dāng)前視頻數(shù)據(jù)傳送給所述的音/視頻解碼模塊或所述的跳幀處理模塊。3.根據(jù)權(quán)利要求1所述的視頻播放器的跳幀同步系統(tǒng)，其特征在于，所述的跳幀處理模塊包括第二計(jì)算單元、第二判斷單元、I幀型跳幀單元、B幀型跳幀單元和第二控制單元，其中，所述的第二計(jì)算單元用以獲取一播放能力檢測(cè)參數(shù)和一音/視頻同步參數(shù)；所述的第二判斷單元根據(jù)需進(jìn)行跳幀的視頻數(shù)據(jù)的幀率、所述的播放能力檢測(cè)參數(shù)和所述的音/視頻同步參數(shù)以判斷需進(jìn)行跳幀的視頻數(shù)據(jù)的跳幀模式，且所述的跳幀模式包括I幀型跳幀模式和B幀型跳幀模式；所述的第二控制單元用以根據(jù)所述的第二判斷單元的判斷將需進(jìn)行跳幀的視頻數(shù)據(jù)傳送給所述的I幀型跳幀單元或所述的B幀型跳幀單元；其中，所述的I幀型跳幀單元用以實(shí)現(xiàn)所述的I幀型跳幀模式，所述的I幀型跳幀模式即為跳過(guò)當(dāng)前幀到下一個(gè)I幀之間的所有類(lèi)型的圖像幀；所述的B幀型跳幀單元用以實(shí)現(xiàn)所述的B幀型跳幀模式，所述的B幀型跳幀模式即為跳過(guò)當(dāng)前的B幀，且當(dāng)前連續(xù)3個(gè)B幀時(shí)保留中間的B幀。4.一種基于權(quán)利要求1至3中任一項(xiàng)所述的系統(tǒng)實(shí)現(xiàn)視頻播放器跳幀同步控制的方法，其特征在于，所述的方法包括以下步驟：(1)所述的播放能力檢測(cè)模塊對(duì)接收到的視頻數(shù)據(jù)進(jìn)行播放能力檢測(cè)，并判斷該視頻數(shù)據(jù)是否需要跳幀處理，如果需要，則所述的播放能力檢測(cè)模塊將所述的視頻數(shù)據(jù)傳送給所述的跳幀處理模塊，并繼續(xù)步驟(2)；否則所述的播放能力檢測(cè)模塊將所述的視頻數(shù)據(jù)傳送給所述的音/視頻解碼模塊，并繼續(xù)步驟(3)；(2)所述的跳幀處理模塊對(duì)輸入的需進(jìn)行跳幀的視頻數(shù)據(jù)進(jìn)行跳幀處理，并將所得的跳幀處理數(shù)據(jù)傳送給所述的音/視頻解碼模塊；(3)所述的音/視頻解碼模塊對(duì)視頻數(shù)據(jù)進(jìn)行解碼，并將所述的音/視頻解碼數(shù)據(jù)傳送給所述的視頻輸出模塊，且所述的音/視頻解碼模塊將所述的解碼信息傳送給所述的播放能力檢測(cè)模塊和所述的跳幀處理模塊；(4)所述的音/視...

【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：侯衛(wèi)東，逯利軍，錢(qián)培專(zhuān)，謝為友，
申請(qǐng)(專(zhuān)利權(quán))人：廣東賽特斯信息科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：廣東,44