【技術實現步驟摘要】
本專利技術涉及視頻通信，更具體說，涉及一種視頻流合成方法及裝置。
技術介紹
1、在視頻會議系統中，基于互聯網的視頻通信技術已廣泛應用于工作和生活的視頻會議場景。其中，mcu架構是一種中心化架構，每個終端僅與中央mcu服務器連接。mcu服務器負責接收、解碼、合屏和編碼處理每個終端上傳的音視頻流。這種設計節省了大量帶寬，但也給mcu中心服務器帶來了較大的壓力。
2、在現有技術中，mcu對各個客戶端視頻的處理主要包括如下兩種方式：
3、第一種方式：如圖1所示，以5人參會場景為例，假如終端ep1,需要看到ep2,ep3,ep4,ep5的畫面，具體的畫面合成過程如下圖所示，為了簡化說明，圖中繪制了ep1的收流情況，其中終端是類似的情況。mcu收到終端的視頻流為編碼后的數據一般采用h.264、h.265等編碼標準進行壓縮，圖中以h.26x表示。
4、(1)?mcu解碼模塊：mcu接收ep2,ep3,ep4,ep5終端所上傳的視頻流，隨后對接收到的每一路視頻流進行解碼，獲取到各個終端的原始圖像數據。原始圖像數據一般為yuv格式，圖中以yuv表示。
5、(2)?mcu圖像變換模塊：根據需要對ep2,ep3,ep4,ep5解碼后的圖像進行采樣，縮放，甚至旋轉等圖像處理操作。
6、(3)?mcu圖像合成模塊：將處理后的圖像根據設定的布局參數合成為一幅圖像。
7、(4)?mcu解碼模塊：將合成后的圖像編碼成視頻流，發給接收終端ep1。
8、從圖1中可以看出如果ep1~
9、第二種方式：針對第一個現有技術的缺點，專利202211695256.x針對此缺點提出了優化方案，如圖2所示。
10、終端ep1,ep2,ep3,ep4,ep5先對編碼參數進行協商，獲得統一的編碼參數。發送端ep2,ep3,ep4,ep5根據統一參數對其自身的視頻進行編碼并發送mcu。mcu不對發送端ep2,ep3,ep4,ep5發送的碼流進行解碼，直接從ep2,ep3,ep4,ep5的碼流中獲取接收端ep1所需的畫面內容對應的編碼塊。隨后將這些編碼塊直接合成一個新的碼流發送給接收端ep1。
11、在第二種方式中，mcu全程不參與視頻的編碼和解碼過程。視頻編碼的操作在發送端完成，而mcu的任務僅限于從發送端所傳送的編碼碼流中提取所需的部分。隨后，mcu對這些提取出的部分碼流進行組裝，合成新的碼流，然后將其發送給接收端ep1。值得注意的是，mcu并非先對發送端ep2、ep3、ep4、ep5的碼流進行解碼以獲取原始視頻，而是直接對提取的部分碼流進行組裝，從而避免了額外的解碼步驟。這種方式不僅簡化了流程，還提高了mcu的處理性能。
12、然而，第二種方式要求各個發送端的編碼參數保持一致。對于某些發送端的編碼器而言，可能難以滿足協商的編碼參數標準，因此無法要求所有發送端的編碼器同時滿足相同的編碼標準。因此，在具體的應用中，這種方案在靈活性方面受到了較大的限制，這也是該方案的一個局限性。
13、為了解決現有技術1中存在的重復編碼和現有技術2中對發送端編碼器要求高而靈活性降低的問題，本專利技術采取了創造性的結合。通過將兩種方案結合起來，本專利技術成功地克服了重復編碼的困擾，同時在保持編碼器性能的前提下提高了系統的靈活性。
技術實現思路
1、本專利技術提供了視頻流合成方法及系統，具體將發送端所發送的各種形式的碼流先通過在mcu上進行統一的處理和編碼，在根據接收端的需求進行合成，不僅減少了mcu的重復編碼，還可以保證各個發送端的碼流的編碼參數一致，具有廣泛的應用價值。
2、第一方面，本專利技術提供了一種視頻流合成的方法，其中包括：
3、接收多路來自不同發送端的視頻流，并對各路視頻流進行解碼獲取各個發送端的原始視頻；
4、根據合成參數對所述各個發送端的原始視頻進行圖像處理；
5、將所有處理后的視頻使用統一的編碼參數進行編碼，生成相應的處理視頻流；
6、將多條處理視頻流進行合成，獲得合成視頻流；
7、將所述合成視頻流發送給接收端進行解碼。
8、第二方面，本專利技術提供了一種視頻流合成的裝置，其中包括：
9、接收模塊，用于接收多路來自不同發送端的視頻流，并對各路視頻流進行解碼獲取各個發送端的原始視頻；
10、處理模塊，用于根據合成參數對所述各個發送端的原始視頻進行圖像處理；
11、編碼模塊，用于將所有處理后的視頻使用統一的編碼參數進行編碼，生成相應的處理視頻流；
12、合成模塊，用于將多條處理視頻流進行合成，獲得合成視頻流；
13、發送模塊，用于將所述合成視頻流發送給接收端進行解碼。
14、本專利技術針對現有技術的缺點，提出了一種新的碼流合成方法，不僅有效的減少了mcu重復編碼，也使得方案在實際的應用上不會因終端設備的不同而降低使用范圍，能夠更好地接納各種類型的終端。
本文檔來自技高網...【技術保護點】
1.一種視頻流合成方法，其中包括：
2.根據權利要求1所述方法，其中所述根據合成參數對所述各個發送端的原始視頻進行圖像處理還包括如下步驟：
3.根據權利要求1所述方法，其中所述統一的編碼參數包括幀率、編碼塊大小、量化參數、ASO、FMO、參考幀和/或?8×8?變化開關。
4.根據權利要求1所述方法，其中所述將所有處理后的視頻使用統一的編碼參數進行編碼，生成相應的處理視頻流還包括如下步驟：
5.根據權利要求4所述方法，其中所述將多條處理視頻流進行合成，獲得合成視頻流還包括如下步驟：
6.根據權利要求5所述方法，其中所述基于所述布局信息將所獲取的編碼塊進行合成，生成所述合成視頻流還包括如下步驟：
7.根據權利要求5所述方法，其中所述將所獲取的編碼塊按照預定布局進行合成，生成所述合成視頻流還包括如下步驟：
8.根據權利要求7所述方法，其中所述將所述合成視頻流發送給接收端進行解碼還包括如下步驟：
9.一種視頻流合成裝置，其中包括：
10.根據權利要求9所述裝置，其中所述處理模塊還用
...【技術特征摘要】
1.一種視頻流合成方法，其中包括：
2.根據權利要求1所述方法，其中所述根據合成參數對所述各個發送端的原始視頻進行圖像處理還包括如下步驟：
3.根據權利要求1所述方法，其中所述統一的編碼參數包括幀率、編碼塊大小、量化參數、aso、fmo、參考幀和/或?8×8?變化開關。
4.根據權利要求1所述方法，其中所述將所有處理后的視頻使用統一的編碼參數進行編碼，生成相應的處理視頻流還包括如下步驟：
5.根據權利要求4所述方法，其中所述將多條處理視頻流進行合成，獲得合成視頻流還包括如下步驟：
6.根據權...
【專利技術屬性】
技術研發人員：蔡成能，
申請(專利權)人：上海賽連信息科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。