一種視頻信號和音頻信號的傳輸合成方法、系統及裝置制造方法及圖紙

本發明專利技術公開了一種視頻信號和音頻信號的傳輸合成方法、系統及裝置，用以解決現有視頻信號和音頻信號不同步，影響用戶使用的問題。該方法通過對接收到的遠端用戶通過不同終端發送的視頻信號和音頻信號中添加同步信號，并在合并時根據該同步信號對音頻信號和視頻信號進行合并，從而可以保證在同一時刻接收到的視頻信號和音頻信號具有相同的同步信號，在進行合并時，可以根據該同步信號對視頻信號和音頻信號進行合并，保證后續合并后的視音頻文件中視頻信號和音頻信號的同步性，從而滿足用戶的使用。

【技術實現步驟摘要】

本專利技術涉及互聯網
，尤其涉及一種視頻信號和音頻信號的傳輸合成方法、系統及裝置。
技術介紹
用戶之間在通過不同的終端分別傳輸音頻信號和視頻信號時，例如通過視頻電話的形式獲取視頻信號時，可以通過即時通訊客戶端進行視頻聊天，但是由于網絡帶寬資源有限，并且受傳輸的數據包數量的影響，會出現傳輸擁塞的問題，從而導致在通話的過程中會出現語音信號不連貫的問題，無法滿足音頻信號的高質量要求。為了規避這種情況，在實際使用中，往往采用的是通過不同的終端和傳輸途徑來完成視頻和音頻的交互，比如視頻采用阿里旺旺進行交互，音頻使用IP電話進行交互。但 由于視頻和音頻來自不同的終端和途徑，用戶如何將保存接收到視頻和音頻信號保存到同一個文件中，成為了一個難以克服的技術問題。
技術實現思路
有鑒于此，本專利技術實施例提供一種視頻信號和音頻信號的傳輸合成方法、系統及裝置，用以解決現有來自不同終端的視頻信號和音頻信號難以保存在同一文件中的問題。本專利技術實施例提供的一種視頻信號和音頻信號的傳輸合并方法，包括接收遠端用戶通過第一終端發送的第一音頻信號，及通過第二終端發送的第一視頻信號；將生成的同步信號添加到該接收到的第一音頻信號和第一視頻信號中；根據第一音頻信號和第一視頻信號中添加的同步信號，將第一音頻信號和第一視頻信號合并。本專利技術實施例提供的一種視頻信號和音頻信號的傳輸合并裝置，包括接收模塊，用于接收遠端用戶通過第一終端發送的第一音頻信號，及通過第二終端發送的第一視頻信號；添加模塊，用于將生成的同步信號添加到該接收到的第一音頻信號和第一視頻信號中；合并模塊，用于根據第一音頻信號和第一視頻信號中添加的同步信號，將第一音頻信號和第一視頻信號合并。專利技術實施例提供的一種視頻信號和音頻信號的傳輸合并系統，包括上述的視頻信號和音頻信號的傳輸合并裝置，及向所述裝置發送遠端用戶的第一音頻信號的第一終端，及向所述裝置發送第一視頻信號的第二終端。本專利技術實施例提供了一種視頻信號和音頻信號的傳輸合并方法、系統及裝置，該方法通過對接收到的遠端用戶通過不同終端發送的視頻信號和音頻信號中添加同步信號，并在合并時根據該同步信號對音頻信號和視頻信號進行合并，從而可以保證在同一時刻接收到的視頻信號和音頻信號具有相同的同步信號，在進行合并時，可以根據該同步信號對視頻信號和音頻信號進行合并，保證后續合并后的視音頻文件中視頻信號和音頻信號的同步性，從而滿足用戶的使用。附圖說明圖I為本申請實施例提供的視頻信號和音頻信號的傳輸合并過程；圖2A為本申請實施例提供的將遠端用戶及本地用戶的音頻信號和視頻信號合并生成視音頻文件的過程；圖2B為本申請實施例提供的將遠端用戶及本地用戶的音頻信號和視頻信號合并生成視音頻文件的過程；圖3為本申請實施例提供的一種視頻信號和音頻信號的傳輸合并裝置結構示意圖；圖4為本申請實施例提供的一種視頻信號和音頻信號的傳輸合并系統結構示意圖。具體實施例方式本申請實施例為了保證合并的視頻信號和音頻信號的同步性，提供了一種視頻信號和音頻信號的傳輸合并方法、系統及裝置，該方法通過對接收到的遠端用戶通過不同終端發送的視頻信號和音頻信號增加同步信號，即對同時接收到的視頻信號和音頻信號中添加相應的同步信號，在視頻信號和音頻信號合并時，根據該相應的同步信號進行合并，從而保證合并的視頻文件和音頻文件的同步性，在后續使用該合并后的視音頻文件時，可以滿足用戶的需求。下面結合說明書附圖，對本申請實施例進行詳細說明。圖I為本申請實施例提供的視頻信號和音頻信號的傳輸合并過程，該過程包括以下步驟SlOl :接收遠端用戶通過第一終端發送的第一音頻信號，及通過第二終端發送的第一視頻信號。其中，該第一終端可以為移動終端或固定電話，該第二終端可以為具有視頻信號采集及發送功能的終端。或者該視頻信號的采集通過攝像頭實現，該第二終端將攝像頭采集的遠端用戶的視頻信息發送到本地用戶所在的終端。S102:將生成的同步信號添加到該接收到的第一音頻信號和第一視頻信號中。在本申請實施例中該同步信號按照設定的周期生成，并且進一步為了后續音頻信號和視頻信號合并的方便，可以按照同步時信號生成的時間順序，確定每個同步信號的序號，每個同步信號賦予一個序號，每個同步信號的序號是按照時間順序遞增的，每個生成的同步信號添加到該同步信號生成時刻接收到第一音頻信號和第一視頻信號中。由于同步信號按照設定的時間間隔生成，而遠端用戶發送的視頻信號和音頻信號也具有一定的周期性，當每生成了一個同步信號后，并在該時刻接收到的遠端用戶發送的視頻信號和音頻信號后，將該同步信號添加到該視頻信號和該音頻信號中，以標識接收到的視頻信號和音頻信號的同步性。·具體的在本申請中可以將該終端的時鐘信號作為同步信號，以該終端中央處理器(CPU)的時鐘周期為單位，周期性的生成同步信號。具體的可以以某一時鐘周期為起點，以CPU的時鐘周期為單位進行累加，并將累加后的時鐘周期轉化為納秒，作為同步信號，該同步信號可以轉化為納秒作為視頻信號和音頻信號的時間戳。S103 :根據第一音頻信號和第一視頻信號中添加的同步信號，將第一音頻信號和第一視頻信號合并。由于在本申請實施例中對接收到的遠端用戶發送的視頻信號和音頻信號中，根據接收到的視頻信號和音頻信號的時間順序添加了對應的同步信號，因此將視頻信號和音頻信號進行合并時，可以根據添加了同步信號后的視頻信號和音頻信號進行相應的合并操作即可。當未賦予視頻信號和音頻信號中添加的同步信號的序號時，根據接收到的視頻信號和音頻信號中添加的同步信號，依次根據同步信號，將視頻信號和音頻信號合并。當賦予了添加到視頻信號和音頻信號中的同步信號的序號時，識別同步信號的序號，將相同序號的視頻信號和音頻信號合并。 具體的在將同步信號添加到視頻信號和音頻信號中時，由于視頻信號和音頻信號都是以數據幀為單位的，當接收到視頻信號和音頻信號時，在每個視頻信號和音頻信號對應的數據幀的幀頭或者幀尾添加該同步信號，但要保證視頻信號和音頻信號添加同步信號的位置相同，都同為幀頭或同為幀尾。在本申請實施例中，當本地用戶與遠端用戶進行視頻和語音通信時，遠端用戶采用兩個終端向本地用戶發送音頻信號和視頻信號。具體的，遠端用戶采用第一終端向本地用戶所在的終端發送音頻信號，通過第二終端向本地用戶所在的終端發送視頻信號。該第一終端可以為移動終端或者固定電話，該第二終端可以為具有視頻信號采集及發送功能的終端，例如該第二終端可以為安裝有阿里旺旺客戶端的終端，并且該終端可以通過攝像頭采集視頻信息，但在本申請實施例中只利用該客戶端對視頻信號進行處理的能力。而本地用戶所在的終端可以接收遠端用戶通過第一終端發送的音頻信號以及通過第二終端發送的視頻信號。為了實現本地用戶所在的終端可以接收音頻信號，在該本地用戶所在的終端上可以安裝有對音頻信號進行接收及發送的音頻通信客戶端，例如該客戶端可以為具有基于IP的語音通信(Voice-over-Internet-Protocol, V0IP)功能的音頻通信客戶端，為了實現本地用戶所在的終端可以接收視頻信號，在該本地用戶所在的客戶端上可以安裝進行視頻通信的客戶端，例如阿里旺旺客戶端等，但在本申請實施例中只利用該客戶端對視頻信號進行處理的能力。具體的當該遠端用戶通過第一終本文檔來自技高網...

【技術保護點】
一種視頻信號和音頻信號的傳輸合成方法，其特征在于，包括：接收遠端用戶通過第一終端發送的第一音頻信號，及通過第二終端發送的第一視頻信號；將生成的同步信號添加到該接收到的第一音頻信號和第一視頻信號中；根據第一音頻信號和第一視頻信號中添加的同步信號，將第一音頻信號和第一視頻信號合并。

【技術特征摘要】
1.一種視頻信號和音頻信號的傳輸合成方法，其特征在于，包括 接收遠端用戶通過第一終端發送的第一音頻信號，及通過第二終端發送的第一視頻信號; 將生成的同步信號添加到該接收到的第一音頻信號和第一視頻信號中； 根據第一音頻信號和第一視頻信號中添加的同步信號，將第一音頻信號和第一視頻信號合并。2.如權利要求I所述的方法，其特征在于，所述同步信號按照設定的時鐘周期生成。3.如權利要求2所述的方法，其特征在于，每個生成的所述同步信號添加到該同步信號生成時刻接收到的第一音頻信號和第一視頻信號中。4.如權利要求3所述的方法，其特征在于，當接收到所述第一視頻信號和第一音頻信號時，在第一視頻信號和第一音頻信號對應的每個數據幀的幀頭或者幀尾添加所述同步信號，第一視頻信號和第一音頻信號添加同步信號的位置相同，都同為幀頭或同為幀尾。5.如權利要求2所述的方法，其特征在于，按照同步時信號生成的時間順序，確定每個同步信號的序號，每個同步信號賦予一個序號。6.如權利要求I所述的方法，其特征在于，所述方法還包括 接收本地用戶的第二音頻信號及第二視頻信號； 將生成的同步信號添加該接收到的第二音頻信號和第二視頻信號中； 根據第一音頻信號和第二音頻信號中添加的同步信號，將接收到的第一音頻信號與第二音頻信號合并得到合并后的音頻信號，并根據第一視頻信號和第二視頻信號中添加的同步信號并保留該同步信號，將接收到的第一視頻信號和第二視頻信號合并得到合并后的視頻信號并保留該同步信號； 根據合并后的音頻信號及視頻信號中保留的同步信號，將合并后的音頻信號和視頻信號合并。7.如權利要求I或6所述的方法，其特征在于，所述將第一音頻信號和第一視頻信號合并之前，所述方法還包括 判斷所述第一音頻信號是否存在被丟棄的數據包； 當判斷所述第一音頻信號中存在被丟棄的數據包時，采用包含靜音信號的數據包代替該被丟棄的數據包。8.如權利要求I所述的方法，其特征在于，所述第一終端為移動終端或固定電話，第二終端為具有視頻信號采集及發送功能的終端。9.如權利要求I所述的方法，其特征在于，所述遠端用戶通過第一終端發送第一音頻信號包括 所述第一終端接收所述遠端用戶發送的第一音頻信號，將所述第一音頻信號發送到公共交換電話網絡PSTN，通過所述PSTN將所述第一音頻信號發送到語音網關后，轉換為基于IP的語音通信VOIP數據包發送。10...

【專利技術屬性】
技術研發人員：杜武平，張啟東，歐陽彬，向宜，熊益斌，
申請(專利權)人：阿里巴巴集團控股有限公司，
類型：發明
國別省市：