【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于通信，特別涉及基于rtc的多模態(tài)在即時(shí)音視頻通信的高可用方法及系統(tǒng)。
技術(shù)介紹
1、在傳統(tǒng)的在線音視頻溝通中(例如在線直播)，一般基于rtmp(real-timemessaging?protocol，實(shí)時(shí)消息協(xié)議)標(biāo)準(zhǔn)協(xié)議，通過(guò)cdn(content?delivery?network，內(nèi)容分發(fā)網(wǎng)絡(luò))進(jìn)行內(nèi)容分發(fā)，由于緩存機(jī)制，為了用戶有個(gè)較好的觀看體驗(yàn)，往往會(huì)有個(gè)幾秒甚至十幾秒的延遲，主播和觀眾的互動(dòng)也只能通過(guò)文字、送禮物等來(lái)進(jìn)行弱互動(dòng)。這也就是我們?cè)谟^看直播帶貨時(shí)，用戶通過(guò)文字咨詢一個(gè)商品，經(jīng)過(guò)十幾秒甚至更長(zhǎng)時(shí)間才收到主播的答復(fù)。
2、近年來(lái)，實(shí)時(shí)通信(real-time?communication，rtc，或稱實(shí)時(shí)音視頻通信)技術(shù)已經(jīng)成為連接人與人、企業(yè)與企業(yè)的重要橋梁。從簡(jiǎn)單的在線聊天到復(fù)雜的遠(yuǎn)程協(xié)作，再到現(xiàn)代的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)體驗(yàn)，實(shí)時(shí)音視頻技術(shù)的應(yīng)用范圍不斷擴(kuò)大。rtc技術(shù)可以簡(jiǎn)單地理解為在實(shí)時(shí)的網(wǎng)絡(luò)環(huán)境下進(jìn)行音視頻和數(shù)據(jù)的傳輸和交互，是一種支持實(shí)時(shí)語(yǔ)音、實(shí)時(shí)視頻和實(shí)時(shí)聊天等互動(dòng)的技術(shù)。相較于傳統(tǒng)的通信技術(shù)，rtc技術(shù)具有更低的時(shí)延和更好的音視頻效果，能夠滿足實(shí)時(shí)通信的嚴(yán)格要求。
3、公開(kāi)號(hào)為cn113630439a的中國(guó)專利技術(shù)專利申請(qǐng)涉及rtc技術(shù)的應(yīng)用，其公開(kāi)了一種實(shí)時(shí)通信rtc連接方法、服務(wù)器及存儲(chǔ)介質(zhì)，服務(wù)器被配置為業(yè)務(wù)進(jìn)程與udp端口一一對(duì)應(yīng)綁定，在基于從服務(wù)器的tcp端口接收的一個(gè)或多個(gè)客戶端發(fā)送的用于資源協(xié)商的sdp請(qǐng)求信息后，業(yè)務(wù)進(jìn)程向各客戶端分別發(fā)送sdp響應(yīng)
4、基于rtc技術(shù)在線音視頻實(shí)時(shí)通信時(shí)，可能由于網(wǎng)絡(luò)不穩(wěn)定如網(wǎng)絡(luò)波動(dòng)、丟包等，可能導(dǎo)致音視頻質(zhì)量下降或斷流，引發(fā)通信故障，影響在線溝通的高可用性。因此，公開(kāi)號(hào)為cn112804105a的中國(guó)專利技術(shù)專利申請(qǐng)公開(kāi)了一種在rtc網(wǎng)絡(luò)中快速修復(fù)終端通信故障的方法及系統(tǒng)，包括以下步驟：s1：根據(jù)故障為終端生成故障調(diào)度配置，所述故障調(diào)度配置包括故障調(diào)試節(jié)點(diǎn)的信息；s2：根據(jù)所述故障調(diào)度配置，將終端調(diào)度到所述故障調(diào)試節(jié)點(diǎn)；s3：所述故障調(diào)試節(jié)點(diǎn)對(duì)故障進(jìn)行排查和修復(fù)，產(chǎn)生故障修復(fù)升級(jí)版本；s4：根據(jù)故障修復(fù)的結(jié)果，為終端生成新的調(diào)度配置。
5、可見(jiàn)，現(xiàn)階段市場(chǎng)上主流的多人在線即時(shí)音視頻聊天場(chǎng)景大多依賴單rtc模態(tài)，當(dāng)服務(wù)出現(xiàn)故障時(shí)候，由于單模態(tài)下rtc通道只有一條，并僅有一家服務(wù)商提供，當(dāng)服務(wù)商未能及時(shí)搶救線路，在無(wú)其他模態(tài)可切換的情況下，會(huì)導(dǎo)致及時(shí)通信服務(wù)中斷等問(wèn)題，對(duì)使用者的造成嚴(yán)重的影響和損失。上述方案也僅僅對(duì)出現(xiàn)的故障進(jìn)行排查修復(fù)，故障排查和修復(fù)可能需要時(shí)間，尤其是在復(fù)雜的網(wǎng)絡(luò)環(huán)境中，導(dǎo)致通信中斷的時(shí)間較長(zhǎng)，并且在故障處理期間，用戶可能會(huì)遭遇音視頻中斷，影響溝通體驗(yàn)。多rtc模態(tài)雖然已有探索，但未能實(shí)現(xiàn)用戶無(wú)感知和實(shí)時(shí)切換。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提供基于rtc的多模態(tài)在即時(shí)音視頻通信的高可用方法及系統(tǒng)，旨在解決現(xiàn)有技術(shù)在rtc故障處理時(shí)因回復(fù)時(shí)間長(zhǎng)導(dǎo)致的系統(tǒng)可用性不高及用戶體驗(yàn)受損的問(wèn)題。
2、為解決上述技術(shù)問(wèn)題，本專利技術(shù)提出的在線溝通高可用方法，包括以下步驟：
3、在線溝通系統(tǒng)中客戶端實(shí)時(shí)進(jìn)行網(wǎng)絡(luò)質(zhì)量監(jiān)控，通過(guò)心跳包將監(jiān)控?cái)?shù)據(jù)上報(bào)至服務(wù)端；
4、服務(wù)端根據(jù)設(shè)定的網(wǎng)絡(luò)質(zhì)量判定規(guī)則對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行分析判定，標(biāo)記第一rtc通道可用狀態(tài)；
5、響應(yīng)第一rtc通道狀態(tài)標(biāo)記為不可用，服務(wù)端標(biāo)記對(duì)應(yīng)虛擬空間，修改虛擬空間對(duì)應(yīng)第二rtc通道，下發(fā)rtc通道切換指令至客戶端；
6、客戶端根據(jù)通道切換指令獲取第二rtc通道的信息，保存虛擬空間快照，切換至第二rtc通道，釋放第一rtc通道；
7、客戶端使用虛擬空間快照將虛擬空間恢復(fù)至切換rtc通道前的狀態(tài)。
8、優(yōu)選的，所述網(wǎng)絡(luò)質(zhì)量監(jiān)控的維度包括登錄質(zhì)量、拉流質(zhì)量、推流質(zhì)量、網(wǎng)絡(luò)指標(biāo)、音頻質(zhì)量及視頻質(zhì)量。
9、優(yōu)選的，所述登錄質(zhì)量包括登錄成功率及登錄耗時(shí)；
10、所述登錄成功率的計(jì)算方法為：用戶嘗試通過(guò)登錄到指定的虛擬空間，登錄方法的參數(shù)包括虛擬空間id、用戶信息及虛擬空間配置；登錄請(qǐng)求處理后，系統(tǒng)進(jìn)行回調(diào)處理，根據(jù)回調(diào)參數(shù)記錄登錄成功或失敗次數(shù)；根據(jù)登錄成功次數(shù)及登錄失敗次數(shù)計(jì)算登錄成功率；
11、所述登錄耗時(shí)的計(jì)算方法為：在調(diào)用登錄方法前，記錄第一時(shí)間戳，作為登錄開(kāi)始的時(shí)間；在登錄結(jié)果的回調(diào)中，記錄第二時(shí)間戳，作為登錄結(jié)束的時(shí)間；登錄耗時(shí)即第一時(shí)間戳與第二時(shí)間戳的差值。
12、優(yōu)選的，所述拉流質(zhì)量的評(píng)價(jià)指標(biāo)為拉流成功率，拉流成功率的計(jì)算方法如下：
13、將每次用戶請(qǐng)求拉流記錄為一次拉流嘗試；
14、在拉流狀態(tài)回調(diào)中監(jiān)測(cè)拉流狀態(tài)，根據(jù)回調(diào)參數(shù)來(lái)判斷拉流是否成功；
15、若在自定義的拉流定時(shí)器內(nèi)未能成功拉流，將本次嘗試視為失敗；
16、維護(hù)兩個(gè)計(jì)數(shù)器，分別記錄拉流成功及拉流失敗的次數(shù)；
17、根據(jù)拉流成功次數(shù)及拉流失敗次數(shù)計(jì)算拉流成功率。
18、優(yōu)選的，所述推流質(zhì)量的評(píng)價(jià)指標(biāo)為推流成功率，推流成功率的計(jì)算方法如下：
19、將每次用戶請(qǐng)求推流記錄為一次推流嘗試；
20、在推流狀態(tài)回調(diào)中監(jiān)測(cè)推流狀態(tài)，根據(jù)回調(diào)參數(shù)來(lái)判斷推流是否成功；
21、若在自定義的推流定時(shí)器內(nèi)未能成功推流，將本次嘗試視為失敗；
22、維護(hù)兩個(gè)計(jì)數(shù)器，分別記錄推流成功及推流失敗的次數(shù)；
23、根據(jù)推流成功次數(shù)及推流失敗次數(shù)計(jì)算推流成功率。
24、優(yōu)選的，所述網(wǎng)絡(luò)指標(biāo)包括網(wǎng)絡(luò)延時(shí)及丟包率；
25、所述網(wǎng)絡(luò)延時(shí)的計(jì)算方法為：定義往返時(shí)延，所述往返時(shí)延表示從拉流端到服務(wù)器的往返時(shí)間；在每次調(diào)用網(wǎng)絡(luò)質(zhì)量函數(shù)時(shí)記錄當(dāng)前的往返時(shí)延；
26、所述丟包率的計(jì)算方法為：每次調(diào)用網(wǎng)絡(luò)質(zhì)量函數(shù)時(shí)，直接獲取當(dāng)前的丟包率。
27、優(yōu)選的，所述音頻質(zhì)量及視頻質(zhì)量的評(píng)價(jià)指標(biāo)包括首幀耗時(shí)、累計(jì)卡頓率及累計(jì)卡頓時(shí)長(zhǎng)；
28、所述首幀耗時(shí)的計(jì)算方法為：在調(diào)用開(kāi)始拉流的方法，記錄第三時(shí)間戳，作為拉流開(kāi)始的時(shí)間；當(dāng)?shù)谝粠纛l或視頻數(shù)據(jù)到達(dá)時(shí)，接收首幀的回調(diào)觸發(fā)，記錄第四時(shí)間戳，作為接收首幀的時(shí)間；第三時(shí)間戳與第四時(shí)間戳的差值作為首幀耗時(shí)；
29、所述累計(jì)卡頓時(shí)長(zhǎng)的計(jì)算方法為：在媒體事件回調(diào)中，監(jiān)測(cè)音頻或視頻卡頓事件，記錄卡頓開(kāi)始事件及卡頓結(jié)束事件，計(jì)算單次卡頓時(shí)長(zhǎng)；在每次卡頓事件結(jié)束時(shí)，將該段卡頓時(shí)長(zhǎng)加入累計(jì)卡頓時(shí)長(zhǎng)；
30、所述累計(jì)卡頓率的計(jì)算方法為：在開(kāi)始拉流時(shí)，記錄開(kāi)始時(shí)間，并計(jì)算總拉流時(shí)長(zhǎng)，在每次網(wǎng)絡(luò)質(zhì)量函數(shù)回調(diào)中更新總拉流時(shí)長(zhǎng)；在每次拉流結(jié)束時(shí)，獲取當(dāng)前的累計(jì)卡頓時(shí)長(zhǎng)，當(dāng)前本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述登錄質(zhì)量包括登錄成功率及登錄耗時(shí)；
3.根據(jù)權(quán)利要求1所述的基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述拉流質(zhì)量的評(píng)價(jià)指標(biāo)為拉流成功率，拉流成功率的計(jì)算方法如下：
4.根據(jù)權(quán)利要求1所述的基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述推流質(zhì)量的評(píng)價(jià)指標(biāo)為推流成功率，推流成功率的計(jì)算方法如下：
5.根據(jù)權(quán)利要求1所述的基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述網(wǎng)絡(luò)指標(biāo)包括網(wǎng)絡(luò)延時(shí)及丟包率；
6.根據(jù)權(quán)利要求1所述的基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述音頻質(zhì)量及視頻質(zhì)量的評(píng)價(jià)指標(biāo)包括首幀耗時(shí)、累計(jì)卡頓率及累計(jì)卡頓時(shí)長(zhǎng)；
7.根據(jù)權(quán)利要求1所述的基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述服務(wù)端根據(jù)設(shè)定的網(wǎng)絡(luò)質(zhì)量判定規(guī)則對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行分析判定的
8.根據(jù)權(quán)利要求7所述的基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述服務(wù)端在判定對(duì)應(yīng)RTC通道不可用后，還進(jìn)行新RTC探測(cè)及放量操作；
9.根據(jù)權(quán)利要求1所述的基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述服務(wù)端在下發(fā)RTC通道切換指令至客戶端時(shí)，還記錄當(dāng)前虛擬空間中的音頻輸入設(shè)備分配狀態(tài)；在客戶端切換至第二RTC通道后，將記錄的音頻輸入設(shè)備分配狀態(tài)下分至客戶端。
10.基于RTC的多模態(tài)在即時(shí)音視頻通信的高可用系統(tǒng)，其特征在于，所述系統(tǒng)用于實(shí)施如權(quán)利要求1-9任一項(xiàng)所述的高可用方法，包括客戶端及服務(wù)端，所述客戶端使用多條RTC通道與服務(wù)端連接；所述客戶端進(jìn)一步包括狀態(tài)監(jiān)控模塊及第一通道切換模塊，所述服務(wù)端進(jìn)一步包括服務(wù)質(zhì)量監(jiān)控模塊及第二通道切換模塊；
...【技術(shù)特征摘要】
1.基于rtc的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的基于rtc的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述登錄質(zhì)量包括登錄成功率及登錄耗時(shí)；
3.根據(jù)權(quán)利要求1所述的基于rtc的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述拉流質(zhì)量的評(píng)價(jià)指標(biāo)為拉流成功率，拉流成功率的計(jì)算方法如下：
4.根據(jù)權(quán)利要求1所述的基于rtc的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述推流質(zhì)量的評(píng)價(jià)指標(biāo)為推流成功率，推流成功率的計(jì)算方法如下：
5.根據(jù)權(quán)利要求1所述的基于rtc的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述網(wǎng)絡(luò)指標(biāo)包括網(wǎng)絡(luò)延時(shí)及丟包率；
6.根據(jù)權(quán)利要求1所述的基于rtc的多模態(tài)在即時(shí)音視頻通信的高可用方法，其特征在于，所述音頻質(zhì)量及視頻質(zhì)量的評(píng)價(jià)指標(biāo)包括首幀耗時(shí)、累計(jì)卡頓率及累計(jì)卡頓時(shí)長(zhǎng)；
7.根據(jù)權(quán)利要求1所述...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王庭杰，張慶坡，陳碧珠，陳慧琳，劉東東，諸葛全軍，黃永煌，
申請(qǐng)(專利權(quán))人：廈門鈞亮科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。