【技術實現步驟摘要】
本專利技術涉及負載均衡，尤其涉及一種跨平臺直播訪客數據融合與路由負載均衡方法及系統。
技術介紹
1、隨著直播產業的快速發展，跨平臺直播成為主流趨勢，這要求直播系統能夠同時接入多個直播平臺的訪客數據流，并進行統一的數據處理和負載分發。現有的直播系統通常采用分布式架構，通過多個服務器節點協同工作來支持大規模的直播訪問需求。為了實現訪客數據的高效處理和合理分發，系統需要對來自不同平臺的訪客數據進行去重、統計和路由分配。
2、在現有技術中，還存在若干問題，跨平臺訪客數據存在重復標識的問題，傳統的去重方法在大規模數據處理時占用內存較大；現有的負載均衡機制往往采用靜態的哈希映射方案，無法根據服務器節點的實時性能狀態動態調整路由策略；在節點性能出現波動時，訪客遷移過程缺乏有效的狀態監控和進度管理，容易造成服務質量下降和數據不一致。
3、綜上所述，亟需一種跨平臺直播訪客數據融合與路由負載均衡方法，通過過濾器陣列實現高效的訪客去重，采用對數基數計數算法準確計算獨立訪客數量，結合一致性哈希和虛擬節點技術構建可擴展的路由結構，并引入基于性能監控的動態負載均衡機制，確保系統的穩定性和可靠性。本專利技術能夠解決現有技術中的問題。
技術實現思路
1、本專利技術實施例提供一種跨平臺直播訪客數據融合與路由負載均衡方法及系統，能夠解決現有技術中的問題。
2、本專利技術實施例的第一方面，
3、提供一種跨平臺直播訪客數據融合與路由負載均衡方法，包括：
4、接收
5、讀取所述優先級分流表中的訪客集合和優先級信息，將訪客集合通過一致性哈希算法映射為哈希值，根據所述哈希值構建環形路由結構，在所述環形路由結構中設置多個與服務器節點一一對應的虛擬節點；在所述環形路由結構中建立跳躍索引樹，將所述訪客集合映射至對應的虛擬節點；基于所述優先級信息確定分片窗口大小，對映射至同一虛擬節點的訪客集合按照所述分片窗口大小進行分組，生成分片路由記錄，并寫入路由分配表；
6、基于二叉堆結構，記錄環形路由結構中所有虛擬節點的響應時間，將響應時間作為節點權重進行堆排序；為環形路由結構中全部的虛擬節點設置固定大小的計數窗口，識別計數窗口內異常響應次數超過預設閾值的虛擬節點，將所述虛擬節點標記為目標節點；讀取路由分配表中與目標節點關聯的訪客集合，從所述環形路由結構中選擇備用節點；建立遷移進度位圖，將訪客集合分批遷移至備用節點，在遷移進度位圖中標記遷移進度；根據遷移結果更新所述路由分配表，并將目標節點從所述環形路由結構中移除，完成動態負載均衡。
7、在一種可選的實施例中，
8、接收多個直播平臺的訪客數據流，通過由布隆過濾器組成的過濾器陣列過濾重復的訪客標識，得到有效訪客集合；對所述有效訪客集合采用對數基數計數算法計算獨立訪客數量，基于所述獨立訪客數量計算數據流熵值，根據所述數據流熵值對所述有效訪客集合劃分優先級，生成優先級分流表包括：
9、基于預設的大小，設置位圖結構，基于所述位圖結構構建布隆過濾器陣列，為所述布隆過濾器陣列配置多個獨立哈希函數，所述獨立哈希函數的系數和偏移量采用隨機質數；
10、接收多個直播平臺的訪客數據流，提取所述訪客數據流中的訪客標識，將所述訪客標識輸入所述獨立哈希函數進行映射，得到位置映射集合；根據所述位置映射集合在位圖結構中的二進制位狀態判斷訪客標識是否為重復訪客標識；將非重復訪客標識寫入有效訪客集合；
11、將所述有效訪客集合中的有效訪客標識映射生成散列值，基于所述散列值，得到位置記錄，基于位置記錄進行分桶統計和均值計算，得到得到所述有效訪客集合的獨立訪客數量；
12、在預設時間窗口內，基于所述獨立訪客數量統計有效訪客集合中的訪客行為類型占比，根據所述訪客行為類型占比計算所述預設時間窗口內的數據流熵值，對所述數據流熵值進行歸一化處理，根據歸一化后的數據流熵值將所述有效訪客集合劃分為多個優先級訪客子集合；
13、基于所述優先級訪客子集合中的訪客標識、所述預設時間窗口的時間戳以及對應的優先級信息，生成優先級分流表。
14、在一種可選的實施例中，
15、將所述有效訪客集合中的有效訪客標識映射生成散列值，基于所述散列值，得到位置記錄，基于位置記錄進行分桶統計和均值計算，得到得到所述有效訪客集合的獨立訪客數量包括：
16、將所述有效訪客集合中的有效訪客標識經過哈希函數映射生成散列值，基于所述散列值的二進制展開，統計每個散列值對應的二進制展開中最左側1的位置，確定為位置記錄；
17、將所述散列值的高位比特作為桶索引，對所述位置記錄進行分桶存儲，得到多個記錄桶；
18、在所述記錄桶內記錄各自位置記錄的最大值，同時在各個記錄桶內統計位置記錄的方差，基于所述方差計算每個記錄桶的信息熵；
19、根據所述信息熵對記錄桶進行分類，當所述信息熵小于第一預設閾值時，標記為穩定桶，當所述信息熵大于第二預設閾值時，標記為波動桶，當所述信息熵介于所述第一預設閾值和第二預設閾值之間時，標記為過渡桶；
20、對于所述穩定桶，以位置記錄的最大值作為穩定桶統計值；對于所述波動桶，采用所述波動桶內位置記錄的中位數作為波動桶統計值；對于所述過渡桶，按照信息熵與第一閾值的差值比例，對最大值和中位數進行加權平均，確定過渡桶統計值；
21、按照預設的權重系數，將穩定桶統計值、波動桶統計值和過渡桶統計值分別賦予對應的權重，并進行調和平均值計算，得到所述有效訪客集合的獨立訪客數量。
22、在一種可選的實施例中，
23、讀取所述優先級分流表中的訪客集合和優先級信息，將訪客集合通過一致性哈希算法映射為哈希值，根據所述哈希值構建環形路由結構，在所述環形路由結構中設置多個與服務器節點一一對應的虛擬節點；在所述環形路由結構中建立跳躍索引樹，將所述訪客集合映射至對應的虛擬節點；基于所述優先級信息確定分片窗口大小，對映射至同一虛擬節點的訪客集合按照所述分片窗口大小進行分組，生成分片路由記錄，并寫入路由分配表包括：
24、讀取優先級分流表中的訪客集合和優先級信息，所述訪客集合包括訪客標識和訪問時間戳，所述優先級信息包括優先級等級和調度權重；
25、計算每個服務器節點的處理性能和當前負載狀態得到負載系數，基于所述負載系數確定每個服務器節點對應的虛擬節點數量；
26、將每個服務器節點的節點標識與所述負載系數拼接生成節點復合標識，通過一致性哈希算法將所述節點復合標識映射為虛擬節點哈希值，根據所述虛擬節點數量生成多個所述虛擬節點哈希值，所述虛擬節點哈希值分布在預設范圍內形成環形路由結本文檔來自技高網...
【技術保護點】
1.跨平臺直播訪客數據融合與路由負載均衡方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，接收多個直播平臺的訪客數據流，通過由布隆過濾器組成的過濾器陣列過濾重復的訪客標識，得到有效訪客集合；對所述有效訪客集合采用對數基數計數算法計算獨立訪客數量，基于所述獨立訪客數量計算數據流熵值，根據所述數據流熵值對所述有效訪客集合劃分優先級，生成優先級分流表包括：
3.根據權利要求2所述的方法，其特征在于，將所述有效訪客集合中的有效訪客標識映射生成散列值，基于所述散列值，得到位置記錄，基于位置記錄進行分桶統計和均值計算，得到得到所述有效訪客集合的獨立訪客數量包括：
4.根據權利要求1所述的方法，其特征在于，讀取所述優先級分流表中的訪客集合和優先級信息，將訪客集合通過一致性哈希算法映射為哈希值，根據所述哈希值構建環形路由結構，在所述環形路由結構中設置多個與服務器節點一一對應的虛擬節點；在所述環形路由結構中建立跳躍索引樹，將所述訪客集合映射至對應的虛擬節點；基于所述優先級信息確定分片窗口大小，對映射至同一虛擬節點的訪客集合按照所述分片窗口大小進
5.根據權利要求4所述的方法，其特征在于，在所述環形路由結構中構建跳躍索引樹包括：
6.根據權利要求1所述的方法，其特征在于，基于二叉堆結構，記錄環形路由結構中所有虛擬節點的響應時間，將響應時間作為節點權重進行堆排序；為環形路由結構中全部的虛擬節點設置固定大小的計數窗口，識別計數窗口內異常響應次數超過預設閾值的虛擬節點，將所述虛擬節點標記為目標節點；讀取路由分配表中與目標節點關聯的訪客集合，從所述環形路由結構中選擇備用節點；建立遷移進度位圖，將訪客集合分批遷移至備用節點，在遷移進度位圖中標記遷移進度；根據遷移結果更新所述路由分配表，并將目標節點從所述環形路由結構中移除，完成動態負載均衡包括：
7.根據權利要求6所述的方法，其特征在于，采用二叉堆結構記錄環形路由結構中虛擬節點的響應時間，所述響應時間包含時間戳、請求標識和處理延遲；計算所述虛擬節點的平均響應時間和響應時間方差，基于所述平均響應時間和所述響應時間方差計算所述虛擬節點的性能權重，根據所述性能權重對所述虛擬節點進行堆排序，生成性能排序序列包括：
8.跨平臺直播訪客數據融合與路由負載均衡系統，用于實現前述權利要求1-7中任一項所述的方法，其特征在于，包括：
9.一種電子設備，其特征在于，包括：
10.一種計算機可讀存儲介質，其上存儲有計算機程序指令，其特征在于，所述計算機程序指令被處理器執行時實現權利要求1至7中任意一項所述的方法。
...【技術特征摘要】
1.跨平臺直播訪客數據融合與路由負載均衡方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，接收多個直播平臺的訪客數據流，通過由布隆過濾器組成的過濾器陣列過濾重復的訪客標識，得到有效訪客集合；對所述有效訪客集合采用對數基數計數算法計算獨立訪客數量，基于所述獨立訪客數量計算數據流熵值，根據所述數據流熵值對所述有效訪客集合劃分優先級，生成優先級分流表包括：
3.根據權利要求2所述的方法，其特征在于，將所述有效訪客集合中的有效訪客標識映射生成散列值，基于所述散列值，得到位置記錄，基于位置記錄進行分桶統計和均值計算，得到得到所述有效訪客集合的獨立訪客數量包括：
4.根據權利要求1所述的方法，其特征在于，讀取所述優先級分流表中的訪客集合和優先級信息，將訪客集合通過一致性哈希算法映射為哈希值，根據所述哈希值構建環形路由結構，在所述環形路由結構中設置多個與服務器節點一一對應的虛擬節點；在所述環形路由結構中建立跳躍索引樹，將所述訪客集合映射至對應的虛擬節點；基于所述優先級信息確定分片窗口大小，對映射至同一虛擬節點的訪客集合按照所述分片窗口大小進行分組，生成分片路由記錄，并寫入路由分配表包括：
5.根據權利要求4所述的方法，其特征在于，在所述環形路由結構中構建跳躍索引樹包括：
6.根據權...
【專利技術屬性】
技術研發人員：曾黎，廣宇昊，于驚濤，傅強，
申請(專利權)人：北京易匯眾盟網絡技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。