【技術實現步驟摘要】
本專利技術涉及數據庫管理，尤其涉及一種基于故障感知的hbase客戶端主備切換方法及系統。
技術介紹
1、隨著分布式數據庫技術的快速發展，hbase作為一種高可靠、高性能的分布式數據庫系統被廣泛應用于大規模數據存儲和處理場景，在實際應用中，hbase客戶端作為連接應用程序和數據庫服務器的重要組件，其穩定性和可用性直接影響著整個系統的運行效果；
2、hbase客戶端通常采用主備架構來保證服務的連續性，在主節點發生故障時可以切換到備用節點繼續提供服務，傳統的主備切換方案主要依賴于心跳檢測和超時機制來判斷節點狀態，并通過預設的切換策略進行故障轉移；
3、現有的hbase客戶端主備切換仍然存在無法有效識別復雜的系統異常情況，容易造成誤判或漏判、難以適應動態變化的系統環境以及難以準確追蹤故障的傳播過程，無法及時發現潛在的風險點等問題；
4、因此，亟需一種方案解決現有技術中存在的問題。
技術實現思路
1、本專利技術實施例提供一種基于故障感知的hbase客戶端主備切換方法及系統，至少能解決現有技術中存在的部分問題。
2、本專利技術實施例的第一方面，提供一種基于故障感知的hbase客戶端主備切換方法，包括：
3、通過客戶端中的分布式故障監控模塊采集系統運行數據并通過部署在不同網絡區域的監控探針形成多維系統指標數據集，通過自適應聚類算法對所述多維系統指標數據集進行數據分布學習并建立異常檢測基線模型，基于所述異常檢測基線模型和指數移動平均算法，
4、基于所述系統健康評估分布矩陣確定異常指標并與通過密度聚類算法計算得到的自適應閾值比較，若大于所述自適應閾值，則觸發故障診斷模型，通過改進的分布式追蹤系統定向采集故障相關數據，基于時序圖計算算法結合門控圖注意力機制將所述故障相關數據構建為服務調用依賴圖，結合所述多維度特征向量通過基于概率網絡的因果推理模型分析異常傳播路徑，生成故障傳播鏈，獲取系統日志，基于深度語義分析模型和圖結構網絡對所述系統日志和所述故障傳播鏈進行關聯分析，提取上下文特征并結合知識遷移技術生成故障特征圖譜，基于集成決策樹框架對所述故障特征圖譜進行多層分類運算，融合所述異常傳播路徑的特征，結合分層泛化策略輸出故障根因分析報告和風險等級評估結果，結合動態規劃算法生成切換策略參數集；
5、基于所述風險等級評估結果判斷是否觸發切換，若觸發則啟動智能切換執行模塊，通過一致性散列算法結合虛擬節點機制并根據所述切換策略參數集從全局備用節點池中篩選候選節點，基于深度策略學習算法將所述故障根因分析報告中的特征指標構建備用節點評分體系，通過搜索樹優化決策過程并進行動態評分，將具有最高評分值的候選節點作為切換目標節點并基于所述故障傳播鏈初始化雙緩沖零拷貝機制，結合多級反饋隊列算法對數據庫操作請求進行優先級劃分，基于優先級劃分結果進行順序切換，結合時序預測算法將切換過程中的性能指標與所述系統健康評估分布矩陣進行對比建模，優化所述切換策略參數集直至切換完成。
6、在一種可選的實施方式中，
7、通過客戶端中的分布式故障監控模塊采集系統運行數據并通過部署在不同網絡區域的監控探針形成多維系統指標數據集，通過自適應聚類算法對所述多維系統指標數據集進行數據分布學習并建立異常檢測基線模型包括：
8、分布式故障監控模塊采集系統運行數據，所述系統運行數據為處理器使用率指標、內存占用指標、磁盤性能指標、網絡性能指標，所述處理器使用率指標通過采集每個處理器核心的用戶態使用率、系統態使用率、輸入輸出等待率和空閑率得到，所述內存占用指標通過采集物理內存使用量、虛擬內存使用量、緩存使用量和緩沖區使用量得到，所述磁盤性能指標通過采集每個磁盤設備的讀寫速率、平均響應時間、輸入輸出隊列長度和設備利用率得到，所述網絡性能指標通過采集出入帶寬利用率、網絡延遲、丟包率和重傳率得到；
9、所述分布式故障監控模塊通過部署在不同網絡區域的監控探針采集所述系統運行數據形成多維系統指標數據集，其中，所述監控探針由一級探針節點、二級探針節點、三級探針節點構成，所述一級探針節點根據機架數量比例配置并負責本地數據采集，所述二級探針節點按照機房數量配置并負責匯總所述一級探針節點采集的數據進行預處理，所述三級探針節點根據地理位置和網絡拓撲結構劃分區域后配置并負責統籌管理區域內的數據采集任務，所述一級探針節點、所述二級探針節點、所述三級探針節點之間通過心跳機制保持連接；
10、將所述多維系統指標數據集進行標準化轉換后基于初始聚類中心通過計算樣本與聚類中心的歐氏距離進行分類，在聚類簇內樣本方差超過預設閾值時在當前聚類簇內方差最大的方向增加新的聚類中心，在相鄰聚類中心間距離小于預設閾值時合并相鄰聚類簇，若連續100次迭代聚類中心的移動距離均小于預設收斂閾值，認為完成數據分布學習；
11、基于數據分布學習的結果計算每個聚類簇內樣本的均值和標準差，將所述均值與所述標準差的倍數范圍設定為當前指標的正常取值區間，同時將歷史數據按照小時周期進行切分建立小時級基線，按照天周期建立天級基線，按照月周期建立月度基線，將所述小時級基線、所述天級基線、所述月度基線通過加權方式形成所述異常檢測基線模型。
12、在一種可選的實施方式中，
13、基于所述異常檢測基線模型和指數移動平均算法，結合低通濾波器對所述多維系統指標數據集執行滑動時間窗口運算得到預處理后的標準指標數據，通過基于小波包分解的多尺度分析方法對所述標準指標數據進行時頻域特征提取，結合主成分分析算法進行降維得到多維度特征向量，基于預先設置的深度神經網絡模型和所述異常檢測基線模型生成系統健康評估分布矩陣包括：
14、所述分布式故障監控模塊基于所述異常檢測基線模型和指數移動平均算法，結合低通濾波器對所述多維系統指標數據集執行滑動時間窗口運算，對連續型指標采用前后兩個正常值的線性插值進行填充，對離散型指標采用最近鄰正常值進行填充，基于標準差與均值的比值區分高頻變化指標與低頻變化指標，對所述高頻變化指標與所述低頻變化指標分別采用不同平滑因子進行平滑處理得到預處理后的標準指標數據；
15、過基于小波包分解的多尺度分析方法對所述標準指標數據進行時頻域特征提取，將所述標準指標數據分解為多個頻段，計算每個頻段的能量值，剔除能量占比低于預先設置的能量占比閾值的頻段，對保留頻段提取均值、方差、偏度、峭度、最大值和最小值作為統計特征，基于所述統計特征計算不同頻段間能量比值得到時頻域特征；
16、所述分布式故障監控模塊基于主成分分析算法計算特征矩陣的協方差矩陣得到特征值和特征向量，基于預設方差貢獻率閾值選取特征值對應本文檔來自技高網...
【技術保護點】
1.基于故障感知的HBase客戶端主備切換方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，通過客戶端中的分布式故障監控模塊采集系統運行數據并通過部署在不同網絡區域的監控探針形成多維系統指標數據集，通過自適應聚類算法對所述多維系統指標數據集進行數據分布學習并建立異常檢測基線模型包括：
3.根據權利要求2所述的方法，其特征在于，基于所述異常檢測基線模型和指數移動平均算法，結合低通濾波器對所述多維系統指標數據集執行滑動時間窗口運算得到預處理后的標準指標數據，通過基于小波包分解的多尺度分析方法對所述標準指標數據進行時頻域特征提取，結合主成分分析算法進行降維得到多維度特征向量，基于預先設置的深度神經網絡模型和所述異常檢測基線模型生成系統健康評估分布矩陣包括：
4.根據權利要求1所述的方法，其特征在于，基于所述系統健康評估分布矩陣確定異常指標并與通過密度聚類算法計算得到的自適應閾值比較，若大于所述自適應閾值，則觸發故障診斷模型，通過改進的分布式追蹤系統定向采集故障相關數據，基于時序圖計算算法結合門控圖注意力機制將所述故障相關數據構建為服
5.根據權利要求4所述的方法，其特征在于，從歷史故障案例庫中檢索與當前故障癥狀特征相似的案例提取故障處理經驗，通過特征分布自適應將歷史故障模式遷移到當前場景，結合當前故障表現構建故障特征圖譜，采用三層分類結構對故障定位，基于癥狀特征進行粗粒度分類，結合所述異常傳播路徑細化分類結果，融合系統狀態特征確定故障類型，每層分類采用隨機森林方法集成多個分類器結果包括：
6.根據權利要求1所述的方法，其特征在于，基于所述風險等級評估結果判斷是否觸發切換，若觸發則啟動智能切換執行模塊，通過一致性散列算法結合虛擬節點機制并根據所述切換策略參數集從全局備用節點池中篩選候選節點，基于深度策略學習算法將所述故障根因分析報告中的特征指標構建備用節點評分體系，通過搜索樹優化決策過程并進行動態評分，將具有最高評分值的候選節點作為切換目標節點并基于所述故障傳播鏈初始化雙緩沖零拷貝機制，結合多級反饋隊列算法對數據庫操作請求進行優先級劃分，基于優先級劃分結果進行順序切換，結合時序預測算法將切換過程中的性能指標與所述系統健康評估分布矩陣進行對比建模，優化所述切換策略參數集直至切換完成包括：
7.根據權利要求6所述的方法，其特征在于，若觸發所述切換操作，則通過一致性散列算法建立整型哈希環，使用消息摘要算法計算物理節點標識的哈希值確定物理節點在所述哈希環上的位置，在每個物理節點標識后附加遞增序號生成虛擬節點標識，計算所述虛擬節點標識的哈希值確定虛擬節點在所述哈希環上的位置，將所述虛擬節點哈希值存儲在跳表中得到所述候選節點包括：
8.基于故障感知的HBase客戶端主備切換系統，用于實現前述權利要求1-7中任一項所述的方法，其特征在于，包括：
9.一種電子設備，其特征在于，包括：
10.一種計算機可讀存儲介質，其上存儲有計算機程序指令，其特征在于，所述計算機程序指令被處理器執行時實現權利要求1至7中任意一項所述的方法。
...【技術特征摘要】
1.基于故障感知的hbase客戶端主備切換方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，通過客戶端中的分布式故障監控模塊采集系統運行數據并通過部署在不同網絡區域的監控探針形成多維系統指標數據集，通過自適應聚類算法對所述多維系統指標數據集進行數據分布學習并建立異常檢測基線模型包括：
3.根據權利要求2所述的方法，其特征在于，基于所述異常檢測基線模型和指數移動平均算法，結合低通濾波器對所述多維系統指標數據集執行滑動時間窗口運算得到預處理后的標準指標數據，通過基于小波包分解的多尺度分析方法對所述標準指標數據進行時頻域特征提取，結合主成分分析算法進行降維得到多維度特征向量，基于預先設置的深度神經網絡模型和所述異常檢測基線模型生成系統健康評估分布矩陣包括：
4.根據權利要求1所述的方法，其特征在于，基于所述系統健康評估分布矩陣確定異常指標并與通過密度聚類算法計算得到的自適應閾值比較，若大于所述自適應閾值，則觸發故障診斷模型，通過改進的分布式追蹤系統定向采集故障相關數據，基于時序圖計算算法結合門控圖注意力機制將所述故障相關數據構建為服務調用依賴圖，結合所述多維度特征向量通過基于概率網絡的因果推理模型分析異常傳播路徑，生成故障傳播鏈，獲取系統日志，基于深度語義分析模型和圖結構網絡對所述系統日志和所述故障傳播鏈進行關聯分析，提取上下文特征并結合知識遷移技術生成故障特征圖譜，基于集成決策樹框架對所述故障特征圖譜進行多層分類運算，融合所述異常傳播路徑的特征，結合分層泛化策略輸出故障根因分析報告和風險等級評估結果，結合動態規劃算法生成切換策略參數集包括：
5.根據權利要求4所述的方法，其特征在于，從歷史故障案例庫中檢索與當前故障癥狀特征相似的案例提取故障處理經驗，通過特征...
【專利技術屬性】
技術研發人員：高經郡，高海玲，陶澤躍，
申請(專利權)人：北京科杰科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。