云環境下虛擬機異常行為檢測系統和方法技術方案

本發明專利技術公開了云環境下虛擬機異常行為檢測系統和方法，檢測系統包括物理服務器集群、模型訓練服務器和若干個異常檢測節點服務器；物理服務器集群包括若干個物理服務器，每個物理服務器上設有至少一個虛擬機服務器，物理服務器之間按照一定的方式連接構成局域網系統；模擬訓練服務器分別與物理服務器集群以及異常檢測節點服務器相連，若干個物理服務器對應一個異常檢測節點服務器并與之相連。檢測方法包括模型的離線訓練階段和在線異常檢測階段。采用本發明專利技術進行虛擬機異常檢測，無需假設數據的概率分布與依賴關系，能夠實現在線異常檢測，并改進虛擬機異常檢測的準確率。

An Abnormal Behavior Detection System for Virtual Machines in Cloud Environment

The invention discloses a system for detecting abnormal behavior of virtual machines in cloud environment, which includes physical server cluster, model training server and several abnormal detection node servers; physical server cluster includes several physical servers, each physical server has at least one virtual machine server, and the physical servers are connected in a certain way. The simulation training server is connected with the physical server cluster and the anomaly detection node server respectively. Several physical servers correspond to one anomaly detection node server and are connected with it. Detection methods include off-line training phase and on-line anomaly detection phase. The method can realize online anomaly detection without assuming the probability distribution and dependence of data, and improve the accuracy of anomaly detection of virtual machine.

【技術實現步驟摘要】
云環境下虛擬機異常行為檢測系統和方法
本專利技術涉及一種云平臺中虛擬機管理技術，尤其涉及一種虛擬機異常行為的檢測。
技術介紹
云計算通過虛擬化技術，可將數千臺硬件服務器整合到共享資源池，按需配置虛擬機的計算資源。一個云平臺可管理數萬臺虛擬機。及時準確地發現虛擬機運行中發生的異常與故障，是虛擬機管理中的一項重要任務。傳統的異常檢測方法，主要可以分為兩大類，有監督方法和無監督方法。當前面臨的主要困難包括，海量的無標簽高維監測數據，數據的時序性等。對于有監督方法，例如分類法，雖然可以在線采集到足夠的虛擬機數據，但缺乏足夠的標記正常與異常的訓練數據，實施中難以訓練得到理想的分類器，特別是，虛擬機異常數據屬于不平衡數據，絕大多數訓練數據都是正常數據，導致分類器很難正確識別少數異常數據，分類準確率低。對于無監督方法，例如統計分析方法和聚類法，因為海量的虛擬機監控數據不斷更新，導致原來假設的概率分布參數變化，難以增量更新；對于聚類法，當樣本數據較大時，難以實現在線快速檢測。監測數據的時序性增加了問題的難度和復雜性。考慮一定時間區間的虛擬機上下文指標變化，有利于改善檢測方法的準確率。傳統的基于統計的方法，例如CUSUM方法，通過累積單一屬性值序列的變化，根據預設的門限值判斷是否異常，不能同時處理多種屬性綜合表現出的時序異常現象。一般采用Markov模型或隱馬爾科夫模型對其進行時序建模，但是這類模型假設當前狀態只依賴于前一時間點的狀態，當實際問題不滿足這一假設時，特別是多種屬性綜合考慮時，存在較長時間的依賴關系，使得這類模型難以取得令人滿意的效果。基于監測數據的無標簽性和時序性的特點，需要有效的無監督在線檢測方法，可以發現在一定時間區間內的虛擬機異常行為。
技術實現思路
專利技術目的：針對以上問題，本專利技術提出一種云環境下虛擬機異常檢測方法，實現對虛擬機異常的在線快速檢測，提高虛擬機異常檢測的效率和準確率。技術方案：本專利技術所采用的技術方案是一種云環境下虛擬機異常行為檢測系統，該系統包括物理服務器集群、模型訓練服務器和若干個異常檢測節點服務器。其中，物理服務器集群包括若干個物理服務器，物理服務器之間按照一定的方式連接構成局域網系統。每個物理服務器上設有至少一個虛擬機服務器，虛擬機服務器上安裝有用于數據采集的代理程序。模擬訓練服務器分別與物理服務器集群以及異常檢測節點服務器相連，若干個物理服務器對應一個異常檢測節點服務器并與之相連。異常檢測節點服務器包括一個全局檢測節點服務器和多個局部檢測節點服務器，全局檢測節點服務器與局部檢測節點服務器相連，形成層級結構。模型訓練服務器用于對虛擬機服務器歷史數據進行深層網絡訓練，并向異常檢測節點服務器發送數據訓練得到的模型，異常檢測節點服務器用于采集和分析虛擬機服務器的實時數據，檢測虛擬機的異常行為。使用本專利技術所述的云環境下虛擬機異常行為檢測系統進行虛擬機異常行為的檢測，包括以下步驟，(1)以固定的時間間隔采集虛擬機的各項指標，構造虛擬機正常狀態時的數據向量；將虛擬機正常狀態時的數據向量輸入到模擬訓練服務器上的稀疏自動編碼器網絡，并利用該數據向量對稀疏自動編碼器和長短期記憶網絡進行訓練，建立稀疏自動編碼器模型和長短期記憶網絡模型；(2)持久化保存稀疏自動編碼器模型和長短期記憶網絡模型，并將稀疏自動編碼器模型和長短期記憶網絡模型部署到各異常檢測節點服務器上；(3)異常檢測節點服務器將實時采集的虛擬機數據輸入稀疏自動編碼器網絡模型，對輸入的數據降維后輸出數據向量vt；(4)構建向量序列<vt+1,vt+2,…,vt+l>，輸入長短期記憶網絡模型，該模型輸出預測向量序列<v′t+2,v′t+3,…,v′t+l+1>，計算兩者的異常因子，異常因子計算公式為其中||v′k-vk||為預測誤差的L2范數，α為衰減因子；(5)如果預測誤差大于預設的門限值，即則判斷虛擬機當前進入警告狀態，異常檢測節點服務器發出報警。其中步驟1為檢測模型的離線訓練階段，包括以下步驟：(51)以固定的時間間隔采集虛擬機的各項指標，構造虛擬機正常狀態時的數據向量；(52)將虛擬機正常狀態時的數據向量輸入到模擬訓練服務器上的稀疏自動編碼器網絡，使用隨機梯度優化方法逐層訓練稀疏自動編碼器網絡，使其重構誤差達到最小，得到稀疏自動編碼器網絡模型；(53)利用稀疏自動編碼器網絡，對輸入的數據向量進行重新編碼，通過非線性變換將數據降維，稀疏自動編碼器網絡輸出降維后的數據vt；(54)將數據vt通過滑動時間窗口創建長度為l的向量序列<vt+1,vt+2,…,vt+l>，以固定時間間隔采集的一系列虛擬機數據組合成向量序列集合V；(55)將向量序列<vt+1,vt+2,…,vt+l>∈V輸入長短期記憶網絡，采用新增數據增量方法訓練該網絡預測各個vt，直到重構誤差達到最小，形成長短期記憶網絡模型。優選的，所述的長短期記憶網絡輸出門的激活函數使用sigmoid，其他門的激活函數使用tanh函數，使用新增數據增量訓練長短期記憶網絡。所述稀疏自動編碼器網絡的激活函數為sigmoid，以最后一層隱藏層的編碼結果作為向量融合后的編碼。有益效果：本專利技術克服了現有虛擬機異常檢測方案難以對虛擬機監測數據時序建模的困難，可在線實時的檢測虛擬機的異常行為。本專利技術利用深層網絡技術實現多屬性高維特征數據的融合與降維，采用無監督方法建立長時間依賴關系的時序預測模型，無需假設數據的概率分布與依賴關系；進而實現在線異常檢測，并改進虛擬機異常檢測的準確率。附圖說明圖1是檢測模型的離線訓練流程圖；圖2是在線異常檢測流程圖。具體實施方式下面結合附圖對本專利技術的技術方案作進一步的說明。云環境下虛擬機異常行為檢測系統，該系統包括物理服務器集群、模型訓練服務器和若干個異常檢測節點服務器。其中，物理服務器集群包括若干個物理服務器，物理服務器之間按照一定的方式連接構成局域網系統。每個物理服務器上設有至少一個虛擬機服務器，虛擬機服務器上安裝有用于數據采集的代理程序。模擬訓練服務器分別與物理服務器集群以及異常檢測節點服務器相連，若干個物理服務器對應一個異常檢測節點服務器并與之相連。異常檢測節點服務器包括一個全局檢測節點服務器和局部檢測節點服務器，全局檢測節點服務器與多個局部檢測節點服務器相連，形成層級結構。按照層級化結構部署，全局結點負責分配計算負載，不負責實際計算，通過全局節點將檢測計算分布到各個局部節點，降低全局節點的計算負載，減少網絡中監測數據的傳輸負載，提高在線檢測的響應性能。因深層網絡的訓練對硬件性能要求較高，故模型訓練服務器的CPU應達到24核，應配置GPU和32GB以上內存，以便可以在可接受的時間內完成模型訓練。模型一旦訓練完成，將模型分發到各異常檢測節點。在線檢測的節點服務器，無需較高配置。利用上述虛擬機異常行為檢測系統對虛擬機進行異常行為檢測，其具體過程包括檢測模型的離線訓練階段和在線異常檢測階段。如圖1是檢測模型的離線訓練階段的流程圖，包括以下過程：首先，離線訓練一個稀疏自動編碼器網絡，用于非線性地融合多種屬性，對數據進行降維。包括以下步驟：(51)按照固定時間間隔，采集虛擬機的環境配置數據、CPU運行指標、內存運行指標、I/O本文檔來自技高網...

【技術保護點】
1.一種云環境下虛擬機異常行為檢測系統，其特征在于：該系統包括物理服務器集群、模型訓練服務器和若干個異常檢測節點服務器；物理服務器集群包括若干個物理服務器，每個物理服務器上設有至少一個虛擬機服務器，物理服務器之間構成局域網系統；模擬訓練服務器分別與物理服務器集群以及異常檢測節點服務器相連，若干個物理服務器對應一個異常檢測節點服務器并與之相連；模型訓練服務器用于對虛擬機服務器歷史數據進行深層網絡訓練，并向異常檢測節點服務器發送數據訓練得到的模型，異常檢測節點服務器用于采集和分析虛擬機服務器的實時數據，檢測虛擬機的異常行為。

【技術特征摘要】
1.一種云環境下虛擬機異常行為檢測系統，其特征在于：該系統包括物理服務器集群、模型訓練服務器和若干個異常檢測節點服務器；物理服務器集群包括若干個物理服務器，每個物理服務器上設有至少一個虛擬機服務器，物理服務器之間構成局域網系統；模擬訓練服務器分別與物理服務器集群以及異常檢測節點服務器相連，若干個物理服務器對應一個異常檢測節點服務器并與之相連；模型訓練服務器用于對虛擬機服務器歷史數據進行深層網絡訓練，并向異常檢測節點服務器發送數據訓練得到的模型，異常檢測節點服務器用于采集和分析虛擬機服務器的實時數據，檢測虛擬機的異常行為。2.根據權利要求1所述的云環境下虛擬機異常行為檢測系統，其特征在于：所述的虛擬機服務器上安裝有用于數據采集的代理程序。3.根據權利要求1所述的云環境下虛擬機異常行為檢測系統，其特征在于：所述的異常檢測節點服務器包括一個全局檢測節點服務器和多個局部檢測節點服務器，全局檢測節點服務器與局部檢測節點服務器相連，形成層級結構。4.應用在權利要求1所述的檢測系統中的一種云環境下虛擬機異常行為檢測方法，其特征在于：包括以下步驟：(1)以固定的時間間隔采集虛擬機的各項指標，構造虛擬機正常狀態時的數據向量；將虛擬機正常狀態時的數據向量輸入到模擬訓練服務器上的稀疏自動編碼器網絡，并利用該數據向量對稀疏自動編碼器和長短期記憶網絡進行訓練，建立稀疏自動編碼器模型和長短期記憶網絡模型；(2)持久化保存稀疏自動編碼器模型和長短期記憶網絡模型，并將稀疏自動編碼器模型和長短期記憶網絡模型部署到各異常檢測節點服務器上；(3)異常檢測節點服務器將實時采集的虛擬機數據輸入稀疏自動編碼器網絡模型，對輸入的數據降維后輸出數據向量vt；(4)構建向量序列<vt+1,vt+2,…,vt+l>，輸入長短期記憶網絡模型，該...

【專利技術屬性】
技術研發人員：周英，陳健，劉曉浩，周林鵬，郭婷婷，崔雋，朱建勛，
申請(專利權)人：中國電子科技集團公司第二十八研究所，
類型：發明
國別省市：江蘇,32