【技術實現步驟摘要】
本申請涉及計算機，尤其涉及一種數據異常檢測模型的訓練方法、數據異常檢測方法及設備。
技術介紹
1、隨著數字智能時代的到來，越來越多的數據處理過程可以依靠深度學習算法實現，而無需人工進行參與。在應用算法進行數據處理的過程中，需要通過獲取大量的訓練數據用以完善深度學習算法的模型，如果訓練數據的范圍無法覆蓋所有的模型可能的使用場景，或者，需要通過模型進行處理的對象包括多種不同形式，會導致模型獲取到的輸出結果出現異常。現有技術中對于模型異常輸出結果的發現主要依靠人工進行干預，例如，通過用戶反饋、人工分析反饋結果、并對人工選取的目標樣本進行數據加工，生成新的訓練數據，以完成對模型的迭代優化。
2、由于上述優化過程需要大量人工參與，因此，在整個異常數據處理階段均可能出現錯誤，且發現數據異常需要依靠用戶進行反饋，這就導致數據異常的處理并不及時，同時，人工進行異常檢測的成本較高，如果檢測方向偏離關鍵異常，可能會導致在數據加工過程中存在大量重復/相似樣本標注問題，耗費大量的人工資源。因此，如何通過特定算法找出現有模型無法正確進行數據處理的樣本、進而使用這些樣本進行模型迭代，更新現有的算法是亟待解決的問題。
技術實現思路
1、鑒于上述問題，本申請提供一種數據異常檢測模型的訓練方法、數據異常檢測方法及設備，解決了如何通過特定算法找出現有模型無法正確進行數據處理的樣本、進而使用這些樣本進行模型迭代，更新現有的算法的問題。
2、為解決上述技術問題，本申請提出以下方案：
3
4、結合第一方面，在一種可能的實現方式中，通過內置規則獲取訓練樣本的標簽；根據標簽對應的數值提取訓練樣本集的目標特征。
5、結合第一方面，在另一種可能的實現方式中，清洗訓練樣本集；通過內置規則對訓練樣本集進行去噪；通過聚類對訓練樣本集進行歸一化處理。
6、第二方面，本申請提供了一種數據異常檢測方法，方法包括：獲取待檢測數據；將待檢測數據輸入訓練完成的數據異常檢測模型中，得到待檢測數據的檢測結果。
7、結合第二方面，在一種可能的實現方式中，當檢測結果指示待檢測數據存在異常時，通過構建待檢測數據拓撲的關聯關系，定位待檢測數據，并產生告警信息。
8、第三方面，本申請提供了一種數據異常檢測模型的訓練裝置，數據異常檢測模型的訓練裝置包括：獲取模塊、特征提取模塊和訓練模塊。
9、獲取模塊，用于獲取訓練樣本集。
10、特征提取模塊，用于根據訓練樣本集中訓練樣本的標簽提取目標特征。
11、訓練模塊，用于基于訓練樣本集和目標特征對隨機森林模型和lightgbm模型進行訓練，得到數據異常檢測模型。
12、結合第三方面，在一種可能的實現方式中，特征提取模塊具體用于：通過內置規則獲取訓練樣本的標簽；根據標簽對應的數值提取訓練樣本集的目標特征。
13、結合第三方面，在另一種可能的實現方式中，裝置還包括預處理模塊，預處理模塊用于：清洗訓練樣本集；通過內置規則對訓練樣本集進行去噪；通過聚類對訓練樣本集進行歸一化處理。
14、第四方面，本申請提供了一種數據異常檢測裝置，數據異常檢測裝置包括：獲取模塊和檢測模塊。
15、獲取模塊，用于獲取待檢測數據。
16、檢測模塊，用于將待檢測數據輸入訓練完成的數據異常檢測模型中，得到待檢測數據的檢測結果。
17、結合第四方面，在一種可能的實現方式中，檢測模塊具體用于：當檢測結果指示待檢測數據存在異常時，通過構建待檢測數據拓撲的關聯關系，定位待檢測數據，并產生告警信息。
18、為了實現上述目的，根據本申請的第五方面，提供了一種存儲介質，所述存儲介質包括存儲的程序，其中，在所述程序運行時控制所述存儲介質所在設備執行上述第一方面的數據異常檢測模型的訓練方法。
19、為了實現上述目的，根據本申請的第六方面，提供了一種存儲介質，所述存儲介質包括存儲的程序，其中，在所述程序運行時控制所述存儲介質所在設備執行上述第二方面的數據異常檢測方法。
20、為了實現上述目的，根據本申請的第七方面，提供了一種電子設備，所述設備包括至少一個處理器、以及與處理器連接的至少一個存儲器、總線；其中，處理器、存儲器通過總線完成相互間的通信；處理器用于調用存儲器中的程序指令，以執行上述第一方面的數據異常檢測模型的訓練方法。
21、為了實現上述目的，根據本申請的第八方面，提供了一種電子設備，所述設備包括至少一個處理器、以及與處理器連接的至少一個存儲器、總線；其中，處理器、存儲器通過總線完成相互間的通信；處理器用于調用存儲器中的程序指令，以執行上述第一方面的數據異常檢測方法。
22、借由上述技術方案，本申請提供的技術方案至少具有下列優點：
23、本申請提供的一種數據異常檢測模型的訓練方法、數據異常檢測方法及設備，本申請可以實時監控系統的狀態，并及時發現系統中的異常情況；可以通過對系統歷史數據的分析，預測未來可能出現的故障情況，以便提前進行維護和優化；可以發現系統中的性能瓶頸，如響應時間、吞吐量等，以便進行系統優化；可以通過監控用戶行為數據，發現用戶可能遇到的問題，以便改善用戶體驗。
24、上述說明僅是本申請技術方案的概述，為了能夠更清楚了解本申請的技術手段，而可依照說明書的內容予以實施，并且為了讓本申請的上述和其它目的、特征和優點能夠更明顯易懂，以下特舉本申請的具體實施方式。
本文檔來自技高網...【技術保護點】
1.一種數據異常檢測模型的訓練方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，根據所述訓練樣本集中訓練樣本的標簽提取目標特征，包括：
3.根據權利要求1-2中任一項所述的方法，其特征在于，根據所述訓練樣本集中訓練樣本的標簽提取目標特征之前，所述方法還包括：
4.一種數據異常檢測方法，其特征在于，所述方法包括：
5.根據權利要求4所述的方法，其特征在于，所述方法包括：
6.一種數據異常檢測模型的訓練裝置，其特征在于，所述裝置包括：
7.根據權利要求6所述的裝置，其特征在于，所述特征提取模塊具體用于：
8.根據權利要求6-7中任一項所述的裝置，其特征在于，所述裝置還包括預處理模塊，預處理模塊用于：
9.一種數據異常檢測裝置，其特征在于，所述裝置包括：
10.根據權利要求9所述的裝置，其特征在于，檢測模塊具體用于：
【技術特征摘要】
1.一種數據異常檢測模型的訓練方法，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，根據所述訓練樣本集中訓練樣本的標簽提取目標特征，包括：
3.根據權利要求1-2中任一項所述的方法，其特征在于，根據所述訓練樣本集中訓練樣本的標簽提取目標特征之前，所述方法還包括：
4.一種數據異常檢測方法，其特征在于，所述方法包括：
5.根據權利要求4所述的方法，其特征在于...
【專利技術屬性】
技術研發人員：孟德，肖娜，趙雨山，來驥，聶正璞，楊睿，李賢，呂冰，高崧，李碩，張實君，曾靜，徐相森，管嘉珩，王海超，
申請(專利權)人：國網冀北電力有限公司信息通信分公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。