【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及存儲設(shè)備，尤其是涉及一種基于多模型集成的硬盤健康度評估預(yù)警方法、設(shè)備及介質(zhì)。
技術(shù)介紹
1、隨著網(wǎng)絡(luò)信息技術(shù)的發(fā)展，數(shù)據(jù)在其中扮演著重要的角色，而硬盤對于數(shù)據(jù)的存儲同樣重要。如果在硬盤發(fā)生故障之前，通過數(shù)據(jù)對其進行判斷健康度，并統(tǒng)一進行管理，可以有效避免由于硬盤出現(xiàn)故障發(fā)生損害而無法進行數(shù)據(jù)備份的風(fēng)險。
2、目前，在對硬盤的故障進行識別方法主要有：基于硬盤通訊故障的、基于單一smart日志指標的、基于硬盤本身電壓電流的，下面將從這幾類方法中分析目前方法存在的問題。
3、在傳統(tǒng)的基于硬盤是否在線對其進行判斷故障方法，專利申請cn116795610a公開了一種硬盤故障檢測方法、系統(tǒng)、裝置、計算機設(shè)備及存儲介質(zhì)，該方法獲取第一數(shù)量個待檢測硬盤的在位狀態(tài)；根據(jù)在位狀態(tài)判斷待檢測硬盤是否在位；在待檢測硬盤在位的情況下，獲取待檢測硬盤的連接狀態(tài)，并根據(jù)連接狀態(tài)，判斷待檢測硬盤是否故障；在確定待檢測硬盤為故障硬盤的情況下，發(fā)出故障信息。該方法只是針對所有硬盤無法精確定位是哪塊硬盤發(fā)生連接故障，而無法對每個硬盤本身是否存在故障進行判斷。
4、在基于smart日志對硬盤狀態(tài)進行診斷的方法，專利申請cn113077835a公開了一種硬盤的故障檢測方法、裝置、設(shè)備及可讀存儲介質(zhì)，該方法依據(jù)各服務(wù)器運行日志，若至少一項預(yù)設(shè)指標項的出現(xiàn)次數(shù)不小于預(yù)設(shè)指標項對應(yīng)的預(yù)設(shè)次數(shù)閾值，將服務(wù)器節(jié)點的硬盤作為目標硬盤。其中，每一預(yù)設(shè)指標項對應(yīng)的預(yù)設(shè)次數(shù)閾值依據(jù)服務(wù)器節(jié)點的硬盤出現(xiàn)故障的概率配置，進一步，本方法僅需獲取
5、在基于硬盤硬件本身的判斷方法，專利申請cn107590040a公開了一種硬盤背板及計算機裝置、硬盤故障檢測方法及存儲器，該方法采用電壓傳感器，電流傳感器檢測對應(yīng)的硬盤電源線的電壓、電流，電流是否正常，在不正常時，發(fā)出警報。從而能夠準確高效的進行硬盤故障定位。該方法可以對單個硬盤進行檢測，無法對大批量服務(wù)器各個節(jié)點硬盤進行檢測，而且操作起來比較耗時費力。
6、綜上所述，目前的硬盤故障檢測方法存在以下問題：首先，基于硬盤是否通訊，有生命心跳來判斷硬盤內(nèi)是否發(fā)生故障，只解決通信故障而未對硬盤本身發(fā)生故障進行檢測；其次基于smart日志文件中的單一指標進行閾值判斷，通過出現(xiàn)的次數(shù)來診斷硬盤是否發(fā)生故障，指標單一無法完全說明硬盤自身狀態(tài)，存在誤報的風(fēng)險；再次，通過硬件設(shè)置對硬盤電源線的電壓和電流進行判斷，操作起來比較復(fù)雜，無法在集群服務(wù)器中各個節(jié)點硬盤進行判斷，同時無法對硬盤的狀態(tài)進行提前預(yù)警處理。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的就是為了提供一種實現(xiàn)對服務(wù)集群中各個硬盤節(jié)點實時健康監(jiān)控的基于多模型集成的硬盤健康度評估預(yù)警方法、設(shè)備及介質(zhì)。
2、本專利技術(shù)的目的可以通過以下技術(shù)方案來實現(xiàn)：
3、一種基于多模型集成的硬盤健康度評估預(yù)警方法，包括以下步驟：
4、獲取服務(wù)集群中各個硬盤節(jié)點實時運行的smart日志文件，進行預(yù)處理；
5、將預(yù)處理后的smart日志文件輸入大模型中進行處理，輸出各個硬盤節(jié)點的健康度分數(shù)，其中所述大模型采用多模型進行集成；
6、判斷所述各個硬盤節(jié)點的健康度分數(shù)是否超過動態(tài)健康閾值，若是，則輸出預(yù)警信號，若否，則不輸出預(yù)警信號。
7、進一步地，所述預(yù)處理步驟包括：
8、提取初始關(guān)鍵字段：
9、基于所述smart日志文件，去除na值和整列相同的值，再依次進行相關(guān)性檢驗和歸一化處理，得到初始關(guān)鍵字段；
10、數(shù)據(jù)增強與平衡處理：
11、基于所述初始關(guān)鍵字段，采用smote技術(shù)進行數(shù)據(jù)增強，并進一步采用欠采樣或聚類平衡技術(shù)進一步處理，得到最終的關(guān)鍵字段。
12、進一步地，所述初始關(guān)鍵字段包括smart5、smart187、smart188、smart197、smart198。
13、進一步地，所述大模型的訓(xùn)練優(yōu)化步驟包括：
14、構(gòu)建訓(xùn)練樣本：獲取硬盤節(jié)點正常運行和發(fā)生故障之前的smart日志文件，進行預(yù)處理，得到關(guān)鍵字段，并作為訓(xùn)練樣本；
15、多模型集成與動態(tài)特征選擇：
16、基于所述訓(xùn)練樣本，采用所述大模型中的多種分類模型分別提取各自的動態(tài)特征，并進行融合預(yù)測，輸出預(yù)測結(jié)果，即健康度評分；
17、模型訓(xùn)練與自適應(yīng)優(yōu)化：
18、采用自適應(yīng)梯度優(yōu)化算法對所述大模型的權(quán)重進行優(yōu)化更新，并在訓(xùn)練過程中使用逐步正則化方法剔除每輪迭代過程中的不顯著的動態(tài)特征，同時在訓(xùn)練過程中增加訓(xùn)練樣本中故障樣本的權(quán)值。
19、進一步地，所述大模型中的多種分類模型分別包括logistic回歸模型、隨機森林和支持向量機，其中所述logistic回歸模型作為基準模型，所述隨機森林和支持向量機作為輔助模型。
20、進一步地，所述輸出預(yù)測結(jié)果的步驟包括：
21、基于所述訓(xùn)練樣本，采用第一層logistic回歸模型、隨機森林和支持向量機分別提取各自的動態(tài)特征，其中所述隨機森林在提取動態(tài)特征時通過計算關(guān)鍵字段的重要性得分篩選出動態(tài)特征，并采用l1正則化選擇最優(yōu)特征組合，所述支持向量機對所述最優(yōu)特征組合進行進一步特征提取，得到支持向量機提取的動態(tài)特征；
22、將提取出的各自的動態(tài)特征輸入第二層logistic回歸模型中，并采用stacking策略進行融合預(yù)測，輸出預(yù)測結(jié)果。
23、進一步地，所述動態(tài)健康閾值采用自適應(yīng)閾值調(diào)節(jié)機制進行設(shè)定，其中所述自適應(yīng)閾值調(diào)節(jié)機制基于硬盤節(jié)點的歷史健康數(shù)據(jù)的動態(tài)調(diào)整，將硬盤節(jié)點的動態(tài)健康閾值設(shè)置為個性化參數(shù)以進行動態(tài)調(diào)整。
24、進一步地，所述大模型還集成有增量學(xué)習(xí)機制，所述增量學(xué)習(xí)機制用于對未標記的訓(xùn)練樣本，采用人工標注的方式進行周期性地增量更新所述大模型。
25、本專利技術(shù)還提供一種電子設(shè)備，其特征在于，包括：一個或多個處理器；存儲器；和被存儲在存儲器中的一個或多個程序，所述一個或多個程序包括用于執(zhí)行如上述所述基于多模型集成的硬盤健康度評估預(yù)警方法的指令。
26、本專利技術(shù)還提供一種計算機可讀存儲介質(zhì)，包括供電子設(shè)備的一個或多個處理器執(zhí)行的一個或多個程序，所述一個或多個程序包括用于執(zhí)行如上述所述基于多模型集成的硬盤健康度評估預(yù)警方法的指令。
27、與現(xiàn)有技術(shù)相比，本專利技術(shù)具有以下有益效果：
28、(1)本專利技術(shù)通過實時采集服務(wù)集群中各個硬盤節(jié)點的smart日志文件，采用多模型集成后的大模型進行處理，得到各個硬盤節(jié)點的健康度分數(shù)，并一步判斷各個硬盤節(jié)點是否健康，本專利技術(shù)通過對服務(wù)集群中各個硬盤節(jié)點進行實時監(jiān)控，確保對各個硬盤節(jié)點健康狀態(tài)的實時掌控。
29、(2)本專利技術(shù)采用多模本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述預(yù)處理步驟包括：
3.根據(jù)權(quán)利要求2所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述初始關(guān)鍵字段包括SMART5、SMART187、SMART188、SMART197、SMART198。
4.根據(jù)權(quán)利要求1所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述大模型的訓(xùn)練優(yōu)化步驟包括：
5.根據(jù)權(quán)利要求4所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述大模型中的多種分類模型分別包括Logistic回歸模型、隨機森林和支持向量機，其中所述Logistic回歸模型作為基準模型，所述隨機森林和支持向量機作為輔助模型。
6.根據(jù)權(quán)利要求5所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述輸出預(yù)測結(jié)果的步驟包括：
7.根據(jù)權(quán)利要求1所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述動
8.根據(jù)權(quán)利要求1所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述大模型還集成有增量學(xué)習(xí)機制，所述增量學(xué)習(xí)機制用于對未標記的訓(xùn)練樣本，采用人工標注的方式進行周期性地增量更新所述大模型。
9.一種電子設(shè)備，其特征在于，包括：
10.一種計算機可讀存儲介質(zhì)，其特征在于，包括供電子設(shè)備的一個或多個處理器執(zhí)行的一個或多個程序，所述一個或多個程序包括用于執(zhí)行如權(quán)利要求1-8任一所述基于多模型集成的硬盤健康度評估預(yù)警方法的指令。
...【技術(shù)特征摘要】
1.一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述預(yù)處理步驟包括：
3.根據(jù)權(quán)利要求2所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述初始關(guān)鍵字段包括smart5、smart187、smart188、smart197、smart198。
4.根據(jù)權(quán)利要求1所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述大模型的訓(xùn)練優(yōu)化步驟包括：
5.根據(jù)權(quán)利要求4所述的一種基于多模型集成的硬盤健康度評估預(yù)警方法，其特征在于，所述大模型中的多種分類模型分別包括logistic回歸模型、隨機森林和支持向量機，其中所述logistic回歸模型作為基準模型，所述隨機森林和支持向量機作為輔助模型。
6.根據(jù)權(quán)利要求5所述的一種基...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：彭星輝，張武浩，沈亮，翁元，
申請(專利權(quán))人：江蘇鳴嘯智能交通科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。