【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于深度學習、大語言模型、時序數(shù)據(jù)特征提取等，具體涉及一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法。
技術(shù)介紹
1、工業(yè)設(shè)備的剩余壽命預(yù)測在智能運維和設(shè)備管理中具有重要意義。然而，實際工業(yè)場景中收集到的設(shè)備運行數(shù)據(jù)往往具有非結(jié)構(gòu)化、復(fù)雜多樣、帶噪聲等特性。尤其是在長時間的運行過程中，數(shù)據(jù)會受到多種外部因素影響，導(dǎo)致其表現(xiàn)出非平穩(wěn)性和強非線性，這給設(shè)備劣化過程的建模和剩余壽命預(yù)測帶來了巨大挑戰(zhàn)。此外，故障數(shù)據(jù)樣本往往較少且分布不均衡，進一步限制了傳統(tǒng)機器學習模型的泛化能力和預(yù)測效果。
2、隨著預(yù)訓練大語言模型的迅速發(fā)展，這些模型在處理多維數(shù)據(jù)特征提取、時序建模和跨領(lǐng)域知識遷移方面展現(xiàn)出了極大的潛力。預(yù)訓練大語言模型具有從大規(guī)模數(shù)據(jù)中提取深層特征的能力，可以通過微調(diào)在特定領(lǐng)域中進行知識遷移，從而在樣本有限的情況下捕捉設(shè)備劣化過程中的關(guān)鍵特征。此外，預(yù)訓練大語言模型中的注意力機制能夠有效建模設(shè)備時序數(shù)據(jù)中的長依賴關(guān)系，有助于識別設(shè)備不同狀態(tài)的細微變化，為剩余壽命預(yù)測提供更精準的信息支持。而傳統(tǒng)的剩余壽命預(yù)測方法通常基于淺層特征提取或手工構(gòu)造特征，這在應(yīng)對復(fù)雜工業(yè)數(shù)據(jù)的高維特性和異質(zhì)性時存在明顯的局限性。
技術(shù)實現(xiàn)思路
1、為解決現(xiàn)有技術(shù)的不足，實現(xiàn)提升工業(yè)設(shè)備的健康狀態(tài)和剩余壽命信息預(yù)測準確性的目的，本專利技術(shù)采用如下的技術(shù)方案：
2、一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，包括如下步驟：
3、步驟一：采集工業(yè)設(shè)備的時序數(shù)據(jù)
4、步驟二：嵌入后數(shù)據(jù)輸入預(yù)訓練大語言模型，模型包含一組transformer編碼器塊，從頭開始訓練大語言模型通常會導(dǎo)致性能下降，為了保持大語言模型具備與數(shù)據(jù)無關(guān)的表示學習能力，通過凍結(jié)大多數(shù)參數(shù)，尤其是transformer編碼器塊中，在表示學習中起到關(guān)鍵作用的多頭注意力層和前饋全連接層的參數(shù)，對其中的查詢、鍵和值矩陣進行處理，凍結(jié)其大部分原始參數(shù)，僅對少量可訓練的低秩矩陣進行微調(diào)，從而有效優(yōu)化參數(shù)效率，減少訓練負擔并提升對局部特征的敏感度，在多頭注意力層之后，數(shù)據(jù)經(jīng)過層歸一化和前饋全連接層，通過微調(diào)層歸一化中的仿射變換參數(shù)，進一步減少計算量并增強模型的泛化能力，從而能夠讓大語言模型處理時序數(shù)據(jù)，最終預(yù)測出分段時序數(shù)據(jù)；
5、步驟三：將預(yù)訓練大語言模型的參數(shù)輸入至附加網(wǎng)絡(luò)，附加網(wǎng)絡(luò)包含一組并行且獨立的附加網(wǎng)絡(luò)塊，每個附加網(wǎng)絡(luò)塊平行于預(yù)訓練大語言模型中的transformer編碼器塊進行工作，經(jīng)過附加網(wǎng)絡(luò)的處理，數(shù)據(jù)進入輸出層，生成設(shè)備的剩余預(yù)測壽命。
6、進一步地，所述步驟一中，時序數(shù)據(jù)的預(yù)處理過程包括如下步驟：
7、步驟1.1.1：對采集的工業(yè)設(shè)備時序數(shù)據(jù)進行故障前時刻診斷，得到故障前時刻t，由于工業(yè)設(shè)備失效大多是隨機發(fā)生的，失效特征較弱且難以檢測，該階段時序信號的信噪比較低，包含的退化信息較少，干擾噪聲較多，由于均方根會隨組件退化的嚴重程度而增加，因此通過均方根檢測的方式能最大限度地排除干擾噪聲并保留退化信息；
8、步驟1.1.2：根據(jù)故障前時刻t值，將工業(yè)設(shè)備時序數(shù)據(jù)分割為若干個時間序列；
9、步驟1.1.3：將得到的時間序列進行特征的預(yù)提取，得到時頻特征圖；
10、步驟1.1.4：將所有的時頻特征圖進行連接，得到退化數(shù)據(jù)的二維特征圖；
11、步驟1.1.5：為了提高處理不同時間序列數(shù)據(jù)集的一致性和可靠性，需要對退化數(shù)據(jù)的二維特征圖進行實例歸一化，生成均值為零的歸一化時間序列數(shù)據(jù)；
12、步驟1.1.6：由于學習局部聚合信息更有助于大模型理解工業(yè)設(shè)備退化的長期趨勢，因此需要將歸一化后的退化數(shù)據(jù)的二維特征圖進行分段，以捕獲在單個時間點無法學習的更高級別的退化信息，從而增強局部性。
13、進一步地，所述步驟1.1.1中，故障前時刻診斷的公式為：
14、
15、其中，表示輸入信號，t表示給定的時間，表示輸入信號在t-1時刻的均值在方差的范圍，表示均方根rms的平均值，表示方差，表示用于遍歷時間t之前的所有時間點的索引；
16、若均方根超過的閾值范圍，即三個連續(xù)的均方根值都超過了：
17、
18、則認為時間t為對應(yīng)于初始的故障診斷時刻值，否則繼續(xù)遍歷時間t，直到滿足條件，找到時序數(shù)據(jù)中的故障前時刻。
19、進一步地，所述步驟1.1.3中，通過短時傅里葉變換進行特征的預(yù)提取，短時傅里葉變換的公式為：
20、
21、其中，表示窗函數(shù)位置對應(yīng)的信號，i表示虛數(shù)單位，e表示自然對數(shù)的底數(shù)，表示窗函數(shù)，f表示頻率，表示窗函數(shù)的位置，表示輸入信號的時頻特征，然后使用原始信號的能量分布作為后續(xù)頻譜圖的輸入，其中能量分布的公式為：
22、
23、分割后的數(shù)據(jù)再經(jīng)過短時傅里葉變換和提取能量分布之后，每個子序列轉(zhuǎn)換為大小為m×n的時頻特征圖，其中m為頻率軸的維數(shù)，n為時間軸的維數(shù)。
24、進一步地，所述步驟1.1.6中，歸一化后的退化數(shù)據(jù)的二維特征圖表示為：
25、
26、其中，f表示歸一化后的退化數(shù)據(jù)的二維特征圖，表示第1行的1到l的數(shù)據(jù)，d表示圖的行數(shù)，l表示圖的列數(shù)，表示一個包含l個時間步、每個時間步有d個特征的矩陣；然后將特征圖的每列分割為長度p，間隔步長為s的分段數(shù)據(jù)，分段后每一列的分段數(shù)據(jù)數(shù)量n為：
27、
28、對于長度不能均勻劃分為相等長度的時間序列，在每個原始序列的末尾使用填充操作；將的最后一個值重復(fù)s次，并加到原始序列的末尾，以使每個分段數(shù)據(jù)的長度為p，防止最后一個分段數(shù)據(jù)因長度不足而被丟棄，從而丟失關(guān)鍵的退化數(shù)據(jù)。
29、進一步地，所述步驟一中，輸入嵌入過程包括如下步驟：
30、步驟1.2.1：通過標記嵌入編碼，用卷積層將預(yù)處理得到的分段退化序列數(shù)據(jù)映射到隱藏層的潛在空間，以便于大模型對其進行處理；
31、步驟1.2.2：通過位置嵌入編碼，對分段退化序列數(shù)據(jù)的絕對位置信息進行編碼；由于大模型中的多頭注意機制不具有主動編碼標記的絕對位置關(guān)系的能力，因此需要手動顯式添加，通過使用簡單有效的正弦-余弦位置編碼，以減少不必要的參數(shù)學習的負擔；
32、步驟1.2.3：通過時間嵌入編碼，對分段退化序列數(shù)據(jù)的時間信息進行相對位置編碼，以增強模型捕捉時間序列數(shù)據(jù)中的相對時間信息的能力，通過旋轉(zhuǎn)編碼矩陣來實現(xiàn)相對時間位置的注意力機制，以在嵌入特征中編碼相對時間信息，從而更好地提取降解過程中的時間序列特征，并有助于長期預(yù)測；
33、步驟1.2.4：標記嵌入編碼的結(jié)果與位置嵌入編碼和時間嵌入編碼的結(jié)果進行相加，將退化分段序列數(shù)據(jù)與大型語言模型特征空間進行對齊。
3本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟一中，時序數(shù)據(jù)的預(yù)處理過程包括如下步驟：
3.根據(jù)權(quán)利要求2所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟1.1.1中，故障前時刻診斷的公式為：
4.根據(jù)權(quán)利要求2所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟1.1.3中，通過短時傅里葉變換進行特征的預(yù)提取，短時傅里葉變換的公式為：
5.根據(jù)權(quán)利要求2所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟1.1.6中，歸一化后的退化數(shù)據(jù)的二維特征圖表示為：
6.根據(jù)權(quán)利要求1所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟一中，輸入嵌入過程包括如下步驟：
7.根據(jù)權(quán)利要求6所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟1.2.2中的位置
8.根據(jù)權(quán)利要求1所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟二中，經(jīng)輸入嵌入調(diào)整到所需的嵌入維度的嵌入向量，輸入至預(yù)訓練的大語言模型中，經(jīng)每個Transformer編碼器塊處理后，得到嵌入向量；
9.根據(jù)權(quán)利要求1所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟三包括如下步驟：
10.根據(jù)權(quán)利要求1所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟三中，通過附加上下投影層的方式，以最大化利用預(yù)訓練的大語言模型對時序特征的表達能力；在每個附加網(wǎng)絡(luò)塊中，包含一個下投影層和一個上投影層，下投影層包括映射層、批歸一化層和非線性ReLU層，將輸入特征投影到低維空間；然后，上投影層將降維后的特征重新投影回原始維度；附加網(wǎng)絡(luò)共享與大語言模型相同的輸入，即接收預(yù)訓練權(quán)重信息，特征在進入附加網(wǎng)絡(luò)塊之后，先通過下投影層處理，接著通過上投影層恢復(fù)至原維度然后，再輸出到下一附加網(wǎng)絡(luò)塊或Transformer塊，形成逐層累加的特征。
...【技術(shù)特征摘要】
1.一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于包括如下步驟：
2.根據(jù)權(quán)利要求1所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟一中，時序數(shù)據(jù)的預(yù)處理過程包括如下步驟：
3.根據(jù)權(quán)利要求2所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟1.1.1中，故障前時刻診斷的公式為：
4.根據(jù)權(quán)利要求2所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟1.1.3中，通過短時傅里葉變換進行特征的預(yù)提取，短時傅里葉變換的公式為：
5.根據(jù)權(quán)利要求2所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟1.1.6中，歸一化后的退化數(shù)據(jù)的二維特征圖表示為：
6.根據(jù)權(quán)利要求1所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟一中，輸入嵌入過程包括如下步驟：
7.根據(jù)權(quán)利要求6所述的一種融合預(yù)訓練大語言模型的工業(yè)設(shè)備剩余壽命預(yù)測方法，其特征在于：所述步驟1.2...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：徐建宇，章東平，馬道濱，卜玉真，楊力，
申請(專利權(quán))人：中國計量大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。