【技術實現步驟摘要】
本申請涉及工業制造，具體而言，涉及多維度信息融合的聲學側信道攻擊檢測識別方法及裝置。
技術介紹
1、隨著工業的快速發展，大量低成本的加速度傳感器和聲學傳感器被覆蓋到工業制造領域，這些傳感器在不同位置上獲取工業設備的大量運行狀態參數，而且加速度和音頻數據都是波形數據，不同位置的波形數據的特征有較大差異，在此背景下，依賴單一安全層面的預測性維護系統更容易受到復雜攻擊的影響。
2、軸承故障是最常見的設備故障類型，如今，多傳感器波形數據的快速增長，工業設備故障診斷領域迎來了新的發展機遇，同時也面臨新型的安全威脅，尤其是針對設備的物理特性進行的聲學側信道攻擊。
3、現如今多模態融合發展迅速，多模態融合作為一種綜合多數據源的技術，在系統的感知和分析能力方面展現出巨大潛力，目前在圖像識別、語音處理等領域，多模態融合已成功提高了系統的性能和魯棒性。
4、但是，傳統解決方法僅依賴于加速度計或音頻傳感器，這些方法在處理具有高度復雜性和多樣性的側信道攻擊時存在明顯的局限性，并且，在實際應用中，機械設備大多長時間運行于正常狀態，導致故障樣本稀缺，造成數據不平衡。
技術實現思路
1、為了解決傳統解決方法僅依賴于加速度計或音頻傳感器，這些方法在處理具有高度復雜性和多樣性的側信道攻擊時存在明顯的局限性，并且，在實際應用中，機械設備大多長時間運行于正常狀態，導致故障樣本稀缺，造成數據不平衡的問題，本申請提供了多維度信息融合的聲學側信道攻擊檢測識別方法及裝置。
2、本
3、第一方面，本申請提供多維度信息融合的聲學側信道攻擊檢測識別方法，包括：
4、使用目標算法識別場景中的特定目標，并為所述特定目標劃定警戒區域，同時根據目標檢測結果及其與周圍非目標物體的交互，通過計算得到相關的可信分數；
5、對收集到的加速度數據和音頻數據執行模態特征提取，以準確捕捉每種模態中蘊含的關鍵信息；
6、將提取的不同模態特征通過自編碼器和卷積注意力機制融合網絡進行整合，進而在融合后的特征空間內進行模型訓練；
7、將生成的對抗樣本與原始標簽樣本混合，進行二次訓練，以增強模型對人為對抗攻擊的檢測能力。
8、在一種可能的實現方式中，所述通過計算得到相關的可信分數，進一步包括：
9、通過動態調整函數計算得到相關的可信分數，即使用目標檢測技術對他人入侵做出判斷，對于非目標物體對于目標物體的影響得出的可信分數，公式如下：
10、
11、其中，ai是計算調整因子，通過非線性函數對每個風險得分ri和風險得分范圍動態選擇的系數k進行計算。通過ai計算累積調整因子a；
12、通過上式計算得到下式：
13、
14、其中，n是危險因子的總數；
15、最后的可信分數為：
16、sconfidence＝yolod(min(max(w·c+(1-w)·a,0),1))；
17、其中，sconfidence代表狀態可信分數，c代表原始可信度，以及原始可信度的權重w，yolod代表yolo算法檢測出一段時間的所有物體及危險因子。
18、在一種可能的實現方式中，所述通過計算得到相關的可信分數，還包括：
19、傳感器數據分振動加速度數據和音頻數據的融合得出設備的某一故障狀態，公式所示：
20、
21、其中，sstatus代表是設備狀態，fusion代表多模態融合算法，代表是振動加速度的值，代表的音頻信號的值；
22、攻擊者攻擊時，會通過數據下手，從而導致加速度和音頻會發生變化，同時k也會發生變化，那么數據融合會改變為下式：
23、
24、其中，和分別表示受攻擊影響后的振動加速度和音頻信號值。
25、在一種可能的實現方式中，所述對收集到的加速度數據和音頻數據執行模態特征提取，進一步包括，對加速度數據進行特征的提取：
26、從時域方面提取標準差、偏度和峰度；
27、從頻域角度出發，利用fft和功率譜密度(power?spectrum?density,psd)提取頻域特征；
28、對加速度數據使用wt提取特征。
29、在一種可能的實現方式中，所述對收集到的加速度數據和音頻數據執行模態特征提取，進一步包括，對音頻數據進行特征的提取：
30、將連續音頻信號s(t)分割成若干短幀sf(t)，對每幀信號進行傅里葉變換以得到頻譜f(k)；
31、將所述頻譜f(k)映射到梅爾尺度m上，通過梅爾濾波器組處理：
32、經過離散余弦變換(discrete?cosine?transform,dct)提取出20個倒譜系數，生成mfcc特征圖。
33、在一種可能的實現方式中，所述對音頻數據進行特征的提取，還包括：
34、針對長時間的音頻流文件，采取每隔五秒切割音頻文件成片段的方法，以確保與振動加速度數據的采集周期相匹配，從而實現數據同步，對每個片段提取mfcc并將其可視化處理。
35、在一種可能的實現方式中，所述融合網絡包括：
36、加速度子網絡模塊，輸入層為接收加速度數據的六種特征的組合特征，處理后的特征被送入加速度網絡進行分類；
37、音頻子網絡模塊，輸入為將音頻數據轉成mfcc特征圖，使用預訓練的resnet18基礎，通過一系列的卷積層、殘差單元、空間注意力機制和全連接層進行音頻數據的深度特征提取和分類；
38、融合網絡模塊，將兩個子網絡提取到的加速度數據的動態特征和音頻的mfcc特征拼接成一個統一的特征表示；將這個融合的特征通過卷積自注意力機制以強化關鍵信息，得到新的特征表示；再將經過強化的特征表示送入自編碼器的編碼器部分，進一步進行特征提取和壓縮，以降低特征維度；再通過自編碼器的解碼器部分嘗試重建特征，以確保重要信息被有效捕獲；通過一系列的全連接層對壓縮后的特征進行處理和變換，進行最終的分類，輸出對應于不同設備狀態的類別標簽。
39、在一種可能的實現方式中，所述加速度子網絡模塊采用深度可分離卷積層，所述深度可分離卷積層通過深度卷積以提取空間特征，并通過逐點卷積以減少模型的參數數量，在經過兩次深度可分離卷積和最大池化處理后，數據的維度被降低，同時保留了關鍵的特征信息。
40、所述加速度子網絡模塊還包括dropout層，以減少過擬合的風險，增強模型在未見數據上的泛化能力；
41、所述加速度子網絡模塊通過三個全連接層對特征進行最終的處理和分類決策，三個所述全連接層逐步精煉特征，最終輸出針對特定任務的分類結果。
42、在一種可能的實現方式中，所述音頻子網絡模塊包括一個自定義的卷積塊，所述卷積塊包括卷積層、批量歸一化和relu激活函數，對輸入的音頻數據進行初步的特征提取，音頻特征圖經resn本文檔來自技高網...
【技術保護點】
1.一種多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，包括：
2.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述通過計算得到相關的可信分數，進一步包括：
3.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述通過計算得到相關的可信分數，還包括：
4.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述對收集到的加速度數據和音頻數據執行模態特征提取，進一步包括，對加速度數據進行特征的提取：
5.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述對收集到的加速度數據和音頻數據執行模態特征提取，進一步包括，對音頻數據進行特征的提取：
6.如權利要求5所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述對音頻數據進行特征的提取，還包括：
7.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述融合網絡包括：
8.如權利要求1所述的多維度信息融合
9.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述音頻子網絡模塊包括一個自定義的卷積塊，所述卷積塊包括卷積層、批量歸一化和ReLU激活函數，對輸入的音頻數據進行初步的特征提取，音頻特征圖經ResNet18的殘差單元組成的第二和第三塊，這些殘差單元增強了網絡的深度和學習能力，同時避免了深度網絡常見的梯度消失問題，
10.一種多維度信息融合的聲學側信道攻擊檢測識別裝置，其特征在于，包括：
...【技術特征摘要】
1.一種多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，包括：
2.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述通過計算得到相關的可信分數，進一步包括：
3.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述通過計算得到相關的可信分數，還包括：
4.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述對收集到的加速度數據和音頻數據執行模態特征提取，進一步包括，對加速度數據進行特征的提取：
5.如權利要求1所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述對收集到的加速度數據和音頻數據執行模態特征提取，進一步包括，對音頻數據進行特征的提取：
6.如權利要求5所述的多維度信息融合的聲學側信道攻擊檢測識別方法，其特征在于，所述對音頻數據進行特征的提取，還包括：
【專利技術屬性】
技術研發人員：張華君，張羽，黃道旗，石林，徐守坤，
申請(專利權)人：常州大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。