【技術實現步驟摘要】
本申請涉及高維質譜數據處理，尤其是涉及基于多尺度自注意力機制的高維質譜數據特征選擇方法。
技術介紹
1、特征選擇技術是當前處理高維質譜數據的一個重要技術。通過對高維質譜譜圖數據進行特征選擇，可以從繁雜的特征中選擇出對分類或回歸任務最有貢獻度的特征子集，從而可實現提高模型性能、降低計算成本以及增強可解釋性的效果，有助于研究人員理解實驗的全處理過程，并對實驗結果進行進一步的分析。
2、目前常見的特征選擇方法主要有三種，其中，過濾式方法根據特征與目標變量之間的相關性或其他統計指標來篩選特征，但缺乏考慮特征間的相關性。包裹式方法將特征選擇視為一個搜索問題，通過某種搜索策略來尋找最優或次優的特征子集，通常依賴特定模型評估特征子集的好壞。嵌入式方法則是將特征選擇與模型訓練同時進行，通過優化模型性能來選擇最佳特征組合，具備處理高效、可解釋性強以及減少過擬合等優勢，但其選擇范圍受限于可用的模型類型。
技術實現思路
1、有鑒于此，本申請提供了基于多尺度自注意力機制的高維質譜數據特征選擇方法，以解決上述技術問題。
2、第一方面，本申請實施例提供一種基于多尺度自注意力機制的高維質譜數據特征選擇方法，包括：
3、獲取包含n個特征的高維質譜數據，將n個特征均分為m個第一特征子集；
4、利用預先訓練完成的包含h個第一自注意力頭的局部多頭自注意力機制模型分別對m個第一特征子集進行處理，得到每個特征在所屬第一特征子集中的h個注意力權重；
5、計算每個特征
6、確定每個特征子集的所有特征的平均值為聚合特征，得到包含m個聚合特征的第二特征子集；
7、利用預先訓練完成的包含h個第二自注意力頭的全局多頭自注意力機制模型對第二特征子集進行處理，得到每個聚合特征在第二特征子集中的h個注意力權重；
8、計算每個聚合特征在第二特征子集中的h個注意力權重的平均值，歸一化處理后得到每個聚合特征的全局注意力權重；
9、基于每個特征的局部注意力權重和其所對應的聚合特征的全局注意力權重，確定每個特征的融合注意力權重；
10、將融合注意力權重大于預設閾值的特征確定為選擇的特征，基于選擇的特征生成降維的質譜數據。
11、在一種的可能實現中，利用預先訓練完成的包含h個第一自注意力頭的局部多頭自注意力機制模型分別對m個第一特征子集進行處理，得到每個特征在所屬第一特征子集內的h個注意力權重，包括：
12、將第i個第一特征子集表示為其中，1≤i≤m，為第i個第一特征子集中的第一個特征，為第i個第一特征子集中的第二個特征，為第i個第一特征子集中的第n/m個特征；
13、基于局部多頭自注意力機制模型的第h個第一自注意力頭的查詢參數矩陣和鍵參數矩陣將第i個第一特征子集作為值向量計算第h個第一自注意力頭輸出的第i個第一特征子集的注意力權重向量si,h，其中，注意力權重向量si,h的維度與的維度相同，注意力權重向量si,h的第j個元素為的第j個特征在內的注意力權重。
14、在一種的可能實現中，利用預先訓練完成的包含h個第二自注意力頭的全局多頭自注意力機制模型對第二特征子集進行處理，得到每個聚合特征在第二特征子集內的h個注意力權重；
15、將第二特征子集表示為為第二特征子集中的第一個聚合特征，為第二特征子集中的第二個聚合特征，為第二特征子集中的第m個聚合特征；
16、基于全局多頭自注意力機制模型的第h個第二自注意力頭的查詢參數矩陣和鍵參數矩陣將第二特征子集作為值向量計算第h個第二自注意力頭輸出的第二特征子集的注意力權重向量s′，其中，注意力權重向量s′的維度為m，注意力權重向量s′的第q個元素為的第q個聚合特征的注意力權重。
17、在一種的可能實現中，基于每個特征的局部注意力權重和其所對應的聚合特征的全局注意力權重，確定每個特征的融合注意力權重；
18、計算第j個特征的局部注意力權重和其所對應的聚合特征的全局注意力權重的乘積，作為第j個特征的中間權重；
19、基于softmax函數對所有特征的中間權重進行歸一化處理，得到每個特征的融合注意力權重。
20、在一種的可能實現中，所述方法還包括：利用預先訓練完成的分類網絡對降維的質譜數據進行處理，得到高維質譜數據的分類結果；其中，所述分類網路包括依次連接的多個殘差模塊、全連接層和softmax函數。
21、在一種的可能實現中，所述方法還包括：對局部多頭自注意力機制模型、全局多頭自注意力機制模型和分類網絡進行聯合訓練的步驟。
22、在一種的可能實現中，對局部多頭自注意力機制模型、全局多頭自注意力機制模型和分類網絡進行聯合訓練的步驟，包括：
23、獲取訓練集，所述訓練集包含多個包含n個特征樣本的高維質譜數據樣本及其對應的真實分類結果；
24、將高維質譜數據樣本的n個特征樣本均分成m個第一特征子集樣本；
25、利用局部多頭自注意力機制模型分別對m個第一特征子集樣本進行處理，得到每個特征在所屬第一特征子集樣本中的h個注意力權重樣本；
26、計算每個特征樣本在所屬第一特征子集樣本中的h個注意力權重樣本的平均值，歸一化處理后得到每個特征樣本的局部注意力權重樣本；
27、確定每個特征子集樣本的所有特征樣本的平均值為聚合特征樣本，得到包含m個聚合特征樣本的第二特征子集樣本；
28、利用全局多頭自注意力機制模型對第二特征子集樣本進行處理，得到每個聚合特征樣本在第二特征子集樣本中的h個注意力權重樣本；
29、計算每個聚合特征樣本在第二特征子集樣本中的h個注意力權重樣本的平均值，歸一化處理后得到每個聚合特征樣本的全局注意力權重樣本；
30、基于每個特征樣本的局部注意力權重樣本和其所對應的聚合特征樣本的全局注意力權重樣本，確定每個特征樣本的融合注意力權重樣本；
31、將融合注意力權重樣本大于預設閾值的特征確樣本定為選擇的特征樣本，基于選擇的特征樣本生成降維的質譜數據樣本；
32、利用分類網絡對降維的質譜數據樣本進行處理，得到高維質譜數據樣本的預測分類結果；
33、基于高維質譜數據樣本的預測分類結果和真實分類結果，利用交叉熵函數計算損失值；
34、基于損失值更新局部多頭自注意力機制模型的h個第一自注意力頭的查詢參數矩陣和鍵參數矩陣，全局多頭自注意力機制模型的h個第二自注意力頭的查詢參數矩陣和鍵參數矩陣，以及分類網絡的參數。
35、第二方面，本申請實施例提供一種基于多尺度自注意力機制的高維質譜數據特征選擇裝置，包括：
36、獲取單元，用于獲取包含n個特征的高維質譜數據，將n個特征均分成m個第一特征子集；
37、局部處理單元，用于利用預先訓練完成的包含h本文檔來自技高網...
【技術保護點】
1.一種基于多尺度自注意力機制的高維質譜數據特征選擇方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，利用預先訓練完成的包含H個第一自注意力頭的局部多頭自注意力機制模型分別對m個第一特征子集進行處理，得到每個特征在所屬第一特征子集內的H個注意力權重，包括：
3.根據權利要求2所述的方法，其特征在于，利用預先訓練完成的包含H個第二自注意力頭的全局多頭自注意力機制模型對第二特征子集進行處理，得到每個聚合特征在第二特征子集內的H個注意力權重；
4.根據權利要求3所述的方法，其特征在于，基于每個特征的局部注意力權重和其所對應的聚合特征的全局注意力權重，確定每個特征的融合注意力權重；
5.根據權利要求4所述的方法，其特征在于，所述方法還包括：利用預先訓練完成的分類網絡對降維的質譜數據進行處理，得到高維質譜數據的分類結果；其中，所述分類網路包括依次連接的多個殘差模塊、全連接層和SoftMax函數。
6.根據權利要求5所述的方法，其特征在于，所述方法還包括：對局部多頭自注意力機制模型、全局多頭自注意力機制模型和分類網
7.根據權利要求6所述的方法，其特征在于，對局部多頭自注意力機制模型、全局多頭自注意力機制模型和分類網絡進行聯合訓練的步驟，包括：
8.一種基于多尺度自注意力機制的高維質譜數據特征選擇裝置，其特征在于，包括：
9.一種電子設備，其特征在于，包括：存儲器、處理器和存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如權利要求1-7任一項所述的方法。
10.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有計算機指令，所述計算機指令被處理器執行時實現如權利要求1-7任一項所述的方法。
...【技術特征摘要】
1.一種基于多尺度自注意力機制的高維質譜數據特征選擇方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，利用預先訓練完成的包含h個第一自注意力頭的局部多頭自注意力機制模型分別對m個第一特征子集進行處理，得到每個特征在所屬第一特征子集內的h個注意力權重，包括：
3.根據權利要求2所述的方法，其特征在于，利用預先訓練完成的包含h個第二自注意力頭的全局多頭自注意力機制模型對第二特征子集進行處理，得到每個聚合特征在第二特征子集內的h個注意力權重；
4.根據權利要求3所述的方法，其特征在于，基于每個特征的局部注意力權重和其所對應的聚合特征的全局注意力權重，確定每個特征的融合注意力權重；
5.根據權利要求4所述的方法，其特征在于，所述方法還包括：利用預先訓練完成的分類網絡對降維的質譜數據進行處理，得到高維質譜數據的分類結果；其中，所述分類...
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。