【技術實現(xiàn)步驟摘要】
本專利技術涉及光譜降噪領域，尤其涉及一種通用的自監(jiān)督學習拉曼光譜降噪方法、裝置及設備。
技術介紹
1、拉曼光譜技術(raman?spectroscopy,rs)是一種以非破壞性和無標記方式進行分子指紋識別的光學模式。然而，每108個光子中可能僅有一個發(fā)生拉曼散射，即拉曼散射信號本質(zhì)很弱，這導致其對傳感器的缺陷敏感，因此需要增強信號并消除儀器和背景的噪聲?；诘入x激元的納米材料可以進一步增強拉曼散射，即表面增強拉曼光譜技術(surface-enhanced?raman?spectroscopy,sers)，為術中實時成像和特異性檢測單個分子提供了可能。得益于其高特異性和靈敏度優(yōu)勢，拉曼技術已被廣泛用于食品檢測、毒品檢測和醫(yī)學檢測等領域。
2、在過去的幾十年中，激光器、濾光片、光譜儀和檢測設備等光學儀器的進步極大地提高了光譜分辨率和信噪比(signal-to-noise?ratio,snr)，推動了拉曼光譜技術的發(fā)展。但面對拉曼信號較弱的檢測場景時，如單分子檢測和深穿透檢測，樣本自身和儀器背景帶來的噪聲往往會掩埋光譜中的有效信息，而依賴實驗手段或光學器件的改進條件苛刻且效果微弱。因此，高效、經(jīng)濟、普適的光譜降噪手段，特別是開發(fā)先進的降噪算法尤為重要。
3、目前，常用的光譜降噪算法可分為基于多項式擬合的移動窗口法和基于功率譜的小波變換法。移動窗口法對光譜中連續(xù)的數(shù)據(jù)點根據(jù)窗口大學進行多項式動態(tài)擬合，例如移動平均法和savitzky-golay(sg)濾波器。相比之下，小波變換法使用特定的小波基并引入閾值系數(shù)來重
4、相比之下，深度學習(deep?learning,dl)無需人工調(diào)節(jié)參數(shù)，能夠從大數(shù)據(jù)中自動學習和提取高層次特征，并將其融入到精確預測和決策中。在光譜降噪方面，大量研究工作使用添加了模擬噪聲或背景的仿真訓練數(shù)據(jù)來實現(xiàn)降噪效果。然而，這些模型需要大量理想的“干凈-噪聲”光譜對進行訓練，這種模擬的數(shù)據(jù)無法涵蓋現(xiàn)實世界中所有可能的噪聲類型，而且仿真數(shù)據(jù)和實驗數(shù)據(jù)之間的差異也給dl的泛化能力帶來了不確定性
5、對于拉曼光譜來說，真實的數(shù)據(jù)(如臨床應用中的數(shù)據(jù))是有限的，而且相應的標簽(即完全無噪聲的“干凈”光譜)通常無法獲得。使用少量真實數(shù)據(jù)快速、穩(wěn)定地降低拉曼和sers光譜的噪聲，并無需依賴經(jīng)驗進行參數(shù)選擇的通用降噪策略目前尚未被人開發(fā)與應用。
6、目前的拉曼光譜降噪技術存在以下缺陷：
7、1、傳統(tǒng)降噪算法使用中依賴使用者經(jīng)驗進行參數(shù)選擇，對超弱信號光譜幾乎無效。
8、2、傳統(tǒng)深度學習方法依賴仿真數(shù)據(jù)進行有監(jiān)督訓練，訓練耗時長，不能充分學習到真實噪聲和信號特征，無法對單個光譜進行降噪處理。
9、3、自監(jiān)督損失函數(shù)設計基于圖像數(shù)據(jù)，缺少對光譜數(shù)據(jù)適應性調(diào)整，缺少信息保留項。
10、4、深度學習方法訓練過程耗時長，無法實現(xiàn)采集過程實時降噪。
11、因此，本領域的技術人員致力于開發(fā)一種通用的自監(jiān)督學習拉曼光譜降噪方法。
技術實現(xiàn)思路
1、有鑒于現(xiàn)有技術的上述缺陷，本專利技術所要解決的技術問題是如何對多種拉曼數(shù)據(jù)進行快速有效的降噪處理。
2、為實現(xiàn)上述目的，
3、第一方面，本專利技術提供了一種通用的自監(jiān)督學習拉曼光譜降噪方法，包括，
4、步驟1：獲取拉曼數(shù)據(jù)。
5、步驟2：拉曼數(shù)據(jù)預處理，
6、使用自適應迭代重加權懲罰最小二乘法對拉曼數(shù)據(jù)去除基線，并對去基線后光譜進行標準化，獲得預處理后光譜數(shù)據(jù)，
7、步驟3：使用下采樣策略h(·)處理所述預處理后光譜數(shù)據(jù)，獲得2個噪聲獨立的子光譜集h1(·)和h2(·)，每個子光譜集各包括10條子光譜。
8、步驟4：將所述預處理后光譜數(shù)據(jù)及相應的2個子光譜集輸入u-net網(wǎng)絡fθ(·)，獲得降噪處理后的光譜。
9、進一步，步驟2具體設置為：下采樣策略h(·)在光譜上以窗口大小3進行滑動，對于窗口覆蓋的3個拉曼位移，h(·)隨機選擇其中兩個不同的位移，并復制其對應的強度值，創(chuàng)建與原始光譜維度相同的子光譜，重復上述操作2次，最終獲得子光譜集h1(·)和h2(·)。
10、進一步，u-net網(wǎng)絡fθ(·)包含5個模塊，
11、第一模塊包括2個一維卷積層、2個relu激活層、1個最大池化層和1個復制與拼接層，一維卷積層、relu激活層和最大池化層進行特征提取，提取的特征傳遞給第二模塊，同時提取的特征通過復制與拼接層保留低級特征傳遞給第五模塊，
12、第二模塊包括2個一維卷積層、2個relu激活層、1個最大池化層和1個復制與拼接層，一維卷積層、relu激活層和最大池化層進行特征提取，提取的特征傳遞給第三模塊，同時提取的特征通過復制與拼接層保留低級特征傳遞給第四模塊，
13、第三模塊包括2個一維卷積層、2個relu激活層和1個上采樣層，一維卷積層和relu激活層對特征進行提取，提取的特征通過上采樣層進行恢復，傳遞給第四模塊，
14、第四模塊包括2個一維卷積層、2個relu激活層和1個上采樣層，卷積層和relu激活層將第二模塊傳遞的特征與第三模塊傳遞的特征拼接，然后通過上采樣層對拼接的特征進行恢復，傳遞給第五模塊，
15、第五模塊包括3個一維卷積層、3個relu激活層，將第一模塊傳遞的特征與第四模塊傳遞的特征拼接，對光譜進行重構。
16、進一步，u-net網(wǎng)絡fθ(·)的訓練方法為：
17、使用隨機梯度下降法sgd對u-net網(wǎng)絡fθ(·)進行訓練，損失函數(shù)l為：
18、l＝λ1lreg+λ2(lrec1+lrec2)
19、式中：
20、lreg＝||y-fθ(y)||2
21、lrec1＝||h1(y)-fθ(h2(y))||2
22、lrec2＝||h2(y)-fθ(h1(y))||2
23、其中：λ＝{λ1，λ2}是相應損失項的權重，表示輸入拉曼光譜為n維實數(shù)向量，h1(·)和h2(·)表示步驟2中下采樣得到的2個子光譜集。
24、進一步，隨機梯度下降法sgd的學習率為0.003。
25、進一步，u-net網(wǎng)絡fθ(·)的訓練過程依據(jù)兩次迭代的損失函數(shù)差值進行收斂判斷，當損失差值＜10-4時模型停止訓練。
26、技術效果
27、1、通過構建深度學習降噪模型，利用u-net神經(jīng)網(wǎng)絡實現(xiàn)對真實光譜數(shù)據(jù)中的噪聲分布和信號特征的自動學習。降噪模型建立后僅需含噪聲光譜作為輸入。深度學習模型本文檔來自技高網(wǎng)...
【技術保護點】
1.一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于：包括，
2.如權利要求1所述的一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于，所述步驟2中，下采樣策略H(·)在光譜上以窗口大小3進行滑動，對于窗口覆蓋的3個拉曼位移，H(·)隨機選擇其中兩個不同的位移，并復制其對應的強度值，創(chuàng)建與原始光譜維度相同的子光譜，重復上述操作2次，最終獲得子光譜集h1(·)和h2(·)。
3.如權利要求1所述的一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于，所述U-Net網(wǎng)絡fθ(·)包含5個模塊，
4.如權利要求1所述的一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于，所述U-Net網(wǎng)絡fθ(·)的訓練方法為：
5.如權利要求4所述的一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于，所述隨機梯度下降法SGD的學習率為0.003。
6.如權利要求4所述的一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于，U-Net網(wǎng)絡fθ(·)的訓練過程依據(jù)兩次迭代的損失函數(shù)差值進行收斂判斷，當損失差值<10-4時模型停止訓練。
7.一
8.一種計算機設備，其特征在于，包括：
9.一種計算機可讀取存儲介質(zhì)，其特征在于，所述計算機可讀取存儲介質(zhì)中存儲有程序代碼，所述程序代碼可被處理器調(diào)用執(zhí)行如權利要求1至6中任一項所述的通用的自監(jiān)督學習拉曼光譜降噪方法。
10.一種計算機程序產(chǎn)品，包括計算機程序，其特征在于，所述計算機程序在被處理器執(zhí)行時實現(xiàn)如權利要求1至6中任一項所述的通用的自監(jiān)督學習拉曼光譜降噪方法。
...【技術特征摘要】
1.一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于：包括，
2.如權利要求1所述的一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于，所述步驟2中，下采樣策略h(·)在光譜上以窗口大小3進行滑動，對于窗口覆蓋的3個拉曼位移，h(·)隨機選擇其中兩個不同的位移，并復制其對應的強度值，創(chuàng)建與原始光譜維度相同的子光譜，重復上述操作2次，最終獲得子光譜集h1(·)和h2(·)。
3.如權利要求1所述的一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于，所述u-net網(wǎng)絡fθ(·)包含5個模塊，
4.如權利要求1所述的一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于，所述u-net網(wǎng)絡fθ(·)的訓練方法為：
5.如權利要求4所述的一種通用的自監(jiān)督學習拉曼光譜降噪方法，其特征在于，所述...
【專利技術屬性】
技術研發(fā)人員：葉堅，吳思毅，陳舟，
申請(專利權)人：上海交通大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。