本發明專利技術公開了一種亞五十納米結構光照明超分辨顯微成像方法，涉及光學超分辨顯微成像領域，先通過圖像退化獲得高分辨STORM圖像和低分辨SIM圖像并進行配對、再對配對的數據進行訓練數據集制作，然后通過訓練的去噪網絡進行去噪優化，最后通過SIM超分辨重構，輸出高分辨率圖像，本發明專利技術將傳統SIM技術的分辨率提升至50 nm，同時不損失其快速、低光毒性、長時程成像能力；所需的訓練集通過高分辨圖像退化得到，無需實驗獲取，無需復雜的配準過程，大大降低了訓練集的制作難度；本方法不增加任何系統復雜度，可基于任何已有SIM系統實現，應用范圍廣。廣。廣。
【技術實現步驟摘要】
一種深度學習的亞五十納米結構光照明超分辨成像方法
[0001]本專利技術涉及光學超分辨顯微成像的
，尤其涉及一種深度學習的亞五十納米結構光照明超分辨成像方法。
技術介紹
[0002]在生命科學中，熒光顯微鏡是研究細胞時空動態的關鍵工具，在過去的幾十年里，人們專利技術出許多技術對細胞內的生物過程進行超分辨成像，如可達到百納米分辨率的結構光照明顯微鏡（SIM）、可達到亞五十納米分辨率的受激發射損耗顯微術（STED）和隨機光學重構顯微術（STORM）。這些生物過程的觀測質量不僅取決于所用光學設備的空間分辨率，還取決于所需的時間分辨率、成像深度、采集的熒光密度、光漂白和光毒性等。然而這些成像參數之間往往都是矛盾，難以在一套成像技術中同時優化分辨率、速度、曝光和成像深度等方面，必須進行權衡。例如，SIM中通過減少曝光時間可以獲得成像速度但是會犧牲信噪比，STED中通過提高光功率可以提升空間分辨率但是會增大光漂白，STORM中通過獲取更多幀原始圖像也可以提高分辨率但是會延長成像時間。
[0003]SIM是公認的最適用于快速超分辨成像的技術，其可以在百納米分辨率水平盡可能平衡其他成像參數，實現對活細胞的快速和長時程成像。近年來也有提高其空間分辨率的探索，但都會導致其他性能的降低，如非線性SIM可以將分辨率提升至~50 nm，但所需的光功率急劇升高，從而難以適用于活細胞成像，稀疏反卷SIM可以將分辨率提升至60 nm左右，也適用于活細胞成像，但是其需要針對特定結構進行調參，大大限制了應用范圍。因此，目前SIM仍然無法在亞五十納米分辨率水平下對活細胞進行更具普適性的快速、長時程成像。
技術實現思路
[0004]本專利技術的主要目的在于克服現有技術的缺點與不足，本專利技術提供了一種深度學習的亞五十納米結構光照明超分辨成像方法。
[0005]本專利技術的一種深度學習的亞五十納米結構光照明超分辨成像方法，包括以下步驟：S1：圖像退化，通過仿真或實驗獲得SIM光學顯微系統的點擴散函數圖像，將點擴散函數圖像與開源或實驗獲得的高分辨STORM圖像進行卷積、向下采樣獲得低分辨SIM成像結果，將對應的高分辨STORM圖像和低分辨SIM圖像進行配對得到配對數據；S2：訓練數據集制作，對配對數據進行隨機分割，并通過旋轉進行數據增強，將高分辨STORM圖像歸一化后設置閾值，去除信息密度低于閾值的圖像對；S3：去噪網絡、超分辨網絡結構與訓練，訓練去噪網絡得到去噪網絡初始參數，將該參數導入聯合網絡去噪部分，進行聯合訓練，當聯合網絡對測試集測試所得均方根誤差最小時則得到聯合網絡最優參數；S4：SIM超分辨重構，將若干張低分辨SIM圖像輸入對應的去噪網絡與超分辨網絡
聯合訓練組成的跨模態網絡，加載網絡訓練過程中保存的均方根誤差最低時得到的最優權重，輸出高分辨率結果。
[0006]作為優選，所述步驟S1包括以下子步驟：S1.1：將開源或實驗獲得的高分辨STORM圖像與至少3個方向、至少3個相位的照明條紋相乘；S1.2：通過仿真或實驗獲得SIM光學顯微系統的點擴散函數圖像，并與步驟S1.1的相乘結果進行卷積；S1.3：對步驟S1.2的卷積結果根據像素尺寸對應關系進行下采樣，得到仿真的高信噪比SIM初始數據；S1.4：在仿真的高信噪比SIM初始數據中加入高斯噪聲和泊松噪聲模擬低信噪比下的SIM成像結果。
[0007]作為優選，所述步驟S2包括以下子步驟：S2.1：利用matlab對配對數據進行隨機分割；S2.2：對分割圖像進行90
°
，180
°
旋轉進行數據增強；S2.3：將STORM圖歸一化后設置閾值，去除信息密度低的圖像對；S2.4：重復上述步驟，形成5000對訓練數據和500對驗證數據集。
[0008]作為優選，所述步驟S3包括以下子步驟：S3.1：將仿真的高信噪比SIM初始數據作為網絡輸入，單獨訓練去噪網絡，損失函數的取值降低至網絡收斂，保存參數；S3.2：將提前訓練好的去噪網絡參數重新加載至聯合網絡中的去噪部分；S3.3：將仿真的高信噪比SIM初始數據作為網絡輸入，高分辨STORM圖像作為真值；S3.4：經迭代優化縮小輸出與真值間差距，至網絡收斂，保存訓練中聯合網絡最優權重。
[0009]作為優選，所述步驟S4包括以下子步驟：S4.1：利用正弦條紋光照明樣品，得到9張原始圖片；S4.2：將在低分辨率、低信噪比成像條件下得到的SIM九張初始圖像數據輸入聯合網絡；S4.3：加載訓練中保存的聯合網絡最優權重，網絡輸出則為高分辨率結果。
[0010]與現有技術相比，本專利技術具有以下有益的技術效果：（1）可將傳統SIM技術的分辨率提升至亞50 nm，同時不損失其快速、低光毒性、長時程成像能力；（2）本方法不增加任何系統復雜度，可基于任何已有SIM系統實現；（3）本方法所需的訓練集通過高分辨圖像退化得到，無需實驗獲取，無需復雜的配準過程，大大降低了訓練集的制作難度；（4）本方法也可用于將其他低分辨率技術，如光片顯微鏡、共聚焦顯微鏡等的分辨率提升至亞五十納米水平。
附圖說明
[0011]下面結合附圖和實施方式對本專利技術作進一步詳細的說明。
[0012]圖1是本專利技術的一種深度學習的亞五十納米結構光照明超分辨成像方法流程圖；圖2是本專利技術的圖像退化流程圖；圖3是本專利技術的訓練集制作流程圖；圖4是本專利技術的SIM超分辨重構流程圖；圖5是本專利技術所使用的去噪深度學習網絡結構與超分辨網絡結構示意圖；圖6是本專利技術在寬場照明下成像結果圖；圖7是本專利技術的重建結果圖。
具體實施方式
[0013]下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。
[0014]實施例1以SIM到STORM的跨模態實施場景為例，參閱圖1，其為本專利技術的步驟流程圖，包括以下步驟：（1）圖像退化：如圖2所示，圖像退化過程包括仿真/實際采集SIM系統的點擴散函數，將開源或實驗獲取的STORM圖像與三個方向、三個相位的照明條紋相乘后再與點擴散函數卷積，并根據像素尺寸對應關系進行下采樣，得到仿真的高信噪比SIM初始數據。向下采樣圖像中加入高斯噪聲和泊松噪聲模擬低信噪比下的SIM成像結果，與原始STORM圖像配對。
[0015]（2）訓練數據集制作：利用matlab對配對數據進行隨機分割，并進行90
°
，180
°
旋轉進行數據增強，此外將STORM圖歸一化后設置閾值，去除信息密度低的圖像對（如背景噪聲區域），以增強數據間的相關性，本實施例中閾值設置為0.01，當信號強度大于0.01，則被判定為樣品信號，若樣品信號像素總數低于總圖像數1/3,則拋棄該圖像對，從而形成5000對訓練數據和500對驗證數據集。
[0016]（3）去噪網絡、超分辨網絡結構與訓練流程如圖3所示，首先，單獨訓練去噪網絡，將仿真的不同信噪比的SIM原始數據作為網絡輸入，仿真高信噪比SIM重構數據作為真值，經迭本文檔來自技高網...
【技術保護點】
【技術特征摘要】
1.一種深度學習的亞五十納米結構光照明超分辨成像方法，其特征在于，包括以下步驟：S1：圖像退化，通過仿真或實驗獲得SIM光學顯微系統的點擴散函數圖像，將點擴散函數圖像與開源或實驗獲得的高分辨STORM圖像進行卷積、向下采樣獲得低分辨SIM成像結果，將對應的高分辨STORM圖像和低分辨SIM圖像進行配對得到配對數據；S2：訓練數據集制作，對配對數據進行隨機分割，并通過旋轉進行數據增強，將高分辨STORM圖像歸一化后設置閾值，去除信息密度低于閾值的圖像對；S3：去噪網絡、超分辨網絡結構與訓練，訓練去噪網絡得到去噪網絡初始參數，將該參數導入聯合網絡去噪部分，進行聯合訓練，當聯合網絡對測試集測試所得均方根誤差最小時則得到聯合網絡最優參數；S4：SIM超分辨重構，將若干張低分辨SIM圖像輸入對應的去噪網絡與超分辨網絡聯合訓練組成的跨模態網絡，加載網絡訓練過程中保存的均方根誤差最低時得到的最優權重，輸出高分辨率結果。2.根據權利要求1所述的一種深度學習的亞五十納米結構光照明超分辨成像方法，其特征在于：所述步驟S1包括以下子步驟：S1.1：將開源或實驗獲得的高分辨STORM圖像與至少3個方向、至少3個相位的照明條紋相乘；S1.2：通過仿真或實驗獲得SIM光學顯微系統的點擴散函數圖像，并與步驟S1.1的相乘結果進行卷積；S1.3：對步驟S1.2的卷積結果根據像素尺寸對應關系進行下采樣，得到仿真的高信噪比SIM初始數據；S1.4：在仿真的高信噪比SIM初始數據中加入...
【專利技術屬性】
技術研發人員：劉文杰，葉子桐，匡翠方，謝舜宇，陳友華，劉旭，
申請(專利權)人：之江實驗室，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。