公開了用于使用經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)從衍射受限線共聚焦圖像產(chǎn)生一維超分辨圖像以生成一維超分辨輸出以及各向同性面內(nèi)超分辨圖像的系統(tǒng)和方法的各種實(shí)施方案，其中使用包括多個(gè)匹配訓(xùn)練對的訓(xùn)練集來訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)，所述多個(gè)訓(xùn)練對中的每個(gè)訓(xùn)練對包括所述圖像類型的所述多個(gè)衍射受限線共聚焦圖像中的一個(gè)衍射受限線共聚焦圖像和對應(yīng)于所述多個(gè)衍射受限線共聚焦圖像中的所述一個(gè)衍射受限線共聚焦圖像的一維超分辨圖像。聚焦圖像的一維超分辨圖像。聚焦圖像的一維超分辨圖像。
【技術(shù)實(shí)現(xiàn)步驟摘要】
【國外來華專利技術(shù)】用于從線掃描共聚焦顯微鏡產(chǎn)生各向同性面內(nèi)超分辨率圖像的系統(tǒng)和方法
[0001]本公開文本總體上涉及從衍射受限圖像產(chǎn)生超分辨率圖像；并且具體地，涉及多種系統(tǒng)和方法，所述系統(tǒng)和方法用于使用經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)從衍射受限線共聚焦圖像產(chǎn)生超分辨圖像，以產(chǎn)生一維超分辨圖像輸出以及通過組合不同取向的一維超分辨圖像而獲得的各向同性的面內(nèi)超分辨圖像。
技術(shù)介紹
[0002]線共聚焦顯微鏡用聚焦在一個(gè)空間維度上的銳利、衍射受限的照明來照明熒光標(biāo)記的樣品。如果樣品發(fā)出的最終熒光通過狹縫過濾，并在照明線掃描樣品時(shí)被記錄，則獲得具有減少的失焦熒光污染的光學(xué)切片圖像。雖然不被普遍理解，但樣品的照明必然是衍射受限的這一事實(shí)意味著(如果獲取額外的圖像，或者使用光學(xué)重新分配技術(shù))空間分辨率可以在線聚焦的方向上(即，沿著一個(gè)空間維度)得到改善。然而，與傳統(tǒng)的衍射受限共聚焦顯微鏡相比，所有這些用于在線共聚焦顯微鏡中提高一維分辨率的技術(shù)都會造成更多的劑量或需要更多的圖像。
[0003]除其他外，正是考慮到這些觀察，構(gòu)思和發(fā)展了本公開文本的各個(gè)方面。
附圖說明
[0004]圖1是示出線掃描共聚焦顯微鏡系統(tǒng)的實(shí)施方案的示意圖，所述線掃描共聚焦顯微鏡系統(tǒng)用于生成樣品的銳利線照明，以獲得衍射受限線共聚焦圖像和匹配的相移的phi1、phi2和phi3圖像。
[0005]圖2A是當(dāng)使用圖1的顯微鏡系統(tǒng)從線共聚焦圖像的左至右水平掃描衍射受限照明線時(shí)的線掃描共聚焦圖像的圖示；圖2B是示出稀疏周期性照明模式的圖示，所述稀疏周期性照明模式是當(dāng)衍射受限照明線掃描以特定間隔被消隱并且然后相對于彼此相移約120度以產(chǎn)生匹配的相移的phi1、phi2和phi3圖像時(shí)產(chǎn)生的；圖2C是示出了橫向超分辨圖像的圖示，所述橫向超分辨圖像組合了圖2B中示出的每個(gè)相移的phi1、phi2和phi3圖像的稀疏周期性照明模式。
[0006]圖3是示出匹配數(shù)據(jù)訓(xùn)練對的訓(xùn)練集的簡化圖示，其中每個(gè)訓(xùn)練對具有細(xì)胞的衍射受限線共聚焦圖像(左)和對應(yīng)的相同細(xì)胞的一維超分辨圖像(右)，用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)以僅基于評估衍射受限線共聚焦圖像輸入并預(yù)測然后生成所評估的衍射受限線共聚焦圖像的一維超分辨圖像來產(chǎn)生一維超分辨圖像。
[0007]圖4是示出圖3的訓(xùn)練集用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)以產(chǎn)生用于基于衍射受限線共聚焦圖像輸入生成一維超分辨圖像的高精度預(yù)測的方式的簡化圖示。
[0008]圖5A是使用模擬測試數(shù)據(jù)用二維衍射受限的點(diǎn)擴(kuò)展函數(shù)(PSF)模糊的輸入圖像；圖5B是使用模擬測試數(shù)據(jù)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)輸出；圖5C是輸入圖像的一維超分辨地面真值圖像，用于與經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的所生成的一維超分辨圖像輸出進(jìn)行比較。
[0009]圖6A是示出在不同取向(0度、45度、90度和135度)上旋轉(zhuǎn)的細(xì)胞的衍射受限圖像的簡化圖示，其中每個(gè)衍射受限圖像輸入到經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，其中每個(gè)得到的圖像在水平方向上具有增強(qiáng)的分辨率；圖6B是示出來自圖6A的經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的輸出圖像的簡化圖示，所述輸出圖像旋轉(zhuǎn)回初始圖像的幀并使用聯(lián)合反卷積進(jìn)行組合。
[0010]圖7A是用點(diǎn)、線、環(huán)和實(shí)心圓的混合模擬的原始圖像，用衍射受限PSF模糊，并將泊松和高斯噪聲添加到原始圖像；圖7B是在執(zhí)行圖6A和6B所示的步驟之后，具有分別沿0度、45度、90度和135度取向的一維超分辨率的四幅圖像；圖7C是在聯(lián)合反卷積圖7B中的四個(gè)圖像之后的二維中具有各向同性分辨率的超分辨圖像。
[0011]圖8是圖示，其中頂行示出了在phi1、phi2和phi3下的照明模式，中間行示出了具有微管標(biāo)記的真實(shí)細(xì)胞的圖像和匹配的phi1、phi2和phi3圖像，并且最后一行示出了在測試期間獲得的衍射受限線共聚焦圖像(左)和超分辨圖像(右)。
[0012]圖9A是在衍射受限模式下拍攝的微管熒光圖像；圖9B是由經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)產(chǎn)生的微管熒光圖像；并且圖9C是當(dāng)沿掃描方向施加局部收縮時(shí)的地面真值的微管熒光圖像，產(chǎn)生分辨率沿一個(gè)(豎直)維度增強(qiáng)的超分辨率圖像。
[0013]圖10A是示出從衍射受限數(shù)據(jù)導(dǎo)出的微管熒光圖像的輸入；圖10B是示出沿不同旋轉(zhuǎn)軸線的微管熒光圖像的旋轉(zhuǎn)和深度學(xué)習(xí)輸出；圖10C是使用聯(lián)合反卷積處理的微管熒光圖像，其使分辨率增益各向同性。
[0014]對應(yīng)的附圖標(biāo)記表示附圖視圖中的對應(yīng)元件。附圖中使用的標(biāo)題不限制權(quán)利要求的范圍。
具體實(shí)施方式
[0015]本文公開了使用經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)來提高線掃描共聚焦顯微鏡中的空間分辨率的系統(tǒng)和相關(guān)方法的各種實(shí)施方案。在一個(gè)方面，一種用于提高空間分辨率的方法包括通過用由線共聚焦顯微鏡系統(tǒng)產(chǎn)生的多個(gè)稀疏的、相移的衍射受限線照明模式照明樣品或圖像類型來生成樣品或圖像類型的一系列衍射受限線共聚焦圖像。一旦生成這些衍射受限線共聚焦圖像，就組裝包括多個(gè)匹配數(shù)據(jù)訓(xùn)練對的訓(xùn)練集，其中每個(gè)匹配數(shù)據(jù)訓(xùn)練對包括與同一衍射受限線共聚焦圖像的對應(yīng)一維超分辨圖像匹配的樣品或圖像類型的衍射受限線共聚焦圖像。分辨率增強(qiáng)的程度取決于由線照明產(chǎn)生的熒光發(fā)射的精細(xì)程度：對于傳統(tǒng)線掃描共聚焦顯微鏡中的衍射受限照明，可以實(shí)現(xiàn)比衍射極限好約2倍的理論分辨率增強(qiáng)。然而，如果可以使熒光發(fā)射非線性地依賴于照明強(qiáng)度，例如使用具有光可切換或可飽和開或關(guān)狀態(tài)的熒光染料，則原則上對熒光發(fā)射的精細(xì)程度沒有限制。在這種情況下，分辨率增強(qiáng)兩倍以上(理論上，“衍射不受限的”)是可能的。在迄今為止進(jìn)行的模擬和實(shí)驗(yàn)測試中，分辨率比衍射受限分辨率提高了2倍。
[0016]在如此組裝訓(xùn)練集之后，匹配數(shù)據(jù)訓(xùn)練對用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)以“預(yù)測”并僅基于神經(jīng)網(wǎng)絡(luò)先前沒有評估的衍射受限線共聚焦圖像輸入的評估來生成一維超分辨圖像輸出。本系統(tǒng)已經(jīng)成功地測試了殘差通道注意力網(wǎng)絡(luò)(RCAN)和U
?
net，在衍射受限輸入上獲得了超過2倍的分辨率增強(qiáng)。以RCAN為例：將匹配的低分辨率和高分辨率圖像對輸入到網(wǎng)絡(luò)架構(gòu)中，并通過最小化網(wǎng)絡(luò)預(yù)測和地面真值超分辨圖像之間的L1損失來訓(xùn)練網(wǎng)絡(luò)。RCAN架構(gòu)由多個(gè)殘差組組成，這些殘差組本身包含殘差結(jié)構(gòu)。這種“殘差中的殘差”結(jié)構(gòu)形成了一個(gè)由
具有長跳過連接的多個(gè)殘差組組成的非常深的網(wǎng)絡(luò)。每個(gè)殘差組還包含具有短跳過連接的殘差信道注意塊(RCAB)。長跳過連接和短跳過連接，以及殘差塊內(nèi)的快捷方式，允許繞過低分辨率信息，便于預(yù)測高分辨率信息。此外，RCAB內(nèi)的信道注意力機(jī)制用于通過考慮信道之間的相互依賴性來自適應(yīng)地重新縮放信道特征，從而進(jìn)一步提高網(wǎng)絡(luò)實(shí)現(xiàn)更高分辨率的能力。本系統(tǒng)將殘差組(RG)的數(shù)量設(shè)置為五個(gè)；(2)在每個(gè)RG中，RCAB數(shù)被設(shè)置為三或五；(3)淺層特征提取中的卷積層數(shù)為32層；(4)信道降尺度中的卷積層具有4個(gè)濾波器，其中縮減比設(shè)置為8；(5)用三維卷積層代替所有二維卷積層；(6)在本系統(tǒng)中，由于網(wǎng)絡(luò)輸入和輸出具有相同的大小，所以省略了原RCAN末尾的升尺度模塊。
[0017]一旦用特定樣品或圖像類型的匹配數(shù)據(jù)訓(xùn)練對訓(xùn)練神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)通過僅基于使用相似樣品或圖像類型的多個(gè)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
【國外來華專利技術(shù)】1.一種用于提高空間分辨率的方法，其包括：產(chǎn)生圖像類型的多個(gè)衍射受限線共聚焦圖像，并產(chǎn)生對應(yīng)于所述圖像類型的所述多個(gè)衍射受限線共聚焦圖像的所述圖像類型的多個(gè)一維超分辨圖像；生成包括多個(gè)匹配訓(xùn)練對的訓(xùn)練集，所述多個(gè)訓(xùn)練對中的每個(gè)訓(xùn)練對包括所述圖像類型的所述多個(gè)衍射受限線共聚焦圖像中的一個(gè)衍射受限線共聚焦圖像和對應(yīng)于所述多個(gè)衍射受限線共聚焦圖像中的所述一個(gè)衍射受限線共聚焦圖像的一維超分辨圖像；以及通過輸入所述圖像類型的所述多個(gè)匹配訓(xùn)練對作為輸入來訓(xùn)練神經(jīng)網(wǎng)絡(luò)；以及基于對被輸入到所述神經(jīng)網(wǎng)絡(luò)中的衍射受限線共聚焦圖像輸入的評估，通過所述神經(jīng)網(wǎng)絡(luò)生成所述圖像類型的一維超分辨圖像。2.根據(jù)權(quán)利要求1所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)通過識別被輸入到所述神經(jīng)網(wǎng)絡(luò)中的所述圖像類型的所述衍射受限線共聚焦圖像輸入與所述訓(xùn)練集中的所述圖像類型的所述多個(gè)衍射受限線共聚焦圖像之間的相似性來評估所述圖像類型的所述衍射受限線共聚焦圖像。3.根據(jù)權(quán)利要求2所述的方法，其中，通過所述經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)生成所述圖像類型的所述一維超分辨圖像是基于對在由所述經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)評估的所述圖像類型的所述衍射受限線共聚焦圖像輸入與所述訓(xùn)練集的所述多個(gè)衍射受限線共聚焦圖像之間建立的任何相似性的識別。4.根據(jù)權(quán)利要求3所述的方法，其中，通過所述經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)生成所述圖像類型的所述一維超分辨圖像進(jìn)一步包括利用在所述衍射受限線共聚焦圖像輸入與來自每個(gè)訓(xùn)練對的所述圖像類型的所述多個(gè)衍射受限線共聚焦圖像之間識別的相似性來識別所述圖像類型的所述對應(yīng)的一維超分辨圖像的一個(gè)或多個(gè)特征。5.根據(jù)權(quán)利要求1所述的方法，其中，所述多個(gè)衍射受限線共聚焦圖像中的每個(gè)衍射受限線共聚焦圖像被相移，然后所述被相移的衍射受限線共聚焦圖像被組合以產(chǎn)生每個(gè)匹配訓(xùn)練對的所述圖像類型的所述多個(gè)一維超分辨圖像的一個(gè)相應(yīng)一維超分辨圖像。6.一種用于產(chǎn)生各向同性超分辨圖像的方法，其包括：提供在第一取向上的圖像類型的第一衍射受限線共聚焦圖像和在第二取向上的所述圖像類型的第二衍射受限線共聚焦圖像作為神經(jīng)網(wǎng)絡(luò)的輸入；生成作為...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：H，
申請(專利權(quán))人：芝加哥大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。