【技術實現(xiàn)步驟摘要】
本專利技術屬于醫(yī)學圖像模態(tài)轉換，具體涉及一種全身pet與ct圖像相互轉換的人工智能方法。
技術介紹
1、在醫(yī)學領域，ct(計算機斷層掃描)和pet(正電子發(fā)射斷層掃描)是較為成熟和常見的成像技術，它們分別提供了人體解剖結構和代謝活動的互補信息。然而，pet-ct多模態(tài)掃描存在高成本、輻射劑量大、掃描時間長等問題。因此，如何減少患者的輻射暴露、降低醫(yī)療成本并提高診斷精度，成為了當前醫(yī)學圖像領域的一個研究熱點。近年來，隨著人工智能和深度學習技術的快速發(fā)展，基于深度學習的醫(yī)學圖像模態(tài)轉換方法為解決這一難題提供了創(chuàng)新性的解決方案。通過基于深度學習模型的人工智能方法，ct和pet圖像之間可以進行高效轉換，從而有可能只做單模態(tài)掃描就得到多模態(tài)圖像。這樣在減少pet-ct多模態(tài)掃描需求的同時，能夠降低患者的輻射暴露和相關成本。此外，利用這種方法，有潛力在病灶區(qū)域生成信息更加豐富的多模態(tài)圖像，同時看到解剖細節(jié)和代謝情況，提升診斷的可靠性。然而，現(xiàn)有的深度學習生成模型在ct和pet圖像轉換任務中仍面臨一些技術瓶頸，尤其是在圖像生成的質量和高攝取區(qū)域(如腫瘤)的準確性方面。由于pet和ct圖像在灰度值范圍和分布上存在顯著差異，尤其是pet圖像的灰度值范圍跨度大且分布不均勻，使得許多模型生成的pet圖像難以準確體現(xiàn)高攝取區(qū)域的圖像細節(jié)。此外，傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(cnn)由于主要擅長局部特征提取，無法充分捕捉全局上下文信息，使得單純基于卷積網(wǎng)絡的模型在多模態(tài)轉換任務中表現(xiàn)不佳。
2、為了解決這些問題，生成對抗網(wǎng)絡(gan)逐漸成為跨模態(tài)圖像
3、基于此，本專利技術結合條件生成對抗網(wǎng)絡(cgan)和transformer模塊，提出了一種全身ct和pet圖像的雙向生成方法。該方法不僅能夠通過ct圖像生成高質量的pet圖像，還能夠從pet圖像生成高質量的ct圖像，從而實現(xiàn)多模態(tài)圖像的高效轉換。生成器模塊通過transformer的增強，不僅可以捕捉局部細節(jié)，還能更好地理解全局解剖結構，使得生成的圖像更加真實可靠。而判別器則用于區(qū)分目標圖像和生成的圖像，確保生成圖像在結構和紋理上的逼真度。與此同時，結構一致性損失函數(shù)的引入，保證了生成圖像在關鍵解剖區(qū)域的細節(jié)表現(xiàn)。通過這種雙向生成方法，本專利技術能夠有效解決ct和pet圖像在各自應用中的局限性，減少了對pet-ct多模態(tài)掃描的需求，降低了患者的輻射暴露，同時也提高了單模態(tài)圖像的診斷精度和臨床適用性。
技術實現(xiàn)思路
1、專利技術目的：針對pet-ct多模態(tài)圖像存在的掃描成本高、輻射劑量大以及成像時間長等問題，本專利技術提供一種全身pet與ct圖像相互轉換的人工智能方法，通過pet與ct圖像的雙向生成，實現(xiàn)了多模態(tài)圖像之間的高效轉換，能夠提升單模態(tài)圖像的診斷質量和準確性。具體而言，本專利技術通過從ct圖像生成pet圖像，可在不使用放射性藥物的同時獲得人體代謝信息；從pet圖像生成ct圖像，能夠在不經(jīng)過x射線照射的情況下重建人體解剖結構。
2、技術方案：本專利技術提出了一種全身pet與ct圖像相互轉換的人工智能方法，包括如下6個步驟：
3、a)文獻調(diào)研：廣泛調(diào)研了相關領域的文獻資料，包括但不限于，醫(yī)學圖像生成的研究現(xiàn)狀；醫(yī)學圖像模態(tài)轉換的研究現(xiàn)狀；生成對抗網(wǎng)絡模型的研究現(xiàn)狀。
4、b)收集數(shù)據(jù)：同南京鼓樓醫(yī)院醫(yī)生合作，收集了102例全身pet-ct多模態(tài)圖像數(shù)據(jù)，相應地得到超過21000對二維的圖像對；將收集到的數(shù)據(jù)集按照8：1：1的比例隨機分為訓練集、驗證集、測試集，并對圖像空間分辨率統(tǒng)一預處理為1mm
5、×1mm×1mm，圖像的橫截面像素數(shù)量統(tǒng)一預處理為256×256。
6、c)建立模型：基于transformer殘差塊和條件生成對抗網(wǎng)絡(cgan)，構建pet與
7、ct圖像雙向轉換的框架和深度網(wǎng)絡模型，即pet-ct圖像雙向轉換模型。
8、d)設計損失函數(shù)：在損失函數(shù)中加入對抗損失、像素損失和結構一致性損失，分別用于保證生成圖像與目標圖像在整體上、像素值分布上以及關鍵解剖區(qū)域的相似性，即生成圖像在關鍵解剖區(qū)域的細節(jié)表現(xiàn)。
9、e)訓練模型：采用兩階段訓練方法將c)中構建的pet-ct圖像雙向轉換模型在訓練集上進行訓練和優(yōu)化，并在驗證集上進行驗證。
10、f)訓練結束后，將e)中所得的網(wǎng)絡模型在測試集上進行測試，將得到的pet生成結果同其他模型進行比較，并進行量化和可視化評估，分析生成的pet與ct圖像的質量和臨床實用性。
11、具體而言，所述步驟b)中的ct圖像為常規(guī)全身ct平掃，空間分辨率為1.172×1.172×4.0mm3，每幅二維橫截面圖像大小為512×512，；全身pet掃描的空間分辨率為4.0×4.0×4.0mm3，每幅二維橫截面圖像大小為144×144。接下來將收集到的ct和pet圖像數(shù)據(jù)按照8:1:1的比例隨機分為訓練集、驗證集和測試集；處理方法包括使用每張圖像像素值的99.5％百分位數(shù)作為強度值的閾值截斷，并將圖像的像素值歸一化到[-1,1]，隨機水平和垂直翻轉，隨機裁剪，以消除極端值的影響，并確保圖像數(shù)據(jù)保持一致的比例進行訓練和測試。
12、具體而言，所述步驟c)中的pet-ct圖像雙向轉換模型由基于卷積殘差和transformer的生成器和patchgan結構的判別器組成。生成器由編碼器和解碼器組成。編碼器部分由下采樣特征提取模塊和瓶頸模塊兩部分組成，其中下采樣模塊由三層卷積殘差塊組成，每一層通過兩次卷積操作提取圖像的特征，同時每次下采樣時將圖像尺寸減半并增加通道數(shù)，以更好地捕捉圖像的多尺度特征。瓶頸模塊使用了九個fctr塊，每個fctr塊包含一個全卷積wide-focus模塊和一個卷積注意模塊本文檔來自技高網(wǎng)...
【技術保護點】
1.一種全身PET與CT圖像相互轉換的人工智能方法，其特征在于，包括如下步驟：
2.根據(jù)權利要求1所述的一種全身PET與CT圖像相互轉換的人工智能方法，其特征在于：建立的PET-CT圖像雙向轉換模型能用于全身CT圖像和全身PET圖像的互相轉換。
3.根據(jù)權利要求1所述的一種全身PET與CT圖像相互轉換的人工智能方法，其特征在于：所述PET-CT圖像雙向轉換模型由基于殘差卷積塊和Transformer塊的生成器和一個判別器組成；其中，生成器由編碼器和解碼器組成；編碼器部分由下采樣特征提取模塊和瓶頸模塊兩部分組成，下采樣模塊由三層卷積殘差塊組成，每一層通過兩次卷積操作提取圖像的特征，同時每次下采樣時將圖像尺寸減半并增加通道數(shù)，以更好地捕捉圖像的多尺度特征；瓶頸模塊使用了九個FCTR塊，每個FCTR塊包含一個全局聚焦模塊、一個卷積注意力模塊和一個殘差塊，通過這些模塊能夠捕捉多尺度的特征信息，同時提取局部細節(jié)和全局上下文信息；解碼器部分首先采用兩個反卷積層，每一層將輸入特征圖的尺寸擴大一倍，同時減少通道數(shù)，恢復到接近原始源圖像的大小，然后利用1×1卷積層接一個雙曲
4.根據(jù)權利要求1所述的一種全身PET與CT圖像相互轉換的人工智能方法，其特征在于：損失函數(shù)分為對抗損失、像素損失和結構一致性損失，通過計算生成圖像與目標圖像整體的相似程度、在像素級別的差異，以及在關鍵解剖區(qū)域中的結構一致性，確保生成圖像的質量和準確性；結構一致性損失設計為：
...【技術特征摘要】
1.一種全身pet與ct圖像相互轉換的人工智能方法，其特征在于，包括如下步驟：
2.根據(jù)權利要求1所述的一種全身pet與ct圖像相互轉換的人工智能方法，其特征在于：建立的pet-ct圖像雙向轉換模型能用于全身ct圖像和全身pet圖像的互相轉換。
3.根據(jù)權利要求1所述的一種全身pet與ct圖像相互轉換的人工智能方法，其特征在于：所述pet-ct圖像雙向轉換模型由基于殘差卷積塊和transformer塊的生成器和一個判別器組成；其中，生成器由編碼器和解碼器組成；編碼器部分由下采樣特征提取模塊和瓶頸模塊兩部分組成，下采樣模塊由三層卷積殘差塊組成，每一層通過兩次卷積操作提取圖像的特征，同時每次下采樣時將圖像尺寸減半并增加通道數(shù)，以更好地捕捉圖像的多尺度特征；瓶頸模塊使用了九個fctr塊，每個fctr...
【專利技術屬性】
技術研發(fā)人員：聶梓偉，徐邦彥，何健，李愛梅，吳婷，
申請(專利權)人：南京大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。