【技術實現(xiàn)步驟摘要】
本專利技術提供基于sam2、hipt模型的細胞核免疫組化圖像分割方法，屬于深度學習對醫(yī)學圖像分割領域。
技術介紹
1、癌癥是全球范圍內日益嚴峻的健康問題，每年都有數(shù)百萬的新發(fā)病例，且癌癥是繼心血管疾病之后的第二大死亡原因。盡管近年來非侵入性影像技術(如ct和mri)取得了顯著進展，但對組織樣本進行活檢并通過顯微鏡分析仍然是確診癌癥及評估治療效果的“金標準”方法。病理學家通過觀察組織切片中的細胞及其分布情況，能夠得出關于潛在治療方案的結論。例如，腫瘤浸潤淋巴細胞或腫瘤微環(huán)境中的炎癥細胞可以為診斷提供關鍵信息。然而，傳統(tǒng)的細胞分析依賴于人工標注，這不僅耗時費力，還容易受到觀察者內和觀察者間變異性的影響。隨著數(shù)字病理學的發(fā)展，尤其是高通量掃描儀技術的進步，病理切片的全片圖像(whole?slide?images,wsi)可以被數(shù)字化并用于計算機視覺(cv)算法分析。
2、隨著深度學習技術的迅猛發(fā)展在生物醫(yī)學圖像處理領域展現(xiàn)出了巨大的潛力和優(yōu)勢。特別是在細胞核分割任務中，大模型通過其強大的特征提取和模式識別能力，顯著提升了分割的精度和效率。傳統(tǒng)的細胞核分割方法依賴于手工設計的特征和規(guī)則，難以應對復雜多變的細胞形態(tài)。而基于卷積神經網絡(cnn)和變換器(transformer)架構的大模型，能夠自動學習和提取圖像中的多層次特征，從而實現(xiàn)對細胞核的精準分割。
3、即便如此，免疫組化(ihc)圖像中復雜的背景、染色不均以及高噪聲區(qū)域仍然對現(xiàn)有的分割方法提出了巨大挑戰(zhàn)。傳統(tǒng)的分割方法在面對ihc圖像時，通常無法有效處理這
技術實現(xiàn)思路
1、鑒于現(xiàn)有技術中的上述缺陷或不足，并針對當前細胞核免疫組化圖像分割研究中的關鍵挑戰(zhàn)，本專利技術提出了一種基于sam2、hipt模型的細胞核免疫組化圖像分割方法。該方法結合了sam2模型的初步分割能力和hipt模型的多模態(tài)特征學習，設計了創(chuàng)新的聯(lián)合損失函數(shù)，實現(xiàn)了對免疫組化(ihc)圖像中細胞核的精確分割，并有效解決了傳統(tǒng)方法在復雜形態(tài)下難以處理的問題。通過此方法，在復雜醫(yī)學圖像任務中達到了更高的細胞核分割精度。
2、本專利技術的技術方案是：基于sam2、hipt模型的細胞核免疫組化圖像分割方法，包括如下步驟：
3、step1、利用ihc圖像數(shù)據(jù)和對應的細胞核分割掩膜圖像作為訓練數(shù)據(jù)，進行預處理操作，生成適合輸入模型的圖像數(shù)據(jù)集；
4、step2、通過sam2模型進行初步的細胞核分割，生成初步分割結果；
5、step3、利用hipt模型在初步分割的基礎上進行多模態(tài)特征學習，優(yōu)化細胞核的最終分割結果；hipt模型能夠進一步細化分割結果，通過對多層次特征的有效捕捉，提升最終分割的精度和一致性；
6、step4、結合自適應設計的聯(lián)合損失函數(shù)，在分割損失和多模態(tài)特征損失的基礎上對sam2、hipt模型進行聯(lián)合優(yōu)化，提升分割結果的精度和穩(wěn)健性。
7、作為本專利技術的進一步方案，所述step1中，對訓練數(shù)據(jù)進行預處理時，包括對ihc圖像和對應的細胞核分割掩膜圖像進行裁剪，形成大小為512×512的圖像數(shù)據(jù)，并在訓練中使用隨機旋轉、縮放、顏色擾動的多種數(shù)據(jù)增強方式，提升模型的泛化能力。
8、所述step1中，預處理階段，針對免疫組化圖像中的不同形態(tài)特征，制定了特定的圖像預處理流程。通過裁剪和拼接操作，將ihc圖像和對應的細胞核掩膜圖像進行適當?shù)奶幚?，以適應模型的輸入需求，并通過數(shù)據(jù)增強操作提高訓練數(shù)據(jù)的多樣性和模型的泛化能力。
9、作為本專利技術的進一步方案，所述step2中，所述sam2模型負責對ihc圖像數(shù)據(jù)進行初步的細胞核分割，生成初步的細胞核分割掩膜，sam2模型基于自注意力機制用于有效捕捉圖像中的全局和局部特征，從而生成精確的初步分割掩膜。
10、作為本專利技術的進一步方案，所述step3中，所述hipt模型用于在sam2生成的初步分割掩膜基礎上進行進一步的多模態(tài)特征學習，利用其對不同層次特征的敏感性，提高了分割結果的細節(jié)表現(xiàn)和對復雜結構的理解能力，hipt模型通過融合圖像的高層次和低層次信息進行細化分割。
11、作為本專利技術的進一步方案，所述step4中，所述聯(lián)合損失函數(shù)包括分割損失和多模態(tài)特征損失，分割損失用于評估生成分割結果與真實分割掩膜之間的差異，分割損失確保模型能夠準確分割細胞核區(qū)域，多模態(tài)特征損失則用于優(yōu)化分割結果的語義一致性，確保分割結果在不同模態(tài)下的一致性，具備更高的準確性和可靠性。該聯(lián)合損失函數(shù)同時考慮了分割損失和多模態(tài)特征損失，使得模型在優(yōu)化過程中能夠平衡兩種損失，從而提高分割結果的可靠性和對生物標記物的解釋能力。
12、作為本專利技術的進一步方案，所述step4中，對sam2、hipt模型進行聯(lián)合優(yōu)化的訓練過程中，使用了分階段的訓練策略，首先對sam2模型進行獨立訓練，完成初步分割后再將結果輸入至hipt模型進行多模態(tài)特征優(yōu)化，以確保模型的協(xié)同優(yōu)化效果。
13、本專利技術的有益效果是：
14、1、多模態(tài)特征學習的創(chuàng)新應用：通過結合sam2模型和hipt模型，本專利技術實現(xiàn)了對細胞核復雜形態(tài)的準確分割，特別是在乳腺癌、膀胱癌和肺癌等ihc圖像中，展現(xiàn)出了出色的分割精度和魯棒性；
15、2、創(chuàng)新的聯(lián)合損失函數(shù)設計：通過聯(lián)合分割損失和多模態(tài)特征損失，模型能夠在優(yōu)化過程中保持分割精度和語義一致性，顯著提高了分割結果的精確性和可解釋性，適用于復雜的醫(yī)學圖像分割任務；
16、3、廣泛的應用潛力：本專利技術的方法能夠有效處理乳腺癌、膀胱癌和肺癌等多種病理類型的ihc圖像分割，為病理診斷和生物標記物分析提供了更為精確的細胞核分割結果，進而提升了對病理學診斷的支持力度。
本文檔來自技高網...【技術保護點】
1.基于SAM2、HIPT模型的細胞核免疫組化圖像分割方法，其特征在于，包括如下：
2.根據(jù)權利要求1所述的基于SAM2、HIPT模型的細胞核免疫組化圖像分割方法，其特征在于：
3.根據(jù)權利要求1所述的基于SAM2、HIPT模型的細胞核免疫組化圖像分割方法，其特征在于：所述Step2中，所述SAM2模型負責對IHC圖像數(shù)據(jù)進行初步的細胞核分割，SAM2模型基于自注意力機制用于有效捕捉圖像中的全局和局部特征，從而生成精確的初步分割掩膜。
4.根據(jù)權利要求1所述的基于SAM2、HIPT模型的細胞核免疫組化圖像分割方法，其特征在于：所述Step3中，所述HIPT模型用于在SAM2生成的初步分割掩膜基礎上進行進一步的多模態(tài)特征學習，HIPT模型通過融合圖像的高層次和低層次信息進行細化分割。
5.根據(jù)權利要求1所述的基于SAM2、HIPT模型的細胞核免疫組化圖像分割方法，其特征在于：所述Step4中，所述聯(lián)合損失函數(shù)包括分割損失和多模態(tài)特征損失，分割損失用于評估生成分割結果與真實分割掩膜之間的差異，多模態(tài)特征損失則用于優(yōu)化分割結果的語義一致性
6.根據(jù)權利要求1所述的基于SAM2、HIPT模型的細胞核免疫組化圖像分割方法，其特征在于：所述Step4中，對SAM2、HIPT模型進行聯(lián)合優(yōu)化的訓練過程中，使用了分階段的訓練策略，首先對SAM2模型進行獨立訓練，完成初步分割后再將結果輸入至HIPT模型進行多模態(tài)特征優(yōu)化，以確保模型的協(xié)同優(yōu)化效果。
...【技術特征摘要】
1.基于sam2、hipt模型的細胞核免疫組化圖像分割方法，其特征在于，包括如下：
2.根據(jù)權利要求1所述的基于sam2、hipt模型的細胞核免疫組化圖像分割方法，其特征在于：
3.根據(jù)權利要求1所述的基于sam2、hipt模型的細胞核免疫組化圖像分割方法，其特征在于：所述step2中，所述sam2模型負責對ihc圖像數(shù)據(jù)進行初步的細胞核分割，sam2模型基于自注意力機制用于有效捕捉圖像中的全局和局部特征，從而生成精確的初步分割掩膜。
4.根據(jù)權利要求1所述的基于sam2、hipt模型的細胞核免疫組化圖像分割方法，其特征在于：所述step3中，所述hipt模型用于在sam2生成的初步分割掩膜基礎上進行進一步的多模態(tài)特征學習，hip...
【專利技術屬性】
技術研發(fā)人員：賀建峰，姚寓，黎思銘，
申請(專利權)人：昆明理工大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。