【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及信息科學(xué)，具體為一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法。
技術(shù)介紹
1、隨著數(shù)字病理的普及，深度學(xué)習(xí)技術(shù)在病理學(xué)中的應(yīng)用創(chuàng)造了條件。深度學(xué)習(xí)技術(shù)因其強(qiáng)大的建模表征能力，在計(jì)算病理學(xué)中得到廣泛應(yīng)用，改善疾病診斷方面展現(xiàn)出巨大潛力。深度學(xué)習(xí)技術(shù)的應(yīng)用有助于實(shí)現(xiàn)精準(zhǔn)、客觀、可重復(fù)的診斷。基于深度學(xué)習(xí)的病理切片圖像的定量分析研究逐年增多。從病理圖像的基本元素(如細(xì)胞、腺體等)的分類、分割、檢測等任務(wù)，到對整張病理圖像不同區(qū)域的分割、檢測，對腫瘤惡化程度的評級，以及提供生存分析和個(gè)性化治療參考等，基于深度學(xué)習(xí)的方法都得到了廣泛應(yīng)用并取得了顯著成果。病理圖像包含豐富的表型信息，可用于診斷、監(jiān)測癌癥患者病情、預(yù)測存活率，并為癌癥個(gè)性化治療提供參考依據(jù)。然而，傳統(tǒng)病理學(xué)診斷過程繁瑣且耗時(shí)，且受到病理醫(yī)師經(jīng)驗(yàn)和主觀因素影響，分析結(jié)果易產(chǎn)生較大差異性。并且，相比如醫(yī)學(xué)影像來說，病理圖像在標(biāo)注上所需要投入的時(shí)間精力是巨大的，而對于病理圖像本身來說，又由于其高分辨率的特性，如果需要對其進(jìn)行大量的處理，對于硬件設(shè)備的需要就變得非常高。
2、到目前為止，還沒有一個(gè)很好的方法同時(shí)整合多尺度病理圖像信息和基因表達(dá)數(shù)據(jù)。但是在對病理圖像的快速高效需求下，一些對多模態(tài)數(shù)據(jù)進(jìn)行預(yù)后分析的方法應(yīng)運(yùn)而生。例如：《一種基于多模態(tài)交互學(xué)習(xí)的癌癥細(xì)胞預(yù)后方法》2024實(shí)審，使用單尺度的病理圖像進(jìn)行分割分塊，并且將每張圖像所對應(yīng)的圖像塊構(gòu)成圖像包，作為一個(gè)整體去表示wsi，并且將患者的基因表達(dá)數(shù)據(jù)映射到基因組上形成對應(yīng)的基因組學(xué)表示，隨后
3、上訴所描述的實(shí)現(xiàn)方案，雖然在一定程度上面取得了一些效果，但是依舊存在一些問題。對于《一種基于多模態(tài)交互學(xué)習(xí)的癌癥細(xì)胞預(yù)后方法》來說，將組織病理圖像分割分塊之后，將所有的圖像塊進(jìn)行特征提取之后，全都與基因部分的特征表示進(jìn)行交互，而每張病理圖像平均對應(yīng)著上萬塊的圖像塊，導(dǎo)致這部分多模態(tài)交互所需的硬件條件非常高。并且，將患者的基因映射到基因組上，可能會(huì)缺乏與細(xì)粒度病理特征的語義對應(yīng)，因?yàn)橥ㄟ^這種方式，基因可以分為粗略的功能集，代表不同的基因家族，可以用于標(biāo)記，去簡化對應(yīng)關(guān)系，但是這樣的集合提供了對細(xì)胞內(nèi)相互作用的基本且不完整的描述，因?yàn)橐粋€(gè)基因家族可能設(shè)計(jì)不同的細(xì)胞功能。對于《一種適用于多種癌癥的患者生存預(yù)后預(yù)測方法》來說，將一張wsi通過三種視圖去進(jìn)行取塊，相比于采用一種視圖來說，會(huì)極大增加計(jì)算量，并且不同視圖之間會(huì)存在重復(fù)的部分，導(dǎo)致模型會(huì)對wsi的同一區(qū)域反復(fù)的進(jìn)行學(xué)習(xí)，非常容易過擬合從而導(dǎo)致模型的泛化能力下降，并且，相比于卷積神經(jīng)網(wǎng)絡(luò)來提取圖像塊的特征信息，這里采用的圖神經(jīng)網(wǎng)絡(luò)所需的參數(shù)量會(huì)遠(yuǎn)超卷積神經(jīng)網(wǎng)絡(luò)，而對于類似于病理圖像這樣的大規(guī)模數(shù)據(jù)集來說，這部分參數(shù)的增加還會(huì)更多。從而導(dǎo)致整體模型所需的運(yùn)算資源非常高，并且存在重復(fù)計(jì)算的問題，導(dǎo)致多次的重復(fù)的運(yùn)算。對于《基于slinkhorn算法的多模態(tài)融合生存預(yù)測方法》來說，將全切片圖像wsi分割分塊之后得到的圖像塊特征與基因數(shù)據(jù)的特征表示計(jì)算注意力機(jī)制，但是只有基因數(shù)據(jù)對圖像數(shù)據(jù)的引導(dǎo)而沒有圖像數(shù)據(jù)對基因數(shù)據(jù)的引導(dǎo)，并且在大量的圖像塊與基因數(shù)據(jù)的計(jì)算過程中，引入slinkhorn算法，可能會(huì)面臨較高的計(jì)算復(fù)雜度，尤其是在計(jì)算病理圖像數(shù)據(jù)集時(shí)，算法的效率和可擴(kuò)展性可能會(huì)受到影響。例如，使用slinkhorn算法去計(jì)算兩張256x256像素圖片間的最優(yōu)傳輸可能需要數(shù)個(gè)小時(shí)，并且消耗接近100gb內(nèi)存，而一張病理圖像產(chǎn)生256×256的圖像塊數(shù)量往往是上萬塊的。對于《癌癥生存預(yù)測方法、模型預(yù)訓(xùn)練方法及裝置》來說，根據(jù)密度來選取代表整張病理圖像的圖像塊，會(huì)由于只選取了部分圖像塊，可能會(huì)忽略掉那些未被選中的區(qū)域中的病變信息，導(dǎo)致病理診斷的不完整性，病理圖像中的病變區(qū)域可能分布不均勻，隨機(jī)或規(guī)則選取的圖像塊可能無法覆蓋所有關(guān)鍵區(qū)域。如果增加隨機(jī)選取的次數(shù)，反而會(huì)使模型倒是能夠解決這個(gè)問題，但是會(huì)增加模型的計(jì)算量，那還不如直接使用全部的圖像塊進(jìn)行訓(xùn)練，這種方式適合少樣本的數(shù)據(jù)，但是對應(yīng)高分辨率的病理圖像來說，這種方式可能效果不是很好。并且在對組學(xué)數(shù)據(jù)的預(yù)處理階段，只選取信息量相對較大的300個(gè)基因，這種篩選方式只能運(yùn)用在那些有顯著差異的疾病中，很可能導(dǎo)致模型的魯棒性不強(qiáng)。對于《基于人工智能的癌癥患者生存預(yù)測方法及裝置》來說，將所有的輸入數(shù)據(jù)都通過對應(yīng)的圖神經(jīng)網(wǎng)絡(luò)，再經(jīng)過特征重構(gòu)實(shí)現(xiàn)去得到高維的表示。首先，特征邊緣重構(gòu)的過程可能涉及大量的計(jì)算，尤其是在處理高分辨率圖像或大規(guī)模圖時(shí)，可能導(dǎo)致計(jì)算資源的消耗增加，影響訓(xùn)練和推理的速度，對于高分辨的wsi來說肯定是不合適的。其次，將上萬圖像塊構(gòu)成異構(gòu)圖，并計(jì)算它們之間的聯(lián)系，這對資源的要求是非常高并且計(jì)算時(shí)間非常的長。再者，將病理、基因組、臨床記錄等數(shù)據(jù)，分別通過各自的編碼器得到的高維特征向量，并融合后作為生存預(yù)測的輸入，這樣采用的晚期融合策略，缺少了早期階段捕捉不同模態(tài)之間的低級關(guān)聯(lián)信息，這有助于提高模型的魯棒性，即使某個(gè)模態(tài)的數(shù)據(jù)存在缺失或噪聲，其它模態(tài)的信息仍能夠提供輔助去彌補(bǔ)。
4、針對這些存在的問題，因此，專利技術(shù)一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，通過早期融合的思想，將不同尺度的特征結(jié)合起來，并且結(jié)合基因表示數(shù)據(jù)以及臨床記錄數(shù)據(jù)，將多種模態(tài)的數(shù)據(jù)進(jìn)行晚期的融合，使得模型既能夠在早期捕捉不同模態(tài)之間的低級關(guān)聯(lián)信息，又能夠在晚期將高維的特征表示充分的結(jié)合起來本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，包括具體步驟如下：
2.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述WSI特征提取的具體步驟如下：
3.根據(jù)權(quán)利要求2所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述自蒸餾損失的公式為：
4.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述S11中其分割的具體流程如下：
5.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述WSI特征原型表示的具體步驟如下：
6.根據(jù)權(quán)利要求5所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述S13中由于k-means算法十分依賴于初始化的簇中心，并且迭代的次數(shù)也存在隨機(jī)性，所以在數(shù)據(jù)的特征表示進(jìn)入聚合k-means之前，會(huì)根據(jù)數(shù)據(jù)的特性產(chǎn)生一個(gè)初步的隨機(jī)性的簇中心，其步驟如下：
7.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與
8.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述特征提取的具體步驟如下：
9.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述多模態(tài)數(shù)據(jù)交互的具體步驟如下：
10.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述生存分析的具體步驟如下：
...【技術(shù)特征摘要】
1.一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，包括具體步驟如下：
2.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述wsi特征提取的具體步驟如下：
3.根據(jù)權(quán)利要求2所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述自蒸餾損失的公式為：
4.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述s11中其分割的具體流程如下：
5.根據(jù)權(quán)利要求1所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，所述wsi特征原型表示的具體步驟如下：
6.根據(jù)權(quán)利要求5所述的一種基于多尺度病理圖像與多模態(tài)數(shù)據(jù)的疾病生存預(yù)測方法，其特征在于，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：孫宇平，侯清念，凌捷，姚順，柳毅，傅立宇，王國斌，
申請(專利權(quán))人：廣東工業(yè)大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會(huì)獲得科技券。