【技術實現步驟摘要】
本專利技術涉及生物學，具體涉及一種基于多層次漸進融合和多模態數據的癌癥生存預測方法。
技術介紹
1、生存預測是一項復雜的有序回歸任務，旨在根據癌癥患者的信息預測未來的死亡風險。精準的風險預測可以為臨床醫生提供更為精準的治療指導建議和決策，不僅避免了過度治療及醫療資源的浪費，還為改善患者的生存水平提供了重要的參考依據。近年來，隨著科學技術的發展，關于患者越來越多不同模態的診斷信息被捕獲(例如：數字病理圖像，基因組測序等等)，使得結合不同模態信息對患者進行診斷和治療成為癌癥精準診療的新趨勢。
2、當前有關多模態生存預測分析已有許多方法被提出，例如：利用預訓練的圖像塊特征提取器提取病理圖像特征，利用多層感知機對基因組學進行特征提取，不同模態的特征簡單拼接然后輸入下游多層感知機預測網絡中進行結果預測；或者病理圖像特征和基因組學特征通過注意力機制進行多模態信息交互和融合，融合特征通過多層感知機進行生存結果預測；也有方法通過構建圖神經網絡來對病理圖像特征和基因組學特征進行信息交互和融合。然而上述方法并不能充分利用多模態癌癥診斷數據，具有以下不足：
3、一、未充分考慮不同模態數據本身的特性和先驗知識，例如病理學圖像的層次化結構(例如：在放大倍率為20x的病理圖像中：16×16的圖像塊包含細胞核數量形態和其他細粒度特征；256×256的圖像塊能夠捕獲細胞間的相互作用；4096×4096的圖像塊則進一步表征了細胞簇及其在組織中和組織之間的相互作用。)和基因組學數據生物學通路信息。
4、二、不同模態數據之間信息交
5、三、模型計算量巨大，難以有效應用于臨床場景。病理圖像通常可以達到數十億像素級別，即使將其劃分為圖像塊也包含成千上萬個圖像塊。基因組學數據也具有非常高的維度，故二者在進行多模態融合過程中計算量巨大(特別是基于注意力機制的多模態融合模型)。
6、綜上所述，現有的基于病理圖像和組學數據的多模態生存預測方法仍有很大改進空間。
7、因此本專利技術提出了一種基于多層次漸進融合的多模態生存預測方法。首先通過對劃分后的病理圖像塊聚類得到聚類中心，根據聚類中心構造核代理來表示病理圖像特征，根據聚類中心到不同圖像塊之間的距離構造軟掩碼并不斷迭代更新來模擬病理圖像多層次信息。對基因組學數據按照其生物學功能映射到多個生物學通路中，并對每一個通路提取特征。對于病理圖像每一層首先通過包含軟掩碼的交叉注意力網絡將病理圖像特征匯聚至核代理實現信息壓縮，核代理特征將與基因組學生物學通路特征進行基于密集注意力的多模態信息交互，交互后的病理圖像核代理特征會再次通過交叉注意力網絡傳回每個病理圖像塊對其特征進行更新實現圖像塊之間的信息交互并為下一層次信息匯聚做準備。將最后一層多模態信息交互后的核代理特征與基因組生物學通路特征各自求平均值后進行拼接得到融合特征，融合特征輸入下游多層感知機網絡實現生存預測。本專利技術與現有技術相比具有明顯的技術優勢和進步，能夠有效解決多模態融合生存預測任務中的模態信息融合不充分，模型計算量高等問題，在實現更高預測精度的同時實現模型的輕量化。
技術實現思路
1、本專利技術的目的在于提供一種基于多層次漸進融合的多模態癌癥生存預測方法。該方法通過對劃分后的病理圖像塊聚類建立核代理來對病理圖像數據進行壓縮，并通過聚類信息構建可不斷更新的軟掩碼來模擬病理圖像的多層次結構，對基因組學數據按照其生物學功能映射到多個生物學通路。對病理圖像按層次由低到高，每一層首先通過軟掩碼加權的交叉注意力網絡將病理圖像特征匯聚至核代理，核代理特征將與基因組學生物學通路特征進行基于密集注意力的多模態信息交互，交互后的病理圖像核代理特征會再次通過交叉注意力機制傳回每個病理圖像塊對其特征進行更新實現圖像塊之間的信息交互并為下一層次信息匯聚做準備。最后一層的多模態信息交互后的病理圖像核代理特征核基因組學生物學通路特征各自求平均值后進行拼接得到融合特征，將融合特征輸入下游多層感知機網絡得到最終的生存預測結果。
2、為實現上述目的，本專利技術提供了一種基于多層次漸進融合的多模態癌癥生存預測方法，包括以下步驟：
3、s1、病理圖像構造其層次化結構表示，基因組學數據按其功能映射至相應的生物學通路；
4、s2、首先將病理圖像塊特征壓縮匯聚至核代理，病理圖像核代理與基因組學生物學通路進行基于密集注意力的充分信息交互；
5、s3、多模態信息充分交互后的病理圖像核代理特征分發至每一個病理圖像塊實現特征更新；
6、s4、對病理圖像按層次由低到高重復s2和s3實現多模態數據的漸進多次信息交互和融合；
7、s5、提取最后一層多模態信息交互融合后的核代理特征和基因組學生物學通路特征并各自求平均值然后拼接得到多模態融合特征；
8、s6、多模態融合特征輸入下游多層感知機網絡得到最終的生存預測結果。
9、進一步的，所述步驟s1中將病理圖像構造為其層次化結構表示的具體過程為：
10、s11、對病理圖像數據使用分割算法將病理圖像的組織區域與背景區域分離；
11、s12、對病理圖像組織區域劃分為不重疊的病理圖像塊；
12、s13、對病理圖像塊利用公共數據集預訓練的特征提取器進行特征提取，得到圖像塊特征；
13、s14、對病理圖像塊按其空間位置信息進行聚類，保存聚類中心及每個聚類中心到所有圖像塊的距離信息；
14、s15、根據聚類中心初始化核代理特征，根據每個聚類中心到所有圖像塊的距離信息構造軟掩碼矩陣，使得隨著病理圖像層次由低到高，每個核代理關注的區域逐漸增大，從而得到病理圖像的層次化結構表示。
15、進一步的，所述步驟s1中將基因組學數據按其功能映射至相應的生物學通路的具體過程為：
16、s16、通過公共數據集獲得多個代表不同功能類別的生物學通路及其包含的基因數據，對基因組學數據根據其所屬的生物學通路將其表達值映射至相應通路，對每個通路設計不同的神經網絡進行特征提取，從而得到生物學通路特征表示。
17、進一步的，所述步驟s2中病理圖像塊特征壓縮匯聚至核代理的具體過程如下：
18、s21、將s1中提取的病理圖像塊特征通過軟掩碼矩陣加權的交叉注意力網絡匯聚至核代理特征中。交叉注意力網絡過程為：將核代理特征做查詢向量query,病理圖像塊特征做鍵向量key和值向量value。
19、進一步的，所述步驟s2中病理圖像核代理與基因組學生物學通路進行基于密集注意力的充分信息交互過程如下：
20、s22、建立病理模態內的自注意力模型學習病理模態內的信息交互；
21、s23、建立病理模態對基因模態的交叉注意力學習病理模態與相關的基因模態間的信息交互；
22、s24、建立基因模態內的自注意力模型學習生物學通路本文檔來自技高網...
【技術保護點】
1.一種基于多層次漸進融合的多模態癌癥生存預測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于多層次漸進融合的多模態癌癥生存預測方法，其特征在于，所述S1的具體過程如下：
3.根據權利要求1所述的一種基于多層次漸進融合的多模態癌癥生存預測方法，其特征在于，所述S3具體為：
4.根據權利要求1所述的一種基于多層次漸進融合的多模態癌癥生存預測方法，其特征在于，所述S4的具體為：
5.根據權利要求1所述的一種基于多層次漸進融合的多模態癌癥生存預測方法，其特征在于，所述S5的具體為：
6.根據權利要求1所述的一種基于多層次漸進融合的多模態癌癥生存預測方法，其特征在于，所述交叉注意力網絡具體過程為：
【技術特征摘要】
1.一種基于多層次漸進融合的多模態癌癥生存預測方法，其特征在于，包括如下步驟：
2.根據權利要求1所述的一種基于多層次漸進融合的多模態癌癥生存預測方法，其特征在于，所述s1的具體過程如下：
3.根據權利要求1所述的一種基于多層次漸進融合的多模態癌癥生存預測方法，其特征在于，所述s3具體為：
4.根據權...
【專利技術屬性】
技術研發人員：何敏，張燁，馮小兵，王迎春，
申請(專利權)人：中國科學院杭州醫學研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。