【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及醫(yī)療診斷系統(tǒng)，具體涉及基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)及其方法。
技術(shù)介紹
1、近年來(lái)，隨著人口老齡化加劇，膝關(guān)節(jié)炎已成為嚴(yán)重影響中老年人生活質(zhì)量的常見(jiàn)疾病。目前，臨床上主要依靠醫(yī)生根據(jù)x光片、mri等影像學(xué)檢查結(jié)果進(jìn)行診斷。然而，這種傳統(tǒng)的診斷方式存在多方面的局限性：首先，由于膝關(guān)節(jié)炎早期癥狀較為隱匿，單一模態(tài)的影像學(xué)檢查往往難以準(zhǔn)確識(shí)別早期病變特征。其次，不同醫(yī)生在解讀同一組影像時(shí)可能產(chǎn)生不同的診斷結(jié)論，主觀性較強(qiáng)。再次，傳統(tǒng)診斷方法無(wú)法對(duì)疾病進(jìn)展進(jìn)行有效預(yù)測(cè)，難以及時(shí)干預(yù)。
2、雖然近期已有研究嘗試將深度學(xué)習(xí)技術(shù)應(yīng)用于膝關(guān)節(jié)炎診斷，但現(xiàn)有方案仍存在諸多技術(shù)瓶頸：一方面，大多數(shù)研究?jī)H關(guān)注單一模態(tài)的影像數(shù)據(jù)分析，忽視了多模態(tài)數(shù)據(jù)之間可能存在的深層關(guān)聯(lián)。另一方面，目前的深度學(xué)習(xí)模型普遍存在"黑盒"問(wèn)題，即無(wú)法向醫(yī)生解釋具體的診斷依據(jù)，這嚴(yán)重制約了其在臨床實(shí)踐中的推廣應(yīng)用。此外，現(xiàn)有系統(tǒng)普遍缺乏持續(xù)優(yōu)化機(jī)制，難以適應(yīng)不斷變化的臨床需求。
3、更為重要的是，現(xiàn)有技術(shù)方案往往將重點(diǎn)放在提升模型準(zhǔn)確率上，而忽視了醫(yī)生在診斷過(guò)程中的實(shí)際需求。例如，許多系統(tǒng)僅輸出簡(jiǎn)單的二分類結(jié)果，沒(méi)有提供詳細(xì)的診斷解釋和風(fēng)險(xiǎn)預(yù)警。同時(shí)，系統(tǒng)的交互性較差，醫(yī)生無(wú)法直觀理解模型的決策過(guò)程，這在一定程度上限制了人工智能輔助診斷系統(tǒng)的實(shí)用價(jià)值。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)旨在突破上述技術(shù)瓶頸，提出基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)及其方法。該系統(tǒng)通過(guò)創(chuàng)新性地整合數(shù)
2、本專利技術(shù)提出了基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，包括數(shù)據(jù)收集模塊、模型構(gòu)建模塊以及系統(tǒng)部署模塊，其中所述數(shù)據(jù)收集模塊用于采集并預(yù)處理包括膝關(guān)節(jié)x光影像數(shù)據(jù)、mri影像數(shù)據(jù)以及臨床評(píng)估數(shù)據(jù)在內(nèi)的多模態(tài)數(shù)據(jù)，所述模型構(gòu)建模塊通過(guò)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和transformer架構(gòu)構(gòu)建深度學(xué)習(xí)模型，并采用特征自動(dòng)學(xué)習(xí)模塊和潛在關(guān)系挖掘模塊實(shí)現(xiàn)從多模態(tài)數(shù)據(jù)到臨床評(píng)估表型標(biāo)簽的映射，同時(shí)集成grad-cam可解釋性方法用于理解模型預(yù)測(cè)依據(jù)，所述系統(tǒng)部署模塊負(fù)責(zé)部署診斷系統(tǒng)并提供在線服務(wù)，且持續(xù)收集診斷數(shù)據(jù)以反饋至所述數(shù)據(jù)收集模塊進(jìn)行模型優(yōu)化。
3、優(yōu)選地，所述數(shù)據(jù)收集模塊首先從醫(yī)院數(shù)據(jù)庫(kù)中獲取包含膝關(guān)節(jié)x光影像數(shù)據(jù)、mri影像數(shù)據(jù)及相應(yīng)臨床評(píng)估數(shù)據(jù)的多模態(tài)數(shù)據(jù)集，然后利用pydicom工具包對(duì)所述膝關(guān)節(jié)x光影像數(shù)據(jù)進(jìn)行dicom文件解碼及格式轉(zhuǎn)換以生成128×128分辨率的標(biāo)準(zhǔn)圖像，接著采用mricro工具包將所述mri影像數(shù)據(jù)轉(zhuǎn)換為nifti格式并設(shè)置感興趣區(qū)域mask用于保留關(guān)鍵區(qū)域像素值，最后通過(guò)爬蟲(chóng)技術(shù)從ccks2017數(shù)據(jù)庫(kù)中獲取臨床評(píng)估數(shù)據(jù)，并將所有預(yù)處理后的數(shù)據(jù)整合成標(biāo)準(zhǔn)化數(shù)據(jù)集。
4、優(yōu)選地，所述模型構(gòu)建模塊中的特征自動(dòng)學(xué)習(xí)模塊采用具有n×m個(gè)卷積核的雙層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從多模態(tài)圖像數(shù)據(jù)中提取n×m維度的特征向量，所述潛在關(guān)系挖掘模塊采用具有h個(gè)注意力頭的transformer架構(gòu)，通過(guò)設(shè)置查詢矩陣、鍵矩陣和值矩陣實(shí)現(xiàn)特征間關(guān)系的多維度分析，并最終通過(guò)加權(quán)平均方法合并多頭注意力的分析結(jié)果。
5、優(yōu)選地，所述模型構(gòu)建模塊根據(jù)卷積層數(shù)k的不同采用兩種不同的模型架構(gòu)，當(dāng)k＝1時(shí)采用混合模型架構(gòu)將卷積神經(jīng)網(wǎng)絡(luò)的輸出作為transformer的輸入，當(dāng)k>1時(shí)則單獨(dú)使用transformer架構(gòu)并將特征自動(dòng)學(xué)習(xí)模塊的輸出結(jié)果輸入至多頭注意力機(jī)制進(jìn)行進(jìn)一步分析。
6、優(yōu)選地，所述模型構(gòu)建模塊通過(guò)以下步驟實(shí)現(xiàn)模型的可解釋性：首先采用軟標(biāo)記方法對(duì)預(yù)測(cè)結(jié)果進(jìn)行預(yù)處理，然后對(duì)卷積層特征圖進(jìn)行反向傳播計(jì)算得到權(quán)重梯度，接著將所述權(quán)重梯度與軟標(biāo)記相乘生成注意力圖，最后將所述注意力圖與原始特征圖相乘得到最終的grad-cam可視化結(jié)果。
7、優(yōu)選地，所述模型構(gòu)建模塊采用包含交叉熵?fù)p失項(xiàng)和正則化項(xiàng)的損失函數(shù)對(duì)模型參數(shù)進(jìn)行優(yōu)化，通過(guò)設(shè)置學(xué)習(xí)率和更新步長(zhǎng)控制參數(shù)更新速度，并在每輪訓(xùn)練后評(píng)估模型性能以決定是否繼續(xù)優(yōu)化。
8、優(yōu)選地，所述系統(tǒng)部署模塊包括膝關(guān)節(jié)炎診斷模塊和膝關(guān)節(jié)炎預(yù)測(cè)模塊，其中所述膝關(guān)節(jié)炎診斷模塊首先接收多模態(tài)圖像輸入，然后通過(guò)深度學(xué)習(xí)模型計(jì)算診斷概率，最后基于預(yù)設(shè)閾值輸出診斷結(jié)果，所述膝關(guān)節(jié)炎預(yù)測(cè)模塊則基于歷史數(shù)據(jù)分析疾病發(fā)展趨勢(shì)并輸出風(fēng)險(xiǎn)等級(jí)。
9、基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)的方法，包括以下步驟：首先通過(guò)所述數(shù)據(jù)收集模塊獲取并預(yù)處理多模態(tài)數(shù)據(jù)，然后利用所述模型構(gòu)建模塊訓(xùn)練深度學(xué)習(xí)模型，最后部署所述系統(tǒng)部署模塊提供在線診斷服務(wù)。
10、優(yōu)選地，具體包括以下步驟：當(dāng)用戶上傳多模態(tài)影像數(shù)據(jù)進(jìn)行診斷時(shí)，系統(tǒng)首先通過(guò)所述膝關(guān)節(jié)炎診斷模塊輸出正常或異常的診斷結(jié)果，然后通過(guò)所述膝關(guān)節(jié)炎預(yù)測(cè)模塊輸出低?；蚋呶５念A(yù)測(cè)結(jié)果，當(dāng)診斷結(jié)果為異?；蝾A(yù)測(cè)結(jié)果為高危時(shí)，系統(tǒng)自動(dòng)生成并展示grad-cam可視化結(jié)果。
11、優(yōu)選地，當(dāng)診斷結(jié)果為正常或預(yù)測(cè)結(jié)果為低危時(shí)，系統(tǒng)通過(guò)以下步驟展示診斷依據(jù)：首先計(jì)算并篩選出重要性權(quán)重最高的前10個(gè)圖像特征，然后以交互式圖標(biāo)形式展示這些特征，其中用戶將鼠標(biāo)懸停在圖標(biāo)上時(shí)可查看特征描述并在原始圖像中通過(guò)矩形框標(biāo)注對(duì)應(yīng)區(qū)域，當(dāng)診斷結(jié)果為異常時(shí)，系統(tǒng)同時(shí)展示分類結(jié)果、置信度分?jǐn)?shù)以及解釋性圖像。
12、本專利技術(shù)的技術(shù)方案帶來(lái)的有益技術(shù)效果：
13、在架構(gòu)設(shè)計(jì)層面，本專利技術(shù)采用模塊化設(shè)計(jì)思路，各功能模塊之間形成有機(jī)閉環(huán)。數(shù)據(jù)收集模塊通過(guò)標(biāo)準(zhǔn)化的預(yù)處理流程，為模型訓(xùn)練提供高質(zhì)量的多模態(tài)數(shù)據(jù)。模型構(gòu)建模塊則基于創(chuàng)新的混合深度學(xué)習(xí)架構(gòu)，實(shí)現(xiàn)了多模態(tài)數(shù)據(jù)的深度融合和智能分析。系統(tǒng)部署模塊不僅提供便捷的在線診斷服務(wù)，還能持續(xù)收集臨床反饋以優(yōu)化模型性能。這種閉環(huán)設(shè)計(jì)確保了系統(tǒng)能夠不斷自我完善，適應(yīng)臨床實(shí)踐中的各種需求。
14、在算法創(chuàng)新層面，本專利技術(shù)突破性地將卷積神經(jīng)網(wǎng)絡(luò)與transformer架構(gòu)相結(jié)合，充分發(fā)揮兩種模型的優(yōu)勢(shì)。卷積網(wǎng)絡(luò)善于捕捉局部圖像特征，而transf?ormer架構(gòu)則擅長(zhǎng)建模長(zhǎng)程依賴關(guān)系，兩者的結(jié)合大大提升了模型的特征提取和關(guān)系建模能力。同時(shí)，通過(guò)集成改進(jìn)的grad-cam可視化方法，系統(tǒng)能夠生成直觀的解釋性結(jié)果，幫助醫(yī)生理解模型的診斷依據(jù)。
15、在實(shí)用性方面，本專利技術(shù)在多個(gè)關(guān)鍵環(huán)節(jié)都進(jìn)行了針對(duì)性優(yōu)化：首先，通過(guò)設(shè)置合理的診斷閾值和風(fēng)險(xiǎn)等級(jí)，系統(tǒng)能夠?yàn)椴煌闆r的患者提供差異化的診斷建議。其次，創(chuàng)新性的交互式結(jié)果展示方式，讓醫(yī)生能夠更直觀地理解和驗(yàn)證診斷結(jié)果。再次，系統(tǒng)的持續(xù)優(yōu)化機(jī)制確保了診斷性能能夠隨著數(shù)據(jù)積累不斷提升。
16、本專利技術(shù)的技術(shù)方案不僅解決了現(xiàn)有技術(shù)中存在的多個(gè)關(guān)鍵問(wèn)題，更在實(shí)際應(yīng)用中展現(xiàn)出顯著的技術(shù)效果：診斷準(zhǔn)確率大幅提升，可解釋性顯著增強(qiáng)，系統(tǒng)可用性明顯改善。特別是在早期病變的識(shí)別和疾病進(jìn)展預(yù)測(cè)方面，本專利技術(shù)展現(xiàn)出了獨(dú)特的技術(shù)優(yōu)勢(shì)，為提升膝關(guān)節(jié)炎診療本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，包括數(shù)據(jù)收集模塊、模型構(gòu)建模塊以及系統(tǒng)部署模塊，其中所述數(shù)據(jù)收集模塊用于采集并預(yù)處理包括膝關(guān)節(jié)X光影像數(shù)據(jù)、MRI影像數(shù)據(jù)以及臨床評(píng)估數(shù)據(jù)在內(nèi)的多模態(tài)數(shù)據(jù)，所述模型構(gòu)建模塊通過(guò)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和Transformer架構(gòu)構(gòu)建深度學(xué)習(xí)模型，并采用特征自動(dòng)學(xué)習(xí)模塊和潛在關(guān)系挖掘模塊實(shí)現(xiàn)從多模態(tài)數(shù)據(jù)到臨床評(píng)估表型標(biāo)簽的映射，同時(shí)集成Grad-CAM可解釋性方法用于理解模型預(yù)測(cè)依據(jù)，所述系統(tǒng)部署模塊負(fù)責(zé)部署診斷系統(tǒng)并提供在線服務(wù)，且持續(xù)收集診斷數(shù)據(jù)以反饋至所述數(shù)據(jù)收集模塊進(jìn)行模型優(yōu)化。
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，所述數(shù)據(jù)收集模塊首先從醫(yī)院數(shù)據(jù)庫(kù)中獲取包含膝關(guān)節(jié)X光影像數(shù)據(jù)、MRI影像數(shù)據(jù)及相應(yīng)臨床評(píng)估數(shù)據(jù)的多模態(tài)數(shù)據(jù)集，然后利用Pydicom工具包對(duì)所述膝關(guān)節(jié)X光影像數(shù)據(jù)進(jìn)行DICOM文件解碼及格式轉(zhuǎn)換以生成128×128分辨率的標(biāo)準(zhǔn)圖像，接著采用MRIcro工具包將所述MRI影像數(shù)據(jù)轉(zhuǎn)換為NIfTI格式并設(shè)置感興趣區(qū)域mask用于保留關(guān)鍵區(qū)域像素值，最后通過(guò)爬蟲(chóng)技術(shù)
3.根據(jù)權(quán)利要求1所述的基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，所述模型構(gòu)建模塊中的特征自動(dòng)學(xué)習(xí)模塊采用具有n×m個(gè)卷積核的雙層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從多模態(tài)圖像數(shù)據(jù)中提取n×m維度的特征向量，所述潛在關(guān)系挖掘模塊采用具有h個(gè)注意力頭的Transformer架構(gòu)，通過(guò)設(shè)置查詢矩陣、鍵矩陣和值矩陣實(shí)現(xiàn)特征間關(guān)系的多維度分析，并最終通過(guò)加權(quán)平均方法合并多頭注意力的分析結(jié)果。
4.根據(jù)權(quán)利要求3所述的基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，所述模型構(gòu)建模塊根據(jù)卷積層數(shù)k的不同采用兩種不同的模型架構(gòu)，當(dāng)k＝1時(shí)采用混合模型架構(gòu)將卷積神經(jīng)網(wǎng)絡(luò)的輸出作為T(mén)ransformer的輸入，當(dāng)k>1時(shí)則單獨(dú)使用Transformer架構(gòu)并將特征自動(dòng)學(xué)習(xí)模塊的輸出結(jié)果輸入至多頭注意力機(jī)制進(jìn)行進(jìn)一步分析。
5.根據(jù)權(quán)利要求4所述的基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，所述模型構(gòu)建模塊通過(guò)以下步驟實(shí)現(xiàn)模型的可解釋性：首先采用軟標(biāo)記方法對(duì)預(yù)測(cè)結(jié)果進(jìn)行預(yù)處理，然后對(duì)卷積層特征圖進(jìn)行反向傳播計(jì)算得到權(quán)重梯度，接著將所述權(quán)重梯度與軟標(biāo)記相乘生成注意力圖，最后將所述注意力圖與原始特征圖相乘得到最終的Grad-CAM可視化結(jié)果。
6.根據(jù)權(quán)利要求3所述的基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，所述模型構(gòu)建模塊采用包含交叉熵?fù)p失項(xiàng)和正則化項(xiàng)的損失函數(shù)對(duì)模型參數(shù)進(jìn)行優(yōu)化，通過(guò)設(shè)置學(xué)習(xí)率和更新步長(zhǎng)控制參數(shù)更新速度，并在每輪訓(xùn)練后評(píng)估模型性能以決定是否繼續(xù)優(yōu)化。
7.根據(jù)權(quán)利要求1所述的基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，所述系統(tǒng)部署模塊包括膝關(guān)節(jié)炎診斷模塊和膝關(guān)節(jié)炎預(yù)測(cè)模塊，其中所述膝關(guān)節(jié)炎診斷模塊首先接收多模態(tài)圖像輸入，然后通過(guò)深度學(xué)習(xí)模型計(jì)算診斷概率，最后基于預(yù)設(shè)閾值輸出診斷結(jié)果，所述膝關(guān)節(jié)炎預(yù)測(cè)模塊則基于歷史數(shù)據(jù)分析疾病發(fā)展趨勢(shì)并輸出風(fēng)險(xiǎn)等級(jí)。
8.基于權(quán)利要求1-7任一項(xiàng)所述基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)的方法，其特征在于，包括以下步驟：首先通過(guò)所述數(shù)據(jù)收集模塊獲取并預(yù)處理多模態(tài)數(shù)據(jù)，然后利用所述模型構(gòu)建模塊訓(xùn)練深度學(xué)習(xí)模型，最后部署所述系統(tǒng)部署模塊提供在線診斷服務(wù)。
9.根據(jù)權(quán)利要求8所述的方法，其特征在于，具體包括以下步驟：當(dāng)用戶上傳多模態(tài)影像數(shù)據(jù)進(jìn)行診斷時(shí)，系統(tǒng)首先通過(guò)所述膝關(guān)節(jié)炎診斷模塊輸出正常或異常的診斷結(jié)果，然后通過(guò)所述膝關(guān)節(jié)炎預(yù)測(cè)模塊輸出低危或高危的預(yù)測(cè)結(jié)果，當(dāng)診斷結(jié)果為異?；蝾A(yù)測(cè)結(jié)果為高危時(shí)，系統(tǒng)自動(dòng)生成并展示Grad-CAM可視化結(jié)果。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，當(dāng)診斷結(jié)果為正常或預(yù)測(cè)結(jié)果為低危時(shí)，系統(tǒng)通過(guò)以下步驟展示診斷依據(jù)：首先計(jì)算并篩選出重要性權(quán)重最高的前10個(gè)圖像特征，然后以交互式圖標(biāo)形式展示這些特征，其中用戶將鼠標(biāo)懸停在圖標(biāo)上時(shí)可查看特征描述并在原始圖像中通過(guò)矩形框標(biāo)注對(duì)應(yīng)區(qū)域，當(dāng)診斷結(jié)果為異常時(shí)，系統(tǒng)同時(shí)展示分類結(jié)果、置信度分?jǐn)?shù)以及解釋性圖像。
...【技術(shù)特征摘要】
1.基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，包括數(shù)據(jù)收集模塊、模型構(gòu)建模塊以及系統(tǒng)部署模塊，其中所述數(shù)據(jù)收集模塊用于采集并預(yù)處理包括膝關(guān)節(jié)x光影像數(shù)據(jù)、mri影像數(shù)據(jù)以及臨床評(píng)估數(shù)據(jù)在內(nèi)的多模態(tài)數(shù)據(jù)，所述模型構(gòu)建模塊通過(guò)結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和transformer架構(gòu)構(gòu)建深度學(xué)習(xí)模型，并采用特征自動(dòng)學(xué)習(xí)模塊和潛在關(guān)系挖掘模塊實(shí)現(xiàn)從多模態(tài)數(shù)據(jù)到臨床評(píng)估表型標(biāo)簽的映射，同時(shí)集成grad-cam可解釋性方法用于理解模型預(yù)測(cè)依據(jù)，所述系統(tǒng)部署模塊負(fù)責(zé)部署診斷系統(tǒng)并提供在線服務(wù)，且持續(xù)收集診斷數(shù)據(jù)以反饋至所述數(shù)據(jù)收集模塊進(jìn)行模型優(yōu)化。
2.根據(jù)權(quán)利要求1所述的基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，所述數(shù)據(jù)收集模塊首先從醫(yī)院數(shù)據(jù)庫(kù)中獲取包含膝關(guān)節(jié)x光影像數(shù)據(jù)、mri影像數(shù)據(jù)及相應(yīng)臨床評(píng)估數(shù)據(jù)的多模態(tài)數(shù)據(jù)集，然后利用pydicom工具包對(duì)所述膝關(guān)節(jié)x光影像數(shù)據(jù)進(jìn)行dicom文件解碼及格式轉(zhuǎn)換以生成128×128分辨率的標(biāo)準(zhǔn)圖像，接著采用mricro工具包將所述mri影像數(shù)據(jù)轉(zhuǎn)換為nifti格式并設(shè)置感興趣區(qū)域mask用于保留關(guān)鍵區(qū)域像素值，最后通過(guò)爬蟲(chóng)技術(shù)從ccks2017數(shù)據(jù)庫(kù)中獲取臨床評(píng)估數(shù)據(jù)，并將所有預(yù)處理后的數(shù)據(jù)整合成標(biāo)準(zhǔn)化數(shù)據(jù)集。
3.根據(jù)權(quán)利要求1所述的基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，所述模型構(gòu)建模塊中的特征自動(dòng)學(xué)習(xí)模塊采用具有n×m個(gè)卷積核的雙層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從多模態(tài)圖像數(shù)據(jù)中提取n×m維度的特征向量，所述潛在關(guān)系挖掘模塊采用具有h個(gè)注意力頭的transformer架構(gòu)，通過(guò)設(shè)置查詢矩陣、鍵矩陣和值矩陣實(shí)現(xiàn)特征間關(guān)系的多維度分析，并最終通過(guò)加權(quán)平均方法合并多頭注意力的分析結(jié)果。
4.根據(jù)權(quán)利要求3所述的基于多模態(tài)深度學(xué)習(xí)的膝關(guān)節(jié)炎早期診斷系統(tǒng)，其特征在于，所述模型構(gòu)建模塊根據(jù)卷積層數(shù)k的不同采用兩種不同的模型架構(gòu)，當(dāng)k＝1時(shí)采用混合模型架構(gòu)將卷積神經(jīng)網(wǎng)絡(luò)的輸出作為transformer的輸入，當(dāng)k>1時(shí)則單獨(dú)使用transformer架構(gòu)并將特征自動(dòng)學(xué)習(xí)模塊的輸出結(jié)果輸入至多頭注意力機(jī)制進(jìn)行進(jìn)一步分析。
...【專利技術(shù)屬性】
技術(shù)研發(fā)人員：朱柯嘉，
申請(qǐng)(專利權(quán))人：四川大學(xué)華西醫(yī)院，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。