【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及醫(yī)療與人工智能交叉，具體涉及一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法。
技術(shù)介紹
1、自動(dòng)生成醫(yī)學(xué)影像報(bào)告在臨床中是至關(guān)重要的，它可以減輕有經(jīng)驗(yàn)的放射科醫(yī)生的繁重工作，并提醒沒(méi)有經(jīng)驗(yàn)的放射科醫(yī)生誤診或漏診。
2、然而，現(xiàn)有技術(shù)通過(guò)神經(jīng)網(wǎng)絡(luò)提取醫(yī)學(xué)影像特征生成報(bào)告文本，這種純數(shù)據(jù)驅(qū)動(dòng)的方法存在視覺(jué)和文本偏差以及缺乏專業(yè)知識(shí)的問(wèn)題。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于，提出一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，提高醫(yī)學(xué)影像報(bào)告生成的準(zhǔn)確性和可靠性。
2、為實(shí)現(xiàn)上述目的，一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，包括以下步驟：
3、提取醫(yī)學(xué)診斷報(bào)告中的疾病名稱、癥狀、區(qū)域等信息，構(gòu)建醫(yī)學(xué)先驗(yàn)知識(shí)圖譜，通過(guò)glove技術(shù)獲取醫(yī)學(xué)先驗(yàn)知識(shí)圖譜的初始特征向量；將初始特征向量輸入至多層圖卷積神經(jīng)網(wǎng)絡(luò)，得到特征矩陣；
4、通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取醫(yī)學(xué)影像的視覺(jué)特征，同時(shí)構(gòu)建放射學(xué)記錄庫(kù)，根據(jù)醫(yī)學(xué)影像和庫(kù)中醫(yī)學(xué)影像的kl散度，從庫(kù)中選取最相關(guān)的醫(yī)學(xué)診斷報(bào)告，并通過(guò)自然語(yǔ)言處理，提取文本特征；
5、將所述視覺(jué)特征、文本特征經(jīng)過(guò)自注意力機(jī)制實(shí)例化特征之后，與醫(yī)學(xué)先驗(yàn)知識(shí)圖譜的特征矩陣融合，生成共識(shí)級(jí)的視覺(jué)特征和共識(shí)級(jí)的文本特征，基于實(shí)例級(jí)特征與共識(shí)級(jí)特征得到視覺(jué)融合共識(shí)特征和文本融合共識(shí)特征；
6、將視覺(jué)融合共識(shí)特征和文本融合共識(shí)特征通過(guò)多頭自注意力層融合后輸入到transformer解碼器
7、根據(jù)本專利技術(shù)提供的一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，所述構(gòu)建醫(yī)學(xué)先驗(yàn)知識(shí)圖譜，包括：
8、獲取若干醫(yī)學(xué)診斷報(bào)告文本；
9、使用radgraph2網(wǎng)絡(luò)提取醫(yī)學(xué)診斷報(bào)告文本中的醫(yī)學(xué)實(shí)體和關(guān)系；
10、通過(guò)提取的醫(yī)學(xué)實(shí)體和實(shí)體之間的關(guān)系構(gòu)建三元組，并逐步構(gòu)建醫(yī)學(xué)先驗(yàn)知識(shí)圖譜。
11、根據(jù)本專利技術(shù)提供的一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，得到特征矩陣方式為：
12、將醫(yī)學(xué)先驗(yàn)知識(shí)圖譜通過(guò)glove技術(shù)生成初始節(jié)點(diǎn)特征，表示為y；
13、使用多層圖卷積神經(jīng)網(wǎng)絡(luò)gcn處理醫(yī)學(xué)先驗(yàn)知識(shí)圖譜和與之對(duì)應(yīng)的節(jié)點(diǎn)特征。每層圖卷積神經(jīng)網(wǎng)絡(luò)gcn都會(huì)根據(jù)圖結(jié)構(gòu)更新節(jié)點(diǎn)的表示，使得每個(gè)節(jié)點(diǎn)的表示都能捕捉到高階鄰域的信息。具體來(lái)說(shuō)，每層圖卷積神經(jīng)網(wǎng)絡(luò)gcn操作可以表示為：
14、
15、其中，h(l)是第l層的節(jié)點(diǎn)特征，(對(duì)于第一層，h(0)＝y(tǒng))，為圖的鄰接矩陣a加上單位矩陣，是的每行元素求和得到的度數(shù)矩陣的對(duì)角矩陣，w(l)是第l層的權(quán)重矩陣，ρ是非線性的激活函數(shù)；
16、通過(guò)多層圖卷積神經(jīng)網(wǎng)絡(luò)處理后獲得的特征矩陣為z＝{z1，…，zq}，即zi，z∈rq×d，d表示聯(lián)合嵌入空間的維數(shù)。
17、根據(jù)本專利技術(shù)提供的一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取醫(yī)學(xué)影像的視覺(jué)特征方式為：
18、將醫(yī)學(xué)影像輸入到faster-rcnn中，然后通過(guò)全連接層，生成m個(gè)區(qū)域級(jí)視覺(jué)特征o＝{o1，…，om}，其元素都是f維向量；
19、通過(guò)自注意力機(jī)制，將上述m個(gè)區(qū)域級(jí)視覺(jué)特征o生成為實(shí)例級(jí)的視覺(jué)特征vi。
20、根據(jù)本專利技術(shù)提供的一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，構(gòu)建放射學(xué)記錄庫(kù)，根據(jù)醫(yī)學(xué)影像和庫(kù)中醫(yī)學(xué)影像的kl散度，從庫(kù)中選取最相關(guān)的醫(yī)學(xué)診斷報(bào)告，具體為：
21、將若干醫(yī)學(xué)影像及醫(yī)學(xué)診斷報(bào)告作為放射學(xué)記錄庫(kù)，對(duì)于放射學(xué)記錄庫(kù)中的每條記錄，首先提取視覺(jué)特征i＝cnn(img)，然后通過(guò)yi＝avgpool(i)wc+bc得到i在疾病標(biāo)簽上的分布，其中yi∈r1×n，n為疾病標(biāo)簽個(gè)數(shù)，wc和bc為疾病分類線性變換的權(quán)重參數(shù)和偏置項(xiàng)；
22、通過(guò)得到醫(yī)學(xué)圖像的疾病分布與庫(kù)中樣本的疾病分布yi之間的kl散度，獲得的分?jǐn)?shù)用于從庫(kù)中選擇最相關(guān)的醫(yī)學(xué)診斷報(bào)告。
23、根據(jù)本專利技術(shù)提供的一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，提取文本特征方式為：
24、設(shè)最相關(guān)的醫(yī)學(xué)診斷報(bào)告具有l(wèi)個(gè)單詞，將每個(gè)單詞嵌入被順序饋送到bi-gru中；之后，可以通過(guò)執(zhí)行均值池來(lái)聚合每個(gè)時(shí)間步長(zhǎng)的前向和后向隱藏狀態(tài)向量，從而獲得詞級(jí)文本特征{t1，…，tl}；
25、通過(guò)自注意力機(jī)制，將上述l個(gè)詞級(jí)文本特征{t1，…，tl}細(xì)化為為實(shí)例級(jí)的文本特征ti。
26、根據(jù)本專利技術(shù)提供的一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，共識(shí)級(jí)的視覺(jué)特征獲取方式為：
27、
28、
29、其中wv∈rd×d為可學(xué)習(xí)的參數(shù)矩陣，為表示語(yǔ)義特征zi對(duì)應(yīng)的顯著性得分，λ控制softmax函數(shù)的平滑度；
30、共識(shí)級(jí)的文本特征獲取方式為：
31、
32、
33、其中wt∈rd×d為可學(xué)習(xí)的參數(shù)矩陣，為表示語(yǔ)義特征zi對(duì)應(yīng)的顯著性得分，λ控制softmax函數(shù)的平滑度。
34、根據(jù)本專利技術(shù)提供的一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，通過(guò)加權(quán)和運(yùn)算得出視覺(jué)融合共識(shí)特征和文本融合共識(shí)特征：
35、cf＝βvi+(1-β)vc
36、ff＝βti+(1-β)tc
37、其中β是控制兩種實(shí)例級(jí)特征與共識(shí)級(jí)特征比率的調(diào)諧參數(shù)。
38、根據(jù)本專利技術(shù)提供的一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，將視覺(jué)融合共識(shí)特征和文本融合共識(shí)特征通過(guò)多頭自注意力層融合方式為：
39、hc＝σ(wvvf+wttf)
40、其中wv和wt是一個(gè)可學(xué)習(xí)的參數(shù)，σ是sigmoid激活函數(shù)。
41、本專利技術(shù)中多頭自注意力層包括多頭注意力，殘差標(biāo)準(zhǔn)化以及前饋網(wǎng)絡(luò)層；多頭注意力計(jì)算過(guò)程如下：
42、
43、
44、multihead(q，k，v)＝woconcat(head1，...，headn)其中q，k，v為上述融合特征hc，和wo為可學(xué)習(xí)的參數(shù)；
45、殘差標(biāo)準(zhǔn)化過(guò)程如下：
46、
47、hd＝ln(x+multihead(x))
48、其中x為上述融合特征hc，μ和σ分別為hc的均值和標(biāo)準(zhǔn)差，γ和β是可學(xué)習(xí)的參數(shù)向量，維度與hc相同，⊙表示逐元素相乘，hd為hc經(jīng)過(guò)殘差標(biāo)準(zhǔn)化得到的結(jié)果；
49、前饋網(wǎng)絡(luò)實(shí)現(xiàn)過(guò)程如下：
50、ffn(x)＝max(0，xw1+b1)w2+b2
51、其中x為上述特征hd，w1和w2是網(wǎng)絡(luò)權(quán)重矩陣，b1和b2是偏置項(xiàng)；
52、將前饋網(wǎng)絡(luò)所得到的結(jié)果在進(jìn)行一次殘差標(biāo)準(zhǔn)化，所得到的結(jié)果則為多頭注意力層融合后的特征he。
53、根據(jù)本專利技術(shù)提供的一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，所述構(gòu)建醫(yī)學(xué)先驗(yàn)知識(shí)圖譜，包括：
3.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，得到特征矩陣方式為：
4.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取醫(yī)學(xué)影像的視覺(jué)特征方式為：
5.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，構(gòu)建放射學(xué)記錄庫(kù)，根據(jù)醫(yī)學(xué)影像和庫(kù)中醫(yī)學(xué)影像的KL散度，從庫(kù)中選取最相關(guān)的醫(yī)學(xué)診斷報(bào)告，具體為：
6.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，提取文本特征方式為：
7.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，共識(shí)級(jí)的視覺(jué)特征獲取方式為：
8.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法
9.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，將視覺(jué)融合共識(shí)特征和文本融合共識(shí)特征通過(guò)多頭自注意力層融合方式為：
10.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，生成醫(yī)學(xué)影像報(bào)告方式為：
...【技術(shù)特征摘要】
1.一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，所述構(gòu)建醫(yī)學(xué)先驗(yàn)知識(shí)圖譜，包括：
3.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，得到特征矩陣方式為：
4.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取醫(yī)學(xué)影像的視覺(jué)特征方式為：
5.根據(jù)權(quán)利要求1所述一種融合視覺(jué)與文本共識(shí)特征的醫(yī)學(xué)影像報(bào)告生成方法，其特征在于，構(gòu)建放射學(xué)記錄庫(kù)，根據(jù)醫(yī)學(xué)影像和庫(kù)中醫(yī)學(xué)影像的kl散度，從庫(kù)中選取最相關(guān)的醫(yī)學(xué)診斷報(bào)告，具體為：
<...【專利技術(shù)屬性】
技術(shù)研發(fā)人員：關(guān)樂(lè)，朱理，呂鵬翔，趙泓森，徐興蕤，王珍，
申請(qǐng)(專利權(quán))人：大連大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。