【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種在消化內(nèi)鏡報(bào)告書(shū)寫(xiě)的過(guò)程中，自動(dòng)識(shí)別和幫助醫(yī)生糾正報(bào)告中的錯(cuò)誤，規(guī)范化報(bào)告書(shū)寫(xiě)的方法。
技術(shù)介紹
1、隨著醫(yī)療科技的飛速發(fā)展，人工智能(ai)在醫(yī)療領(lǐng)域的應(yīng)用已經(jīng)成為提升醫(yī)療質(zhì)量和效率的重要手段。消化內(nèi)鏡作為一種常用的診斷和治療工具，其檢查報(bào)告的準(zhǔn)確性對(duì)于患者的治療計(jì)劃和預(yù)后評(píng)估至關(guān)重要。然而，在傳統(tǒng)的消化內(nèi)鏡報(bào)告書(shū)寫(xiě)過(guò)程中，存在若干挑戰(zhàn)和問(wèn)題。
2、首先，內(nèi)鏡報(bào)告的書(shū)寫(xiě)往往需要醫(yī)生在完成手術(shù)后進(jìn)行，這時(shí)醫(yī)生可能已經(jīng)經(jīng)歷了數(shù)小時(shí)的連續(xù)工作，容易感到疲勞，這增加了報(bào)告書(shū)寫(xiě)錯(cuò)誤的風(fēng)險(xiǎn)。此外，由于醫(yī)生個(gè)人經(jīng)驗(yàn)和書(shū)寫(xiě)習(xí)慣的差異，報(bào)告內(nèi)容可能存在主觀性，缺乏標(biāo)準(zhǔn)化，這會(huì)影響報(bào)告的一致性和后續(xù)治療的連貫性。其次，隨著醫(yī)院信息系統(tǒng)的普及，雖然電子報(bào)告替代了紙質(zhì)報(bào)告，提高了工作效率，但電子報(bào)告系統(tǒng)通常缺乏智能校對(duì)功能，無(wú)法自動(dòng)識(shí)別和糾正醫(yī)生在書(shū)寫(xiě)過(guò)程中的錯(cuò)誤。這些錯(cuò)誤可能包括拼寫(xiě)錯(cuò)誤、術(shù)語(yǔ)使用不當(dāng)、病理描述不準(zhǔn)確、甚至是患者信息的誤錄等。這些錯(cuò)誤不僅影響報(bào)告的質(zhì)量，也可能對(duì)患者的治療和健康產(chǎn)生負(fù)面影響。為了解決這些問(wèn)題，人工智能技術(shù)被引入到消化內(nèi)鏡報(bào)告的書(shū)寫(xiě)過(guò)程中。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的是：利用人工智能技術(shù)對(duì)消化內(nèi)鏡報(bào)告進(jìn)行錯(cuò)誤識(shí)別并修改，減少因醫(yī)生疏忽或知識(shí)缺乏而導(dǎo)致的報(bào)告錯(cuò)誤。
2、為了達(dá)到上述目的，本專利技術(shù)的技術(shù)方案是提供了一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，包括以下步驟：
3、步驟1、基于內(nèi)鏡病例文本描述以及
4、步驟2、建立內(nèi)鏡文本與圖像匹配模型，并利用訓(xùn)練數(shù)據(jù)集對(duì)該內(nèi)鏡文本與圖像匹配模型進(jìn)行訓(xùn)練，其中：
5、以clip為基礎(chǔ)模型建立內(nèi)鏡文本與圖像匹配模型，在基礎(chǔ)模型的基礎(chǔ)上：
6、利用圖像引導(dǎo)文本特征的對(duì)齊模塊將輸入模型的內(nèi)鏡圖像的embedding映射到文本空間后獲得視覺(jué)提示，并將該視覺(jué)提示與編碼后的內(nèi)鏡文本進(jìn)行相加后再輸入到clip的文本特征提取器中；
7、在clip的圖像特征提取分支中，從輸入模型的原始內(nèi)鏡圖像中隨機(jī)裁減得到n個(gè)局部的圖像塊后，將圖像塊輸入到針對(duì)圖像塊的vit特征提取器中，通過(guò)針對(duì)圖像塊的vit特征提取器與針對(duì)完整內(nèi)鏡圖像的vit特征提取器的權(quán)重共享，實(shí)現(xiàn)兩種不同粒度的vit特征提取器之間的知識(shí)的交流與遷移；將經(jīng)過(guò)針對(duì)圖像塊的vit特征提取器編碼后的cls-token?c_local與針對(duì)完整內(nèi)鏡圖像的vit特征提取器編碼后的cls-token?c_global進(jìn)行對(duì)齊；
8、內(nèi)鏡文本與圖像匹配模型將內(nèi)鏡文本與內(nèi)鏡圖像分別生成高維的表征向量t與i進(jìn)行特征層面的對(duì)齊后，計(jì)算向量t與向量i的余弦相似度得到相似矩陣m，在內(nèi)鏡文本與圖像匹配模型訓(xùn)練時(shí)，通過(guò)交叉熵函數(shù)計(jì)算相似矩陣m與其監(jiān)督y(tǒng)的損失，從而完成內(nèi)鏡文本與圖像匹配模型的訓(xùn)練，其中，監(jiān)督y(tǒng)為單位矩陣；
9、步驟3、分別將所檢查的單一內(nèi)鏡文本以及相應(yīng)的單一內(nèi)鏡圖像輸入到訓(xùn)練好的內(nèi)鏡文本與圖像匹配模型之中，內(nèi)鏡文本與圖像匹配模型分別對(duì)單一內(nèi)鏡文本以及單一內(nèi)鏡圖像進(jìn)行特征編碼生成高維向量ti與ii后計(jì)算兩者的余弦相似度s：若s小于設(shè)定的閾值v，則判斷此時(shí)單一內(nèi)鏡文本與單一內(nèi)鏡圖像并不匹配，并提示使用者，內(nèi)鏡文本存在錯(cuò)誤，進(jìn)入步驟4；否則，結(jié)束整個(gè)方法；
10、步驟4、將步驟1獲得的訓(xùn)練數(shù)據(jù)集中的內(nèi)鏡病例文本輸入到內(nèi)鏡文本與圖像匹配模型，得到高維向量t，計(jì)算高維向量t與高維向量ii的余弦相似度后獲得相似矩陣m，找出相似矩陣m中最大的相似分?jǐn)?shù)，并索引到其對(duì)應(yīng)的內(nèi)鏡病例文本，此時(shí)，當(dāng)前內(nèi)鏡病例文本為與當(dāng)前單一內(nèi)鏡圖像最為匹配，即視為當(dāng)前單一內(nèi)鏡圖像的正確文本描述，用該正確文本描述對(duì)錯(cuò)誤的單一內(nèi)鏡文本描述進(jìn)行糾錯(cuò)。
11、優(yōu)選地，步驟1中，將獲得的每個(gè)內(nèi)鏡病例文本描述以及相應(yīng)的內(nèi)鏡圖像視為一個(gè)文本-圖像對(duì)，所有文本-圖像對(duì)構(gòu)成了所述訓(xùn)練數(shù)據(jù)集。
12、優(yōu)選地，步驟1中，在文本-圖像對(duì)中，內(nèi)鏡圖像的大小被統(tǒng)一剪裁至h×w。
13、優(yōu)選地，步驟2中，所述對(duì)齊模塊通過(guò)線性映射層將所述內(nèi)鏡圖像的embedding映射到文本空間。
14、優(yōu)選地，步驟2中，將c_local與c_global進(jìn)行對(duì)齊時(shí)，通過(guò)兩個(gè)結(jié)構(gòu)相同的映射層head_t以及head_s分別將c_global以及c_local映射到同一空間，其中，利用指數(shù)移動(dòng)平均操作，利用映射層head_s的權(quán)重不斷更新映射層head_t的權(quán)重以保證二者映射到同一空間，如下式所示：
15、wt＝a·ws+(1-a)·ws
16、其中，wt為映射層head_t的權(quán)重，ws為映射層head_s的權(quán)重，a為更新系數(shù)。
17、優(yōu)選地，步驟2中，在所述內(nèi)鏡文本與圖像匹配模型訓(xùn)練時(shí)，利用局部與全局的對(duì)比損失loss_ptc對(duì)c_local與c_global的對(duì)齊過(guò)程進(jìn)行監(jiān)督，如下式所示：
18、
19、其中，我們定義正樣本為一個(gè)訓(xùn)練batch中全局圖像與其對(duì)應(yīng)的圖像塊，非對(duì)應(yīng)圖像對(duì)為負(fù)樣本。n+表示的為正樣本對(duì)的數(shù)目，q+表示的為正樣本對(duì)中經(jīng)過(guò)線性映射后的c_global，k+/k-表示的為經(jīng)過(guò)線性映射后的c_local，t為溫度系數(shù)，k+具體表示的為一個(gè)訓(xùn)練batch內(nèi)相同圖像中的patch映射，k-表示的為一個(gè)訓(xùn)練batch內(nèi)其他圖像中的patch映射，qt表示的為一個(gè)訓(xùn)練batch內(nèi)圖像中的映射。
20、本專利技術(shù)通過(guò)算法的研發(fā)自動(dòng)識(shí)別和幫助醫(yī)生糾正報(bào)告中的錯(cuò)誤，規(guī)范化報(bào)告書(shū)寫(xiě)，不僅提高報(bào)告的質(zhì)量，也便于后續(xù)的數(shù)據(jù)分析和研究。通過(guò)持續(xù)學(xué)習(xí)和優(yōu)化，本專利技術(shù)能夠不斷提升其糾錯(cuò)精度，適應(yīng)各種復(fù)雜的臨床情況。
21、采用本專利技術(shù)公開(kāi)的方法后，可以做到：
22、1.減少報(bào)告錯(cuò)誤
23、使用人工智能技術(shù)自動(dòng)識(shí)別和糾正報(bào)告中的描述錯(cuò)誤,并提醒醫(yī)生進(jìn)行及時(shí)的修正，減少由于醫(yī)生疏忽或知識(shí)缺乏導(dǎo)致的報(bào)告錯(cuò)誤。
24、2.提高報(bào)告質(zhì)量
25、糾正報(bào)告中的語(yǔ)病、術(shù)語(yǔ)使用錯(cuò)誤等,規(guī)范報(bào)告語(yǔ)言表達(dá),提高報(bào)告的整體質(zhì)量。
26、3.提高報(bào)告效率
27、使用智能語(yǔ)音識(shí)別技術(shù)提高報(bào)告撰寫(xiě)效率,快速轉(zhuǎn)換報(bào)告格式,節(jié)省時(shí)間成本。
28、4.規(guī)范報(bào)告內(nèi)容
29、引導(dǎo)規(guī)范的報(bào)告框架編寫(xiě),糾正遺漏檢查項(xiàng)目等內(nèi)容錯(cuò)誤,使報(bào)告更加完整。
30、5.構(gòu)建報(bào)告知識(shí)庫(kù)
31、積累大量報(bào)告樣本,訓(xùn)練知識(shí)圖譜,構(gòu)建報(bào)告知識(shí)庫(kù)為醫(yī)生查詢和學(xué)習(xí)提供數(shù)據(jù)支撐。
32、6.釋放醫(yī)生更多時(shí)間
33、減輕醫(yī)生報(bào)告撰寫(xiě)的工作量,釋放更多時(shí)間用于患者診療。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，步驟1中，將獲得的每個(gè)內(nèi)鏡病例文本描述以及相應(yīng)的內(nèi)鏡圖像視為一個(gè)文本-圖像對(duì)，所有文本-圖像對(duì)構(gòu)成了所述訓(xùn)練數(shù)據(jù)集。
3.如權(quán)利要求1所述的一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，步驟1中，在文本-圖像對(duì)中，內(nèi)鏡圖像的大小被統(tǒng)一剪裁至H×W。
4.如權(quán)利要求1所述的一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，步驟2中，所述對(duì)齊模塊通過(guò)線性映射層將所述內(nèi)鏡圖像的embedding映射到文本空間。
5.如權(quán)利要求1所述的一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，步驟2中，將C_local與C_global進(jìn)行對(duì)齊時(shí)，通過(guò)兩個(gè)結(jié)構(gòu)相同的映射層head_t以及head_s分別將C_global以及C_local映射到同一空間，其中，利用指數(shù)移動(dòng)平均操作，利用映射層head_s的權(quán)重不斷更新映射層head_t的權(quán)重以保證二者映射到同一空間，如下式所示：
6.如權(quán)利要求1所述的一
...【技術(shù)特征摘要】
1.一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，步驟1中，將獲得的每個(gè)內(nèi)鏡病例文本描述以及相應(yīng)的內(nèi)鏡圖像視為一個(gè)文本-圖像對(duì)，所有文本-圖像對(duì)構(gòu)成了所述訓(xùn)練數(shù)據(jù)集。
3.如權(quán)利要求1所述的一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，步驟1中，在文本-圖像對(duì)中，內(nèi)鏡圖像的大小被統(tǒng)一剪裁至h×w。
4.如權(quán)利要求1所述的一種用于消化內(nèi)鏡報(bào)告圖文糾錯(cuò)的方法，其特征在于，步驟2中，所述對(duì)齊模塊通過(guò)線性映射層將所述內(nèi)鏡圖像的embedding映射到文本空間。
...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李全林，諸炎，周平紅，
申請(qǐng)(專利權(quán))人：復(fù)旦大學(xué)附屬中山醫(yī)院，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。