【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及超聲創(chuàng)傷評估，特別是涉及一種e-fast超聲智能導(dǎo)航與決策系統(tǒng)。
技術(shù)介紹
1、e-fast超聲利用便攜式超聲診斷設(shè)備簡單、快速、敏感、準(zhǔn)確的特性，幫助臨床醫(yī)生評估危及生命的創(chuàng)傷情況，如胸腔、心包和腹腔的創(chuàng)傷，因此其被廣泛應(yīng)用于應(yīng)急、戰(zhàn)場和大型災(zāi)難場景。
2、目前，e-fast超聲檢查需要富有經(jīng)驗(yàn)的專家，具有昂貴的人工成本，特別是在緊急事故現(xiàn)場、重癥監(jiān)護(hù)病房以及醫(yī)療服務(wù)匱乏的地區(qū)，由于專業(yè)人才的稀缺和高昂成本，滿足對專家的需求尤為困難，這可能導(dǎo)致部分患者無法及時獲得適當(dāng)?shù)木戎巍?/p>
3、醫(yī)療影像是人工智能的主要應(yīng)用領(lǐng)域之一，其中超聲醫(yī)學(xué)方面人工智能的開發(fā)正逐步走進(jìn)臨床，涉及u-net深度學(xué)習(xí)模型自動辨認(rèn)腹腔游離積液、兒童fast超聲圖像進(jìn)行深度學(xué)習(xí)視覺分類等，然而，上述研究均基于已存儲的超聲圖片或視頻，目的在于得到智能快速診斷，縮短圖片識別耗費(fèi)的時間。而在復(fù)雜急救環(huán)境中，該技術(shù)伴隨大量的計(jì)算成本和推理時間，難以滿足實(shí)際現(xiàn)場的需要，更重要的是，現(xiàn)場缺少擁有專業(yè)超聲技能醫(yī)務(wù)人員，無法獲得標(biāo)準(zhǔn)切面圖像往往是限制fast/e-fast技術(shù)應(yīng)用的首要因素。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)所要解決的技術(shù)問題是提供一種e-fast超聲智能導(dǎo)航與決策系統(tǒng)，能夠指導(dǎo)非專業(yè)用戶使用便攜式超聲設(shè)備進(jìn)行初步檢查，并做出定性定量診斷，及時分診。
2、本專利技術(shù)解決其技術(shù)問題所采用的技術(shù)方案是：提供一種e-fast超聲智能導(dǎo)航與決策系統(tǒng)，包括：
3、便攜
4、計(jì)算機(jī)處理部分，用于將超聲圖像數(shù)據(jù)輸入至導(dǎo)航?jīng)Q策模型，得到參考修正操作以及積液診斷結(jié)果；
5、其中，所述導(dǎo)航?jīng)Q策模型包括：
6、掃查最佳切平面導(dǎo)航部分，用于根據(jù)接收到的超聲圖像數(shù)據(jù)計(jì)算并輸出參考修正操作及參考數(shù)值輔助操作者將所述便攜式超聲設(shè)備的超聲探頭定位至最佳切平面；
7、掃查積液分割部分，用于根據(jù)接收到的超聲圖像數(shù)據(jù)對圖像中的積液進(jìn)行實(shí)時分割，得到積液圖像；
8、積液診斷部分，用于對積液圖像進(jìn)行診斷處理得到具有積液判別性的特征圖。
9、所述掃查最佳切平面導(dǎo)航部分融合了sam模型中二維預(yù)訓(xùn)練權(quán)重所蘊(yùn)含的圖像理解能力與三維架構(gòu)醫(yī)療模型sammed3d在醫(yī)療影像分析領(lǐng)域的先進(jìn)性能，同時通過訓(xùn)練三維架構(gòu)模型，實(shí)現(xiàn)了利用現(xiàn)有知識解析超聲圖像數(shù)據(jù)。
10、所述掃查積液分割部分采用unet架構(gòu)，包括編碼器和解碼器，所述編碼器和解碼器具有四個階段，每個階段的輸出均由上一個階段的輸出結(jié)果得到，所述編碼器和解碼器的每個階段之間均采用跳躍連接；所述編碼器采用2d狀態(tài)空間模型作為基本處理單元，利用十字掃描的方式對圖像進(jìn)行四次上下文建模，并分別計(jì)算相應(yīng)的輸出，最后將四個輸出的均值作為下一階段的輸入。
11、所述積液診斷部分包括：
12、基于診斷經(jīng)驗(yàn)權(quán)重的過濾模塊，用于采用空間權(quán)重過濾器對所述積液圖像進(jìn)行過濾處理；
13、基于無關(guān)信息屏蔽的掩碼模塊，用于對過濾處理后的積液圖像進(jìn)行無關(guān)信息屏蔽，得到待測積液圖像；
14、多方向位移窗口注意力結(jié)構(gòu)模塊，用于對所述待測積液圖像的判別性特征進(jìn)行提取和推理，得到具有積液判別性的特征圖。
15、所述空間權(quán)重過濾器的權(quán)重表示為：其中，w為距離圖像上邊緣高度為h的像素的權(quán)重，h表示圖像尺寸的高度，hw用來控制原始圖像信息的保留程度的超參數(shù)，w0表示空間權(quán)重過濾器的最小權(quán)重。
16、所述多方向位移窗口注意力結(jié)構(gòu)模塊包括橫-縱分界膜特征的提取結(jié)構(gòu)、1×1的bottleneck層和shortcut連接層；其中，所述橫-縱分界膜特征的提取結(jié)構(gòu)包括橫向特征提取支路、縱向特征提取支路和斜向特征提取支路，每個支路上均設(shè)置有w-msa模塊與sw-msa模塊，所述w-msa模塊用于窗口內(nèi)的信息運(yùn)算與交互，所述sw-msa模塊用于窗口間的信息交互功能，且不同支路的sw-msa模塊具有不同的結(jié)構(gòu)以獲取各種積液判別性特征；所述w-msa模塊和sw-msa模塊均進(jìn)行基于swin?transformer的自注意力計(jì)算。
17、所述積液診斷部分在訓(xùn)練時還采用基于體脂量模擬的數(shù)據(jù)增強(qiáng)模塊對積液圖像進(jìn)行增強(qiáng)處理，所述基于體脂量模擬的數(shù)據(jù)增強(qiáng)模塊采用高斯模糊方法與隨機(jī)高斯核尺寸模擬不同體脂量的積液圖像。
18、所述導(dǎo)航?jīng)Q策模型在訓(xùn)練時，采用基于分割大模型進(jìn)行自動批量標(biāo)注，具體為：通過對每個視頻數(shù)據(jù)的起始、中段和末段的視頻幀進(jìn)行挑選，選取清晰且有代表性的視頻幀，并由超聲專家進(jìn)行標(biāo)注，構(gòu)成精標(biāo)數(shù)據(jù)集；通過使用圖像編碼器模型，將獲取的精標(biāo)數(shù)據(jù)集編碼為統(tǒng)一圖像特征表示；使用所述圖像編碼器模型對輸入圖像進(jìn)行編碼，并將得到的編碼與精標(biāo)數(shù)據(jù)集的編碼進(jìn)行相似度搜索，獲取最相似的n張輸入圖像，將n張輸入圖像與待標(biāo)注圖像一起輸入seggpt大模型，對輸出進(jìn)行可信度評估和平滑去噪處理后，獲取分割結(jié)果，并由超聲專家對批量標(biāo)注結(jié)果進(jìn)行審核與精修，得到最終的分割數(shù)據(jù)集。
19、所述導(dǎo)航?jīng)Q策模型在訓(xùn)練時，采用基于光流的導(dǎo)航偏移量進(jìn)行自動標(biāo)注，具體為：設(shè)定正方向和負(fù)方向作為每一幀在某個運(yùn)動維度上的標(biāo)簽；基于醫(yī)師采集數(shù)據(jù)，通過光流方向自動計(jì)算便攜式超聲設(shè)備的超聲探頭距離標(biāo)準(zhǔn)位置的偏移標(biāo)簽；對偏移標(biāo)簽進(jìn)行篩選，保留符合標(biāo)準(zhǔn)的偏移標(biāo)簽并進(jìn)行數(shù)值映射處理，得到最終的導(dǎo)航數(shù)據(jù)集以供導(dǎo)航模型訓(xùn)練使用。
20、所述導(dǎo)航?jīng)Q策模型還包括掃查質(zhì)量評估部分，所述掃查質(zhì)量評估部分包括積液初步檢測模塊、圖像質(zhì)量評估模塊和計(jì)算判定模塊；所述積液初步檢測模塊基于積液超聲先驗(yàn)特征，使用圖像配準(zhǔn)技術(shù)，通過將健康人體以及患者人體進(jìn)行圖像配準(zhǔn)，并通過比較配準(zhǔn)圖像的差異性獲取差異性評分，并基于差異性評分來對當(dāng)前位置是否為異常積液位進(jìn)行篩查；所述圖像質(zhì)量評估模塊采用pcp質(zhì)量評估協(xié)議推薦的質(zhì)量度量指標(biāo)對圖像進(jìn)行評估，得到圖像質(zhì)量評分；所述計(jì)算判定模塊結(jié)合所述差異性評分和圖像質(zhì)量評分通過加權(quán)計(jì)算得到回歸評分，并在所述回歸評分超過閾值時進(jìn)行積液診斷處理。
21、有益效果
22、由于采用了上述的技術(shù)方案，本專利技術(shù)與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點(diǎn)和積極效果：本專利技術(shù)可以顯著降低超聲操作使用門檻，對超聲操作基礎(chǔ)無要求，應(yīng)急現(xiàn)場救護(hù)所的全科醫(yī)師、護(hù)師或無經(jīng)驗(yàn)使用者均可在系統(tǒng)引導(dǎo)下完成操作。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述掃查最佳切平面導(dǎo)航部分融合了SAM模型中二維預(yù)訓(xùn)練權(quán)重所蘊(yùn)含的圖像理解能力與三維架構(gòu)醫(yī)療模型SAMMed3D在醫(yī)療影像分析領(lǐng)域的先進(jìn)性能，同時通過訓(xùn)練三維架構(gòu)模型，實(shí)現(xiàn)了利用現(xiàn)有知識解析超聲圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述掃查積液分割部分采用UNet架構(gòu)，包括編碼器和解碼器，所述編碼器和解碼器具有四個階段，每個階段的輸出均由上一個階段的輸出結(jié)果得到，所述編碼器和解碼器的每個階段之間均采用跳躍連接；所述編碼器采用2D狀態(tài)空間模型作為基本處理單元，利用十字掃描的方式對圖像進(jìn)行四次上下文建模，并分別計(jì)算相應(yīng)的輸出，最后將四個輸出的均值作為下一階段的輸入。
4.根據(jù)權(quán)利要求1所述的E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述積液診斷部分包括：
5.根據(jù)權(quán)利要求4所述的E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述空間權(quán)重過濾器的權(quán)重表
6.根據(jù)權(quán)利要求4所述的E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述多方向位移窗口注意力結(jié)構(gòu)模塊包括橫-縱分界膜特征的提取結(jié)構(gòu)、1×1的Bottleneck層和Shortcut連接層；其中，所述橫-縱分界膜特征的提取結(jié)構(gòu)包括橫向特征提取支路、縱向特征提取支路和斜向特征提取支路，每個支路上均設(shè)置有W-MSA模塊與SW-MSA模塊，所述W-MSA模塊用于窗口內(nèi)的信息運(yùn)算與交互，所述SW-MSA模塊用于窗口間的信息交互功能，且不同支路的SW-MSA模塊具有不同的結(jié)構(gòu)以獲取各種積液判別性特征；所述W-MSA模塊和SW-MSA模塊均進(jìn)行基于SWIN?TRANSFORMER的自注意力計(jì)算。
7.根據(jù)權(quán)利要求4所述的E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述積液診斷部分在訓(xùn)練時還采用基于體脂量模擬的數(shù)據(jù)增強(qiáng)模塊對積液圖像進(jìn)行增強(qiáng)處理，所述基于體脂量模擬的數(shù)據(jù)增強(qiáng)模塊采用高斯模糊方法與隨機(jī)高斯核尺寸模擬不同體脂量的積液圖像。
8.根據(jù)權(quán)利要求1所述的E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述導(dǎo)航?jīng)Q策模型在訓(xùn)練時，采用基于分割大模型進(jìn)行自動批量標(biāo)注，具體為：通過對每個視頻數(shù)據(jù)的起始、中段和末段的視頻幀進(jìn)行挑選，選取清晰且有代表性的視頻幀，并由超聲專家進(jìn)行標(biāo)注，構(gòu)成精標(biāo)數(shù)據(jù)集；通過使用圖像編碼器模型，將獲取的精標(biāo)數(shù)據(jù)集編碼為統(tǒng)一圖像特征表示；使用所述圖像編碼器模型對輸入圖像進(jìn)行編碼，并將得到的編碼與精標(biāo)數(shù)據(jù)集的編碼進(jìn)行相似度搜索，獲取最相似的N張輸入圖像，將N張輸入圖像與待標(biāo)注圖像一起輸入SegGPT大模型，對輸出進(jìn)行可信度評估和平滑去噪處理后，獲取分割結(jié)果，并由超聲專家對批量標(biāo)注結(jié)果進(jìn)行審核與精修，得到最終的分割數(shù)據(jù)集。
9.根據(jù)權(quán)利要求1所述的E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述導(dǎo)航?jīng)Q策模型在訓(xùn)練時，采用基于光流的導(dǎo)航偏移量進(jìn)行自動標(biāo)注，具體為：設(shè)定正方向和負(fù)方向作為每一幀在某個運(yùn)動維度上的標(biāo)簽；基于醫(yī)師采集數(shù)據(jù)，通過光流方向自動計(jì)算便攜式超聲設(shè)備的超聲探頭距離標(biāo)準(zhǔn)位置的偏移標(biāo)簽；對偏移標(biāo)簽進(jìn)行篩選，保留符合標(biāo)準(zhǔn)的偏移標(biāo)簽并進(jìn)行數(shù)值映射處理，得到最終的導(dǎo)航數(shù)據(jù)集以供導(dǎo)航模型訓(xùn)練使用。
10.根據(jù)權(quán)利要求1所述的E-FAST超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述導(dǎo)航?jīng)Q策模型還包括掃查質(zhì)量評估部分，所述掃查質(zhì)量評估部分包括積液初步檢測模塊、圖像質(zhì)量評估模塊和計(jì)算判定模塊；所述積液初步檢測模塊基于積液超聲先驗(yàn)特征，使用圖像配準(zhǔn)技術(shù)，通過將健康人體以及患者人體進(jìn)行圖像配準(zhǔn)，并通過比較配準(zhǔn)圖像的差異性獲取差異性評分，并基于差異性評分來對當(dāng)前位置是否為異常積液位進(jìn)行篩查；所述圖像質(zhì)量評估模塊采用PCP質(zhì)量評估協(xié)議推薦的質(zhì)量度量指標(biāo)對圖像進(jìn)行評估，得到圖像質(zhì)量評分；所述計(jì)算判定模塊結(jié)合所述差異性評分和圖像質(zhì)量評分通過加權(quán)計(jì)算得到回歸評分，并在所述回歸評分超過閾值時進(jìn)行積液診斷處理。
...【技術(shù)特征摘要】
1.一種e-fast超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的e-fast超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述掃查最佳切平面導(dǎo)航部分融合了sam模型中二維預(yù)訓(xùn)練權(quán)重所蘊(yùn)含的圖像理解能力與三維架構(gòu)醫(yī)療模型sammed3d在醫(yī)療影像分析領(lǐng)域的先進(jìn)性能，同時通過訓(xùn)練三維架構(gòu)模型，實(shí)現(xiàn)了利用現(xiàn)有知識解析超聲圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的e-fast超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述掃查積液分割部分采用unet架構(gòu)，包括編碼器和解碼器，所述編碼器和解碼器具有四個階段，每個階段的輸出均由上一個階段的輸出結(jié)果得到，所述編碼器和解碼器的每個階段之間均采用跳躍連接；所述編碼器采用2d狀態(tài)空間模型作為基本處理單元，利用十字掃描的方式對圖像進(jìn)行四次上下文建模，并分別計(jì)算相應(yīng)的輸出，最后將四個輸出的均值作為下一階段的輸入。
4.根據(jù)權(quán)利要求1所述的e-fast超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述積液診斷部分包括：
5.根據(jù)權(quán)利要求4所述的e-fast超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述空間權(quán)重過濾器的權(quán)重表示為：其中，w為距離圖像上邊緣高度為h的像素的權(quán)重，h表示圖像尺寸的高度，hw用來控制原始圖像信息的保留程度的超參數(shù)，w0表示空間權(quán)重過濾器的最小權(quán)重。
6.根據(jù)權(quán)利要求4所述的e-fast超聲智能導(dǎo)航與決策系統(tǒng)，其特征在于，所述多方向位移窗口注意力結(jié)構(gòu)模塊包括橫-縱分界膜特征的提取結(jié)構(gòu)、1×1的bottleneck層和shortcut連接層；其中，所述橫-縱分界膜特征的提取結(jié)構(gòu)包括橫向特征提取支路、縱向特征提取支路和斜向特征提取支路，每個支路上均設(shè)置有w-msa模塊與sw-msa模塊，所述w-msa模塊用于窗口內(nèi)的信息運(yùn)算與交互，所述sw-msa模塊用于窗口間的信息交互功能，且不同支路的sw-msa模塊具有不同的結(jié)構(gòu)以獲取各種積液判別性特征；所述w-msa模塊和sw-msa模塊均進(jìn)行基于swin?transformer的自注意力計(jì)算。
7.根據(jù)權(quán)利要求4所述的e-fast超聲智能導(dǎo)航與決策系統(tǒng)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：黃禾菁，彭敦陸，田澤坤，張世奇，
申請(專利權(quán))人：中國人民解放軍海軍軍醫(yī)大學(xué)第二附屬醫(yī)院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。