本發明專利技術提出一種基于邊緣強化以及自注意力機制的3D超聲心動圖左右心室三維建模的方法，將含時序的超聲心動圖數據拆解成單幀三維數據。對于單幀三維數據，利用基于自注意力雙分支網絡實現對于左右心室的分割，該網絡通過雙分支的結構強化了模型對于邊緣處特征的學習能力，并通過在網絡底層引入全局自注意力以提高全局上下文信息的捕獲能力。完成所有單幀的三維分割后實現所有幀三維心臟左右心室模型的可視化，并串接成完整心動周期下的左右心室分割序列。本發明專利技術通過自注意力雙分支網絡實現了對于3D超聲心動圖的高效且精細分割。在保證分割精度的條件下，減少了超聲心動圖數據人力三維建模的時間，提高了醫生的診斷效率，具有極高的臨床應用價值。有極高的臨床應用價值。有極高的臨床應用價值。
【技術實現步驟摘要】
一種基于邊緣強化以及自注意力機制的3D超聲心動圖左右心室三維建模的方法
[0001]本專利技術涉及心室三維建模
，尤其涉及一種基于邊緣強化以及自注意力機制的3D超聲心動圖左右心室三維建模的方法。
技術介紹
[0002]三維超聲心動圖是最常見的心臟成像方式，已被證明可有效診斷和管理心力衰竭、缺血、瓣膜疾病和先天性異常等。相比于二維超聲圖像，其包含更加豐富的結構信息。同時，由于成本低、無輻射和實時性，三維超聲心動圖比磁共振成像和計算機斷層掃描更廣泛地用于小兒心臟病的診斷。在基于超聲心動圖的分析中，一些結構性心臟病可以通過超聲視圖直接觀察。然而，心臟功能的評估通常依賴于一些測量參數，例如量化的心臟血流動力學參數、心室容積等。為了計算這些參數，心臟病專家通常必須在三維超聲心動圖中手動分割心臟邊界。這是一個耗時的過程，并且易于重現性差。因此，左心室和右心室的自動準確分割和三維建模可以大大提高醫師的診斷效率，在臨床中有很大的應用前景。
[0003]然而，由于缺乏完備分割標注的三維超聲心動圖數據集，現有方法大多針對二維超聲心動圖進行分析。例如，申請號為CN201911242976.9的專利技術專利實現了在心尖兩腔心二維切面、心尖三腔心二維切面、心尖四腔心二維切面中的左心室內膜、左心室外膜、左心房內膜、右心室內膜、右心室外膜的輪廓至少一種進行分割。申請號為CN202010020124.1的專利技術專利公開了一種基于U
?
Net超聲胎心和胎肺深度學習聯合分割方法，其本質上仍然是針對二維數據的一種分析方法，所獲得的分割結果無法直觀的展現心室結構的全貌。此外，申請號為CN201911069586.6的專利技術專利公開了一種基于超聲成像構建三維心臟模型的方法。在具體實施方案中網絡模型使用的依然是基于二維卷積的方法，并且最終結果僅僅實現了單幀三維可視化結果。考慮到三維超聲心動圖包含時間序列，部分需要結合舒張壓末期與收縮壓末期狀態進行分析指標(例如射血分數等)難以獲取。
技術實現思路
[0004]本專利技術的目的在于提出一種構建的左右心室三維分割模型，可用于觀測單一時刻左右心室的結構并計算相關參數，同時可以結合時間軸觀測到一個心動周期內左右心室的變化。
[0005]為達到上述目的，本專利技術提出一種基于邊緣強化以及自注意力機制的3D超聲心動圖左右心室三維建模的方法，包括如下步驟：
[0006]S1：構建訓練數據集：獲取三維超聲心動圖序列數據，將序列數據拆解為單幀數據，對其中的舒張壓末期圖像與收縮壓末期圖像的左右心室進行三維分割標注，并對圖像尺寸統一裁剪；
[0007]S2：分割模型的構構建：構造并訓練一種基于自注意力雙分支網絡以實現在三維超聲數據中同時分割左右心室：
[0008]S3：單幀數據三維重建與可視化：在建模時，逐幀基于分割模型的預測結果生成左右心室的三維模型；
[0009]S4：結合完整心動周期數據，生成完整心動周期左右心室運動狀態視頻，同時根據分割結果，得到心臟參數。
[0010]進一步的，所述S1包括以下步驟：
[0011]S1.1：將超聲診斷儀采集到的原始數據解碼為計算機可以處理的三維超聲心動圖序列數據；
[0012]S1.2：從所述三維超聲心動圖序列數據中抽取舒張壓末期和收縮壓末期的三維超聲數據，并手動繪制左右心室分割標注，構造訓練數據集；
[0013]S1.3：將圖像統一設置為一組指定的尺寸，通過中心裁剪的方式獲得覆蓋心臟區域的統一尺寸的超聲圖像及其對應的標注圖像，并通過平滑與邊緣增強以獲混合邊緣圖作為輔助分支的輸入。
[0014]進一步的，在所述S1.3包括以下步驟：
[0015]S1.31：將中心裁剪的圖像通過空間中值濾波獲得抑制脈沖噪聲后的平滑圖像I
Mid
；
[0016]S1.32：在軸向，冠向，矢向三個方向分別通過Sobel算子提取到邊緣圖，并通過求算數平均的方法得到最終的邊緣圖I
Edge
；
[0017]S1.33：將兩個圖的像素值相加得到混合邊緣圖I
Mix
，即I
Mix
＝I
Mid
+I
Edge
；
[0018]S1.34：通過形態學腐蝕算法去除超聲波扇區邊緣的高光，以得到最終輔助分支的輸入。
[0019]進一步的，所述S2包括以下步驟：
[0020]S2.1：分割模型由兩個結構相近的編解碼網絡構成；主分支使用超聲數據作為輸入，用于從原始超聲數據中提取特征；輔助分支使用邊緣增強的數據作為輸入，用于向主分支補充更加豐富的邊緣與結構信息；
[0021]S2.2：在分割模型編碼器的最底層，使用基于Transformer的方法，通過互相關性計算，生成自注意力以捕獲輸入數據的全局上下文信息；
[0022]S2.3：訓練過程直到全卷積網絡收斂，輸出訓練完成的網絡。
[0023]進一步的，所述主分支和輔助分支均包括一個編碼器和一個解碼器，在編碼器之后解碼器之前有一全局自注意力模塊；
[0024]所述編碼器包含4個降采樣塊，每個降采樣塊中包含2到3個3D卷積層，通過一個跨步卷以壓縮特征圖尺寸；
[0025]所述解碼器包含對應的4個上采樣塊，每個上采樣塊中包含2到3個3D卷積層，通過一個反卷積卷以擴大特征圖尺寸；
[0026]主支路與輔助支路各自的編解碼器之間通過跳躍連接，以實現同一輸入類型下高維特征與低維特征的信息傳遞；同時，主支路與輔助支路之間在同階段通過跳躍連接，以實現對主支路邊緣特征的強化。
[0027]進一步的，所述S3包括以下步驟：
[0028]S3.1：將需要預測的超聲序列數據按照步驟S1執行完后，作為步驟S2所訓練收斂的分割預測模型的輸入，所得到的輸出再依照步驟S1.2的逆變換，通過最近鄰插值和三維
padding的方法恢復至原輸入尺寸；
[0029]S3.2：將分割結果體素數據三維可視化。
[0030]進一步的，所述S4包括以下步驟：
[0031]S4.1：在步驟S3.2的基礎上對隸屬于同一心動周期內的所有幀數據執行相同的操作，以獲得完整心動周期內左右心室形態變化的三維可視化；
[0032]S4.2：結合單幀分割結果可計算出左右心室的參數指標。
[0033]與現有技術相比，本專利技術的優勢之處在于：
[0034]1、本專利技術提出了一種基于超聲心動圖序列構建三維左右心室模型的方法，分割進精度高且運行速度快，單幀分割時間<6s，每位患者一個完整心動周期的3D分割實現約在1
?
2mi n以內，同時可以直觀的呈現一個完整心動周期內左右心室的形狀變化，可以提高心胸外科醫師的工作效率，具有很高的應用價值。
[0035]2、本專利技術所提出的雙分支結構保留了來自原始超聲數據的紋理信息，強化了心臟結構的邊緣信息，同時抑制了超聲數據中斑點噪聲對于預測結果的影本文檔來自技高網...
【技術保護點】
【技術特征摘要】
1.一種基于邊緣強化以及自注意力機制的3D超聲心動圖左右心室三維建模的方法，其特征在于，包括如下步驟：S1：構建訓練數據集：獲取三維超聲心動圖序列數據，將序列數據拆解為單幀數據，對其中的舒張壓末期圖像與收縮壓末期圖像的左右心室進行三維分割標注，并對圖像尺寸統一裁剪；S2：分割模型的構構建：構造并訓練一種基于自注意力雙分支網絡以實現在三維超聲數據中同時分割左右心室；S3：單幀數據三維重建與可視化：在建模時，逐幀基于分割模型的預測結果生成左右心室的三維模型；S4：結合完整心動周期數據，生成完整心動周期左右心室運動狀態視頻，同時根據分割結果，得到心臟參數。2.根據權利要求1所述的基于邊緣強化以及自注意力機制的3D超聲心動圖左右心室三維建模的方法，其特征在于，所述S1包括以下步驟：S1.1：將超聲診斷儀采集到的原始數據解碼為計算機可以處理的三維超聲心動圖序列數據；S1.2：從所述三維超聲心動圖序列數據中抽取舒張壓末期和收縮壓末期的三維超聲數據，并手動繪制左右心室分割標注，構造訓練數據集；S1.3：將圖像統一設置為一組指定的尺寸，通過中心裁剪的方式獲得覆蓋心臟區域的統一尺寸的超聲圖像及其對應的標注圖像，并通過平滑與邊緣增強以獲混合邊緣圖作為輔助分支的輸入。3.根據權利要求2所述的基于邊緣強化以及自注意力機制的3D超聲心動圖左右心室三維建模的方法，其特征在于，在所述S1.3包括以下步驟：S1.31：將中心裁剪的圖像通過空間中值濾波獲得抑制脈沖噪聲后的平滑圖像I
Mid
；S1.32：在軸向，冠向，矢向三個方向分別通過Sobel算子提取到邊緣圖，并通過求算數平均的方法得到最終的邊緣圖I
Edge
；S1.33：將兩個圖的像素值相加得到混合邊緣圖I
Mix
，即I
Mix
＝I
Mid
+I
Edge
；S1.34：通過形態學腐蝕算法去除超聲波扇區邊緣的高光，以得到最終輔助分支的輸入。4.根據權利要求3所述...
【專利技術屬性】
技術研發人員：王永雄，張佳鵬，劉金龍，陳麗君，朱凱群，
申請(專利權)人：上海交通大學醫學院附屬上海兒童醫學中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。