【技術實現步驟摘要】
本專利技術涉及圖像分析，具體涉及基于低秩適應微調的圖像遮擋物分割方法、系統和裝置。
技術介紹
1、骨盆骨折是一種涉及復雜骨科手術的嚴重創傷，一直是骨科醫生面臨的巨大挑戰。隨著醫療技術的發展，骨盆微創手術因其創傷小、恢復快等優點逐漸成為骨盆骨折治療的新興方法。確保準確的定位和導航對于骨盆微創手術的成功和患者的安全至關重要。骨盆微創手術的定位和導航通常依賴基于2d/3d配準技術，為微創手術提供實時、準確的三維定位。通常以ct為術前3d數據，x-ray為術中2d數據，主要任務是找到最佳的3d轉換，以最大限度地減少2d圖像和3d體之間的不對齊情況。
2、由于患者個體的差異性以及手術過程中必不可少的醫療器械使用，患者的術前ct和術中x-ray圖像可能會存在術中植入螺釘或手術器械等形成的遮擋物，引發圖像失真問題，導致圖像質量降低，進而影響微創手術中后續可能進行的圖像分析、配準等各個環節。因此需要對術前ct和術中x-ray圖像上的遮擋物進行分割，為后續圖像處理及醫生診斷和手術導航提供高質量圖像數據。
3、早期的手術器械分割基于傳統的圖像處理技術，主要依賴于基于形態學的方法、基于先驗知識的方法、濾波器的方法等。然而這些方法通常是針對某一特定的任務或場景設計的，缺乏對復雜和動態變化場景的適應能力。?隨著深度學習的發展，手術器械分割逐漸從傳統方法迅速發展到現代基于深度學習的方法。
4、當前基于深度學習的遮擋物分割方法嚴重依賴于大量的注釋數據進行模型訓練，然而獲取帶有標注的數據非常費時費力，缺乏大規模注釋數據集導致
技術實現思路
1、針對現有技術中存在的上述技術問題，本專利技術提供基于低秩適應微調的圖像遮擋物分割方法、系統和裝置，基于lora微調的sam模型進行遮擋物分割，以微調少量參數得到較好的效果，極大減少了計算資源消耗。
2、本專利技術公開了基于低秩適應微調的圖像遮擋物分割方法，包括以下步驟：通過圖像編碼器的特征提取組件對輸入圖像進行特征提取，所述特征提取組件包括具有lora分支的自注意力機制；通過掩碼解碼器和特征，對圖像進行分割，獲得遮擋物的分割圖。
3、優選的，所述自注意力機制的投影層設置有lora分支。
4、優選的，自注意力機制的q投影層和v投影層分別設置有lora分支。
5、優選的，所述lora分支包括兩個線性層，lora分支的第二權重矩陣和輸出表示為：
6、；
7、其中，表示為lora分支的輸出，表示為lora分支的第二權重矩陣， f表示為輸入的令牌序列， w是投影層的第一權重矩陣， a和 b分別是lora分支的線性層。
8、優選的，自注意力機制的輸出投影表示為：
9、；
10、其中， att(q,k,v)表示為輸出投影， w q、 w k、 w v分別為 q、 k和 v投影層的第一權重矩陣； a q、 b q、 a v和 b v分別是lora分支的可訓練參數， c out表示為輸出令牌序列的通道數。
11、優選的，二維x-ray圖像遮擋物的分割網絡包括圖像編碼器和掩碼解碼器，圖像編碼器的特征提取組件包括變壓器模塊，
12、變壓器模塊包括第一歸一化層、具有lora分支的自注意力機制、第二歸一化層和多層感知機；
13、變壓器模塊提取二維x-ray圖像特征的方法包括：
14、二維x-ray圖像的嵌入塊經第一歸一化層和自注意力機制后與嵌入塊對齊，獲得第一融合特征；
15、第一融合特征經第二歸一化層和多層感知機后與第一融合特征對齊，獲得輸出特征。
16、優選的，掩碼解碼器包括多個依次連接的解碼單元，解碼單元由依次連接的上采樣和兩個解碼組件組成，解碼組件包括依次連接的非線性激活函數、歸一化層bn和卷積層。
17、優選的，三維ct圖像遮擋物的分割網絡包括圖像編碼器和掩碼解碼器，圖像編碼器由塊嵌入模塊、位置嵌入模塊和多個基于注意力機制的特征提取組件組成；
18、塊嵌入模塊用于將輸入的ct圖像分割成小的3d?patches，并將每個patch嵌入到高維特征向量中，獲得嵌入向量；
19、位置嵌入模塊用于將3d位置編碼添加到嵌入向量中，保留空間位置和信息；
20、特征提取組件用于特征提取，由多頭自注意力機制、前饋網絡組成；
21、掩碼解碼器包括變壓器模塊、轉置卷積模塊和多層感知機；
22、變壓器模塊用于接收到來自編碼器的特征，并結合自身的輸入，進一步處理特征信息；
23、轉置卷積模塊用于轉置卷積操作，對特征信息進行上采樣，將低分辨率特征恢復為高分辨率特征，逐步恢復到原始分辨率；
24、多層感知機mlp用于對高分辨率特征進一步處理和特征融合，輸出遮擋物分割圖。
25、本專利技術還公開了一種用于實現上述圖像遮擋物分割方法的系統，包括特征提取模塊和解碼模塊，
26、所述特征提取模塊用于通過圖像編碼器的特征提取組件對輸入圖像進行特征提取，所述特征提取組件包括具有lora分支的自注意力機制；
27、所述解碼模塊用于通過掩碼解碼器和所述特征，對圖像進行分割，獲得遮擋物的分割圖。
28、本專利技術還提供一種裝置，包括輸入單元、處理單元和輸出單元，
29、所述輸入單元用于獲得輸入圖像；
30、所述處理單元用于執行代碼，處理單元處理所述代碼時，執行上述的圖像遮擋物分割方法，
31、所述輸出單元用于輸出遮擋物的分割圖。
32、與現有技術相比，本專利技術的有益效果為：lora分支允許sam在醫學圖像的訓練過程中只更新小部分參數，不僅節省了計算和存儲開銷，而且保證分割性能的同時還降低了模型微調的難度；刪除提示編碼器模塊允許模型不依賴任何提示就完成自動分割。
本文檔來自技高網...【技術保護點】
1.一種基于低秩適應微調的圖像遮擋物分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的圖像遮擋物分割方法，其特征在于，自注意力機制的Q投影層和V投影層分別設置有LoRA分支。
3.根據權利要求2所述的圖像遮擋物分割方法，其特征在于，所述LoRA分支包括兩個線性層。
4.根據權利要求3所述的圖像遮擋物分割方法，其特征在于，LoRA分支的第二權重矩陣和輸出表示為：
5.根據權利要求4所述的圖像遮擋物分割方法，其特征在于，自注意力機制的輸出投影表示為：
6.根據權利要求1所述的圖像遮擋物分割方法，其特征在于，二維X-ray圖像遮擋物的分割網絡包括圖像編碼器和掩碼解碼器，圖像編碼器的特征提取組件包括變壓器模塊，
7.根據權利要求6所述的圖像遮擋物分割方法，其特征在于，掩碼解碼器包括多個解碼單元，解碼單元由依次連接的上采樣和兩個解碼組件組成，解碼組件包括依次連接的非線性激活函數、歸一化層BN和卷積層。
8.根據權利要求1所述的圖像遮擋物分割方法，其特征在于，三維CT圖像遮擋物的分割網絡包括圖像編
9.一種圖像遮擋物分割系統，其特征在于，用于實現如權利要求1-8任一項所述的圖像遮擋物分割方法，所述系統包括特征提取模塊和解碼模塊，
10.一種圖像遮擋物分割裝置，其特征在于，包括輸入單元、處理單元和輸出單元，
...【技術特征摘要】
1.一種基于低秩適應微調的圖像遮擋物分割方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的圖像遮擋物分割方法，其特征在于，自注意力機制的q投影層和v投影層分別設置有lora分支。
3.根據權利要求2所述的圖像遮擋物分割方法，其特征在于，所述lora分支包括兩個線性層。
4.根據權利要求3所述的圖像遮擋物分割方法，其特征在于，lora分支的第二權重矩陣和輸出表示為：
5.根據權利要求4所述的圖像遮擋物分割方法，其特征在于，自注意力機制的輸出投影表示為：
6.根據權利要求1所述的圖像遮擋物分割方法，其特征在于，二維x-ray圖像遮擋物的分割網絡包括圖像編碼器和掩碼解碼器，圖像編碼器的特征提取...
【專利技術屬性】
技術研發人員：句福嬌，王雅，朱紹濤，趙晶鑫，
申請(專利權)人：北京工業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。