【技術實現步驟摘要】
本申請涉及智慧醫療系統，尤其涉及一種基于增強現實技術的骨骼圖像疊加呈現方法及系統。
技術介紹
1、在骨折診斷和治療中，醫學影像技術起著至關重要的作用。常用的影像技術包括x射線(x-ray)、計算機斷層掃描(ct)和磁共振成像(mri)。盡管這些技術在臨床應用中得到了廣泛應用，但它們在骨折影像呈現方面仍存在顯著的局限性。
2、傳統的二維影像技術，如x射線圖像，雖然能夠提供骨折部位的平面視圖，但缺乏立體感，使得醫生在診斷和治療過程中需要依靠自己的空間想象力來判斷骨折的三維結構。這種方式不僅增加了誤診的風險，還可能導致治療方案的不準確，延長患者的康復時間。ct和mri雖然可以提供更詳細的斷層圖像，但它們仍然是二維的，醫生需要通過多張斷層圖像來拼湊出三維結構，這個過程既耗時又容易出錯。
3、此外，在骨折手術過程中，醫生通常依靠術前拍攝的影像資料來制定手術方案，并在手術過程中依賴相應影像的手術方案進行操作。然而，現有的影像技術無法提供實時的視覺指導，醫生需要依靠自身的經驗和影像記憶來判斷手術中的細節，不僅增加了手術的復雜性和風險，還可能導致手術時間延長，增加患者的痛苦和醫療成本。
4、針對上述問題，目前業界暫未提出較佳的技術解決方案。
技術實現思路
1、本申請實施例提供了一種基于增強現實技術的骨骼圖像疊加呈現方法及系統，用于至少解決目前相關技術中的二維影像技術無法為醫生提供實時視覺指導的問題。
2、第一方面，本申請實施例提供一種基于增強現實技術
3、l＝λraylray+λfeatlfeat
4、
5、
6、式中，lfeat表示特征匹配損失項，確保融合特征與輸入特征在特征空間中的一致性；lray表示光線一致性約束損失項，用于確保融合特征在光線傳播路徑上的一致性；λray和λfeat分別是相應損失項的權重系數；p表示光線上的一個點，p表示所有光線點的集合，ffusion(p)表示點p處的融合特征，r(p)表示光線模型在點p處的特征值；f表示特征圖上的一個點，f表示特征圖上所有點的集合，ffusion(f)表示點f處的融合特征，finput(f)表示點f處的輸入特征；
7、基于光線模型調整所述特征融合網絡中各個卷積核的權重，以提高卷積提取的特征的光線一致性：
8、
9、
10、
11、
12、式中，fconv表示卷積后的特征圖，和b(k)分別表示第k個卷積核的權重和偏置項，表示輸入特征圖的第k個通道，*表示卷積操作，σ表示relu激活函數；表示第k個卷積核的基礎權重；α表示調整系數，用于控制光線模型對卷積核權重的影響程度；表示由光線模型引導第k個卷積核的調整權重；wi表示第i條光線的權重，pi表示第i條光線上的所有點的集合，表示第i條光線在第k個卷積核中的特征值，n表示光線的數量；ri(p)表示第i條光線在點p處的特征值，θ表示控制權重分布的超參數，z表示歸一化因子；
13、基于所述多模態融合特征重建骨折部三維模型；
14、將所重建的骨折部三維模型與實際手術場景中的患者骨折區域進行對齊校準。
15、第二方面，本申請實施例提供一種基于增強現實技術的骨骼圖像疊加呈現方法，所述系統包括：數據獲取單元，用于獲取針對患者骨折區域的骨折影像數據，所述骨折影像數據包含ct圖像、x線圖像和光場圖像；光線模型解析單元，用于解析所述光場圖像所對應的光線模型；所述光線模型提供了光線在患者骨折區域空間中的傳播信息；融合特征確定單元，用于基于所述光線模型和特征融合網絡確定所述骨折影像數據所對應的多模態融合特征；所述特征融合網絡采用卷積神經網絡；其中，在特征融合過程中，利用光線模型作為引導信息，在特征融合網絡中引入光線一致性約束，確保融合特征在光線傳播路徑上的一致性，所述特征融合網絡的損失函數l為：
16、l＝λraylray+λfeatlfeat
17、
18、
19、式中，lfeat表示特征匹配損失項，確保融合特征與輸入特征在特征空間中的一致性；lray表示光線一致性約束損失項，用于確保融合特征在光線傳播路徑上的一致性；λray和λfeat分別是相應損失項的權重系數；p表示光線上的一個點，p表示所有光線點的集合，ffusion(p)表示點p處的融合特征，r(p)表示光線模型在點p處的特征值；f表示特征圖上的一個點，f表示特征圖上所有點的集合，ffusion(f)表示點f處的融合特征，finput(f)表示點f處的輸入特征；
20、基于光線模型調整所述特征融合網絡中各個卷積核的權重，以提高卷積提取的特征的光線一致性：
21、
22、
23、
24、
25、式中，fconv表示卷積后的特征圖，和b(k)分別表示第k個卷積核的權重和偏置項，表示輸入特征圖的第k個通道，*表示卷積操作，σ表示relu激活函數；表示第k個卷積核的基礎權重；α表示調整系數，用于控制光線模型對卷積核權重的影響程度；表示由光線模型引導第k個卷積核的調整權重；wi表示第i條光線的權重，pi表示第i條光線上的所有點的集合，表示第i條光線在第k個卷積核中的特征值，n表示光線的數量；ri(p)表示第i條光線在點p處的特征值，θ表示控制權重分布的超參數，z表示歸一化因子；
26、三維模型構建單元，用于基于所述多模態融合特征重建骨折部三維模型；
27、對齊校準單元，用于將所重建的骨折部三維模型與實際手術場景中的患者骨折區域進行對齊校準。
28、第三方面，本申請實施例提供一種電子設備，其包括：至少一個處理器，以及與所述至少一個處理器通信連接的存儲器，其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行上述方法的步驟。
29、第四方面，本申請實施例提供一種存儲介質，所述存儲介質中存儲有一個或多個包括執行指令的程序代碼，所述程序代碼能夠被電子設備(包括但不限于計算機，處理器，服務器，或者網絡設備等)讀取并執行，以用于執行本申請上述方法的步驟。
30、第五方面，本申請實施例還提供一種計算機程序產品，所述計算機程序產品包括存儲在存儲介質上的計算機程序，所述計算機程序包括程序指本文檔來自技高網...
【技術保護點】
1.一種基于增強現實技術的骨骼圖像疊加呈現方法，應用于AR眼鏡，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，在特征融合過程中，利用光線模型作為引導信息，在特征融合網絡中引入光線一致性約束，確保融合特征在光線傳播路徑上的一致性，所述特征融合網絡的損失函數L為：
3.根據權利要求2所述的方法，其特征在于，基于光線模型調整所述特征融合網絡中各個卷積核的權重，以提高卷積提取的特征的光線一致性：
4.根據權利要求1所述的方法，其特征在于，所述獲取針對患者骨折區域的骨折影像數據，包括：
5.根據權利要求4所述的方法，其特征在于，所述解析所述光場圖像所對應的光線模型，包括：
6.根據權利要求5所述的方法，其特征在于，所述基于所述多模態融合特征重建骨折部三維模型，包括：
7.根據權利要求6所述的方法，其特征在于，AR眼鏡設置有光學跟蹤模塊，
8.一種基于增強現實技術的骨骼圖像疊加呈現系統，用于實現權利要求1-7中任一項所述的方法，其特征在于，所述系統包括：
9.一種電子設備，
10.一種存儲介質，其特征在于，所述存儲介質中存儲有程序代碼，所述程序代碼可被處理器調用執行如權利要求1至7中任一項所述的方法。
...【技術特征摘要】
1.一種基于增強現實技術的骨骼圖像疊加呈現方法，應用于ar眼鏡，其特征在于，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，在特征融合過程中，利用光線模型作為引導信息，在特征融合網絡中引入光線一致性約束，確保融合特征在光線傳播路徑上的一致性，所述特征融合網絡的損失函數l為：
3.根據權利要求2所述的方法，其特征在于，基于光線模型調整所述特征融合網絡中各個卷積核的權重，以提高卷積提取的特征的光線一致性：
4.根據權利要求1所述的方法，其特征在于，所述獲取針對患者骨折區域的骨折影像數據，包括：
5.根據權利要求4所述的方法，...
【專利技術屬性】
技術研發人員：崔翔，馬馳，張里程，王加旭，江渝，談樞懷，楊昊漢，覃凱華，
申請(專利權)人：中國人民解放軍總醫院第四醫學中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。