【技術實現(xiàn)步驟摘要】
本專利技術涉及靜脈藥物配置教學，尤指一種基于深度學習的靜脈藥物配置的教學系統(tǒng)。
技術介紹
1、靜脈藥物配置是醫(yī)療行業(yè)中極其重要的操作環(huán)節(jié)，特別是在藥物混合、劑量調(diào)整和標簽管理等方面，任何操作失誤都會直接影響到患者的治療效果，甚至可能導致嚴重的醫(yī)療事故。傳統(tǒng)的靜脈藥物配置操作培訓主要依賴于人力培訓與手工操作，存在以下問題：藥物配置需要精確的操作步驟和嚴格的規(guī)范，這對學習者的操作技能提出了很高要求。手動訓練難以實現(xiàn)精細的操作反饋，且教學過程依賴于資深醫(yī)療人員的指導，且需要耗費大量的場地和器材設備，難以大規(guī)模應用，同時，每位學習者的操作技能水平不同，傳統(tǒng)培訓往往采用統(tǒng)一的標準，對個性化學習需求的響應較弱。高水平的學習者無法獲得更具挑戰(zhàn)性的訓練內(nèi)容，而技能較弱的學習者則難以適應較高難度的操作任務。
技術實現(xiàn)思路
1、為解決上述問題，本專利技術提供一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，通過虛擬仿真和深度學習算法，實現(xiàn)高精度的靜脈藥物配置操作訓練，并提供實時反饋與個性化訓練支持。
2、為實現(xiàn)上述目的，本專利技術采用的技術方案是：
3、一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，包括依次連接的數(shù)據(jù)采集模塊、三維空間模擬模塊、變量捕捉模塊、操作評分模塊和個性化練習模塊，所述個性化練習模塊與所述三維空間模擬模塊連接；
4、所述數(shù)據(jù)采集模塊用于獲取靜脈藥物配置的實景視頻數(shù)據(jù)并進行數(shù)據(jù)標注；
5、所述三維空間模擬模塊用于基于靜脈藥物配置的實景視頻數(shù)據(jù)構(gòu)建
6、所述變量捕捉模塊用于執(zhí)行以下步驟：
7、s1、獲取三維場景進行靜脈藥物配置操作的視頻數(shù)據(jù)；
8、s2、對靜脈藥物配置的三維場景的操作視頻數(shù)據(jù)執(zhí)行拆幀得到幀圖像集，對幀圖像集中的變量對象進行語義分割訓練，得到變量捕捉模型；
9、s3、基于靜脈藥物配置的三維場景的操作視頻數(shù)據(jù)的幀圖像集，通過變量捕捉模型進行變量跟蹤并生成變量路徑矩陣；
10、所述操作評分模塊用于以變量路徑矩陣為輸入，以對應打分數(shù)據(jù)為輸出，構(gòu)建基于卷積神經(jīng)網(wǎng)絡的評分模型，還用于通過評分模型對實時輸入的實景視頻數(shù)據(jù)生成評分結(jié)果并提取扣分項進行錯誤操作提示；
11、所述個性化練習模塊用于根據(jù)評分結(jié)果對三維場景中的靜脈藥物的類型和數(shù)量進行梯度調(diào)整。
12、進一步地，所述靜脈藥物配置的三維場景包括審方、打印標簽、貼簽擺藥、擺藥核對、混合調(diào)配、成品核對、成品包裝和分區(qū)放置；所述變量對象包括靜脈藥物、藥物標簽、工具及操作臺。
13、進一步的，所述基于靜脈藥物配置的實景視頻數(shù)據(jù)構(gòu)建靜脈藥物配置的三維場景包括以下步驟：
14、對實景視頻數(shù)據(jù)進行幀分割，提取每一幀中的關鍵特征點生成特征點矩陣，包括靜脈藥物、藥物標簽、工具及操作臺的特征點；
15、通過多視角圖像匹配算法對不同視角的特征點進行關聯(lián)，生成對應的深度信息矩陣；
16、基于深度信息矩陣，對場景中的變量對象進行三維重建，生成靜脈藥物配置的三維場景。
17、進一步地，所述s2包括以下步驟：
18、將幀圖像集輸出至通過deeplab的主干網(wǎng)絡進行特征提取得到特征圖；
19、通過空洞空間金字塔池化模塊將特征圖進行多尺度上下文信息融合；
20、通過反卷積操作將經(jīng)過空洞空間金字塔池化模塊處理的特征圖恢復到原始尺寸，生成變量分割掩碼；
21、將生成的變量分割掩碼與標注數(shù)據(jù)進行交叉熵損失計算，并通過adam優(yōu)化器調(diào)整網(wǎng)絡權(quán)重，得到變量捕捉模型。
22、進一步地，所述s3包括以下步驟：
23、基于靜脈藥物配置的三維場景的操作視頻數(shù)據(jù)的幀圖像集，通過變量捕捉模型生成對應的變量分割掩碼，并為其中每個變量對象生成唯一的標識符，同時初始化其空間位置和姿態(tài)；
24、基于長短期記憶網(wǎng)絡對不同幀圖像中的變量對象進行連續(xù)跟蹤，輸出其在不同幀之間的運動軌跡，生成初步路徑矩陣；
25、通過卡爾曼濾波算法對初步路徑矩陣進行噪聲消除，生成變量路徑矩陣。
26、進一步地，所述長短期記憶網(wǎng)絡的公式如下：
27、
28、其中，ht為當前時刻的隱藏狀態(tài)輸出，用于反映當前操作步驟的狀態(tài)；ot為輸出門的輸出，用于控制傳遞到下一時刻的信息；ft為遺忘門的輸出，用于決定前一時刻的細胞狀態(tài)ct-1需要保留的信息；ct-1為前一幀圖像的信息；為候選的當前幀圖像的信息；α為權(quán)重參數(shù)，用于動態(tài)調(diào)節(jié)不同變量對象的權(quán)重；δt為變量對象在操作過程中的時間差分變化。
29、進一步地，所述打分數(shù)據(jù)包括準確度評分、規(guī)范性評分和效率評分。
30、進一步地，所述提取扣分項進行錯誤操作提示包括以下步驟：
31、通過卷積神經(jīng)網(wǎng)絡對變量路徑矩陣的時空特征進行實時分析，監(jiān)測變量對象在操作過程中的軌跡偏差，通過計算操作路徑與標準路徑的歐氏距離和動態(tài)時間規(guī)整值，識別不符合標準的操作步驟；
32、將檢測到的操作偏差標記為扣分項，通過視覺或文本進行實時可視化。
33、進一步地，所述根據(jù)評分結(jié)果對三維場景中的靜脈藥物的類型和數(shù)量進行梯度調(diào)整包括：
34、根據(jù)用戶的評分結(jié)果，與預設的評分閾值進行比對，若評分結(jié)果大于或等于閾值時，通過預設梯度增加三維場景中靜脈藥物配置的類型和數(shù)量；若評分結(jié)果低于評分閾值，通過預設梯度減少三維場景中靜脈藥物配置的類型和數(shù)量。
35、本專利技術的有益效果在于：本專利技術通過獲取靜脈藥物配置的實景視頻數(shù)據(jù)構(gòu)建靜脈藥物配置的三維場景，采集用戶在三維虛擬場景中的操作數(shù)據(jù)進行語義分割，對變量對象通過長短期記憶網(wǎng)絡(lstm)對操作軌跡進行跟蹤，得到變量路徑矩陣并通過卷積神經(jīng)網(wǎng)絡生成操作評分，及時識別錯誤操作并提供實時反饋。無需耗費大量的場地和器材設備減少了場地和器材的成本，僅需通過電腦或vr設備接入三維場景即可進行靜脈藥物配置的練習。相比傳統(tǒng)手動培訓依賴事后評價的方式，本方案能夠在操作過程中通過語義分割和模型評估即時反饋錯誤，幫助學員在每一操作步驟中及時糾正，極大提高了操作的精確性和學習效果。再通過操作評分模塊和個性化練習模塊結(jié)合，實現(xiàn)了根據(jù)用戶操作表現(xiàn)的智能調(diào)整。具體而言，當系統(tǒng)檢測到用戶的操作評分較高時，自動增加藥物類型和數(shù)量以提高訓練難度，從而提供更具挑戰(zhàn)的任務；反之，若評分較低，系統(tǒng)則動態(tài)降低任務復雜度，減少藥物種類與操作步驟，以確保用戶能逐步掌握基本操作技能。此種梯度調(diào)整機制，確保每個學員的訓練難度與其技能水平相匹配，真正實現(xiàn)個性化的教學路徑規(guī)劃，顯著提高了培訓的針對性和有效性。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，包括依次連接的數(shù)據(jù)采集模塊、三維空間模擬模塊、變量捕捉模塊、操作評分模塊和個性化練習模塊，所述個性化練習模塊與所述三維空間模擬模塊連接；
2.根據(jù)權(quán)利要求1所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，所述靜脈藥物配置的三維場景包括審方、打印標簽、貼簽擺藥、擺藥核對、混合調(diào)配、成品核對、成品包裝和分區(qū)放置；所述變量對象包括靜脈藥物、藥物標簽、工具及操作臺。
3.根據(jù)權(quán)利要求1所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，所述基于靜脈藥物配置的實景視頻數(shù)據(jù)構(gòu)建靜脈藥物配置的三維場景包括以下步驟：
4.根據(jù)權(quán)利要求1所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，所述S2包括以下步驟：
5.根據(jù)權(quán)利要求1所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，所述S3包括以下步驟：
6.根據(jù)權(quán)利要求5所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，所述長短期記憶網(wǎng)絡的公式如下：
7.根據(jù)權(quán)利要求1所述
8.根據(jù)權(quán)利要求1所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，所述提取扣分項進行錯誤操作提示包括以下步驟：
9.根據(jù)權(quán)利要求1所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，所述根據(jù)評分結(jié)果對三維場景中的靜脈藥物的類型和數(shù)量進行梯度調(diào)整包括：
...【技術特征摘要】
1.一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，包括依次連接的數(shù)據(jù)采集模塊、三維空間模擬模塊、變量捕捉模塊、操作評分模塊和個性化練習模塊，所述個性化練習模塊與所述三維空間模擬模塊連接；
2.根據(jù)權(quán)利要求1所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，所述靜脈藥物配置的三維場景包括審方、打印標簽、貼簽擺藥、擺藥核對、混合調(diào)配、成品核對、成品包裝和分區(qū)放置；所述變量對象包括靜脈藥物、藥物標簽、工具及操作臺。
3.根據(jù)權(quán)利要求1所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于，所述基于靜脈藥物配置的實景視頻數(shù)據(jù)構(gòu)建靜脈藥物配置的三維場景包括以下步驟：
4.根據(jù)權(quán)利要求1所述的一種基于深度學習的靜脈藥物配置的教學系統(tǒng)，其特征在于...
【專利技術屬性】
技術研發(fā)人員：婁巖，羅亞梅，徐東雨，劉佳，袁紅，劉玉清，劉夢蘿，
申請(專利權(quán))人：西南醫(yī)科大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。