【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于醫(yī)療考核，具體涉及一種基于人工智能的內(nèi)鏡情景模擬教學(xué)考核自動評分方法及系統(tǒng)。
技術(shù)介紹
1、內(nèi)鏡模擬教學(xué)是借助模擬系統(tǒng)對醫(yī)學(xué)生或醫(yī)生進(jìn)行內(nèi)鏡相關(guān)知識與技能教學(xué)的一種方式。傳統(tǒng)的內(nèi)鏡教學(xué)直接在患者身上進(jìn)行操作練習(xí)存在風(fēng)險，而模擬教學(xué)能讓學(xué)員在安全的環(huán)境下反復(fù)練習(xí)內(nèi)鏡的操作技巧，如內(nèi)鏡的插入、移動、觀察等基本操作，像在泌尿內(nèi)鏡模擬教學(xué)中，學(xué)員可以練習(xí)硬性膀胱鏡、硬性輸尿管鏡等的使用操作，熟悉泌尿系統(tǒng)的解剖結(jié)構(gòu)和操作手感。學(xué)員可以通過模擬系統(tǒng)更直觀地了解內(nèi)鏡的構(gòu)造、原理，以及內(nèi)鏡檢查的適應(yīng)癥、禁忌癥等理論知識。例如在消化內(nèi)鏡模擬教學(xué)系統(tǒng)中，學(xué)員可以更好地理解內(nèi)鏡在消化道疾病診斷和治療中的應(yīng)用原理等相關(guān)知識。在臨床實(shí)際操作內(nèi)鏡前，學(xué)員通過模擬系統(tǒng)進(jìn)行大量的練習(xí)，減少在真實(shí)患者身上操作時可能出現(xiàn)的失誤，從而保障患者的安全，提高醫(yī)療質(zhì)量。
2、目前，模擬教學(xué)考核以納入多家醫(yī)院考核體系，但對于其評分仍多采用人工評分法，效率低且較為主觀，同時需要更多人力資源，且對于考核內(nèi)容的劃定較為單一。
技術(shù)實(shí)現(xiàn)思路
1、為解決現(xiàn)有技術(shù)中存在的上述問題，本專利技術(shù)提供了一種基于人工智能的內(nèi)鏡情景模擬教學(xué)考核自動評分方法及系統(tǒng)。
2、本專利技術(shù)的目的可以通過以下技術(shù)方案實(shí)現(xiàn)：
3、一種基于人工智能的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，所述內(nèi)鏡情景模擬教學(xué)考核自動評分方法的實(shí)施包括以下步驟：
4、獲取內(nèi)鏡模擬情景，所述內(nèi)鏡模擬場景為包含有病灶的患病器官內(nèi)部
5、考生通過虛擬現(xiàn)實(shí)設(shè)備在所述內(nèi)鏡模擬情景中進(jìn)行模擬教學(xué)考核，所述模擬教學(xué)考核包括持鏡姿態(tài)考核、內(nèi)鏡操作考核、病灶判斷考核；
6、獲取教學(xué)考核數(shù)據(jù)，所述教學(xué)考核數(shù)據(jù)包括持鏡姿態(tài)相似度、內(nèi)鏡操作考核數(shù)據(jù)、病灶判斷吻合度，所述內(nèi)鏡操作考核數(shù)據(jù)包括持鏡力度適中度、持鏡平穩(wěn)度、病患模擬疼痛度；
7、根據(jù)所述教學(xué)考核數(shù)據(jù)計算教學(xué)考核評分。
8、優(yōu)選的，所述獲取教學(xué)考核數(shù)據(jù)包括：
9、通過構(gòu)建三維手部骨架模型獲取所述持鏡姿態(tài)相似度；
10、根據(jù)傳感器獲取所述內(nèi)鏡操作考核數(shù)據(jù)；
11、根據(jù)所述標(biāo)準(zhǔn)病灶信息獲取所述病灶判斷吻合度。
12、優(yōu)選的，所述構(gòu)建三維手部骨架模型包括：
13、通過相機(jī)捕捉手部姿態(tài)視頻并分幀處理，所述相機(jī)跟隨考生手部運(yùn)動，確保考生手部始終處于相機(jī)捕捉畫面內(nèi)部，隨機(jī)選取手部特征點(diǎn)，獲取手部特征點(diǎn)相機(jī)坐標(biāo)，所述手部特征點(diǎn)相機(jī)坐標(biāo)包括第一手部特征點(diǎn)相機(jī)坐標(biāo)、第二手部特征點(diǎn)相機(jī)坐標(biāo)、…、第n手部特征點(diǎn)相機(jī)坐標(biāo)，n為手部姿態(tài)視頻總幀數(shù)，所述第一手部特征點(diǎn)相機(jī)坐標(biāo)為第一幀時所述手部特征點(diǎn)在相機(jī)上的成像平面坐標(biāo)，所述第二手部特征點(diǎn)相機(jī)坐標(biāo)為第二幀時所述手部特征點(diǎn)在相機(jī)上的成像平面坐標(biāo)，所述第n手部特征點(diǎn)相機(jī)坐標(biāo)為第n幀時所述手部特征點(diǎn)在相機(jī)上的成像平面坐標(biāo)；
14、獲取姿態(tài)捕捉位置，所述姿態(tài)捕捉位置包括第一姿態(tài)捕捉位置、第二姿態(tài)捕捉位置、…、第n姿態(tài)捕捉位置，所述第一姿態(tài)捕捉位置為第一幀時相機(jī)所處位置，所述第二姿態(tài)捕捉位置為第二幀時相機(jī)所處位置，所述第n姿態(tài)捕捉位置為第n幀時相機(jī)所處位置；
15、獲取位姿變換公式；
16、根據(jù)所述位姿變換公式獲取所述姿態(tài)轉(zhuǎn)換參數(shù)，根據(jù)所述姿態(tài)轉(zhuǎn)換參數(shù)獲取位姿轉(zhuǎn)換矩陣；
17、以第一幀相機(jī)原點(diǎn)作為世界坐標(biāo)系的原點(diǎn)，根據(jù)所述位姿轉(zhuǎn)換矩陣計算所述手部特征點(diǎn)在世界坐標(biāo)系下的手部特征點(diǎn)世界坐標(biāo)；
18、類推得到所有手部特征點(diǎn)的所述手部特征點(diǎn)世界坐標(biāo)并構(gòu)建所述三維手部骨架模型，所述三維手部骨架模型包括第一幀三維手部骨架模型、第二幀三維手部骨架模型、…、第n幀三維手部骨架模型。
19、優(yōu)選的，所述獲取所述持鏡姿態(tài)相似度包括：
20、獲取標(biāo)準(zhǔn)姿態(tài)三維手部骨架模型，所述標(biāo)準(zhǔn)姿態(tài)三維手部骨架模型包括第一幀標(biāo)準(zhǔn)姿態(tài)三維手部骨架模型、第二幀標(biāo)準(zhǔn)姿態(tài)三維手部骨架模型、…、第n幀標(biāo)準(zhǔn)姿態(tài)三維手部骨架模型，獲取手部骨連結(jié)，所述手部骨連結(jié)包括第一手部骨連結(jié)、第二手部骨連結(jié)、…、第m手部骨連結(jié)；
21、基于所述標(biāo)準(zhǔn)姿態(tài)三維手部骨架模型獲取標(biāo)準(zhǔn)姿態(tài)向量，所述標(biāo)準(zhǔn)姿態(tài)向量包括第一標(biāo)準(zhǔn)姿態(tài)向量、第二標(biāo)準(zhǔn)姿態(tài)向量、…第m-1標(biāo)準(zhǔn)姿態(tài)向量，所述標(biāo)準(zhǔn)姿態(tài)向量為所述標(biāo)準(zhǔn)姿態(tài)三維手部骨架模型中第m手部骨連結(jié)指向第m+1手部骨連結(jié)的向量，m∈m-1；
22、基于所述三維手部骨架模型獲取姿態(tài)向量，所述姿態(tài)向量包括第一姿態(tài)向量、第二姿態(tài)向量、…第m-1姿態(tài)向量，所述姿態(tài)向量為所述三維手部骨架模型中第m手部骨連結(jié)指向第m+1手部骨連結(jié)的向量，m∈m-1；
23、基于所述標(biāo)準(zhǔn)姿態(tài)向量和所述姿態(tài)向量計算所述持鏡姿態(tài)相似度。
24、優(yōu)選的，所述根據(jù)傳感器獲取所述內(nèi)鏡操作考核數(shù)據(jù)包括：
25、預(yù)設(shè)持鏡力度閾值范圍，通過力度傳感器獲取考生持鏡力度并統(tǒng)計所述考生持鏡力度超出所述持鏡力度閾值范圍的力度不當(dāng)次數(shù)，根據(jù)所述力度不當(dāng)次數(shù)計算所述持鏡力度適中度；
26、預(yù)設(shè)持鏡平穩(wěn)度閾值范圍，通過平穩(wěn)度傳感器獲取考生持鏡平穩(wěn)度并統(tǒng)計所述考生持鏡平穩(wěn)度超出所述持鏡平穩(wěn)度閾值范圍的平穩(wěn)度不當(dāng)次數(shù)，根據(jù)所述平穩(wěn)度不當(dāng)次數(shù)計算所述持鏡平穩(wěn)度；
27、通過構(gòu)造改進(jìn)包圍盒獲取所述病患模擬疼痛度，所述改進(jìn)包圍盒為可以包裹當(dāng)前內(nèi)鏡探測部位的體積最小的長方體。
28、優(yōu)選的，所述構(gòu)造改進(jìn)包圍盒獲取所述病患模擬疼痛度包括：
29、獲取組成所述當(dāng)前內(nèi)鏡探測部位的三角面集合并得到三角面頂點(diǎn)坐標(biāo)，根據(jù)所述三角面頂點(diǎn)坐標(biāo)計算改進(jìn)包圍盒均值；
30、根據(jù)所述改進(jìn)包圍盒均值計算改進(jìn)包圍盒協(xié)方差；
31、根據(jù)所述改進(jìn)包圍盒協(xié)方差得到協(xié)方差矩陣；
32、所述協(xié)方差矩陣的每一行分別為第一特征向量、第二特征向量、第三特征向量，取所述第一特征向量、所述第二特征向量、所述第三特征向量的單位長度方向作為所述改進(jìn)包圍盒的基底坐標(biāo)軸，所述基底坐標(biāo)軸包括第一基底坐標(biāo)軸、第二基底坐標(biāo)軸、第三基底坐標(biāo)軸，取所述當(dāng)前內(nèi)鏡探測部位的各頂點(diǎn)在所述基底坐標(biāo)軸上的投影作為所述改進(jìn)包圍盒的邊長構(gòu)建所述改進(jìn)包圍盒；
33、獲取鏡盒距離，所述鏡盒距離為模擬內(nèi)鏡的頭部到所述改進(jìn)包圍盒的中心點(diǎn)的距離，當(dāng)所述鏡盒距離大于等于改進(jìn)包圍盒半短邊長度時，輸出內(nèi)鏡觸碰實(shí)體信息，當(dāng)所述鏡盒距離小于所述改進(jìn)包圍盒半短邊長度時，輸出內(nèi)鏡未觸碰實(shí)體信息，所述改進(jìn)包圍盒半短邊長度為所述改進(jìn)包圍盒最短邊長的一半長度；
34、當(dāng)輸出所述內(nèi)鏡觸碰實(shí)體信息時，獲取觸碰實(shí)體時間和觸碰實(shí)體次數(shù)；
35、根據(jù)所述觸碰實(shí)體次數(shù)和所述觸碰實(shí)體時間計算所述病患模擬疼痛度。
36、優(yōu)選的，所述根據(jù)所述標(biāo)準(zhǔn)病灶信息獲取所述病灶判本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于人工智能的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述內(nèi)鏡情景模擬教學(xué)考核自動評分方法的實(shí)施包括以下步驟：
2.根據(jù)權(quán)利要求1所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述獲取教學(xué)考核數(shù)據(jù)包括：
3.根據(jù)權(quán)利要求2所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述構(gòu)建三維手部骨架模型包括：
4.根據(jù)權(quán)利要求2所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述獲取所述持鏡姿態(tài)相似度包括：
5.根據(jù)權(quán)利要求2所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述根據(jù)傳感器獲取所述內(nèi)鏡操作考核數(shù)據(jù)包括：
6.根據(jù)權(quán)利要求5所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述構(gòu)造改進(jìn)包圍盒獲取所述病患模擬疼痛度包括：
7.根據(jù)權(quán)利要求2所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述根據(jù)所述標(biāo)準(zhǔn)病灶信息獲取所述病灶判斷吻合度包括：
8.一種基于人工智能的內(nèi)鏡情景模擬教學(xué)考核自動評分系統(tǒng)，其特征在于，所述系統(tǒng)應(yīng)用于如權(quán)利要求1-7中任一所述的內(nèi)鏡情景模擬
9.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的計算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時實(shí)現(xiàn)如權(quán)利要求1-7中任一所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法。
10.一種包含計算機(jī)可執(zhí)行指令的存儲介質(zhì)，其特征在于，所述計算機(jī)可執(zhí)行指令在由計算機(jī)處理器執(zhí)行時用于執(zhí)行如權(quán)利要求1-7中任一所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法。
...【技術(shù)特征摘要】
1.一種基于人工智能的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述內(nèi)鏡情景模擬教學(xué)考核自動評分方法的實(shí)施包括以下步驟：
2.根據(jù)權(quán)利要求1所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述獲取教學(xué)考核數(shù)據(jù)包括：
3.根據(jù)權(quán)利要求2所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述構(gòu)建三維手部骨架模型包括：
4.根據(jù)權(quán)利要求2所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述獲取所述持鏡姿態(tài)相似度包括：
5.根據(jù)權(quán)利要求2所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述根據(jù)傳感器獲取所述內(nèi)鏡操作考核數(shù)據(jù)包括：
6.根據(jù)權(quán)利要求5所述的內(nèi)鏡情景模擬教學(xué)考核自動評分方法，其特征在于，所述構(gòu)造改進(jìn)包圍盒獲取所述病患模擬疼痛度包括：<...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：郭琦，王鈺，江文浩，薛效強(qiáng)，鄭笑天，
申請(專利權(quán))人：上海市徐匯區(qū)中心醫(yī)院，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。