【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及醫(yī)療器械，特別涉及一種手術(shù)輔助系統(tǒng)及手術(shù)輔助方法。
技術(shù)介紹
1、當(dāng)前使用手術(shù)機(jī)器人系統(tǒng)進(jìn)行內(nèi)窺鏡手術(shù)時，一般是由術(shù)者在醫(yī)生控制臺通過觀察內(nèi)窺鏡反饋的實(shí)時圖像，操縱從端機(jī)器人進(jìn)行手術(shù)。手術(shù)機(jī)器人系統(tǒng)一般僅給予基于工藝參數(shù)限位的提醒，以及電機(jī)負(fù)載過大時給予的報警反饋，并無其它更進(jìn)一步的提示和交互功能。這帶來了以下兩方面的不足：
2、一、高度依賴術(shù)者：完全依賴術(shù)者對當(dāng)前場景以及信息(如患者病歷情況等)的掌握程度，術(shù)中的異常情況及危險預(yù)測，手術(shù)機(jī)器人系統(tǒng)無法進(jìn)行提醒，手術(shù)過程完全依賴術(shù)者的手術(shù)操作能力和人眼識別能力，一旦術(shù)者的手眼協(xié)調(diào)性較差或者長時間操作導(dǎo)致疲勞等，會提升手術(shù)風(fēng)險。
3、二、人力成本高：術(shù)者在術(shù)中需在醫(yī)生控制臺處全程手動操縱，并且其它工作需要多個醫(yī)護(hù)人員協(xié)助，整個手術(shù)操作流程完全依賴人力，需要花費(fèi)大量人力用于手術(shù)機(jī)器人系統(tǒng)，增加人力負(fù)擔(dān)。另一方面，術(shù)后的視頻數(shù)據(jù)非常龐大，對其進(jìn)行術(shù)后分析也需耗費(fèi)大量人力和精力。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供一種手術(shù)輔助系統(tǒng)及手術(shù)輔助方法，以解決現(xiàn)有的手術(shù)機(jī)器人系統(tǒng)依賴術(shù)者經(jīng)驗(yàn)的問題。
2、為解決上述技術(shù)問題，本專利技術(shù)提供一種手術(shù)輔助系統(tǒng)，其包括：影像大模型模塊、視覺大模型模塊、風(fēng)險檢測大模型模塊及術(shù)者對話語言大模型模塊；
3、所述影像大模型模塊基于影像大模型，分割重建術(shù)前影像，并輸出所述術(shù)前影像的分割結(jié)果信息；
4、所述視覺大模型模塊基于視覺大模型，
5、所述風(fēng)險檢測大模型模塊基于所述分割結(jié)果信息以及所述內(nèi)窺鏡內(nèi)容信息，進(jìn)行分析判斷，并輸出風(fēng)險提示信息；
6、所述術(shù)者對話語言大模型模塊根據(jù)所述分割結(jié)果信息、所述內(nèi)窺鏡內(nèi)容信息以及所述風(fēng)險提示信息，輸出建議信息。
7、可選的，所述術(shù)者對話語言大模型模塊包括交互單元，所述術(shù)者對話語言大模型模塊還被配置為，通過所述交互單元獲取輸入信息；所述視覺大模型模塊、所述風(fēng)險檢測大模型模塊及所述術(shù)者對話語言大模型模塊中的至少一者基于所述輸入信息，修正自身輸出的信息。
8、可選的，所述術(shù)者對話語言大模型模塊還包括語義分析單元；所述語義分析單元用于分析所述交互單元所獲取的輸入信息，并修正所述輸入信息。
9、可選的，所述手術(shù)輔助系統(tǒng)還包括數(shù)據(jù)存儲模塊；所述數(shù)據(jù)存儲模塊被配置為，存儲所述分割結(jié)果信息、所述建議信息和所述內(nèi)窺鏡內(nèi)容信息。
10、可選的，所述分割結(jié)果信息為圖像數(shù)據(jù)，所述建議信息和所述內(nèi)窺鏡內(nèi)容信息為文本數(shù)據(jù)，所述數(shù)據(jù)存儲模塊被配置為，將所述分割結(jié)果信息、所述建議信息和所述內(nèi)窺鏡內(nèi)容信息結(jié)合時間戳，構(gòu)成多模態(tài)數(shù)據(jù)結(jié)構(gòu)體，以進(jìn)行存儲。
11、可選的，所述手術(shù)輔助系統(tǒng)還包括術(shù)后評估模塊；所述術(shù)后評估模塊基于所述數(shù)據(jù)存儲模塊所存儲的所述多模態(tài)數(shù)據(jù)結(jié)構(gòu)體，對手術(shù)進(jìn)行評估，并輸出評估結(jié)果。
12、可選的，所述術(shù)后評估模塊包括拆分單元和術(shù)中任務(wù)分析單元，所述拆分單元用于拆分自所述數(shù)據(jù)存儲模塊獲取的所述多模態(tài)數(shù)據(jù)結(jié)構(gòu)體，并將拆分所得的數(shù)據(jù)發(fā)送給所述術(shù)中任務(wù)分析單元；所述術(shù)中任務(wù)分析單元基于所述拆分單元拆分所得的數(shù)據(jù)，對手術(shù)進(jìn)行評估，并輸出評估結(jié)果。
13、可選的，所述影像大模型模塊被配置為通過第一卷積神經(jīng)網(wǎng)絡(luò)對術(shù)前影像進(jìn)行分割重建；所述第一卷積神經(jīng)網(wǎng)絡(luò)的輸入信息包括術(shù)前影像和經(jīng)分詞器處理后的病歷信息；
14、所述視覺大模型模塊被配置為通過第二卷積神經(jīng)網(wǎng)絡(luò)對術(shù)中的內(nèi)窺鏡場景內(nèi)容進(jìn)行分析；所述第二卷積神經(jīng)網(wǎng)絡(luò)的輸入信息包括術(shù)中的內(nèi)窺鏡圖像和經(jīng)分詞器處理后的輸入信息；
15、所述風(fēng)險檢測大模型模塊被配置為通過第三卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分析判斷；所述第三卷積神經(jīng)網(wǎng)絡(luò)的輸入信息包括所述分割結(jié)果信息和經(jīng)分詞器處理后的所述內(nèi)窺鏡內(nèi)容信息；
16、所述術(shù)者對話語言大模型模塊被配置為通過第四卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分析判斷；所述第四卷積神經(jīng)網(wǎng)絡(luò)的輸入信息包括所述分割結(jié)果信息、經(jīng)分詞器處理后的所述內(nèi)窺鏡內(nèi)容信息及經(jīng)分詞器處理后的風(fēng)險提示信息。
17、可選的，所述手術(shù)輔助系統(tǒng)還包括內(nèi)窺鏡標(biāo)定模塊；所述內(nèi)窺鏡標(biāo)定模塊被配置為執(zhí)行以下步驟，以用于在術(shù)前對內(nèi)窺鏡進(jìn)行標(biāo)定：
18、拍攝三維標(biāo)定物，獲取第一圖像；
19、根據(jù)所述第一圖像以及所述三維標(biāo)定物的已知尺寸信息，對內(nèi)窺鏡進(jìn)行粗標(biāo)定；
20、基于粗標(biāo)定結(jié)果，計(jì)算出標(biāo)定誤差并輸出待優(yōu)化區(qū)域的位置和角度；
21、根據(jù)所述待優(yōu)化區(qū)域的位置和角度布置二維標(biāo)定物，并拍攝二維標(biāo)定物，獲取第二圖像；
22、根據(jù)所述第二圖像以及所述二維標(biāo)定物的已知尺寸信息，結(jié)合粗標(biāo)定步驟中的所述三維標(biāo)定物的特征信息，對內(nèi)窺鏡進(jìn)行精標(biāo)定。
23、可選的，對內(nèi)窺鏡進(jìn)行粗標(biāo)定的步驟包括：
24、提取所述第一圖像中的第一特征點(diǎn)，獲取每一所述第一特征點(diǎn)在所述第一圖像中對應(yīng)的二維圖像坐標(biāo)信息；
25、依據(jù)所述三維標(biāo)定物的尺寸信息獲取每一所述第一特征點(diǎn)的世界坐標(biāo)信息；
26、匹配每一所述第一特征點(diǎn)的二維圖像坐標(biāo)信息和世界坐標(biāo)信息，構(gòu)建包含待求解內(nèi)窺鏡參數(shù)的方程組，求解所述方程組，得到粗標(biāo)定結(jié)果。
27、可選的，粗標(biāo)定步驟中的所述三維標(biāo)定物的特征信息包括所述第一特征點(diǎn)的二維圖像坐標(biāo)信息和世界坐標(biāo)信息；對內(nèi)窺鏡進(jìn)行精標(biāo)定的步驟包括：
28、提取所述第二圖像中的第二特征點(diǎn)，識別出中心特征點(diǎn)以及二維標(biāo)定物坐標(biāo)系，依據(jù)所述二維標(biāo)定物的尺寸信息，得到每個所述第二特征點(diǎn)的世界坐標(biāo)信息與二維圖像坐標(biāo)信息；
29、結(jié)合所述第一特征點(diǎn)的二維圖像坐標(biāo)信息和世界坐標(biāo)信息，以及所述第二特征點(diǎn)的世界坐標(biāo)信息和二維圖像坐標(biāo)信息，共同構(gòu)建包含待求解內(nèi)窺鏡參數(shù)的方程組，求解所述方程組，得到精標(biāo)定結(jié)果。
30、可選的，基于粗標(biāo)定結(jié)果，計(jì)算出標(biāo)定誤差的步驟包括：
31、基于粗標(biāo)定后的內(nèi)窺鏡參數(shù)，將粗標(biāo)定步驟中所計(jì)算出的所述第一特征點(diǎn)的世界坐標(biāo)信息映射到二維圖像坐標(biāo)系，得到所述第一特征點(diǎn)的虛擬二維圖像坐標(biāo)信息；
32、計(jì)算所述虛擬二維圖像坐標(biāo)信息與所述第一圖像中所述第一特征點(diǎn)的二維圖像坐標(biāo)信息的歐式距離，將所述歐式距離確定為標(biāo)定誤差。
33、可選的，輸出待優(yōu)化區(qū)域的位置和角度的步驟包括：
34、對應(yīng)于所述三維標(biāo)定物的多個不同傾斜方向的平面，分別計(jì)算所述第一圖像中不同的分割區(qū)域的標(biāo)定誤差，根據(jù)預(yù)設(shè)的閾值，選擇標(biāo)定誤差超出所述閾值的分割區(qū)域作為待優(yōu)化區(qū)域，將所述三維標(biāo)定物的對應(yīng)的平面的傾斜角度確定為待優(yōu)化區(qū)域的角度。
35、可選的，所述手術(shù)輔助系統(tǒng)還包括：內(nèi)窺鏡固定裝置、標(biāo)定物固定裝置、物距調(diào)節(jié)裝置、三維標(biāo)定物以及二維標(biāo)定物；
36、所述內(nèi)窺鏡固定裝置用于供所述內(nèi)窺鏡安裝；所述內(nèi)窺鏡固定裝置和所述標(biāo)定物固定裝置的相對位置通過本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種手術(shù)輔助系統(tǒng)，其特征在于，包括：影像大模型模塊、視覺大模型模塊、風(fēng)險檢測大模型模塊及術(shù)者對話語言大模型模塊；
2.根據(jù)權(quán)利要求1所述的手術(shù)輔助系統(tǒng)，其特征在于，所述術(shù)者對話語言大模型模塊包括交互單元，所述術(shù)者對話語言大模型模塊還被配置為，通過所述交互單元獲取輸入信息；所述視覺大模型模塊、所述風(fēng)險檢測大模型模塊及所述術(shù)者對話語言大模型模塊中的至少一者基于所述輸入信息，修正自身輸出的信息。
3.根據(jù)權(quán)利要求2所述的手術(shù)輔助系統(tǒng)，其特征在于，所述術(shù)者對話語言大模型模塊還包括語義分析單元；所述語義分析單元用于分析所述交互單元所獲取的輸入信息，并修正所述輸入信息。
4.根據(jù)權(quán)利要求1所述的手術(shù)輔助系統(tǒng)，其特征在于，所述手術(shù)輔助系統(tǒng)還包括數(shù)據(jù)存儲模塊；所述數(shù)據(jù)存儲模塊被配置為，存儲所述分割結(jié)果信息、所述建議信息以及所述內(nèi)窺鏡內(nèi)容信息。
5.根據(jù)權(quán)利要求4所述的手術(shù)輔助系統(tǒng)，其特征在于，所述分割結(jié)果信息為圖像數(shù)據(jù)，所述建議信息和所述內(nèi)窺鏡內(nèi)容信息為文本數(shù)據(jù)，所述數(shù)據(jù)存儲模塊被配置為，將所述分割結(jié)果信息、所述建議信息和所述內(nèi)窺鏡內(nèi)容信息結(jié)合
6.根據(jù)權(quán)利要求5所述的手術(shù)輔助系統(tǒng)，其特征在于，所述手術(shù)輔助系統(tǒng)還包括術(shù)后評估模塊；所述術(shù)后評估模塊基于所述數(shù)據(jù)存儲模塊所存儲的所述多模態(tài)數(shù)據(jù)結(jié)構(gòu)體，對手術(shù)進(jìn)行評估，并輸出評估結(jié)果。
7.根據(jù)權(quán)利要求6所述的手術(shù)輔助系統(tǒng)，其特征在于，所述術(shù)后評估模塊包括拆分單元和術(shù)中任務(wù)分析單元，所述拆分單元用于拆分自所述數(shù)據(jù)存儲模塊獲取的所述多模態(tài)數(shù)據(jù)結(jié)構(gòu)體，并將拆分所得的數(shù)據(jù)發(fā)送給所述術(shù)中任務(wù)分析單元；所述術(shù)中任務(wù)分析單元基于所述拆分單元拆分所得的數(shù)據(jù)，對手術(shù)進(jìn)行評估，并輸出評估結(jié)果。
8.根據(jù)權(quán)利要求1所述的手術(shù)輔助系統(tǒng)，其特征在于，所述影像大模型模塊被配置為通過第一卷積神經(jīng)網(wǎng)絡(luò)對術(shù)前影像進(jìn)行分割重建；所述第一卷積神經(jīng)網(wǎng)絡(luò)的輸入信息包括術(shù)前影像和經(jīng)分詞器處理后的病歷信息；
9.根據(jù)權(quán)利要求1所述的手術(shù)輔助系統(tǒng)，其特征在于，所述手術(shù)輔助系統(tǒng)還包括內(nèi)窺鏡標(biāo)定模塊；所述內(nèi)窺鏡標(biāo)定模塊被配置為執(zhí)行以下步驟，以用于在術(shù)前對內(nèi)窺鏡進(jìn)行標(biāo)定：
10.根據(jù)權(quán)利要求9所述的手術(shù)輔助系統(tǒng)，其特征在于，對內(nèi)窺鏡進(jìn)行粗標(biāo)定的步驟包括：
11.根據(jù)權(quán)利要求10所述的手術(shù)輔助系統(tǒng)，其特征在于，粗標(biāo)定步驟中的所述三維標(biāo)定物的特征信息包括所述第一特征點(diǎn)的二維圖像坐標(biāo)信息和世界坐標(biāo)信息；對內(nèi)窺鏡進(jìn)行精標(biāo)定的步驟包括：
12.根據(jù)權(quán)利要求10所述的手術(shù)輔助系統(tǒng)，其特征在于，基于粗標(biāo)定結(jié)果，計(jì)算出標(biāo)定誤差的步驟包括：
13.根據(jù)權(quán)利要求12所述的手術(shù)輔助系統(tǒng)，其特征在于，輸出待優(yōu)化區(qū)域的位置和角度的步驟包括：
14.根據(jù)權(quán)利要求9所述的手術(shù)輔助系統(tǒng)，其特征在于，所述手術(shù)輔助系統(tǒng)還包括：內(nèi)窺鏡固定裝置、標(biāo)定物固定裝置、物距調(diào)節(jié)裝置、三維標(biāo)定物以及二維標(biāo)定物；
15.根據(jù)權(quán)利要求14所述的手術(shù)輔助系統(tǒng)，其特征在于，所述三維標(biāo)定物包含多個重復(fù)結(jié)構(gòu)，每個所述重復(fù)結(jié)構(gòu)包含多個不同傾斜方向的平面；和/或，所述二維標(biāo)定物包括一個平面，所述平面上包含多個第一特征符號以及多個第二特征符號。
16.一種手術(shù)輔助方法，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種手術(shù)輔助系統(tǒng)，其特征在于，包括：影像大模型模塊、視覺大模型模塊、風(fēng)險檢測大模型模塊及術(shù)者對話語言大模型模塊；
2.根據(jù)權(quán)利要求1所述的手術(shù)輔助系統(tǒng)，其特征在于，所述術(shù)者對話語言大模型模塊包括交互單元，所述術(shù)者對話語言大模型模塊還被配置為，通過所述交互單元獲取輸入信息；所述視覺大模型模塊、所述風(fēng)險檢測大模型模塊及所述術(shù)者對話語言大模型模塊中的至少一者基于所述輸入信息，修正自身輸出的信息。
3.根據(jù)權(quán)利要求2所述的手術(shù)輔助系統(tǒng)，其特征在于，所述術(shù)者對話語言大模型模塊還包括語義分析單元；所述語義分析單元用于分析所述交互單元所獲取的輸入信息，并修正所述輸入信息。
4.根據(jù)權(quán)利要求1所述的手術(shù)輔助系統(tǒng)，其特征在于，所述手術(shù)輔助系統(tǒng)還包括數(shù)據(jù)存儲模塊；所述數(shù)據(jù)存儲模塊被配置為，存儲所述分割結(jié)果信息、所述建議信息以及所述內(nèi)窺鏡內(nèi)容信息。
5.根據(jù)權(quán)利要求4所述的手術(shù)輔助系統(tǒng)，其特征在于，所述分割結(jié)果信息為圖像數(shù)據(jù)，所述建議信息和所述內(nèi)窺鏡內(nèi)容信息為文本數(shù)據(jù)，所述數(shù)據(jù)存儲模塊被配置為，將所述分割結(jié)果信息、所述建議信息和所述內(nèi)窺鏡內(nèi)容信息結(jié)合時間戳，構(gòu)成多模態(tài)數(shù)據(jù)結(jié)構(gòu)體，以進(jìn)行存儲。
6.根據(jù)權(quán)利要求5所述的手術(shù)輔助系統(tǒng)，其特征在于，所述手術(shù)輔助系統(tǒng)還包括術(shù)后評估模塊；所述術(shù)后評估模塊基于所述數(shù)據(jù)存儲模塊所存儲的所述多模態(tài)數(shù)據(jù)結(jié)構(gòu)體，對手術(shù)進(jìn)行評估，并輸出評估結(jié)果。
7.根據(jù)權(quán)利要求6所述的手術(shù)輔助系統(tǒng)，其特征在于，所述術(shù)后評估模塊包括拆分單元和術(shù)中任務(wù)分析單元，所述拆分單元用于拆分自所述數(shù)據(jù)存儲模塊獲取的所述多模態(tài)數(shù)據(jù)結(jié)構(gòu)體，并將拆分所得的數(shù)據(jù)發(fā)送...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉榮，張修平，請求不公布姓名，請求不公布姓名，請求不公布姓名，
申請(專利權(quán))人：上海微創(chuàng)醫(yī)療機(jī)器人集團(tuán)股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。