【技術實現步驟摘要】
本專利技術涉及醫療設備，尤其涉及一種基于多模態數據融合的膠囊內鏡路徑預測方法和裝置。
技術介紹
1、目前，膠囊內鏡技術廣泛應用于消化道檢查，無動力膠囊內鏡通過消化道的自然蠕動和重力作用來推動膠囊前進。然而，由于無動力膠囊內鏡在路徑上的不可控性，對于部分區域，尤其是復雜的胃部區域，存在較高的漏檢風險，如何對膠囊內鏡的路徑進行準確地預測，是亟待解決的關鍵問題。目前，現有技術依賴單一的數據源對膠囊內鏡的路徑進行預測，影響路徑預測的準確性，容易造成漏檢的風險。
技術實現思路
1、本專利技術提供一種基于多模態數據融合的膠囊內鏡路徑預測方法和裝置，用以解決現有技術中依賴單一的數據源對膠囊內鏡的路徑進行預測，影響路徑預測的準確性，容易造成漏檢的風險的缺陷。
2、本專利技術提供一種基于多模態數據融合的膠囊內鏡路徑預測方法，包括：
3、通過多個慣性測量單元imu在當前時間段內采集患者的體位時序數據，通過膠囊內鏡在當前時間段內采集所述患者的消化道的時序圖像數據；
4、對所述體位時序數據和所述時序圖像數據進行預處理，得到預處理后的體位時序數據和預處理后的時序圖像數據；
5、將預處理后的體位時序數據和預處理后的時序圖像數據輸入至預先訓練的預測模型，得到所述預測模型輸出的所述膠囊內鏡的路徑預測結果和所述患者的體位調整提示；
6、其中，所述預測模型是基于預處理后的樣本體位時序數據和預處理后的樣本時序圖像數據，以及樣本膠囊內鏡的路徑標簽和樣本患者的體位
7、在一些實施例中，所述預測模型包括體位特征提取層、圖像特征提取層、特征融合層和輸出層；
8、對應地，所述將預處理后的體位時序數據和預處理后的時序圖像數據輸入至預先訓練的預測模型，得到所述預測模型輸出的所述膠囊內鏡的路徑預測結果和所述患者的體位調整提示，包括：
9、將所述預處理后的體位時序數據輸入至所述體位特征提取層，得到所述體位特征提取層輸出的時間序列特征；
10、將所述預處理后的時序圖像數據輸入至所述圖像特征提取層，得到所述圖像特征提取層輸出的圖像特征；
11、將所述時間序列特征和圖像特征輸入至所述特征融合層，得到所述特征融合層輸出的融合特征；
12、將所述融合特征輸入至所述輸出層，得到所述輸出層輸出的所述膠囊內鏡的路徑預測結果和所述患者的體位調整提示。
13、在一些實施例中，所述體位特征提取層包括基于多頭自注意力機制的transformer層，所述圖像特征提取層包括輕量化的卷積神經網絡cnn層，所述圖像特征包括所述預處理后的時序圖像數據的精細化的區域分類結果。
14、在一些實施例中，所述方法還包括：
15、在所述患者進行體位調整后，對所述患者的體位變化以及所述膠囊內鏡采集的圖像數據進行持續監測，得到監測數據，根據所述監測數據，生成新的體位調整提示。
16、在一些實施例中，所述在所述患者進行體位調整后，對所述患者的體位變化以及所述膠囊內鏡采集的圖像數據進行持續監測，得到監測數據，根據所述監測數據，生成新的體位調整提示，包括：
17、在所述患者進行體位調整后，獲取所述患者的體位監測數據，根據所述體位監測數據，判斷所述患者是否按照所述體位調整提示完成體位調整，若是，則確認體位調整完成，否則，生成新的體位調整提示，以指導所述患者再次進行體位調整，依次循環，直到確認體位調整完成；
18、在確認體位調整完成后，獲取所述膠囊內鏡采集的消化道的圖像數據，根據所述圖像數據判斷是否拍攝到目標區域，若是，則停止指示，否則，生成體位調整建議，以使所述膠囊內鏡能夠拍攝到所述目標區域。
19、在一些實施例中，所述方法還包括：
20、獲取所述患者的生理信息，根據所述患者的生理信息對所述患者的體位調整提示進行自適應調整。
21、在一些實施例中，所述對所述體位時序數據和所述時序圖像數據進行預處理，包括：
22、對所述體位時序數據進行噪聲過濾和歸一化預處理，對所述時序圖像數據進行標準化和數據增強預處理；
23、采用動態時間規整dtw算法，將所述體位時序數據和所述時序圖像數據對齊。
24、在一些實施例中，所述預測模型的確定過程包括：
25、通過多個imu在樣本時間段內采集樣本患者的樣本體位時序數據，通過樣本膠囊內鏡在樣本時間段內采集所述樣本患者的消化道的樣本時序圖像數據；
26、對所述樣本體位時序數據和所述樣本時序圖像數據進行預處理，得到預處理后的樣本體位時序數據和預處理后的樣本時序圖像數據；
27、確定所述樣本膠囊內鏡的路徑標簽和所述樣本患者的體位調整提示標簽；
28、以所述預處理后的樣本體位時序數據和預處理后的樣本時序圖像數據為訓練數據，以所述樣本膠囊內鏡的路徑標簽和所述樣本患者的體位調整提示標簽為樣本標簽，訓練初始預測模型，訓練完成后，得到所述預測模型。
29、在一些實施例中，所述訓練初始預測模型，包括：
30、將所述預處理后的樣本體位時序數據和預處理后的樣本時序圖像數據輸入至初始預測模型，得到所述初始預測模型輸出的所述樣本膠囊內鏡的路徑預測結果和所述樣本患者的體位調整提示；
31、基于所述樣本膠囊內鏡的路徑預測結果和所述樣本患者的體位調整提示，以及所述樣本膠囊內鏡的路徑標簽和所述樣本患者的體位調整提示標簽，計算損失函數值；
32、基于所述損失函數值，對所述初始預測模型的參數進行迭代優化，得到所述預測模型。
33、本專利技術還提供一種基于多模態數據融合的膠囊內鏡路徑預測裝置，包括：
34、數據采集單元，用于通過多個慣性測量單元imu在當前時間段內采集患者的體位時序數據，通過膠囊內鏡在當前時間段內采集所述患者的消化道的時序圖像數據；
35、預處理單元，用于對所述體位時序數據和所述時序圖像數據進行預處理，得到預處理后的體位時序數據和預處理后的時序圖像數據；
36、預測單元，用于將預處理后的體位時序數據和預處理后的時序圖像數據輸入至預先訓練的預測模型，得到所述預測模型輸出的所述膠囊內鏡的路徑預測結果和所述患者的體位調整提示；
37、其中，所述預測模型是基于預處理后的樣本體位時序數據和預處理后的樣本時序圖像數據，以及樣本膠囊內鏡的路徑標簽和樣本患者的體位調整提示標簽進行訓練得到的。
38、本專利技術提供的基于多模態數據融合的膠囊內鏡路徑預測方法和裝置，通過多個慣性測量單元imu在當前時間段內采集患者的體位時序數據，通過膠囊內鏡在當前時間段內采集患者的消化道的時序圖像數據；對體位時序數據和時序圖像數據進行預處理，得到預處理后的體位時序數據和預處理后的時序圖像數據；將預處理后的體位時序數據和預處理后的時序圖像數據輸入至預先訓練的預測模型，得到預測模型輸出的膠囊內鏡的路徑預測結果和患者本文檔來自技高網...
【技術保護點】
1.一種基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，包括：
2.根據權利要求1所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述預測模型包括體位特征提取層、圖像特征提取層、特征融合層和輸出層；
3.根據權利要求2所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述體位特征提取層包括基于多頭自注意力機制的Transformer層，所述圖像特征提取層包括輕量化的卷積神經網絡CNN層，所述圖像特征包括所述預處理后的時序圖像數據的精細化的區域分類結果。
4.根據權利要求1所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述方法還包括：
5.根據權利要求4所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述在所述患者進行體位調整后，對所述患者的體位變化以及所述膠囊內鏡采集的圖像數據進行持續監測，得到監測數據，根據所述監測數據，生成新的體位調整提示，包括：
6.根據權利要求1所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述方法還包括：
7.根據權
8.根據權利要求1所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述預測模型的確定過程包括：
9.根據權利要求8所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述訓練初始預測模型，包括：
10.一種基于多模態數據融合的膠囊內鏡路徑預測裝置，其特征在于，包括：
...【技術特征摘要】
1.一種基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，包括：
2.根據權利要求1所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述預測模型包括體位特征提取層、圖像特征提取層、特征融合層和輸出層；
3.根據權利要求2所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述體位特征提取層包括基于多頭自注意力機制的transformer層，所述圖像特征提取層包括輕量化的卷積神經網絡cnn層，所述圖像特征包括所述預處理后的時序圖像數據的精細化的區域分類結果。
4.根據權利要求1所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述方法還包括：
5.根據權利要求4所述的基于多模態數據融合的膠囊內鏡路徑預測方法，其特征在于，所述在所述患者進行體...
【專利技術屬性】
技術研發人員：王羽嗣，周可，王云忠，劉思德，
申請(專利權)人：廣州思德醫療科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。