【技術實現步驟摘要】
本專利技術涉及ai技術，尤其涉及基于直乙鏡圖像的ai分析方法及系統。
技術介紹
1、結直乙鏡檢查是診斷和治療結直腸疾病的金標準。然而，傳統的結直乙鏡檢查依賴于醫生的視覺檢查，這可能會導致病變的漏診和誤診，尤其是在早期階段的小而扁平的病變。為了提高結直乙鏡檢查的準確性和效率，計算機輔助診斷系統得到了廣泛的研究和開發。這些系統通常利用圖像處理和機器學習技術來自動檢測和分類結直乙鏡圖像中的病變。
2、多尺度特征融合不足：直乙鏡圖像中的病變大小、形狀和紋理差異很大。一些方法直接使用深度卷積神經網絡的最后一層特征進行檢測，忽略了淺層和中層特征的信息，導致對不同尺度病變的檢測性能不足。有效的多尺度特征融合可以提高模型對不同病變的檢測能力。病變定位精度不足：?腸道內壁褶皺復雜，病變區域邊界模糊，導致一些方法難以準確定位病變的邊界，影響后續的分類和分析。提高病變定位精度對于精確的診斷和治療至關重要。缺乏三維空間信息：現有的很多方法僅關注二維圖像上的病變檢測和分類，忽略了病變的三維空間信息。將病變定位于腸道的三維模型中，可以提供更全面的病變信息，有助于醫生更準確地評估病變的范圍和位置，為制定個性化的治療方案提供依據。
技術實現思路
1、本專利技術實施例提供基于直乙鏡圖像的ai分析方法及系統，能夠解決現有技術中的問題。
2、本專利技術實施例的第一方面，
3、提供基于直乙鏡圖像的ai分析方法，包括：
4、將采集的直乙鏡圖像輸入至預訓練的深度卷積神經網絡中，
5、將所述融合后的特征圖輸入至雙分支檢測網絡，該雙分支檢測網絡包括區域提議分支和分類回歸分支；其中區域提議分支通過密集采樣方式生成候選病變區域，分類回歸分支對候選病變區域進行精確定位和分類；采用非極大值抑制算法對重疊候選框進行篩選，獲取最終的病變區域檢測結果；對檢測到的病變區域進行深度學習分類，識別病變類型；
6、基于連續直乙鏡圖像序列，采用基于深度估計的三維重建算法對腸道內壁進行建模；將所述病變區域檢測結果映射至三維重建模型中，采用空間配準算法對病變區域進行精確定位；構建包含病變區域空間位置信息的三維可視化模型，該三維可視化模型通過顏色編碼方式標注不同類型的病變區域，并記錄病變區域相對于腸道參考點的三維坐標位置信息。
7、采用自適應特征權重分配模塊對所述多尺度特征圖進行融合處理，該自適應特征權重分配模塊包括通道注意力單元和空間注意力單元，其中通道注意力單元用于學習不同特征通道的重要性權重，空間注意力單元用于捕獲特征圖中的關鍵區域信息，生成融合后的特征圖包括：
8、采用所述通道注意力單元通過全局平均池化對所述多尺度特征圖進行全局信息壓縮得到通道描述向量，并將所述通道描述向量輸入至降維全連接層進行特征降維壓縮，再將降維壓縮后的特征通過升維全連接層恢復至原始通道維度，生成通道權重系數；采用所述空間注意力單元對所述多尺度特征圖分別進行最大池化和平均池化操作獲取空間特征信息，并將所述空間特征信息在通道維度拼接后通過卷積層處理，生成空間注意力權重圖；
9、將所述通道權重系數與所述多尺度特征圖進行加權融合得到通道加權特征，將所述空間注意力權重圖與所述通道加權特征進行加權融合得到空間加權特征；對所述空間加權特征進行特征融合處理得到融合特征，并引入殘差連接機制將所述多尺度特征圖的原始信息與所述融合特征進行加權疊加，生成第一融合特征圖。
10、將所述融合后的特征圖輸入至雙分支檢測網絡，該雙分支檢測網絡包括區域提議分支和分類回歸分支；其中區域提議分支通過密集采樣方式生成候選病變區域，分類回歸分支對候選病變區域進行精確定位和分類；采用非極大值抑制算法對重疊候選框進行篩選，獲取最終的病變區域檢測結果包括：
11、所述區域提議分支通過在所述融合后的特征圖上設置錨點，針對每個錨點生成具有預設尺度和長寬比的基準框構建初始候選框集合；采用3×3卷積層提取所述初始候選框集合的局部特征，并通過1×1卷積層計算每個候選框的前景-背景二分類得分，生成所述候選病變區域；
12、所述分類回歸分支對所述候選病變區域采用roi?align層進行特征提取，將不同大小的所述候選病變區域的特征統一映射為7×7的固定尺寸特征圖，將所述固定尺寸特征圖輸入至兩個全連接層分別輸出病變類別預測結果和位置回歸參數，其中所述位置回歸參數包括候選框相對真實框的中心坐標偏移量和寬高縮放量；
13、將所述候選框按照分類得分降序排序，選擇得分最高的候選框作為參考框，計算其他候選框與所述參考框的交并比，將交并比大于設定閾值的候選框刪除，重復執行直至處理完所有候選框，獲取最終的病變區域檢測結果。
14、對檢測到的病變區域進行深度學習分類，識別病變類型包括：
15、對所述病變區域檢測結果進行預處理，采用雙線性插值算法將所述病變區域檢測結果統一縮放至224×224像素，對所述病變區域檢測結果進行隨機水平翻轉、隨機垂直翻轉、隨機旋轉和隨機亮度對比度調整，獲得增強后的病變區域檢測結果；
16、將所述增強后的病變區域檢測結果輸入至多尺度特征融合模塊，所述多尺度特征融合模塊包含三個并行的特征提取分支，每個特征提取分支分別采用三種不同卷積核的卷積層進行特征提取，每個特征提取分支中的卷積層后接批歸一化層和relu激活函數，獲得三個不同尺度的特征圖；
17、對所述三個不同尺度的特征圖進行通道注意力計算得到對應的注意力權重，將加權后的特征圖進行元素級加和得到第二融合特征圖；將所述融合特征圖輸入至金字塔池化模塊，所述金字塔池化模塊包含四種不同尺度的平均池化操作，將不同尺度的空間信息編碼為特征向量；
18、將所述特征向量輸入至包含兩個全連接層的多層感知機，采用焦點損失函數對所述多層感知機進行訓練，所述焦點損失函數通過動態調整樣本權重關注困難樣本，使用帶有權重衰減的adam優化器對模型進行優化，初始學習率設為0.001，每30個訓練周期將學習率衰減為原來的0.1，直至模型收斂得到病變分類模型；根據所述病變分類模型輸出的類別概率分布確定病變類型。
19、基于連續直乙鏡圖像序列，采用基于深度估計的三維重建算法對腸道內壁進行建模；將所述病變區域檢測結果映射至三維重建模型中，采用空間配準算法對病變區域進行精確定位包括：
20、對所述連續直乙鏡圖像序列進行預處理，計算相鄰幀之間的光流場，根據所述光流場的平均幅值和方向一致性剔除運動劇烈幀，對所述連續直乙鏡圖像序列進行直方圖均衡化增強得到預處理后的圖像序列；
21、本文檔來自技高網...
【技術保護點】
1.基于直乙鏡圖像的AI分析方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，采用自適應特征權重分配模塊對所述多尺度特征圖進行融合處理，該自適應特征權重分配模塊包括通道注意力單元和空間注意力單元，其中通道注意力單元用于學習不同特征通道的重要性權重，空間注意力單元用于捕獲特征圖中的關鍵區域信息，生成融合后的特征圖包括：
3.根據權利要求1所述的方法，其特征在于，將所述融合后的特征圖輸入至雙分支檢測網絡，該雙分支檢測網絡包括區域提議分支和分類回歸分支；其中區域提議分支通過密集采樣方式生成候選病變區域，分類回歸分支對候選病變區域進行精確定位和分類；采用非極大值抑制算法對重疊候選框進行篩選，獲取最終的病變區域檢測結果包括：
4.根據權利要求1所述的方法，其特征在于，對檢測到的病變區域進行深度學習分類，識別病變類型包括：
5.根據權利要求1所述的方法，其特征在于，基于連續直乙鏡圖像序列，采用基于深度估計的三維重建算法對腸道內壁進行建模；將所述病變區域檢測結果映射至三維重建模型中，采用空間配準算法對病變區域進行精確定位包括：<...
【技術特征摘要】
1.基于直乙鏡圖像的ai分析方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，采用自適應特征權重分配模塊對所述多尺度特征圖進行融合處理，該自適應特征權重分配模塊包括通道注意力單元和空間注意力單元，其中通道注意力單元用于學習不同特征通道的重要性權重，空間注意力單元用于捕獲特征圖中的關鍵區域信息，生成融合后的特征圖包括：
3.根據權利要求1所述的方法，其特征在于，將所述融合后的特征圖輸入至雙分支檢測網絡，該雙分支檢測網絡包括區域提議分支和分類回歸分支；其中區域提議分支通過密集采樣方式生成候選病變區域，分類回歸分支對候選病變區域進行精確定位和分類；采用非極大值抑制算法對重疊候選框進行篩選，獲取最終的病變區域檢測結果包括：
4.根據權利要求1所述的方法，其特征在于，對檢測到的病變區域進行深度學習分類，識別病變類型包括：
5.根據權利要求1所述的方法，其特征在于，基于連續直乙鏡圖像序列，采用基于深度估計的三維重建算法對腸道內壁...
【專利技術屬性】
技術研發人員：鄭麗華，程一乘，李昕，智從從，石玉迎，劉寧遠，侯文肖，
申請(專利權)人：中日友好醫院中日友好臨床醫學研究所，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。