【技術實現步驟摘要】
本公開涉及醫療器械，具體而言，涉及一種視覺補償方法、裝置、電子設備及存儲介質。
技術介紹
1、隨著機器人技術的發展，醫療機器人在臨床應用中越來越廣泛。其中，腹腔鏡手術機器人通過介入治療的方式減輕醫生的勞動強度，加快患者的術后恢復。優秀的手術器械可以幫助醫生完成更復雜的手術操作。因此，安全高效的手術器械是一臺手術獲得成功的重要因素之一。
2、目前，腹腔鏡手術機器人在手術過程中通常選擇單個內窺鏡采集圖像進行視覺定位。一方面，單個內窺鏡在手術過程中由于光學的限制以及設備分辨率的不足，導致無法采集到高質量的圖像。腔內采集圖像易受照明以及視野的不足影響，容易導致目標病灶的遺漏以及識別精度的降低。并且內窺鏡在運動過程中易受其他器械的遮擋干擾會影響醫生對于病灶的定位以及控制精度。另一方面，現有腹腔鏡手術機器人的內窺鏡視覺補償算法大多基于如sift等傳統特征點檢測匹配算法。這類算法對特征點的檢測具有較高要求，并且在面對手術過程中復雜的遮擋環境下，無法有效重建出高質量的深度圖進行視覺補償。
技術實現思路
1、本公開實施例至少提供一種視覺補償方法、裝置、電子設備及存儲介質，可以提升內窺鏡在受到遮擋時的視覺補償效果。
2、本公開實施例提供了一種視覺補償方法，應用于主軸外徑上設置有多個內窺鏡的手術器械，所述方法包括：
3、在所述手術器械的運動過程中，獲取不同角度所述內窺鏡采集到的存在遮擋的第一圖像以及不存在遮擋的第二圖像；
4、將不同曝光級別的所述第一圖像構
5、將不同曝光級別的所述第二圖像構建為第二圖像序列，并輸入至預設第二視覺特征提取網絡，確定包括補充圖像特征以及對應位置信息的目標補充特征；
6、將所述雙目視覺圖像特征與所述目標補充特征融合生成目標融合特征，并根據所述目標融合特征確定目標深度圖，根據所述目標深度圖恢復所述第一圖像中的遮擋區域。
7、一種可選的實施方式中，所述方法還包括：
8、獲取所述內窺鏡對應的相機標定參數；
9、根據所述相機標定參數構建每個所述內窺鏡對應的校正旋轉矩陣，并根據所述校正旋轉矩陣校正位于不同角度的所述內窺鏡拍攝圖像時產生的角度畸變。
10、一種可選的實施方式中，將不同曝光級別的所述第一圖像構建為第一圖像序列，并輸入至預設第一視覺特征提取網絡，確定所述第一圖像序列對應的雙目視覺圖像特征，具體包括：
11、將所述第一圖像劃分為雙目視覺場景下的左視圖像與右視圖像；
12、將不同曝光級別的所述左視圖像與所述右視圖像分別構建為左視圖像序列以及右視圖像序列，以所述左視圖像序列以及所述右視圖像序列作為所述第一圖像序列；
13、將所述第一圖像序列輸入至所述預設第一視覺特征提取網絡中，通過預設第一特征提取器進行下采樣，提取所述第一圖像序列對應的初步特征信息，并通過預設混合注意力模塊以提高特征提取能力；
14、將所述初步特征信息輸入至預設多尺度特征提取器，通過不同膨脹率、不同尺寸的卷積核進行卷積處理，確定多尺度的所述雙目視覺圖像特征。
15、一種可選的實施方式中，將不同曝光級別的所述第二圖像構建為第二圖像序列，并輸入至預設第二視覺特征提取網絡，確定包括補充圖像特征以及對應位置信息的目標補充特征，具體包括：
16、將所述第二圖像序列依次輸入至所述預設第二視覺特征提取網絡中，通過預設補充特征提取器中不同大小的池化層，壓縮每幅所述第二圖像的圖像特征至多個尺度并進行通道拼接后確定所述補充圖像特征；
17、針對所述第二圖像序列中的每幅所述第二圖像，確定該第二圖像對應所述補充圖像特征的位置關系特征向量；
18、逐個疊加每幅所述第二圖像對應的所述位置關系特征向量并進行池化操作，確定所述位置信息；
19、將所述補充圖像特征與所述位置信息進行通道拼接，確定所述目標補充特征。
20、一種可選的實施方式中，在獲取不同角度所述內窺鏡采集到的存在遮擋的第一圖像以及不存在遮擋的第二圖像之后，所述方法還包括：
21、針對所述第一圖像與所述第二圖像進行預處理，其中，所述預處理過程至少包括濾波去噪、直方圖均衡化以及對比度增強。
22、一種可選的實施方式中，根據所述相機標定參數構建每個所述內窺鏡對應的校正旋轉矩陣，并根據所述校正旋轉矩陣校正位于不同角度的所述內窺鏡拍攝圖像時產生的角度畸變，具體包括：
23、根據所述相機標定參數中的旋轉矩陣與平移向量，分別構建所述內窺鏡在三維坐標軸方向上，對應每個軸的旋轉向量；
24、根據每個軸的所述旋轉向量構建所述校正旋轉矩陣；
25、針對每個所述內窺鏡，根據該內窺鏡對應的所述旋轉矩陣以及所述校正旋轉矩陣，確定所述內窺鏡對應的更新旋轉矩陣；
26、根據所述更新旋轉矩陣針對所述內窺鏡拍攝的圖像進行極線校正計算，以校正所述角度畸變。
27、一種可選的實施方式中，將所述雙目視覺圖像特征與所述目標補充特征融合生成目標融合特征，并根據所述目標融合特征確定目標深度圖，具體包括：
28、將所述雙目視覺圖像特征與所述目標補充特征進行通道拼接，確定所述目標融合特征；
29、針對所述目標融合特征進行上采樣卷積操作，確定所述目標深度圖。
30、本公開實施例還提供一種視覺補償裝置，應用于主軸外徑上設置有多個內窺鏡的手術器械，所述裝置包括：
31、圖像采集模塊，用于在所述手術器械的運動過程中，獲取不同角度所述內窺鏡采集到的存在遮擋的第一圖像以及不存在遮擋的第二圖像；
32、雙目視覺圖像特征提取模塊，用于將不同曝光級別的所述第一圖像構建為第一圖像序列，并輸入至預設第一視覺特征提取網絡，確定所述第一圖像序列對應的雙目視覺圖像特征；
33、目標補充特征提取模塊，用于將不同曝光級別的所述第二圖像構建為第二圖像序列，并輸入至預設第二視覺特征提取網絡，確定包括補充圖像特征以及對應位置信息的目標補充特征；
34、遮擋區域恢復模塊，用于將所述雙目視覺圖像特征與所述目標補充特征融合生成目標融合特征，并根據所述目標融合特征確定目標深度圖，根據所述目標深度圖恢復所述第一圖像中的遮擋區域。
35、本公開實施例還提供一種電子設備，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述存儲器之間通過總線通信，所述機器可讀指令被所述處理器執行時執行上述視覺補償方法，或上述視覺補償方法中任一種可能的實施方式中的步驟。
36、本公開實施例還提供一種計算機可讀存儲介質，該計算機可讀存儲介質上存儲有計算機程序，該計算機程序被處理器運行時執行上述視覺補償方法，或上述視覺補償方法中任一種可能的實施方式中的步驟。...
【技術保護點】
1.一種視覺補償方法，其特征在于，應用于主軸外徑上設置有多個內窺鏡的手術器械，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求1所述的方法，其特征在于，將不同曝光級別的所述第一圖像構建為第一圖像序列，并輸入至預設第一視覺特征提取網絡，確定所述第一圖像序列對應的雙目視覺圖像特征，具體包括：
4.根據權利要求1所述的方法，其特征在于，將不同曝光級別的所述第二圖像構建為第二圖像序列，并輸入至預設第二視覺特征提取網絡，確定包括補充圖像特征以及對應位置信息的目標補充特征，具體包括：
5.根據權利要求1所述的方法，其特征在于，在獲取不同角度所述內窺鏡采集到的存在遮擋的第一圖像以及不存在遮擋的第二圖像之后，所述方法還包括：
6.根據權利要求2所述的方法，其特征在于，根據所述相機標定參數構建每個所述內窺鏡對應的校正旋轉矩陣，并根據所述校正旋轉矩陣校正位于不同角度的所述內窺鏡拍攝圖像時產生的角度畸變，具體包括：
7.根據權利要求1所述的方法，其特征在于，將所述雙目視覺圖像特征與所述目
8.一種視覺補償裝置，其特征在于，應用于主軸外徑上設置有多個內窺鏡的手術器械，所述裝置包括：
9.一種電子設備，其特征在于，包括：處理器、存儲器和總線，所述存儲器存儲有所述處理器可執行的機器可讀指令，當電子設備運行時，所述處理器與所述存儲器之間通過總線通信，所述機器可讀指令被所述處理器執行時執行如權利要求1至7中任一項所述的視覺補償方法的步驟。
10.一種計算機可讀存儲介質，其特征在于，該計算機可讀存儲介質上存儲有計算機程序，該計算機程序被處理器運行時執行如權利要求1至7中任一項所述的視覺補償方法的步驟。
...【技術特征摘要】
1.一種視覺補償方法，其特征在于，應用于主軸外徑上設置有多個內窺鏡的手術器械，所述方法包括：
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
3.根據權利要求1所述的方法，其特征在于，將不同曝光級別的所述第一圖像構建為第一圖像序列，并輸入至預設第一視覺特征提取網絡，確定所述第一圖像序列對應的雙目視覺圖像特征，具體包括：
4.根據權利要求1所述的方法，其特征在于，將不同曝光級別的所述第二圖像構建為第二圖像序列，并輸入至預設第二視覺特征提取網絡，確定包括補充圖像特征以及對應位置信息的目標補充特征，具體包括：
5.根據權利要求1所述的方法，其特征在于，在獲取不同角度所述內窺鏡采集到的存在遮擋的第一圖像以及不存在遮擋的第二圖像之后，所述方法還包括：
6.根據權利要求2所述的方法，其特征在于，根據所述相機標定參數構建每個所述內窺鏡對應的校正...
【專利技術屬性】
技術研發人員：馬邦峰，康帥，陳飛蛟，嚴煌，
申請(專利權)人：上海睿觸科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。