【技術實現步驟摘要】
本申請涉及圖像處理領域，特別是涉及動作識別方法、裝置、電子裝置和存儲介質。
技術介紹
1、當前在醫療領域，術中縫合動作的有效識別和評估具有重要意義。在相關技術中，采用人工識別等方式，存在主觀性高、耗時長等問題，導致對術中縫合動作識別的準確性較低，難以滿足臨床實際需求。
2、目前針對相關技術中縫合動作識別的準確性低的問題，尚未提出有效的解決方案。
技術實現思路
1、本申請實施例提供了一種動作識別方法、裝置、電子裝置和存儲介質，以至少解決相關技術中縫合動作識別的準確性低的問題。
2、第一方面，本申請實施例提供了一種動作識別方法，所述方法包括：
3、獲取待測視頻段；
4、將所述待測視頻段輸入至訓練后的目標動作識別模型進行處理；利用所述目標動作識別模型中的多頭注意力機制網絡，對所述待測視頻段中的各幀圖像特征進行融合，得到融合特征，并根據所述融合特征輸出動作識別結果。
5、在其中一些實施例中，所述利用所述目標動作識別模型中的多頭注意力機制網絡，對所述待測視頻段中的各幀圖像特征進行融合，得到融合特征，包括：
6、將所述待測視頻段中的各幀圖像分別輸入至所述目標動作識別模型中的特征提取網絡，并輸出各幀圖像對應的圖像特征；
7、將各所述圖像特征并行輸入至所述多頭注意力機制網絡，得到所述融合特征。
8、在其中一些實施例中，所述獲取待測視頻段，包括：
9、獲取待測圖像；對所述待測圖像進行亮通道處理
10、獲取在所述目標圖像之前和/或之后，采集到的若干幀圖像；基于所述若干幀圖像和所述目標圖像，生成所述待測視頻段。
11、在其中一些實施例中，所述對所述待測圖像進行亮通道處理，得到目標圖像，包括：
12、針對所述待測圖像的各像素點進行亮通道處理，確定在預設的顏色通道中的最大像素值；基于所述最大像素值生成灰度圖像；
13、對所述灰度圖像進行最大值濾波處理，得到所述目標圖像。
14、在其中一些實施例中，所述對所述待測圖像進行亮通道處理，得到目標圖像，包括：
15、對所述待測圖像進行亮通道處理，得到亮通道圖像；基于所述亮通道圖像進行歸一化處理，得到權重矩陣；
16、獲取所述待測圖像的累計分布函數；根據所述權重矩陣和所述累計分布函數，對所述待測圖像進行加權均衡處理，得到所述目標圖像。
17、在其中一些實施例中，所述利用所述目標動作識別模型中的多頭注意力機制網絡，對所述待測視頻段中的各幀圖像特征進行融合，得到融合特征，包括：
18、利用所述多頭注意力機制網絡，將所述目標圖像對應的圖像特征，分別與其他圖像對應的圖像特征進行加權融合，得到所述融合特征；所述其他圖像為所述待測視頻段中除所述目標圖像之外的圖像。
19、在其中一些實施例中，訓練所述目標動作識別模型，包括：
20、獲取訓練圖像集；所述訓練圖像集攜帶有多個類別標簽；
21、將所述訓練圖像集輸入至包括所述多頭注意力機制網絡的初始動作識別模型進行訓練，并輸出預測類別結果；
22、根據所述預測類別結果和所述類別標簽計算損失函數；將所述損失函數的梯度反向傳遞至所述初始動作識別模型進行迭代，生成所述目標動作識別模型。
23、第二方面，本申請實施例提供了一種動作識別裝置，所述裝置包括：
24、獲取模塊，用于獲取待測視頻段；
25、識別模塊，用于將所述待測視頻段輸入至訓練后的目標動作識別模型進行處理；利用所述目標動作識別模型中的多頭注意力機制網絡，對所述待測視頻段中的各幀圖像特征進行融合，得到融合特征，并根據所述融合特征輸出動作識別結果。
26、第三方面，本申請實施例提供了一種電子裝置，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上述第一方面所述的動作識別方法。
27、第四方面，本申請實施例提供了一種存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如上述第一方面所述的動作識別方法。
28、相比于相關技術，本申請實施例提供的動作識別方法、裝置、電子裝置和存儲介質，通過獲取待測視頻段；將待測視頻段輸入至訓練后的目標動作識別模型進行處理；利用目標動作識別模型中的多頭注意力機制網絡，對待測視頻段中的各幀圖像特征進行融合，得到融合特征，并根據融合特征輸出動作識別結果。基于此，可以使模型具備同時關注不同時刻畫面的能力，獲取更加全面和準確的信息，且在前向過程中，多個注意力頭并行處理，使得模型可以從多個角度來對輸入圖像進行建模，并更好地捕捉多幀之間的關聯，因此能夠合理分配幀和幀之間的相互關聯的權重，以達到更好的識別精細動作的目的，從而實現了對縫合動作的精確、快速的自適應識別，有效解決了縫合動作識別的準確性低的問題。
29、本申請的一個或多個實施例的細節在以下附圖和描述中提出，以使本申請的其他特征、目的和優點更加簡明易懂。
本文檔來自技高網...【技術保護點】
1.一種動作識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的動作識別方法，其特征在于，所述利用所述目標動作識別模型中的多頭注意力機制網絡，對所述待測視頻段中的各幀圖像特征進行融合，得到融合特征，包括：
3.根據權利要求1所述的動作識別方法，其特征在于，所述獲取待測視頻段，包括：
4.根據權利要求3所述的動作識別方法，其特征在于，所述對所述待測圖像進行亮通道處理，得到目標圖像，包括：
5.根據權利要求3所述的動作識別方法，其特征在于，所述對所述待測圖像進行亮通道處理，得到目標圖像，包括：
6.根據權利要求3至5中任一項所述的動作識別方法，其特征在于，所述利用所述目標動作識別模型中的多頭注意力機制網絡，對所述待測視頻段中的各幀圖像特征進行融合，得到融合特征，包括：
7.根據權利要求1所述的動作識別方法，其特征在于，訓練所述目標動作識別模型，包括：
8.一種動作識別裝置，其特征在于，所述裝置包括：
9.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，
10.一種存儲介質，其特征在于，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行權利要求1至7中任一項所述的動作識別方法。
...【技術特征摘要】
1.一種動作識別方法，其特征在于，所述方法包括：
2.根據權利要求1所述的動作識別方法，其特征在于，所述利用所述目標動作識別模型中的多頭注意力機制網絡，對所述待測視頻段中的各幀圖像特征進行融合，得到融合特征，包括：
3.根據權利要求1所述的動作識別方法，其特征在于，所述獲取待測視頻段，包括：
4.根據權利要求3所述的動作識別方法，其特征在于，所述對所述待測圖像進行亮通道處理，得到目標圖像，包括：
5.根據權利要求3所述的動作識別方法，其特征在于，所述對所述待測圖像進行亮通道處理，得到目標圖像，包括：
6.根據權利要求3至5中任一項所述的動作識別方法，其...
【專利技術屬性】
技術研發人員：余鴻浩，蔣科學，周奇明，
申請(專利權)人：浙江華諾康科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。