【技術實現步驟摘要】
本專利技術涉及行為識別，尤其涉及一種基于機器學習的手術人員視頻行為識別方法及系統。
技術介紹
1、傳統方法上依賴人工監控或視頻回放的方式對手術人員的洗手過程進行管理。然而，這種方法耗時且依賴于人工判斷，難以保證實時性和準確性。為了解決這些問題，基于機器學習和計算機視覺的自動化行為識別技術逐漸應用于手術人員的洗手監控中?；跈C器學習的視頻行為識別方法，尤其是深度學習技術的崛起，推動了這一領域的快速發展。通過對手術人員的洗手動作進行自動識別和評估，可以實現大規模、實時、高精度的監控。但現有方法主要依賴單一數據源（如rgb攝像頭）進行動作識別，存在一定的局限性。
2、在現有方法中，rgb攝像頭通常作為主要數據源，用于捕捉視頻幀并對手術人員進行行為識別。雖然rgb攝像頭能捕捉豐富的視覺信息，但它在復雜場景中的表現存在一些明顯的局限性：
3、遮擋問題：在洗手場景中，手術人員的手部動作被衣物、周圍物體或其他人員遮擋，導致rgb攝像頭無法準確捕捉到手部的動作細節，影響動作識別的準確性。
4、光照變化：醫院的洗手區域常常受到不同光源的影響，光照的強弱、反射或陰影的出現會干擾攝像頭的成像質量，進而影響識別精度。
5、深度信息缺失：rgb攝像頭只能捕捉二維的圖像信息，無法獲取手術人員動作的深度信息（如手的前后位移、軀干的立體動作等）。在手部動作的精確識別中，缺乏深度信息導致動作細節的丟失，影響識別效果。
6、細節識別困難：手部動作通常包含復雜的細微動作變化，單靠rgb圖像難以準確捕捉每個動
技術實現思路
1、基于此，有必要提供一種基于機器學習的手術人員視頻行為識別方法及系統，以解決至少一個上述技術問題。
2、為實現上述目的，一種基于機器學習的手術人員視頻行為識別方法，包括以下步驟：
3、步驟s1：通過rgb攝像頭以及激光測距設備對手術人員洗手區域進行視頻幀序列以及點云幀序列獲取，得到視頻幀序列以及點云幀序列；對點云幀序列進行手部點云分割，得到手部點云數據；根據視頻幀序列以及手部點云數據進行動作原始數據生成，得到動作原始數據；
4、步驟s2：對動作原始數據進行手部關鍵點的位置和姿態信息提取，得到視頻關鍵點特征數據；對視頻關鍵點特征數據進行視頻運動特征提取，得到視頻運動特征數據；對動作原始數據進行點云全局特征提取，得到點云全局特征數據；對點云全局特征數據以及視頻運動特征數據進行加權特征融合，得到融合特征向量；
5、步驟s3：對融合特征向量進行時間順序排列處理，得到時序特征序列數據；對時序特征序列數據進行動作分割點概率預測，得到動作分割點概率數據；根據動作分割點概率數據進行動作分割，并進行步驟識別，得到步驟識別標簽序列；
6、步驟s4：獲取七步洗手法的標準動作模板數據；根據七步洗手法的標準動作模板數據以及步驟識別標簽序列進行時間規整匹配處理，得到時間規整匹配距離數據；根據時間規整匹配距離數據進行動作質量評估，得到動作質量評分；
7、步驟s5：對動作質量評分進行合規性驗證，得到整體合規性評估數據；根據整體合規性評估數據進行合規性報告生成，得到合規性報告，以實現手術人員的洗手消毒監控作業。
8、本專利技術通過rgb攝像頭和激光測距設備獲取視頻和點云數據，并進行手部點云分割，能夠有效獲取手術人員洗手區域的多模態數據，并精準提取手部信息，排除背景干擾，為后續動作識別和分析提供高質量的數據基礎。從動作原始數據中提取手部關鍵點信息和點云全局特征，并進行加權特征融合，能夠有效結合多模態信息，更全面地描述手部動作，提高特征表達能力和識別準確性。通過對融合特征向量進行時序分析、動作分割和步驟識別，能夠將連續的洗手動作分解成離散的步驟，并識別每個步驟的類別，為后續動作質量評估提供細粒度的分析結果。通過與標準動作模板進行時間規整匹配，并結合空間匹配度、時間匹配度和動作細節評分，能夠對每個洗手步驟進行精細化的質量評估，提供更客觀、全面的評估結果。通過對動作質量評分進行合規性驗證，并生成合規性報告，可以實現對手術人員洗手操作的自動化監控和評估，提高手術室衛生管理水平。因此，本專利技術提供了一種基于機器學習的手術人員視頻行為識別方法，通過結合rgb攝像頭與激光測距設備，利用深度學習方法有效克服了傳統手術人員視頻行為識別方法中單一數據源帶來的局限性，特別是在洗手視頻行為識別監控場景中的應用。這種多模態數據融合的方式，通過rgb攝像頭捕捉視覺信息、激光測距設備獲取三維深度信息，再結合深度學習網絡對動作進行精細分析和評估，最終實現了更高的識別精度、魯棒性和自動化水平。
9、優選地，步驟s1包括以下步驟：
10、步驟s11：通過rgb攝像頭對手術人員洗手區域進行畫面運動檢測，當檢測到連續的運動變化時，進行視頻流數據采集，得到視頻幀序列；根據激光測距設備以及視頻幀序列的時間戳進行點云數據同步采集，得到點云幀序列；
11、步驟s12：對點云幀序列進行點云降噪處理，得到點云去噪數據；
12、步驟s13：對點云去噪數據進行手部點云分割，得到手部點云數據；
13、步驟s14：對視頻幀序列進行關鍵幀提取，得到視頻關鍵幀數據；
14、步驟s15：對手部點云數據以及視頻關鍵幀數據進行多模態數據對齊，得到多模態數據對齊數據；根據多模態數據對齊數據進行動作原始數據生成，得到動作原始數據。
15、本專利技術通過畫面運動檢測觸發視頻流數據采集，可以有效避免采集無效的靜態畫面，節省存儲空間和計算資源。同時，根據視頻幀序列的時間戳進行點云數據同步采集，保證了rgb數據和深度數據的時間同步性，為后續的多模態數據融合奠定了基礎。點云降噪處理可以去除點云數據中的噪聲點，提高點云數據的質量，使后續的手部點云分割更加準確，減少誤分割的可能性，提升算法的魯棒性。手部點云分割可以將手部點云從背景環境中分離出來，去除洗手池、墻壁等背景物體的干擾，使得后續的特征提取和動作識別更加專注于手部區域，提高識別精度。關鍵幀提取可以減少數據冗余，降低計算復雜度，同時保留了動作的關鍵信息，有利于后續的動作分析和識別，提高算法的效率。多模態數據對齊可以將手部點云數據和視頻關鍵幀數據在時間和空間上進行對齊，確保兩種數據的一致性，為后續的多模態特征融合提供可靠的數據輸入，提高特征的表達能力。
16、優選地，步驟s13包括以下步驟：
17、步驟s131：利用點云去噪數據以及預設的深度范圍閾值進行手部區域初步檢測，得到初步手部點云數據；
18、步驟s132：利用預訓練的手部檢測模型對視頻幀序列進行手部輪廓檢測，得到手部輪廓數據；
19、步驟s133：將手部輪廓數據映射至初步手部點云數據，進行非手部點云剔除，得到rgb輔助手部點云數據；
20、步驟s134：對rgb輔助手部點云數據進本文檔來自技高網...
【技術保護點】
1.一種基于機器學習的手術人員視頻行為識別方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟S1包括以下步驟：
3.根據權利要求2所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟S13包括以下步驟：
4.根據權利要求1所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟S2包括以下步驟：
5.根據權利要求4所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟S22包括以下步驟：
6.根據權利要求1所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟S3包括以下步驟：
7.根據權利要求1所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟S4包括以下步驟：
8.根據權利要求7所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟S42包括以下步驟：
9.根據權利要求1所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟S5包括以下步驟：
10
...【技術特征摘要】
1.一種基于機器學習的手術人員視頻行為識別方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟s1包括以下步驟：
3.根據權利要求2所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟s13包括以下步驟：
4.根據權利要求1所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟s2包括以下步驟：
5.根據權利要求4所述的基于機器學習的手術人員視頻行為識別方法，其特征在于，步驟s22包括以下步驟：
6.根據權利要求1所述的基于機器學習的手術...
【專利技術屬性】
技術研發人員：周滔，李玲龍，曾垂友，
申請(專利權)人：深圳大因醫療科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。