【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)涉及視頻圖像識別，具體來說是一種基于時空動作檢測的icu患者躁動視頻識別方法。
技術(shù)介紹
1、重癥監(jiān)護(hù)病房(icu)的患者常常因為疾病本身、環(huán)境因素、疼痛以及心理壓力等多種原因而表現(xiàn)出躁動和掙扎，這不僅加劇了患者的痛苦，還可能干擾治療和護(hù)理工作，嚴(yán)重時甚至威脅到患者的生命安全。危重患者中躁動的發(fā)生較為普遍，且其發(fā)生率較高，這會導(dǎo)致患者并發(fā)癥和死亡率的增加。因此，icu的護(hù)理人員需要及時識別患者的躁動跡象，盡可能減輕患者不適。
2、目前臨床上常使用的鎮(zhèn)靜評估量表主要是rass(richmond?agitation-sedationscale)量表，根據(jù)rass評分量表，icu患者的躁動類型主要有以下幾種類型：煩亂不安、躁動、非常躁動和危險躁動。在臨床上，醫(yī)護(hù)人員主要觀察患者身體運動的類別、幅度和頻率，結(jié)合rass評分表，為這些動作賦予一個分?jǐn)?shù)，進(jìn)而對患者躁動進(jìn)行分類。
3、傳統(tǒng)的rass評分方式存在以下不足：(1)人工rass評分主要基于醫(yī)護(hù)人員對患者狀態(tài)的直接觀察或患者的自我報告，這種方法具有較高的主觀性，可能導(dǎo)致對患者病情的誤判。(2)在重癥監(jiān)護(hù)室(icu)中，醫(yī)護(hù)人員面臨著高強(qiáng)度的護(hù)理工作，頻繁對患者進(jìn)行重癥監(jiān)護(hù)指標(biāo)的測量增加了工作負(fù)擔(dān)，并可能導(dǎo)致醫(yī)護(hù)人員的倦怠。據(jù)報告，約33％的醫(yī)護(hù)團(tuán)隊成員都會感受到倦怠，這種倦怠可能影響護(hù)理工作的質(zhì)量，進(jìn)而對icu患者的安全構(gòu)成威脅。(3)患者躁動的動作可能較為輕微，且可能被被子等物品遮擋，不易被察覺。這增加了患者躁動未被及時發(fā)現(xiàn)的風(fēng)險，可能導(dǎo)致護(hù)理人員
4、重癥監(jiān)護(hù)室里患者的監(jiān)測每天會產(chǎn)生大量的數(shù)據(jù)，在重癥監(jiān)護(hù)室(icu)中已經(jīng)開發(fā)了許多相關(guān)的人工智能及應(yīng)用。如使用面部表情靜態(tài)圖去檢測icu患者躁動水平，或者使用穿戴式的傳感器及數(shù)字成像技術(shù)去識別icu患者的躁動狀態(tài)。但是，如圖3所示，由于icu患者往往遮擋比較嚴(yán)重，且icu患者有時躁動動作比較輕微，這些研究方法都面臨著檢測動作類別不充分和對目標(biāo)患者動作的時空信息關(guān)注不夠的問題。
5、因此，如何利用豐富的時空信息，在面對icu患者部分遮擋和動作變化時仍然能夠準(zhǔn)確檢測到患者對象和動作仍然需要進(jìn)一步研究。
技術(shù)實現(xiàn)思路
1、本專利技術(shù)的目的是為了解決現(xiàn)有技術(shù)中難以針對icu患者進(jìn)行躁動視頻識別的缺陷，提供一種基于時空動作檢測的icu患者躁動視頻識別方法來解決上述問題。
2、為了實現(xiàn)上述目的，本專利技術(shù)的技術(shù)方案如下：
3、一種基于時空動作檢測的icu患者躁動視頻識別方法，包括以下步驟：
4、11)數(shù)據(jù)集的獲取與預(yù)處理：獲取icu患者視頻數(shù)據(jù)集，將其轉(zhuǎn)換為jpg格式并進(jìn)行預(yù)處理；
5、12)icu患者躁動識別模型的構(gòu)建：基于slowfast構(gòu)建icu患者躁動識別模型；
6、13)icu患者躁動識別模型的訓(xùn)練：利用預(yù)處理后的icu患者視頻數(shù)據(jù)集對icu患者識別模型進(jìn)行訓(xùn)練；
7、14)待識別視頻流數(shù)據(jù)的獲取：獲取待識別的icu患者視頻數(shù)據(jù)并進(jìn)行預(yù)處理；
8、15)icu患者躁動原子動作識別：將icu患者復(fù)雜的躁動動作根據(jù)rass評分表進(jìn)行分解，分解為頭動、手動、肩動、起身和屈腿五個原子動作，icu患者躁動識別模型再根據(jù)關(guān)鍵幀的前后幀變化情況進(jìn)行原子動作識別；
9、16)基于rass評分表的躁動量化分類：使用rass評分表給出不同原子動作的運動評分，并用躁動量化評分公式對所有評分求和來進(jìn)行患者躁動分類。
10、所述數(shù)據(jù)集的獲取與預(yù)處理包括以下步驟：
11、21)獲取icu患者視頻數(shù)據(jù)，并使用ffmpeg技術(shù)對其進(jìn)行抽幀處理，抽幀保存為jpg格式；
12、22)進(jìn)行數(shù)據(jù)增強(qiáng)處理：首先使用圖像處理庫opencv分別對圖像進(jìn)行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、水平垂直翻轉(zhuǎn)，再使用python腳本對數(shù)據(jù)集所有照片添加高斯噪聲以及移位、縮放、隨機(jī)裁剪處理；
13、23)將數(shù)據(jù)增強(qiáng)后的視頻圖像分別按照8:2的比例劃分為訓(xùn)練集、驗證集，并對數(shù)據(jù)集進(jìn)行標(biāo)注，標(biāo)注是指將icu患者躁動動作分解為頭動、肩動、手動、起身和屈腿五類標(biāo)簽，用via3.0工具對實驗數(shù)據(jù)集中人體以及動作進(jìn)行標(biāo)注；
14、標(biāo)注后的數(shù)據(jù)集格式用python腳本轉(zhuǎn)換為ava格式；訓(xùn)練集用于直接參與slowfast網(wǎng)絡(luò)模型的訓(xùn)練，進(jìn)行特征提取，驗證集用于調(diào)整slowfast網(wǎng)絡(luò)模型的超參數(shù)。
15、所述icu患者躁動識別模型的構(gòu)建包括以下步驟：
16、31)基于slowfast設(shè)定icu患者躁動識別模型，其中包括兩個支路，分別是快支路fastpath和慢支路slowpath，快支路fastpath和慢支路slowpath均有輸入端input、主干網(wǎng)絡(luò)backbone和輸出端output，快支路fastpath和慢支路slowpath的輸出端output作為輸入送到全連接層softmax進(jìn)行融合；
17、32)設(shè)定輸入端input使用mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)初始錨框計算、圖片縮放裁剪對圖像進(jìn)行預(yù)處理，輸入至主干網(wǎng)絡(luò)backbone；
18、33)設(shè)定快支路fastpath和慢支路slowpath的主干網(wǎng)絡(luò)backbone均用于對處理后的輸入圖片進(jìn)行特征提取，其中，慢支路slowpath使用大時間跨度τ＝16的稀疏采樣幀作為輸入，即每秒跳過的幀數(shù)，以獲取空間語義，快支路fastpath使用小時間跨度τ/α，α＝8的密集采樣幀作為輸入，用以捕獲時間語義；
19、快支路fastpath主干網(wǎng)絡(luò)的通道數(shù)是慢支路slowpath的β倍，β＝1/8，用以保持快支路fastpath的輕量化，在慢支路slowpath中，通過堆疊殘差塊并利用卷積核來提取時空特征以表征動作，其中，快支路fastpath提取的時間信息通過側(cè)向連接的方式和慢支路slowpath得到的空間語義信息進(jìn)行融合；
20、快支路fastpath和慢支路slowpath以不同的時間速率進(jìn)行工作，分別將提取到的時空特征信息通過全連接層softmax進(jìn)行全局平均融合；
21、34)設(shè)定經(jīng)過全連接層softmax進(jìn)行融合之后輸出得到預(yù)測的結(jié)果，損失函數(shù)采用bceloss二分類交叉熵?fù)p失函數(shù)計算定位和置信度損失，用于邊界框的監(jiān)督，優(yōu)化的bceloss進(jìn)行原子動作損失的計算和人體位置的監(jiān)督；
22、35)在快支路fastpath的主干網(wǎng)絡(luò)backbone中引入注意力機(jī)制actionnet，即在快支路fastpath主干網(wǎng)絡(luò)backbone的每個殘差塊residual?block之前插入actionnet，增強(qiáng)對icu患者的躁動原子信息和時序信息的關(guān)注；
23、36)在慢支路slowpath的主干網(wǎng)絡(luò)backbone引入tadaconv卷積模塊，本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點】
1.一種基于時空動作檢測的ICU患者躁動視頻識別方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于時空動作檢測的ICU患者躁動視頻識別方法，其特征在于，所述數(shù)據(jù)集的獲取與預(yù)處理包括以下步驟：
3.根據(jù)權(quán)利要求1所述的一種基于時空動作檢測的ICU患者躁動視頻識別方法，其特征在于，所述ICU患者躁動識別模型的構(gòu)建包括以下步驟：
4.根據(jù)權(quán)利要求1所述的一種基于時空動作檢測的ICU患者躁動視頻識別方法，其特征在于，所述ICU患者躁動識別模型的訓(xùn)練包括以下步驟：
5.根據(jù)權(quán)利要求1所述的一種基于時空動作檢測的ICU患者躁動視頻識別方法，其特征在于，所述ICU患者躁動原子動作識別包括以下步驟：
6.根據(jù)權(quán)利要求1所述的一種基于時空檢測的ICU患者躁動視頻識別方法，其特征在于，所述基于RASS評分表的躁動識別分類包括以下步驟：
【技術(shù)特征摘要】
1.一種基于時空動作檢測的icu患者躁動視頻識別方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于時空動作檢測的icu患者躁動視頻識別方法，其特征在于，所述數(shù)據(jù)集的獲取與預(yù)處理包括以下步驟：
3.根據(jù)權(quán)利要求1所述的一種基于時空動作檢測的icu患者躁動視頻識別方法，其特征在于，所述icu患者躁動識別模型的構(gòu)建包括以下步驟：
4.根據(jù)權(quán)利要求1所述...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：汪傳建，鄭樂平，馮東亮，程志友，
申請(專利權(quán))人：安徽大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。