【技術實現步驟摘要】
本專利技術涉及卒中面部輔助評估，具體地，涉及一種基于面部動作單元檢測的卒中面部輔助評估方法及系統。
技術介紹
1、面癱包括中樞性面癱和周圍性面癱。中樞性面癱是腦卒中后嚴重的后遺癥之一,約有70％的卒中患者患病后出現了中樞性面癱,其中30％的患者出現了永久性面癱。臨床表現以病灶對側眼眶以下面部表情肌群的運動障礙為主要特征,以口臉歪斜為主要表現癥狀。周圍性面癱又稱bell麻痹或面神經炎，為面神經管內面神經的非特異性炎癥引起的周圍性面肌癱瘓，周圍性面癱包括整個面部。一般癥狀是口眼歪斜，無法完成抬眉、閉眼、鼓嘴等動作。無論是中樞性面癱還是周圍性面癱均影響患者美觀度的同時常伴有構音障礙,流涎,夾食,吞咽咀嚼無力等癥狀,是臨床較難治愈的頑癥。
2、如果在此之前能夠及時得到診斷以及最大程度上的準確輔助評估，可以大概率避免這種情況的發生，提高康復的可能性。
3、專利文獻cn113782184a一種基于面部關鍵點與特征預學習的腦卒中輔助評估系統，包括數據采集模塊、關鍵點定位模型訓練模塊、特征預學習模型訓練模塊和快速診斷評估模型構建模塊。首先利用在公開的大數據量的面癱數據集中進行特征預學習，隨后在腦卒中小樣本數據集上進行針對性的特征學習從而獲取具有高刻畫度的腦卒中面部變化圖像特征，其次采用面部多關鍵點定位算法對腦卒中面部區域進行分割定位，分割出眼部、嘴部區域，將得到的眼部以及嘴部區域送入卷積神經網絡進行特征提取，最后對不同區域的特征進行分類，最終得到腦卒中面部評估量化標準。
4、但是，模型輸出僅有異常類別，例如，
技術實現思路
1、針對現有技術中的缺陷，本專利技術的目的是提供一種基于面部動作單元檢測的卒中面部輔助評估方法及系統。
2、根據本專利技術提供的一種基于面部動作單元檢測的卒中面部輔助評估方法，包括：
3、步驟s1：采集患者面部運動視頻，記錄每一個動作在視頻中的開始幀和結束幀；所述動作包括水平轉動眼球動作、示齒動作、抬眉動作、閉眼動作；
4、步驟s2：根據水平轉動眼球動作的開始幀和結束幀，提取水平轉動眼球動作視頻，即轉眼動作視頻，并使用凝視評分算法，計算得到患者凝視情況的嚴重程度評分；
5、步驟s3：根據示齒動作、抬眉動作、閉眼動作分別的開始幀和結束幀，分別提取三種動作的視頻，使用面癱評分算法，計算得到患者面癱情況的嚴重程度評分。
6、優選地，所述水平轉動眼球動作是指患者水平轉動眼球分別達到眼眶左右兩側的極限位置，眼球從最左端轉至最右端再回到最左端記為1次，重復3至4次；
7、所述示齒動作是指患者用力咧嘴笑；
8、所述抬眉動作是指患者兩側眉毛同時用力上挑；
9、所述閉眼動作是指患者兩眼同時用力閉合。
10、優選地，所述患者凝視情況的嚴重程度評分包括三個分數，分別為0分、1分、2分，分別表示正常、部分凝視麻痹、被動凝視或完全凝視麻痹；
11、所述患者面癱情況的嚴重程度評分包括四種分數，分別為0分、1分、2分、3分，分別表示：正常、最小面癱、部分面癱、完全面癱。
12、優選地，所述步驟s2包括：
13、步驟s2.1：將所述轉眼動作視頻作為輸入進行可行幀選取，得到可行幀集；
14、步驟s2.2：將所述可行幀集的每一幀圖像通過閉眼檢測模型提取出眼睛睜開的幀，組成眼睛睜開幀集；
15、步驟s2.3：對所述眼睛睜開幀集中的每一幀圖像檢測面部特征點，通過其中的眼部區域特征點判斷人物眼球是否有移動，若是，則執行步驟s2.4；若否，則輸出2分。所述判斷人物眼球是否有移動的方法包括通過眼部區域特征點計算瞳孔中心點和左右兩側眼角點距離的比值，計算所有圖像中該比值的標準差，若標準差小于閾值，則表明眼球無移動；否則，表明眼球有移動；
16、步驟s2.4：將眼睛睜開幀集的每一幀圖像經過眼球姿態識別模型，得到對于左眼和右眼的逐幀眼球姿態識別結果，進而分別得到眼球位于眼眶內側位置和外側位置的幀數；
17、步驟s2.5：確定所述幀數是否均大于閾值n1，若是，則輸出0分；若否，則輸出1分。
18、優選地，所述步驟s3包括：示齒檢測、抬眉檢測和閉眼檢測，根據示齒檢測、抬眉檢測和閉眼檢測分別的異常情況結果，經過面癱評分邏輯，輸出具體分數。
19、優選地，所述示齒檢測包括：將示齒動作視頻輸入嘴角移動檢測算法，得到視頻中的每一個連續可行幀序列，以及每一個序列對應的左右側動作單元強度；計算每一個序列的左右側強度比值，并得到比值在全部序列中的最大值；對于所述最大值，設定兩個閾值a和b判斷左右側動作的不對稱程度，對應示齒動作的異常情況判斷，分別為示齒正常/示齒輕微異常/示齒嚴重異常；
20、所述抬眉檢測包括：將抬眉動作視頻輸入抬眉檢測算法，得到視頻中的每一個連續可行幀序列，以及每一個序列對應的左右側動作單元強度；計算每一個序列的左右側強度比值，并得到比值在全部序列中的最大值；對于所述最大值，設定某一閾值c判斷左右側動作的不對稱程度，對應抬眉動作的異常情況判斷，分別為抬眉正常/抬眉異常；
21、所述閉眼檢測包括對閉眼動作視頻使用可行幀選取算法，從視頻中提取出全部可行幀組成可行幀集，將可行幀集的每一幀圖像經過閉眼檢測模型，得到對于左眼和右眼的逐幀閉眼狀態檢測結果，進而得到眼睛輕閉和緊閉的幀數之和，設定閾值d，對于每一只眼睛判斷所述幀數之和是否大于閾值d，對應閉眼動作的異常情況，分別為閉眼正常和閉眼異常。
22、優選地，所述嘴角移動檢測算法包括：通過可行幀選取算法獲得視頻中的全部連續可行幀序列，然后，針對每一個序列，對其中的每一幀圖像提取面部特征點，使用所檢測動作對應的部分特征點，計算所述部分特征點在左右側面部分別的移動幅度，作為左右側動作單元強度輸出。
23、優選地，所述面癱評分邏輯，具體為：若示齒正常，則輸出0分；若示齒輕微異常，則輸出1分；若示齒嚴重異常，抬眉正常，閉眼正常，則輸出2分；若示齒嚴重異常，抬眉異常，閉眼異常，則輸出3分。
24、根據本專利技術提供的一種基于面部動作單元檢測的卒中面部輔助評估系統，包括：
25、模塊m1：采集患者面部運動視頻，記錄每一個動作在視頻中的開始幀和結束幀；所述動作包括水平轉動眼球動作、示齒動作、抬眉動作、閉眼動作；
26、模塊m2：根據水平轉動眼球動作的開始幀和結束幀，提取水平轉動眼球動作視頻，即轉眼動作視頻，并使用凝視評分算法，計算得到患者凝視情況的嚴重程度評分；
27、模塊m3：根據示齒動作、抬眉動作、閉眼動作分別的開始幀和結束幀，分別提取三種動作的視頻，使用面癱評分算法，計算得到患者面癱情況的嚴重程度評分。
28、優選地，所述水平轉動眼球動作是指患者水平轉動眼球分別達到眼眶左右兩側的極限位置，眼球從最左端轉至最右端再回本文檔來自技高網...
【技術保護點】
1.一種基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，包括：
2.根據權利要求1所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述水平轉動眼球動作是指患者水平轉動眼球分別達到眼眶左右兩側的極限位置，眼球從最左端轉至最右端再回到最左端記為1次，重復3至4次；
3.根據權利要求1所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述患者凝視情況的嚴重程度評分包括三個分數，分別為0分、1分、2分，分別表示正常、部分凝視麻痹、被動凝視或完全凝視麻痹；
4.根據權利要求1所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述步驟S2包括：
5.根據權利要求1所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述步驟S3包括：示齒檢測、抬眉檢測和閉眼檢測，根據示齒檢測、抬眉檢測和閉眼檢測分別的異常情況結果，經過面癱評分邏輯，輸出具體分數。
6.根據權利要求5所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述示齒檢測包括：將示齒動作視頻輸入嘴角移動檢測算法，
7.根據權利要求6所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述嘴角移動檢測算法包括：通過可行幀選取算法獲得視頻中的全部連續可行幀序列，然后，針對每一個序列，對其中的每一幀圖像提取面部特征點，使用所檢測動作對應的部分特征點，計算所述部分特征點在左右側面部分別的移動幅度，作為左右側動作單元強度輸出。
8.根據權利要求5所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述面癱評分邏輯，具體為：若示齒正常，則輸出0分；若示齒輕微異常，則輸出1分；若示齒嚴重異常，抬眉正常，閉眼正常，則輸出2分；若示齒嚴重異常，抬眉異常，閉眼異常，則輸出3分。
9.一種基于面部動作單元檢測的卒中面部輔助評估系統，其特征在于，包括：
10.根據權利要求9所述的基于面部動作單元檢測的卒中面部輔助評估系統，其特征在于，所述水平轉動眼球動作是指患者水平轉動眼球分別達到眼眶左右兩側的極限位置，眼球從最左端轉至最右端再回到最左端記為1次，重復3至4次；
...【技術特征摘要】
1.一種基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，包括：
2.根據權利要求1所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述水平轉動眼球動作是指患者水平轉動眼球分別達到眼眶左右兩側的極限位置，眼球從最左端轉至最右端再回到最左端記為1次，重復3至4次；
3.根據權利要求1所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述患者凝視情況的嚴重程度評分包括三個分數，分別為0分、1分、2分，分別表示正常、部分凝視麻痹、被動凝視或完全凝視麻痹；
4.根據權利要求1所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述步驟s2包括：
5.根據權利要求1所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述步驟s3包括：示齒檢測、抬眉檢測和閉眼檢測，根據示齒檢測、抬眉檢測和閉眼檢測分別的異常情況結果，經過面癱評分邏輯，輸出具體分數。
6.根據權利要求5所述的基于面部動作單元檢測的卒中面部輔助評估方法，其特征在于，所述示齒檢測包括：將示齒動作視頻輸入嘴角移動檢測算法，得到視頻中的每一個連續可行幀序列，以及每一個序列對應的左右側動作單元強度；計算每一個序列的左右...
【專利技術屬性】
技術研發人員：王擁軍，郭遙，李金凱，張喆，熊云云，楊健鑫，徐振業，
申請(專利權)人：上海交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。