【技術實現步驟摘要】
本專利技術涉及表情檢測，具體地，涉及一種基于計算機視覺的動態細粒度表情檢測方法及系統。
技術介紹
1、面部表情(facial?expression)是指通過眼部肌肉、顏面肌肉和口部肌肉的變化來表現各種情緒狀態。比如眼睛不但可以傳情還可以交流思想，面部表情是一種十分重要的非語言交往手段。而表情識別是指從給定的靜態圖像或動態視頻序列中分離出特定的表情狀態，從而確定被識別對象的心理情緒。由于面部表情的多樣性和復雜性，并且涉及生理學及心理學，表情識別具有較大的難度，因此，與其它生物識別技術如指紋識別、虹膜識別、人臉識別等相比，發展相對較慢，應用還不廣泛。但是表情識別對于人機交互卻有重要的價值，因此國內外很多研究機構及學者致力于這方面的研究。
2、專利文獻cn115798007a公開了一種端到端的表情檢測方法和系統，其中，端到端的表情檢測方法包括：構建表情檢測數據集；根據特征金字塔網絡建立表情檢測網絡模型，使用表情檢測網絡模型對表情檢測數據集分別進行特征圖提取、語義信息收集和特征融合，得到人臉表情熱力圖；表情檢測網絡模型根據多任務學習策略，檢測人臉表情熱力圖中的人臉中心點；表情檢測網絡模型對人臉中心點進行iou過濾，識別得到人臉中心點對應的人臉表情信息。
3、但是，市場上現有的表情檢測技術中還存在不足，比如常規表情檢測方法僅通過單幀面部圖像難以準確反映面部運動的問題，以及常規的離散表情檢測結果例如快樂、悲傷等，難以準確描述面部具體動作的問題。
技術實現思路
1、針對現
2、根據本專利技術提供的一種基于計算機視覺的動態細粒度表情檢測方法，包括：
3、步驟s1：采集面部動作視頻；
4、步驟s2：將所述面部動作視頻作為輸入，執行連續可行幀提取算法，得到視頻中的全部連續可行幀序列；
5、步驟s3：對于每一個連續可行幀序列，執行動態動作單元檢測算法，得到當前序列對應的左右側面部分別的動態動作單元強度、靜態動作最大幀、靜態動作最小幀，完成左右側面部表情動作的檢測。
6、優選地，所述面部動作視頻指的是人物面向攝像頭，做出特定面部表情，由攝像頭拍攝得到的包含人物面部表情動作的視頻；
7、在采集面部動作視頻時，人物無需保持頭部固定不動，對于表情動作的速度和次數也沒有要求。
8、優選地，所述步驟s2包括：
9、步驟s2.1：初始化連續可行幀序列集，初始化臨時幀序列；
10、步驟s2.2：讀取視頻當前幀，并檢測當前幀上的面部特征點，得到當前幀的面部特征點集以及頭部位姿矩陣；
11、步驟s2.3：判斷當前幀是否滿足可行幀標準，若是，則執行步驟s2.4；若否，則執行步驟s2.6；
12、步驟s2.4：判斷臨時幀序列是否為空，若是，則直接將當前幀添加至臨時幀序列中；若否，則根據臨時幀序列中的第一幀和當前幀對應的面部特征點集，計算面部移動距離，計算公式如下：
13、
14、其中，表示在當前幀時刻t下序號為i的面部特征點的像素坐標，表示臨時幀序列中的第一幀時刻下序號為i的面部特征點的像素坐標，c表示全部面部特征點序號組成的集合的一個子集，該子集用于計算面部移動距離，集合c包含的面部特征點序號數量為n；
15、步驟s2.5：判斷所述面部移動距離是否小于預設閾值d，若是，則認為當前幀符合臨時幀序列的連續性，將當前幀添加至臨時幀序列；若否，則執行步驟s2.6；
16、步驟s2.6：檢查臨時幀序列的持續時長是否大于預設閾值，若是，則將臨時幀序列添加至連續可行幀序列集，并初始化臨時幀序列為空；若否，則直接初始化臨時幀序列為空；
17、步驟s2.7：將當前幀添加至臨時幀序列s，并判斷是否存在下一幀，若是，則將所述下一幀作為當前幀返回執行步驟s2.2；若否，則結束計算流程。
18、優選地，所述可行幀標準包括：對于面部與相機距離的約束，通過計算眼部特征點在圖像上的像素距離實現；對于面部水平和豎直方向偏轉角的約束，通過頭部位姿矩陣實現；對于眨眼動作的約束，通過上下眼瞼特征點在圖像上的像素距離實現。
19、優選地，所述步驟s3包括：
20、步驟s3.1：對每一個連續可行幀序列進行靜態動作強度計算；所述靜態動作強度的計算根據具體任務設定合適的指標；
21、步驟s3.2：根據計算得到的每一幀圖像的靜態動作強度，選取靜態動作強度的最大幀和最小幀，計算兩幀對應的靜態動作強度差值作為動作幅度△a，并設定閾值a；
22、步驟s3.3：判斷當前動作幅度△a是否大于設定閾值a，若是，則表明當前連續可行幀序列中存在任務對應的面部表情動作，則此時根據所述靜態動作強度的最大幀和最小幀中的左右側面部特征點計算左右側分別的動態動作單元強度；
23、所述動態動作單元強度的計算根據具體任務設定合適的指標。
24、根據本專利技術提供的一種基于計算機視覺的動態細粒度表情檢測系統，包括：
25、模塊m1：采集面部動作視頻；
26、模塊m2：將所述面部動作視頻作為輸入，觸發連續可行幀提取算法，得到視頻中的全部連續可行幀序列；
27、模塊m3：對于每一個連續可行幀序列，觸發動態動作單元檢測算法，得到當前序列對應的左右側面部分別的動態動作單元強度、靜態動作最大幀、靜態動作最小幀，完成左右側面部表情動作的檢測。
28、優選地，所述面部動作視頻指的是人物面向攝像頭，做出特定面部表情，由攝像頭拍攝得到的包含人物面部表情動作的視頻；
29、在采集面部動作視頻時，人物無需保持頭部固定不動，對于表情動作的速度和次數也沒有要求。
30、優選地，所述模塊m2包括：
31、模塊m2.1：初始化連續可行幀序列集，初始化臨時幀序列；
32、模塊m2.2：讀取視頻當前幀，并檢測當前幀上的面部特征點，得到當前幀的面部特征點集以及頭部位姿矩陣；
33、模塊m2.3：判斷當前幀是否滿足可行幀標準，若是，則觸發模塊m2.4；若否，則觸發模塊m2.6；
34、模塊m2.4：判斷臨時幀序列是否為空，若是，則直接將當前幀添加至臨時幀序列中；若否，則根據臨時幀序列中的第一幀和當前幀對應的面部特征點集，計算面部移動距離，計算公式如下：
35、
36、其中，表示在當前幀時刻t下序號為i的面部特征點的像素坐標，表示臨時幀序列中的第一幀時刻下序號為i的面部特征點的像素坐標，c表示全部面部特征點序號組成的集合的一個子集，該子集用于計算面部移動距離，集合c包含的面部特征點序號數量為n。
37、模塊m2.5：判斷所述面部移動距離是否小于預設閾值d，若是，則認為當前幀符合臨時幀序列的連續性，將當前幀添加至臨時幀序列；若否，則觸發模塊m2.6；...
【技術保護點】
1.一種基于計算機視覺的動態細粒度表情檢測方法，其特征在于，包括：
2.根據權利要求1所述的基于計算機視覺的動態細粒度表情檢測方法，其特征在于，所述面部動作視頻指的是人物面向攝像頭，做出特定面部表情，由攝像頭拍攝得到的包含人物面部表情動作的視頻；
3.根據權利要求1所述的基于計算機視覺的動態細粒度表情檢測方法，其特征在于，所述步驟S2包括：
4.根據權利要求3所述的基于計算機視覺的動態細粒度表情檢測方法，其特征在于，所述可行幀標準包括：對于面部與相機距離的約束，通過計算眼部特征點在圖像上的像素距離實現；對于面部水平和豎直方向偏轉角的約束，通過頭部位姿矩陣實現；對于眨眼動作的約束，通過上下眼瞼特征點在圖像上的像素距離實現。
5.根據權利要求1所述的基于計算機視覺的動態細粒度表情檢測方法，其特征在于，所述步驟S3包括：
6.一種基于計算機視覺的動態細粒度表情檢測系統，其特征在于，包括：
7.根據權利要求6所述的基于計算機視覺的動態細粒度表情檢測系統，其特征在于，所述面部動作視頻指的是人物面向攝像頭，做出特定面部表
8.根據權利要求6所述的基于計算機視覺的動態細粒度表情檢測系統，其特征在于，所述模塊M2包括：
9.根據權利要求8所述的基于計算機視覺的動態細粒度表情檢測系統，其特征在于，所述可行幀標準包括：對于面部與相機距離的約束，通過計算眼部特征點在圖像上的像素距離實現；對于面部水平和豎直方向偏轉角的約束，通過頭部位姿矩陣實現；對于眨眼動作的約束，通過上下眼瞼特征點在圖像上的像素距離實現。
10.根據權利要求6所述的基于計算機視覺的動態細粒度表情檢測系統，其特征在于，所述模塊M3包括：
...【技術特征摘要】
1.一種基于計算機視覺的動態細粒度表情檢測方法，其特征在于，包括：
2.根據權利要求1所述的基于計算機視覺的動態細粒度表情檢測方法，其特征在于，所述面部動作視頻指的是人物面向攝像頭，做出特定面部表情，由攝像頭拍攝得到的包含人物面部表情動作的視頻；
3.根據權利要求1所述的基于計算機視覺的動態細粒度表情檢測方法，其特征在于，所述步驟s2包括：
4.根據權利要求3所述的基于計算機視覺的動態細粒度表情檢測方法，其特征在于，所述可行幀標準包括：對于面部與相機距離的約束，通過計算眼部特征點在圖像上的像素距離實現；對于面部水平和豎直方向偏轉角的約束，通過頭部位姿矩陣實現；對于眨眼動作的約束，通過上下眼瞼特征點在圖像上的像素距離實現。
5.根據權利要求1所述的基于計算機視覺的動態細粒度表情檢測方法，其特征在于，所述步驟s3包括：
...【專利技術屬性】
技術研發人員：郭遙，李金凱，楊健鑫，徐振業，
申請(專利權)人：上海交通大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。