【技術實現步驟摘要】
本申請涉及圖像識別，特別是涉及一種根據視頻智能判定癲癇分型的方法以及根據視頻智能判定癲癇分型的裝置。
技術介紹
1、癲癇是神經科最常見疾病之一，患病率約0.8％，我國現有癲癇患者約1000萬。癲癇的發病率曲線呈“u”型，兒童期是癲癇發病的第一個高峰，而對于兒童患者，反復的癲癇發作會導致智力、認知發育遲滯甚至倒退和行為問題等，早期正確診斷和治療十分重要。正確判定癲癇發作的分型(全面性和局灶性)對指導治療尤為重要。
2、癲癇的診療水平在不同地域和醫療機構間差異較大，部分醫療機構缺少視頻腦電圖等必要設備，對癲癇發作正確分型困難，許多癲癇患者不能得到正確治療，甚至選用不合適的藥物導致發作加重。且目前視頻腦電圖的判定主要依靠經驗豐富的臨床人員進行人工判定，這一過程對臨床人員專業知識水平要求較高，具有主觀性且效率低下，不能在基層醫院廣泛開展。
3、然而，現有技術通常通過腦電信號與視頻結合的方式來進行識別，但是，實際上癲癇的發作是不確定時間的，也就是不一定每次發作都可以采集到腦電信號。
4、因此，希望有一種技術方案來克服或至少減輕現有技術的至少一個上述缺陷。
5、申請內容
6、本申請的目的在于提供一種根據視頻智能判定癲癇分型的方法來克服或至少減輕現有技術的至少一個上述缺陷。
7、為實現上述目的，本申請提供了一種根據視頻智能判定癲癇分型的方法，所述根據視頻智能判定癲癇分型的方法包括：
8、獲取圖像序列；
9、對圖像序列中的每個圖像進行感興趣區域提取，
10、提取所述臉部區域圖像序列的臉部特征；
11、提取所述上半身圖像序列的上半身圖像特征；
12、提取所述下半身圖像序列的下半身圖像特征；
13、獲取虛擬人像圖像特征；
14、獲取經過訓練的癲癇識別神經網絡；
15、將所述臉部特征、上半身圖像特征、下半身圖像特征以及虛擬人像圖像特征進行融合從而獲取融合特征；
16、將所述融合特征輸入至所述癲癇識別神經網絡，從而獲取癲癇識別結果。
17、可選地，在所述獲取圖像序列之前，所述根據視頻智能判定癲癇分型的方法進一步包括：
18、獲取癲癇發作視頻流；
19、分別獲取癲癇發作視頻流的每一幀圖像，從而形成圖像序列。
20、可選地，所述獲取虛擬人像圖像特征包括：
21、根據所述圖像序列提取圖像序列中的每個圖像中的骨骼點信息；
22、根據各個骨骼點信息生成每個圖像對應的虛擬骨骼圖像；
23、提取所述虛擬骨骼圖像的圖像特征，從而獲取虛擬人圖像特征。
24、可選地，所述對圖像序列中的每個圖像進行感興趣區域提取通過yolo深度學習網絡進行提取。
25、可選地，所述根據視頻智能判定癲癇分型的方法進一步包括：
26、生成臉部表情與上半身動作對應矩陣，該矩陣稱為第一矩陣；
27、生成臉部表情與下半身動作對應矩陣，該矩陣稱為第二矩陣；
28、將第一矩陣進行向量化，從而獲取第一矩陣向量；
29、將第二矩陣進行向量化，從而獲取第二矩陣向量；
30、所述將所述臉部特征、上半身圖像特征、下半身圖像特征以及虛擬人像圖像特征進行融合從而獲取融合特征進一步包括：
31、將所述臉部特征、上半身圖像特征、下半身圖像特征、虛擬人像圖像特征、第一矩陣向量以及第二矩陣向量融合，從而獲取融合特征。
32、可選地，所述生成臉部表情與上半身動作對應矩陣，該矩陣稱為第一矩陣包括：
33、獲取訓練集，所述訓練集包括多組全身圖像序列組，其中一部分為全面性癲癇發作圖像序列組，其余部分為局灶性癲癇發作圖像序列組；
34、分別為每組全身圖像序列組進行如下處理：
35、提取每組全身圖像序列組中每張全身圖像的臉部特征以及上半身圖像特征，若該全身圖像為全面性癲癇發作全身圖像，則判斷該矩陣點為1，若否，則判斷該矩陣點為0，從而獲取訓練集的臉部表情與上半身動作對應矩陣。
36、可選地，所述生成臉部表情與下半身動作對應矩陣，該矩陣稱為第二矩陣包括：
37、獲取訓練集，所述訓練集包括多組全身圖像序列組，其中一部分為全面性癲癇發作圖像序列組，其余部分為局灶性癲癇發作圖像序列組；
38、分別為每個全身圖像進行如下處理：
39、提取每張全身圖像的臉部特征以及下半身圖像特征，若該全身圖像為全面性癲癇發作全身圖像，則判斷該矩陣點為1，若否，則判斷該矩陣點為0，從而獲取訓練集的臉部表情與下半身動作對應矩陣。
40、本申請還提供了一種根據視頻智能判定癲癇分型的裝置，所述根據視頻智能判定癲癇分型的裝置包括：
41、圖像序列獲取模塊，所述圖像序列獲取模塊用于獲取圖像序列；
42、感興趣區域提取獲取模塊，所述感興趣區域提取獲取模塊用于對圖像序列中的每個圖像進行感興趣區域提取，從而獲取感興趣區域圖像，所述感興趣區域圖像包括患者臉部區域、患者上半身區域以及患者下半身區域，各個所述患者臉部區域組成臉部區域圖像序列、各個所述患者上半身區域組成上半身圖像序列、各個所述患者下半身區域組成下半身圖像序列；
43、臉部特征獲取模塊，所述臉部特征獲取模塊用于提取所述臉部區域圖像序列的臉部特征；
44、上半身圖像特征獲取模塊，所述上半身圖像特征獲取模塊用于提取所述上半身圖像序列的上半身圖像特征；
45、下半身圖像特征獲取模塊，所述下半身圖像特征獲取模塊用于提取所述下半身圖像序列的下半身圖像特征；
46、虛擬人像圖像特征獲取模塊，所述虛擬人像圖像特征獲取模塊用于獲取虛擬人像圖像特征；
47、神經網絡獲取模塊，所述神經網絡獲取模塊用于獲取經過訓練的癲癇識別神經網絡；
48、融合特征獲取模塊，所述融合特征獲取模塊用于將所述臉部特征、上半身圖像特征、下半身圖像特征以及虛擬人像圖像特征進行融合從而獲取融合特征；
49、癲癇識別結果獲取模塊，所述癲癇識別結果獲取模塊用于將所述融合特征輸入至所述癲癇識別神經網絡，從而獲取癲癇識別結果。
50、本申請的根據視頻智能判定癲癇分型的方法通過多個模態的信息(臉部、上半身、下半身以及虛擬人像特征)來進行識別，一方面只使用視頻圖像信息來進行識別，省去了腦電信號，從而可能在不依賴于腦電信號的情況下進行識別，另一方面通過多個模態信息進行識別，能夠使得識別結果更為準確。
技術實現思路
本文檔來自技高網...【技術保護點】
1.一種根據視頻智能判定癲癇分型的方法，其特征在于，所述根據視頻智能判定癲癇分型的方法包括：
2.如權利要求1所述的根據視頻智能判定癲癇分型的方法，其特征在于，在所述獲取圖像序列之前，所述根據視頻智能判定癲癇分型的方法進一步包括：
3.如權利要求2所述的根據視頻智能判定癲癇分型的方法，其特征在于，所述獲取虛擬人像圖像特征包括：
4.如權利要求3所述的根據視頻智能判定癲癇分型的方法，其特征在于，所述對圖像序列中的每個圖像進行感興趣區域提取通過YOLO深度學習網絡進行提取。
5.如權利要求4所述的根據視頻智能判定癲癇分型的方法，其特征在于，所述根據視頻智能判定癲癇分型的方法進一步包括：
6.如權利要求5所述的根據視頻智能判定癲癇分型的方法，其特征在于，所述生成臉部表情與上半身動作對應矩陣，該矩陣稱為第一矩陣包括：
7.如權利要求6所述的根據視頻智能判定癲癇分型的方法，其特征在于，所述生成臉部表情與下半身動作對應矩陣，該矩陣稱為第二矩陣包括：
8.一種根據視頻智能判定癲癇分型的裝置，其特征在于，所述根據
...【技術特征摘要】
1.一種根據視頻智能判定癲癇分型的方法，其特征在于，所述根據視頻智能判定癲癇分型的方法包括：
2.如權利要求1所述的根據視頻智能判定癲癇分型的方法，其特征在于，在所述獲取圖像序列之前，所述根據視頻智能判定癲癇分型的方法進一步包括：
3.如權利要求2所述的根據視頻智能判定癲癇分型的方法，其特征在于，所述獲取虛擬人像圖像特征包括：
4.如權利要求3所述的根據視頻智能判定癲癇分型的方法，其特征在于，所述對圖像序列中的每個圖像進行感興趣區域提取通過yolo深度學習網絡進行提取。
【專利技術屬性】
技術研發人員：梁樹立，丁平，劉婷紅，張利為，袁柳，李華，馮衛星，
申請(專利權)人：首都醫科大學附屬北京兒童醫院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。