【技術實現(xiàn)步驟摘要】
本申請涉及數(shù)據(jù)智能分析領域，且更為具體地，涉及一種基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)及方法。
技術介紹
1、自閉癥，也稱為孤獨癥譜系障礙，是一種神經(jīng)發(fā)育障礙性疾病，通常在兒童早期出現(xiàn)，并會對個體的社交互動、溝通能力、興趣和行為模式產(chǎn)生廣泛的影響。因而，及時的介入對于支持患有孤獨癥的兒童發(fā)展至關重要，能夠顯著促進他們在社交互動、語言表達及行為管理方面的能力提升。
2、傳統(tǒng)的自閉癥兒童干預方法主要依賴于人類觀察者的手動評估和治療師的經(jīng)驗指導。然而，由于人力限制，專業(yè)人員難以時刻在場進行實時觀察，致使一些瞬間發(fā)生卻極為重要的行為極易被忽視。特別是自閉癥兒童的一些微妙表情或短暫的聲音表達，這些往往僅在特定情境下才會出現(xiàn)，卻對判斷其行為狀態(tài)至關重要。此外，傳統(tǒng)方法高度依賴于觀察者的直覺和個人經(jīng)驗，治療師的經(jīng)驗水平直接影響到對行為變化的理解和響應質(zhì)量。即使是在面對面觀察的情況下，人為觀察也可能因為注意力分散或其他原因而錯過關鍵細節(jié)，如輕微的眼神移動、面部肌肉的細微收縮等，進而影響評估的準確性和干預治療的全面性。
3、因此，期望一種基于智能交互的自閉癥兒童干預治療輔助方案。
技術實現(xiàn)思路
1、為了解決上述技術問題，提出了本申請。本申請?zhí)峁┝艘环N基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)及方法。
2、根據(jù)本申請的一個方面，提供了一種基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其包括：
3、兒童對象面部音頻獲取模塊，用于獲取由攝像頭采集的自閉癥兒童對
4、音頻特征提取模塊，用于從所述音頻數(shù)據(jù)提取音頻特征以得到音頻特征編碼向量；
5、面部特征提取模塊，用于從所述面部表情圖像提取面部特征以得到面部圖像特征編碼特征圖；
6、音頻-圖像多模態(tài)聯(lián)合模塊，用于對所述音頻特征編碼向量和所述面部圖像特征編碼特征圖進行音頻-圖像多模態(tài)數(shù)據(jù)細粒度聯(lián)合以得到自閉癥兒童對象狀態(tài)多模態(tài)聯(lián)合編碼向量，其中，所述音頻-圖像多模態(tài)聯(lián)合模塊，包括：面部圖像分解單元，用于對所述面部圖像特征編碼特征圖進行特征解耦和特征展平化以得到面部圖像局部特征編碼向量的集合；聚類融合單元，用于對所述音頻特征編碼向量和所述面部圖像局部特征編碼向量的集合進行內(nèi)核特征計算和細粒度聚類融合以得到所述自閉癥兒童對象狀態(tài)多模態(tài)聯(lián)合編碼向量；
7、行為狀態(tài)判斷模塊，用于基于所述自閉癥兒童對象狀態(tài)多模態(tài)聯(lián)合編碼向量，確定所述自閉癥兒童對象的行為狀態(tài)，并基于所述行為狀態(tài)，生成干預反饋。
8、進一步地，所述音頻特征提取模塊，包括：
9、音頻數(shù)據(jù)小波變換單元，用于對所述音頻數(shù)據(jù)進行離散小波變換以得到音頻數(shù)據(jù)時頻圖；
10、音頻特征生成單元，用于使用基于cnn-gru混合模型的特征提取器對所述音頻數(shù)據(jù)時頻圖進行音頻特征提取以得到所述音頻特征編碼向量。
11、進一步地，所述面部特征提取模塊，用于：使用基于空洞金字塔模型的面部特征提取器從所述面部表情圖像提取面部特征以得到所述面部圖像特征編碼特征圖。
12、進一步地，所述面部圖像分解單元，用于：
13、沿著所述面部圖像特征編碼特征圖的通道維度對所述面部圖像特征編碼特征圖進行特征解耦以得到面部圖像特征編碼局部特征矩陣的集合；
14、將所述面部圖像特征編碼局部特征矩陣的集合中的各個面部圖像特征編碼局部特征矩陣進行特征展平化以得到所述面部圖像局部特征編碼向量的集合。
15、進一步地，所述聚類融合單元，包括：
16、面部圖像內(nèi)核特征提取子單元，用于對所述面部圖像局部特征編碼向量的集合進行面部圖像內(nèi)核特征提取以得到面部圖像內(nèi)核特征編碼向量；
17、音頻-面部特征先驗聚類中心編碼向量確定子單元，用于基于所述音頻特征編碼向量和所述面部圖像內(nèi)核特征編碼向量，確定音頻-面部特征先驗聚類中心編碼向量；
18、多模態(tài)細粒度聯(lián)合子單元，用于對所述音頻-面部特征先驗聚類中心編碼向量和所述面部圖像局部特征編碼向量的集合進行多模態(tài)細粒度聯(lián)合編碼以得到所述自閉癥兒童對象狀態(tài)多模態(tài)聯(lián)合編碼向量。
19、進一步地，所述多模態(tài)細粒度聯(lián)合子單元，用于：
20、分別計算所述音頻-面部特征先驗聚類中心編碼向量與所述面部圖像局部特征編碼向量的集合中各個面部圖像局部特征編碼向量的龐加萊距離以得到音頻-面部特征語義度量值的集合；
21、使用二值函數(shù)對所述音頻-面部特征語義度量值的集合進行聚類判斷以得到音頻-面部特征聚類系數(shù)的集合；
22、基于所述音頻-面部特征聚類系數(shù)的集合，對所述音頻-面部特征先驗聚類中心編碼向量和所述面部圖像局部特征編碼向量的集合進行細粒度跨域融合以得到所述自閉癥兒童對象狀態(tài)多模態(tài)聯(lián)合編碼向量。
23、進一步地，所述行為狀態(tài)判斷模塊，包括：
24、行為狀態(tài)結果生成單元，用于將所述自閉癥兒童對象狀態(tài)多模態(tài)聯(lián)合編碼向量輸入行為狀態(tài)判斷器以得到所述自閉癥兒童對象的行為狀態(tài)，所述自閉癥兒童對象的行為狀態(tài)為是否嘗試交流；
25、干預反饋生成單元，用于響應于所述自閉癥兒童對象的行為狀態(tài)為嘗試交流，生成所述干預反饋。
26、進一步地，所述行為狀態(tài)判斷器為基于分類器的行為狀態(tài)判斷器。
27、根據(jù)本申請的另一方面，提供了一種基于智能交互的自閉癥兒童干預治療輔助方法，其包括：
28、獲取由攝像頭采集的自閉癥兒童對象的面部表情圖像和由麥克風采集的所述自閉癥兒童對象的音頻數(shù)據(jù)；
29、從所述音頻數(shù)據(jù)提取音頻特征以得到音頻特征編碼向量；
30、從所述面部表情圖像提取面部特征以得到面部圖像特征編碼特征圖；
31、對所述音頻特征編碼向量和所述面部圖像特征編碼特征圖進行音頻-圖像多模態(tài)數(shù)據(jù)細粒度聯(lián)合以得到自閉癥兒童對象狀態(tài)多模態(tài)聯(lián)合編碼向量，包括：對所述面部圖像特征編碼特征圖進行特征解耦和特征展平化以得到面部圖像局部特征編碼向量的集合；對所述音頻特征編碼向量和所述面部圖像局部特征編碼向量的集合進行內(nèi)核特征計算和細粒度聚類融合以得到所述自閉癥兒童對象狀態(tài)多模態(tài)聯(lián)合編碼向量；
32、基于所述自閉癥兒童對象狀態(tài)多模態(tài)聯(lián)合編碼向量，確定所述自閉癥兒童對象的行為狀態(tài)，并基于所述行為狀態(tài)，生成干預反饋。
33、10.?根據(jù)權利要求9所述的基于智能交互的自閉癥兒童干預治療輔助方法，從所述音頻數(shù)據(jù)提取音頻特征以得到音頻特征編碼向量，包括：
34、對所述音頻數(shù)據(jù)進行離散小波變換以得到音頻數(shù)據(jù)時頻圖；
35、使用基于cnn-gru混合模型的特征提取器對所述音頻數(shù)據(jù)時頻圖進行音頻特征提取以得到所述音頻特征編碼向量。
36、與現(xiàn)有技術相比，本申請?zhí)峁┑幕谥悄芙换サ淖蚤]癥兒童干預治療輔助系統(tǒng)及方法，其采用基于ai的數(shù)據(jù)處理技術來從自閉癥兒童對本文檔來自技高網(wǎng)...
【技術保護點】
1.基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，包括：
2.根據(jù)權利要求1所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述音頻特征提取模塊，包括：
3.根據(jù)權利要求2所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述面部特征提取模塊，用于：使用基于空洞金字塔模型的面部特征提取器從所述面部表情圖像提取面部特征以得到所述面部圖像特征編碼特征圖。
4.根據(jù)權利要求3所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述面部圖像分解單元，用于：
5.根據(jù)權利要求4所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述聚類融合單元，包括：
6.根據(jù)權利要求5所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述多模態(tài)細粒度聯(lián)合子單元，用于：
7.根據(jù)權利要求6所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述行為狀態(tài)判斷模塊，包括：
8.根據(jù)權利要求7所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，所述行為狀態(tài)判斷器為基于分
9.基于智能交互的自閉癥兒童干預治療輔助方法，其特征在于，包括：
10.根據(jù)權利要求9所述的基于智能交互的自閉癥兒童干預治療輔助方法，其特征在于，從所述音頻數(shù)據(jù)提取音頻特征以得到音頻特征編碼向量，包括：
...【技術特征摘要】
1.基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，包括：
2.根據(jù)權利要求1所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述音頻特征提取模塊，包括：
3.根據(jù)權利要求2所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述面部特征提取模塊，用于：使用基于空洞金字塔模型的面部特征提取器從所述面部表情圖像提取面部特征以得到所述面部圖像特征編碼特征圖。
4.根據(jù)權利要求3所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述面部圖像分解單元，用于：
5.根據(jù)權利要求4所述的基于智能交互的自閉癥兒童干預治療輔助系統(tǒng)，其特征在于，所述...
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。