【技術實現(xiàn)步驟摘要】
本專利技術涉及毫米波雷達的，具體涉及一種基于多模態(tài)特征融合的毫米波雷達手語識別方法和系統(tǒng)。
技術介紹
1、手語是利用姿勢和姿勢的變化模擬語言的一種工具。手語識別技術可以自動地將手語翻譯成文本或語音等信息，可應用于殘疾人出行、居家生活、就業(yè)創(chuàng)業(yè)，方便殘疾人獲取信息和服務，充分參與社會生活。相比于其他手語識別設備，毫米波雷達具有體積小、非接觸、不依賴光線、保護隱私等優(yōu)點，受到廣泛關注。
2、目前，基于毫米波雷達的手語識別方法，先將采集的雷達數(shù)據(jù)利用傅里葉變換、短時傅里葉變換等信號處理方法得到雷達距離-多普勒圖、距離－角度圖、微多普勒圖等；然后，將這些信號處理結果圖輸入到深度神經(jīng)網(wǎng)絡中，進行特征提取和特征融合，最終輸出手語識別的結果。
3、現(xiàn)有的基于雷達的手語識別方法中，大部分方法只利用了雷達數(shù)據(jù)中可以反映姿勢變化的多普勒特征進行手語識別，這類手語識別網(wǎng)絡架構簡單，易訓練，但忽略了人體姿態(tài)信息，對手部運動趨勢相近的手語易產(chǎn)生混淆。隨后，研究人員開始將能反映目標位置和運動信息的雷達數(shù)據(jù)，包括距離－角度圖、距離-多普勒圖等，同時輸入到手語識別網(wǎng)絡中，以減少混淆，提升手語識別準確率。但是，雷達數(shù)據(jù)中得到的目標距離、角度信息受限于雷達系統(tǒng)的空間分辨率，無法準確地反映出人體姿態(tài)特征；特別是對于低分辨率的毫米波雷達系統(tǒng)，直接將距離、角度信息輸入到手語識別網(wǎng)絡中，導致現(xiàn)有手語識別網(wǎng)絡框架擬合能力不足，導致識別準確率不高。
技術實現(xiàn)思路
1、針對現(xiàn)有技術中所存在的問題，本專利技術
2、本專利技術提供了一種基于多模態(tài)特征融合的毫米波雷達手語識別方法，包括：
3、s1、采用多輸入多輸出的毫米波雷達系統(tǒng)采集手語的多通道雷達回波數(shù)據(jù)，并對所述雷達回波數(shù)據(jù)進行處理，分別得到垂直向和水平向的距離-多普勒-角度序列、距離-多普勒序列和微多普勒圖；
4、s2、將所述垂直向和水平向的距離-多普勒-角度序列輸入至transformer-pose網(wǎng)絡模型處理，輸出得到人體關鍵點置信圖；
5、s3、從所述人體關鍵點置信圖中選取人體關鍵點，利用所述人體關鍵點的位置向量和置信度構成關節(jié)向量，并利用關節(jié)向量構成骨向量；
6、s4、將所述關節(jié)向量、骨向量、距離-多普勒序列和微多普勒圖作為輸入，利用多模態(tài)特征融合網(wǎng)絡對輸入的數(shù)據(jù)特征進行提取和融合，輸出手語識別結果。
7、可選地，所述并對所述雷達回波數(shù)據(jù)進行處理，分別得到垂直向和水平向的距離-多普勒-角度序列、距離-多普勒序列和微多普勒圖，包括：
8、對所述雷達回波數(shù)據(jù)進行3d-fft，得到垂直向和水平向的距離-多普勒-角度序列；
9、對所述雷達回波數(shù)據(jù)進行距離維和相干處理時間內(nèi)的2d-fft，以及多通道非相干積累，得到距離-多普勒序列；
10、對所述雷達回波數(shù)據(jù)進行距離維fft、mti處理、時間維短時傅里葉變換、距離維和空間維非相干積累，得到微多普勒圖。
11、可選地，所述將所述垂直向和水平向的距離-多普勒-角度序列輸入至
12、transformer-pose網(wǎng)絡模型處理，輸出得到人體關鍵點置信圖，包括：
13、將所述垂直向和水平向的距離-多普勒-角度序列輸入編碼器，輸出特征圖，所述特征圖求和后輸入transformer模塊進行特征融合，輸出的融合后特征經(jīng)由解碼器和圖卷積網(wǎng)絡得到人體關鍵點置信圖。
14、可選地，所述編碼器和解碼器，包括：
15、所述編碼器由三個卷積模塊組成，每個所述卷積模塊包括一個3d卷積層和一個gru層；
16、所述解碼器由三個卷積模塊組成，每個卷積模塊包括2d卷積層。
17、可選地，所述transformer-pose網(wǎng)絡模型，包括：
18、
19、其中，yrgb表示標簽值，yrf表示網(wǎng)絡預測值，下標m表示第m張置信圖，下標i和j表示像素點的二維索引位置。
20、可選地，所述從所述人體關鍵點置信圖中選取人體關鍵點，利用所述人體關鍵點的位置向量及其置信度構成關節(jié)向量，包括：
21、所述人體關鍵點至少包括頭部、左肩、左手肘、左手腕、右肩、右手肘、右手腕、左臀和右臀，從所述人體關鍵點置信圖中讀取各人體關鍵點的位置和置信度，將人體關鍵點的位置橫軸坐標構成的向量表示為vx＝[x1,x2,...,x9]t，位置縱軸坐標構成的向量表示為vy＝[y1,y2,...,y9]t，置信度構成的向量表示為s＝[s1,s2,...,s9]t其中，x，y和s分別表示各個人體關鍵點的橫軸坐標、縱軸坐標和置信度，分別將橫軸坐標向量、縱軸坐標向量和置信度向量標準化后表示為：
22、
23、其中e(·)表示對向量中各人體關鍵點求平均，σ(·)表示對向量各人體關鍵點求標準差，并將人體關鍵點構成的關節(jié)向量表示為
24、可選地，所述將所述關節(jié)向量、骨向量、距離-多普勒序列和微多普勒圖作為輸入，利用多模態(tài)特征融合網(wǎng)絡對輸入的數(shù)據(jù)特征進行提取和融合，輸出手語識別結果，包括：
25、利用圖卷積網(wǎng)絡對所述關節(jié)向量進行特征提取，得到第一特征向量qjoint，利用圖卷積網(wǎng)絡對所述骨向量進行特征提取，得到第二特征向量qbone，利用dnnet-bilstm-3d網(wǎng)絡對所述距離-多普勒序列進行特征提取，得到第三特征向量qrd；利用dnnet-bilstm-2d網(wǎng)絡對所述微多普勒圖進行特征提取，得到第四特征向量qμd，并對第一特征向量、第二特征向量、第三特征向量和第四特征向量進行融合，融合過程表示為：
26、qmerge＝a1qjoint+a2qbone+a3qrd+a4qμd
27、其中，a1、a2、a3和a4為加權系數(shù)，并輸出qmerge為手語識別結果。
28、本專利技術還提供了一種基于多模態(tài)特征融合的毫米波雷達手語識別方法，包括：
29、回波數(shù)據(jù)采集模塊，用于采用多輸入多輸出的毫米波雷達系統(tǒng)采集手語的多通道雷達回波數(shù)據(jù)，并對所述雷達回波數(shù)據(jù)進行處理，分別得到垂直向和水平向的距離-多普勒-角度序列、距離-多普勒序列和微多普勒圖；
30、人體關鍵點模塊，用于將所述垂直向和水平向的距離-多普勒-角度序列輸入至transformer-pose網(wǎng)絡模型處理，輸出得到人體關鍵點置信圖；
31、特征向量獲取模塊，用于從所述人體關鍵點置信圖中選取人體關鍵點，利用所述人體關鍵點的位置向量及其置信度構成關節(jié)向量，并利用關節(jié)向量構成骨向量；
32、識別結果輸出模塊，用于將所述關節(jié)向量、骨向量、距離-多普勒序列和微多普勒圖作為輸入，利用多模態(tài)特征融合網(wǎng)絡對輸入的數(shù)據(jù)特征進行提取和融合，輸出手語識別結果。
33、本專利技術相比于現(xiàn)有技術：
【技術保護點】
1.一種基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，包括：
2.如權利要求1所述的基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，所述并對所述雷達回波數(shù)據(jù)進行處理，分別得到垂直向和水平向的距離-多普勒-角度序列、距離-多普勒序列和微多普勒圖，包括：
3.如權利要求1所述的基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，所述將所述垂直向和水平向的距離-多普勒-角度序列輸入至Transformer-Pose網(wǎng)絡模型處理，輸出得到人體關鍵點置信圖，包括：
4.如權利要求3所述的基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，所述編碼器和解碼器，包括：
5.如權利要求4的基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，所述Transformer-Pose網(wǎng)絡模型，包括：
6.如權利要求1的基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，所述從所述人體關鍵點置信圖中選取人體關鍵點，利用所述人體關鍵點的位置向量及其置信度構成關節(jié)向量，包括：
7.如權利要求1的基于多模態(tài)
8.一種基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，包括：
...【技術特征摘要】
1.一種基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，包括：
2.如權利要求1所述的基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，所述并對所述雷達回波數(shù)據(jù)進行處理，分別得到垂直向和水平向的距離-多普勒-角度序列、距離-多普勒序列和微多普勒圖，包括：
3.如權利要求1所述的基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，所述將所述垂直向和水平向的距離-多普勒-角度序列輸入至transformer-pose網(wǎng)絡模型處理，輸出得到人體關鍵點置信圖，包括：
4.如權利要求3所述的基于多模態(tài)特征融合的毫米波雷達手語識別方法，其特征在于，所述編碼器和解碼器，包括：
【專利技術屬性】
技術研發(fā)人員：董錫超，崔暢，魏貴延，胡程，魯俊，
申請(專利權)人：北京理工大學重慶創(chuàng)新中心，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。