【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于零樣本無線信號行為感知，具體是涉及一種基于視覺輔助的毫米波雷達零樣本行為感知方法。
技術(shù)介紹
1、目前，基于毫米波雷達信號的行為識別方法大多采用語義屬性采用詞向量的方法、或者采用傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)-長短時間記憶模型（cnn-lstm）從距離-速度圖信息（rv）中提取毫米波雷達特征；然而，由于現(xiàn)有方法的測試集的樣本類別必須在訓(xùn)練集中出現(xiàn)過，當(dāng)遇到未見過的測試類別，已有的方法將失效。對于該問題，現(xiàn)有技術(shù)中的解決方案是采集更多的動作類別，訓(xùn)練模型；但是該方法數(shù)據(jù)采集、模型訓(xùn)練成本高。不同于毫米波雷達信號，視覺信號可來源日常生活的照片、視頻、yutube網(wǎng)站、以及很多大型的公開數(shù)據(jù)集等，因此其包含豐富的動作類別，如何利用現(xiàn)有的視覺信號輔助毫米波雷達感知具有重要的研究價值，為基于視覺輔助的毫米波雷達零樣本行為感知提供了可能。
技術(shù)實現(xiàn)思路
1、為解決上述技術(shù)問題，本專利技術(shù)提供了一種基于視覺輔助的毫米波雷達零樣本行為感知方法，解決現(xiàn)有技術(shù)中存在無法感知未見類別毫米波雷達信號的問題，旨在實現(xiàn)零樣本毫米波雷達感知任務(wù)。
2、本專利技術(shù)所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，包括以下步驟：
3、s1、同時收集包含各種不同動作類別的視頻數(shù)據(jù)和毫米波雷達數(shù)據(jù)，分別構(gòu)建視頻數(shù)據(jù)集和毫米波雷達數(shù)據(jù)集，將毫米波雷達數(shù)據(jù)集分為訓(xùn)練集和測試集，其中訓(xùn)練集和測試集的類別不重合；
4、s2、利用視頻數(shù)據(jù)集在預(yù)訓(xùn)練好的c3d網(wǎng)絡(luò)進行微調(diào)，并從c3d網(wǎng)絡(luò)中
5、s3、將視頻數(shù)據(jù)集的數(shù)據(jù)轉(zhuǎn)換成骨骼點的時序序列，描述人體關(guān)鍵不同位置處隨時間的坐標(biāo)，根據(jù)坐標(biāo)求取身體連接部分的夾角時序變化，刻畫各個不同類別的信號特性，作為視覺相關(guān)的局部屬性；
6、s4、將s2和s3得到的視覺相關(guān)的屬性融合，得到最終各類別的屬性；
7、s5、構(gòu)建三通道卷積神經(jīng)網(wǎng)絡(luò)，用于提取毫米波雷達信號中強辨識力的特征表達；
8、s6、基于訓(xùn)練集獲取基于毫米波雷達信號的距離-速度、距離-水平角、距離-俯仰角，將其輸入三通道卷積神經(jīng)網(wǎng)絡(luò)，得到基于訓(xùn)練集的毫米波雷達的特征表達；利用該毫米波雷達的特征和對應(yīng)類別的屬性構(gòu)建損失函數(shù)，得到兩者之間的投影關(guān)系，訓(xùn)練三通道卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)；
9、s7、基于測試集獲取基于毫米波雷達信號的距離-速度、距離-水平角、距離-俯仰角，將其輸入到訓(xùn)練好的三通道卷積神經(jīng)網(wǎng)絡(luò)中，得到基于測試集的毫米波雷達的特征表達，并將該毫米波雷達的特征和各個不同類別屬性比較，將距離最近的類別視為該毫米波雷達信號的類別。
10、進一步地，s1中，規(guī)定有u種動作類別，每個動作類別包含若干個樣本，同時采集包含這些動作的視頻和毫米波雷達數(shù)據(jù)，構(gòu)建視頻數(shù)據(jù)集和毫米波雷達數(shù)據(jù)集；其中，視頻數(shù)據(jù)集用于生成u個動作屬性，進而輔助毫米波雷達進行零樣本學(xué)習(xí)；對毫米波雷達數(shù)據(jù)集進行劃分，v個類別的毫米波雷達數(shù)據(jù)構(gòu)成訓(xùn)練集，其中v<u；剩余的u-v個類別的數(shù)據(jù)構(gòu)成測試集，且。
11、進一步地，s2具體為：
12、假設(shè)在大型視覺行為識別數(shù)據(jù)集上預(yù)訓(xùn)練好的c3d網(wǎng)絡(luò)為，利用實際采集的視頻數(shù)據(jù)集微調(diào)的參數(shù)，得到；然后，利用對數(shù)據(jù)集的每一個樣本抽取最后一層全連接層特征；假設(shè)第類中第個樣本的特征表示為，，那么第類動作的特征平均值表示為：
13、，
14、其中，表示第類樣本的個數(shù)，。
15、進一步地，s3具體為：
16、從視頻數(shù)據(jù)中生成骨骼點的位置，分別表示為，分別利用的坐標(biāo)計算上肢或者下肢關(guān)節(jié)的夾角，從而描述不同動作的變化過程，計算公式如下：
17、，
18、其中，表示第t時刻的夾角；分別表示t時刻，第m個點、第n個點和第o個點的坐標(biāo)，，，，且；一共有8種不同的組合，共得到8個不同的夾角；將每個時刻的8個夾角向量作為該時刻的特征，對t個時間序列構(gòu)成的維的特征輸入到卷積神經(jīng)網(wǎng)絡(luò)（一般的卷積神經(jīng)網(wǎng)絡(luò)，比如resnet等）中，抽取特征描述每個樣本的骨骼點隨時間變化的特性，并對同一類別的特征求平均值，得到第類動作的特征。
19、進一步地，s4具體為：
20、采用注意力機制，將視頻和骨骼點的兩種視覺屬性融合，得到每個類別的最終屬性：
21、，
22、其中，w表示權(quán)重系數(shù)。
23、進一步地，s5中，所述三通道卷積神經(jīng)網(wǎng)絡(luò)包括三個并行的多層卷積神經(jīng)層，將距離-俯仰角、距離-水平角沿時間軸下采樣分別輸入第一個和第二個多層卷積神經(jīng)網(wǎng)絡(luò)生成對應(yīng)的特征圖，將這兩個特征圖連接；同時利用第三個多層卷積神經(jīng)網(wǎng)絡(luò)對距離-速度信號生成特征圖，將其與第一、第二個多層卷積神經(jīng)層的連接結(jié)果進行注意力融合；最后將融合后的特征圖輸入到第四個多層卷積層后，再通過全連接層，生成毫米波雷達的特征表達。
24、進一步地，s6中，構(gòu)建的損失函數(shù)為：
25、，
26、其中，指訓(xùn)練集中第yi個類別，；表示第類訓(xùn)練樣本的語義屬性，n表示第類的訓(xùn)練樣本數(shù)，表示交叉熵損失；表示第i個毫米波雷達信號的特征表達；表示投影誤差，將雷達特征映射到視覺語義屬性；表示從雷達特征預(yù)測活動類型的交叉熵損失；表示投影損失和預(yù)測損失之間的權(quán)衡參數(shù)。
27、進一步地，s7具體為：基于測試集數(shù)據(jù)獲取基于毫米波雷達信號的距離-速度、距離-水平角、距離-俯仰角，將其輸入到訓(xùn)練好的三通道卷積神經(jīng)網(wǎng)絡(luò)中，得到基于測試集的毫米波雷達的特征表達；然后利用余弦相似度計算毫米波雷達特征和屬性之間的相似度，通過逐個比較的方法，選擇出最接近的某個屬性，并將該屬性對應(yīng)的類別視為毫米波雷達數(shù)據(jù)的動作類別。
28、本專利技術(shù)所述的有益效果為：本專利技術(shù)所述方法，利用豐富的視覺樣本生成各種不同類別動作的屬性，設(shè)計新型的三通道卷積神經(jīng)網(wǎng)絡(luò)提取有強辨識力的毫米波雷達特征，并構(gòu)建屬性和毫米波雷達的關(guān)系，實現(xiàn)基于毫米波雷達的零樣本學(xué)習(xí)任務(wù)。本專利技術(shù)中通過三通道卷積神經(jīng)網(wǎng)絡(luò)能夠整合不同維度的數(shù)據(jù)，提升感知精度，在不采集新類別的毫米波雷達信號進行訓(xùn)練的前提下，實現(xiàn)該類別的感知，能夠降低數(shù)據(jù)采集和訓(xùn)練成本、同時拓寬毫米波雷達的應(yīng)用領(lǐng)域。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，S1中，規(guī)定有u種動作類別，每個動作類別包含若干個樣本，同時采集包含這些動作的視頻和毫米波雷達數(shù)據(jù)，構(gòu)建視頻數(shù)據(jù)集和毫米波雷達數(shù)據(jù)集；其中，視頻數(shù)據(jù)集用于生成u個動作屬性，進而輔助毫米波雷達進行零樣本學(xué)習(xí)；對毫米波雷達數(shù)據(jù)集進行劃分，v個類別的毫米波雷達數(shù)據(jù)構(gòu)成訓(xùn)練集，其中v<u；剩余的u-v個類別的數(shù)據(jù)構(gòu)成測試集，且。
3.根據(jù)權(quán)利要求2所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，S2具體為：
4.根據(jù)權(quán)利要求3所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，S3具體為：
5.根據(jù)權(quán)利要求4所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，S4具體為：
6.根據(jù)權(quán)利要求1所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，S5中，所述三通道卷積神經(jīng)網(wǎng)絡(luò)包括三個并行的多層卷積神經(jīng)層，將
7.根據(jù)權(quán)利要求2所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，S6中，構(gòu)建的損失函數(shù)為：
8.根據(jù)權(quán)利要求7所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，S7具體為：
...【技術(shù)特征摘要】
1.一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，s1中，規(guī)定有u種動作類別，每個動作類別包含若干個樣本，同時采集包含這些動作的視頻和毫米波雷達數(shù)據(jù)，構(gòu)建視頻數(shù)據(jù)集和毫米波雷達數(shù)據(jù)集；其中，視頻數(shù)據(jù)集用于生成u個動作屬性，進而輔助毫米波雷達進行零樣本學(xué)習(xí)；對毫米波雷達數(shù)據(jù)集進行劃分，v個類別的毫米波雷達數(shù)據(jù)構(gòu)成訓(xùn)練集，其中v<u；剩余的u-v個類別的數(shù)據(jù)構(gòu)成測試集，且。
3.根據(jù)權(quán)利要求2所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，s2具體為：
4.根據(jù)權(quán)利要求3所述的一種基于視覺輔助的毫米波雷達零樣本行為感知方法，其特征在于，s3具體為：
5.根據(jù)權(quán)利要求4所述的一種基于視覺...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：肖婉，盛碧云，李佳賓，
申請(專利權(quán))人：南京郵電大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。