【技術實現步驟摘要】
本專利技術屬于無人機控制，具體而言，涉及多尺度mamba變換的無人機視覺手勢飛行控制方法。
技術介紹
1、傳統的無人機飛行控制需要專門的設備，普遍采用遙控器和復雜的按鍵，但對人員操作要求較高，需要相關人員接受專業的訓練，已經無法滿足一般大眾對于無人機便捷操控的需求，在一定程度上限制了無人機行業的發展和應用。
2、在人工智能時代的背景下，開發基于視覺手勢識別的無人機飛行控制方法，具有長遠的發展意義，便捷新穎的交互方式往往更令用戶青睞。
3、無人機視覺手勢飛行控制方法通過融合計算機視覺、深度學習和飛行控制技術，提供了一種直觀、便捷的操控方式。這一技術不僅提升了無人機的用戶體驗，還拓展了其在多個領域的應用潛力。然而，要實現廣泛應用，還需克服環境適應性、實時性和用戶多樣性等方面的挑戰。
技術實現思路
1、針對以上缺陷，本專利技術提供了多尺度mamba變換的無人機視覺手勢飛行控制方法，包括以下步驟：
2、s1、通過無人機的攝像頭進行手勢圖像的采集；
3、s2、通過對步驟s1采集到的手勢圖像進行預處理，提高特征提取的質量；
4、s3、對步驟s2預處理后的手勢圖像進行手勢類別標注，并制作手勢數據集；
5、s4、利用卷積神經網絡對手勢圖像進行特征提取和手勢識別，采集的手勢數據集通過包括塊用于降低輸入圖像分辨率的嵌入和用于計算圖像注意力值的多個視覺mamba編碼器所構建的mamba網絡模型進行訓練和測試；
6、每個視
7、s5、將步驟s4中得到的輸出值通過多尺度聚合模塊進行平均池化avgpool操作，并使用softmax函數進行手勢圖像分類；
8、s6、用自采集的手勢數據集進行訓練得到網絡參數和權重，然后采用線下訓練好的卷積神經網絡進行前向推斷即可得到相應的手勢識別結果；
9、s7、將手勢識別結果轉化為控制指令，并使用tellosdk發送控制指令給無人機，從而根據預定義的手勢動作實現對無人機飛行狀態的控制。
10、進一步地，所述mamba網絡模型包括階段1至階段4，用于對輸入圖像進行特征維度的擴展和空間維度的壓縮，輸出不同尺度的特征，包括：
11、階段1：首先將輸入手勢圖像劃分為個切片，每個切片的尺寸為，進一步將切片送入線性投影層得到尺寸為的嵌入特征塊（此階段通過利用patchembedding中的步長來減少特征圖的分辨率）；隨后，在經過線性投影層的輸出上添加可學習的位置編碼信息并送入到具有層的視覺mamba編碼器，最后輸出特征圖的尺寸為；
12、階段2：將階段1輸出的特征圖作為階段2的輸入，再重復階段1的工作流程，得到階段2特征圖；
13、階段3：將階段2輸出的特征圖作為階段3的輸入，再重復階段1的工作流程，得到階段3特征圖；
14、階段4：將階段3輸出的特征圖作為階段4的輸入，再重復階段1的工作流程，得到階段4特征圖。
15、進一步地，每個所述視覺mamba編碼器均包括層歸一化、狀態空間模型和前饋神經網絡，用于對輸入值依次進行層歸一化ln操作，然后通過多層感知機進行特征提取，再通過深度卷積處理得到增強后的局部特征，隨后將得到的局部特征送入到silu激活函數提高模型的非線性，激活后的特征通過狀態空間模型ssm進行特征細化，最終，將原始的殘差輸入值在經過層歸一化和silu處理后，與經過多層變換后的中間結果值相加形成殘差連接得到輸出值。
16、進一步地，每個所述視覺mamba編碼器中共包含兩個殘差連接。
17、進一步地，所述多尺度聚合模塊的工作步驟為：
18、p1、定義第階段的輸出特征圖，其中表示通道數，和表示特征圖的高度和寬度。使用空間聚合模塊進行空間特征增強，將特征圖送入到一維卷積進行通道映射，得到輸出通道數為的特征圖，進一步地，將輸出特征圖通過不同卷積核大小為、以及的并行卷積操作獲得多尺度的特征，并將輸出進行求和操作得到特征圖。
19、p2、利用平均池化avgpool操作獲取特征圖每個空間位置的平均值，將輸出拼接后送入到一個卷積層，學習每個空間位置的權重，最后利用sigmoid激活函數將輸出歸一化到0和1之間，空間聚合模塊的計算過程如下：
20、 ；
21、。
22、其中，、、、表示卷積核大小分別為、、、的卷積，表示逐元素相乘，表示逐元素求和操作，表示sigmoid激活函數，將空間聚合模塊的輸出經過一維卷積得到。
23、p3、將特征圖送入到通道聚合模塊，首先在通道維度上進行平均池化avgpool操作，得到的特征圖，其中c為通道數，然后，將這些池化結果送入到大小的卷積中處理，通過relu激活函數進行歸一化操作，并進一步通過的卷積獲取每個通道維度的權重矩陣，這一計算過程可表示為：
24、。
25、p4、將通道聚合模塊的輸出與相乘并與輸入特征圖求和得到最終多尺度注意力聚合模塊的輸出，表示為：
26、。
27、本專利技術與現有技術相比具有以下有益效果：
28、1、通過無人機攝像頭捕捉人手的具體動作，利用卷積神經網絡對采集的手勢圖像進行識別，進一步將手勢動作轉化為控制指令，以此實現實時的無人機飛行控制，操作者可以通過手勢動作方便地控制無人機；
29、2、采用金字塔視覺mamba模型結合多尺度聚合模塊，可以有效地提取手勢圖像特征并進行識別，相較于現有的mamba模型而言，可在一定程度上提升手勢識別的效率和精度。
本文檔來自技高網...【技術保護點】
1.多尺度Mamba變換的無人機視覺手勢飛行控制方法，其特征在于：包括以下步驟：
2.如權利要求1所述的多尺度Mamba變換的無人機視覺手勢飛行控制方法，其特征在于：所述Mamba網絡模型包括階段1至階段4，用于對輸入圖像進行特征維度的擴展和空間維度的壓縮，輸出不同尺度的特征，包括：
3.如權利要求2所述的多尺度Mamba變換的無人機視覺手勢飛行控制方法，其特征在于：每個所述視覺Mamba編碼器均包括層歸一化、狀態空間模型和前饋神經網絡，用于對輸入值依次進行層歸一化LN操作，然后通過多層感知機進行特征提取，再通過深度卷積處理得到增強后的局部特征，隨后將得到的局部特征送入sigmoid激活函數提高模型的非線性，激活后的特征通過狀態空間模型SSM進行特征細化，最終，將原始的殘差輸入值在經過層歸一化和sigmoid處理后，與經過多層變換后的中間結果值相加形成殘差連接得到輸出值。
4.如權利要求2所述的多尺度Mamba變換的無人機視覺手勢飛行控制方法，其特征在于：每個所述視覺Mamba編碼器中共包含兩個殘差連接。
5.如權利要求2所述的多尺
...【技術特征摘要】
1.多尺度mamba變換的無人機視覺手勢飛行控制方法，其特征在于：包括以下步驟：
2.如權利要求1所述的多尺度mamba變換的無人機視覺手勢飛行控制方法，其特征在于：所述mamba網絡模型包括階段1至階段4，用于對輸入圖像進行特征維度的擴展和空間維度的壓縮，輸出不同尺度的特征，包括：
3.如權利要求2所述的多尺度mamba變換的無人機視覺手勢飛行控制方法，其特征在于：每個所述視覺mamba編碼器均包括層歸一化、狀態空間模型和前饋神經網絡，用于對輸入值依次進行層歸一化ln操作，然后通過多層感知機進行特征提取，再通過...
【專利技術屬性】
技術研發人員：汪雯，馮傳宴，林成浩，周堯明，李道春，
申請(專利權)人：天目山實驗室，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。