【技術實現步驟摘要】
本專利技術涉及無人機控制，特別是一種實現手勢識別的無人機遠程控制系統及方法。
技術介紹
1、通信技術是其無人機系統的核心部分，旨在實現穩定和高效的無人機遙控與數據傳輸。現有技術中，無人機與地面站（例如，遙控器）之間主要采用2.4?ghz和5.8?ghz頻段的無線信號傳輸。2.4?ghz頻段提供更廣的覆蓋范圍，但在高密度環境中可能受到其他設備（如wi-fi）的干擾；而5.8?ghz頻段則在信號質量上表現更好，但覆蓋范圍相對較小。
2、為了應對變化的環境，現有地面站（例如，遙控器）采用了自適應調制技術，能夠根據實時的信號質量動態調整數據傳輸速率。這種智能化的設計確保了在信號較差的情況下，仍能保持穩定的連接和數據傳輸。同時，現有地面站（例如，遙控器）支持高清視頻傳輸，通過專有的數字視頻傳輸協議（如ocusync協議），實現低延遲的實時畫面反饋，極大提升了用戶的飛行體驗。
3、然而，現有無人機與地面站（例如，遙控器）之間的遙控與數據傳輸存在一些明顯的缺點：
4、（1）無人機遙控與數據傳輸存在技術壁壘，無法移植到更廣泛的無人機上，即無法通用所有無人機的遙控與數據傳輸。
5、（2）通信距離有限，超出無人機遙控的范圍后，無人機將無法被控制信號也容易受到建筑物的干擾。
6、（3）、隨著無人機與地面站（例如，遙控器）之間距離的增加，傳輸速率也會下降，距離越大則無人機控制的延遲或者無人機實時畫面的延遲越大。
7、現有技術中也存在一些使用4g/5g通信的方式來實現無人機與地面站（
技術實現思路
1、本專利技術提出了一種實現手勢識別的無人機遠程控制系統及方法，以解決無人機遠程控制進行巡檢時，無法實現無人機遠程手勢識別，導致無人機遠程巡檢效率低，巡檢準確率低，出現巡檢錯誤的技術問題。
2、本專利技術的一個方面在于提供一種實現手勢識別的無人機遠程控制系統，其特征在于，所述無人機遠程控制系統，包括：
3、部署在無人機上的邊緣計算機和相機、部署在中轉站的中轉服務器，以及配置在地面站的地面站應用端；
4、其中，所述邊緣計算機配置無人機系統和python服務系統，所述python服務系統集成識別模型；
5、所述無人機系統，用于獲取相機拍攝的第一視頻流，對第一視頻流抽取第一單幀圖像，并將第一單幀圖像發送至所述識別模型；
6、所述識別模型，用于對第一單幀圖像進行人體位置檢測，并將人體位置檢測結果返回至所述無人機系統；
7、所述無人機系統，還用于根據人體位置檢測結果控制無人機移動，使人體位于相機鏡頭的中間位置；
8、當人體位于相機鏡頭的中間位置后，所述無人機系統獲取相機拍攝的第二視頻流，對第二視頻流抽取第二單幀圖像，并將第二單幀圖像發送至所述識別模型；
9、所述識別模型，還用于對第二單幀圖像中人體的手勢進行手勢識別，生成識別結果，并將識別結果返回至所述無人機系統；
10、所述無人機系統，根據識別結果控制相機對人體進行拍照生成手勢識別圖像，并獲取相機拍攝的手勢識別圖像發送至所述python服務系統；
11、其中，所述中轉服務器，至少配置java服務端；所述java服務端，用于獲取所述python服務系統的手勢識別圖像，并將手勢識別圖像發送至所述地面站應用端。
12、在一個優選的實施例中，當所述識別模型對第二單幀圖像中人體的手勢進行手勢識別，生成的識別結果是指定手勢；
13、則所述無人機系統控制相機對人體進行拍照生成手勢識別圖像，并獲取相機拍攝的手勢識別圖像；
14、當所述識別模型對第二單幀圖像中人體的手勢進行手勢識別，生成的識別結果不是指定手勢；
15、則所述無人機系統不控制相機對人體進行拍照。
16、在一個優選的實施例中，所述中轉服務器還配置srs流媒體服務端；
17、所述無人機系統，將獲取的第一視頻流和/或第二視頻流推送至所述srs流媒體服務端；所述地面站應用端拉取所述srs流媒體服務端上的第一視頻流和/或第二視頻流，并實時進行視頻播放。
18、在一個優選的實施例中，所述中轉服務器還配置mqtt服務端；
19、所述無人機系統，還用于獲取無人機狀態信息，并將無人機狀態信息發送至所述mqtt服務端；
20、所述mqtt服務端，用于獲取所述無人機系統發送的無人機狀態信息；
21、所述java服務端，還用于訂閱所述mqtt服務端獲取的無人機狀態信息，并將無人機狀態信息發送至所述地面站應用端。
22、在一個優選的實施例中，所述地面站應用端，用于觸發控制請求，并將控制請求發送至所述java服務端；
23、所述java服務端，對所述控制請求封裝成mqtt指令，并將mqtt指令發送至所述mqtt服務端；
24、所述無人機系統，訂閱所述mqtt服務端的mqtt指令，根據mqtt指令控制無人機執行控制請求。
25、在一個優選的實施例中，所述java服務端對封裝的mqtt指令指定mqtt主題，將mqtt主題發送至所述mqtt服務端；
26、所述mqtt服務端獲取mqtt主題，并對mqtt主題進行解析，得到mqtt指令。
27、本專利技術的另一個方面在于提供一種實現手勢識別的無人機遠程控制方法，使用本專利技術提供的一種實現手勢識別的無人機遠程控制系統進行手勢識別，包括如下方法步驟：
28、s1、地面站應用端觸發控制請求，并將控制請求發送至中轉服務器的java服務端；其中，控制請求包括指定手勢；
29、s2、java服務端，對控制請求封裝成mqtt指令，并將mqtt指令發送至mqtt服務端；
30、無人機系統，訂閱mqtt服務端的mqtt指令，根據mqtt指令控制無人機執行控制請求；其中，無人機系統將控制請求中的指定手勢發送至識別模型；
31、s3、無人機系統，獲取相機拍攝的第一視頻流，對第一視頻流抽取第一單幀圖像，并將第一單幀圖像發送至識別模型；
32、識別模型，對第一單幀圖像進行人體位置檢測，并將人體位置檢測結果返回至無人機系統；
33、無人機系統，根據人體位置檢測結果控制無人機移動，使人體位于相機鏡頭的中間位置；
34、s4、當人體位于相機鏡頭的中間位置后，無人機系統獲取相機拍攝的第二視頻流，對第二視頻流抽取第二單幀圖像，并將第二單幀圖像發送至識別模型；
35、識別模型，對第二單幀圖像中人體的手勢進行手勢識別，生成識別結果，并將識別結果返回至無人機系統；
36、無人機系統，本文檔來自技高網...
【技術保護點】
1.一種實現手勢識別的無人機遠程控制系統，其特征在于，所述無人機遠程控制系統，包括：
2.根據權利要求1所述的無人機遠程控制系統，其特征在于，當所述識別模型對第二單幀圖像中人體的手勢進行手勢識別，生成的識別結果是指定手勢；
3.根據權利要求1所述的無人機遠程控制系統，其特征在于，所述中轉服務器還配置SRS流媒體服務端；
4.根據權利要求1所述的無人機遠程控制系統，其特征在于，所述中轉服務器還配置MQTT服務端；
5.根據權利要求4所述的無人機遠程控制系統，其特征在于，所述地面站應用端，用于觸發控制請求，并將控制請求發送至所述Java服務端；
6.根據權利要求5所述的無人機遠程控制系統，其特征在于，所述Java服務端對封裝的MQTT指令指定MQTT主題，將MQTT主題發送至所述MQTT服務端；
7.一種實現手勢識別的無人機遠程控制方法，其特征在于，使用權利要求1至6中任一權利要求所述的無人機遠程控制系統進行手勢識別，包括如下方法步驟：
8.根據權利要求7所述的無人機遠程控制方法，其特征在于，在步驟S
9.根據權利要求7所述的無人機遠程控制方法，其特征在于，在步驟S1中，地面站應用端觸發的控制請求，還包括控制無人機起飛、降落、飛行、懸停、拍攝視頻流的控制信號；
10.根據權利要求7所述的無人機遠程控制方法，其特征在于，所述無人機遠程控制方法還包括：
11.根據權利要求8所述的無人機遠程控制方法，其特征在于，所述無人機遠程控制方法還包括：
...【技術特征摘要】
1.一種實現手勢識別的無人機遠程控制系統，其特征在于，所述無人機遠程控制系統，包括：
2.根據權利要求1所述的無人機遠程控制系統，其特征在于，當所述識別模型對第二單幀圖像中人體的手勢進行手勢識別，生成的識別結果是指定手勢；
3.根據權利要求1所述的無人機遠程控制系統，其特征在于，所述中轉服務器還配置srs流媒體服務端；
4.根據權利要求1所述的無人機遠程控制系統，其特征在于，所述中轉服務器還配置mqtt服務端；
5.根據權利要求4所述的無人機遠程控制系統，其特征在于，所述地面站應用端，用于觸發控制請求，并將控制請求發送至所述java服務端；
6.根據權利要求5所述的無人機遠程控制系統，其特征在于，所述java服務端對封裝的mqtt指令指定mqtt主題，將mqtt主題...
【專利技術屬性】
技術研發人員：凌松，
申請(專利權)人：上海巖芯數智人工智能科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。