【技術實現步驟摘要】
基于邊緣計算的智能機械云臺開發方法
[0001]本專利技術屬于室內服務機器人應用領域，具體來說，涉及一種基于邊緣計算的智能機械云臺開發方法
。
技術介紹
[0002]隨著互聯網的快速發展，視頻行業工作者的受眾已經越來越向著大眾化普及，比如各類短視頻創作者以及
VLOG
創作者
。
這種創意工作的普及最大的門檻便是對各類攝影器材的使用方式以及不同器材之間的使用難度，如相機云臺或三腳架等
。
[0003]傳統的攝像云臺在視頻監控
、
航拍
、
機器視覺等領域廣泛應用
。
然而，傳統攝像云臺也存在一些缺陷，例如操作復雜
、
笨重等問題
。
這些問題主要源于以下幾個方面：首先，傳統攝像云臺的控制方式多樣，但操作繁瑣，需要經過專業培訓才能熟練操作
。
例如，需要使用多個控制按鈕來實現云臺姿態的調整，需要手動根據場景調整攝像頭的焦距等，操作相對復雜
。
其次，傳統攝像云臺體積龐大，重量較重，需要專門的安裝架設，不方便搬運和移動
。
這不僅增加了安裝維護成本，也限制了其應用范圍
。
最后，傳統攝像云臺的精度和穩定性較差，易受外界環境干擾，如風力
、
地震等，導致云臺姿態不穩定，影響圖像采集質量
。
技術實現思路
[0004]專利技術目的：本專利技術提出基于一種基于邊緣計算的智能機械云臺開發方法，...
【技術保護點】
【技術特征摘要】
1.
一種基于邊緣計算的智能機械云臺開發方法，其特征在于，包括以下步驟：步驟
1、
機械臂舵機初始化決定虛擬空間坐標系原點，并以此為基礎進行運動學坐標變換與姿態正向
、
逆向解算，得到虛擬空間坐標系下機械臂姿態逆解，從而完成對機械臂的運動控制；步驟
2、
基于
openCV
與長短期記憶神經網絡，對手勢
、
人臉與人體點位跟蹤，并完成對應視覺識別模型訓練，用手勢作為虛擬開關進行系統性控制；步驟
3、
根據視覺識別模型返回的圖形參量計算步驟1中的虛擬空間坐標系下機械臂姿態逆解，并通過局部遍歷與退火模型找到局部姿態更改最簡逆解，進而實現對于不同識別內容跟蹤與機械臂運動控制的交互
。2.
根據權利要求1所述的基于邊緣計算的智能機械云臺開發方法，其特征在于，步驟1中對于機械臂的運動控制，具體包括以下步驟：步驟
101、
為了對機械臂進行路徑規劃，建立六軸機械臂的運動學模型，具體為六關節六連桿的
D
?
H
連桿模型，包括機械臂位置的描述與姿態的描述；通過對攝像頭為原點的圖像坐標系進行伽利略變換，得到以機械臂底座為參考點的笛卡爾坐標系；位置用笛卡爾坐標系下三維向量表示，姿態則通過笛卡爾坐標系下旋轉矩陣確定，將以攝像頭為原點的位姿向量與攝像頭相對以機械臂底座為參考點的笛卡爾坐標系的位姿向量相加，合并得到以機械臂底座為參考點的空間中剛體位姿的
D
?
H
矩陣；步驟
102、
通過前三軸實現位置到達，通過第四軸控制俯仰角，通過第六軸控制偏航角來保持攝像頭姿態穩定；通過機械臂各連桿與關節的參數建立連桿坐標系，與
D
?
H
矩陣共同得到機器人的連桿坐標變換矩陣；步驟
103、
基于機械臂馬爾科夫鏈，通過上一時刻位姿得到下一時刻目標位姿，結合坐標系變換矩陣，基于退火算法對六軸自由度進行遍歷，得到目標位姿的逆解，進而對位姿矢量進行更新循環，同時設定退火遍歷的起點，保證了鄰接位姿矢量的空間馬氏距離最小，各軸角度變化梯度模最小，保證運動的平滑度與機械結構的穩定性
。3.
根據權利要求1所述的基于邊緣計算的智能機械云臺開發方法，其特征在于，步驟2中對于人臉
、
手勢
、
人體點位跟蹤識別，具體包括以下步驟：步驟
201、
人臉識別直接調用
openCV
中的
CascadeClassifier
，進行圖像中人臉的過濾和定位；步驟
2011、
通過彩色攝像頭獲取人臉圖像，并將圖像轉化為灰度圖像；步驟
2012、
運用
Haar
特征分類器對灰度圖像進行處理，通過對特征值進行判斷，篩選出符合人臉特征的圖像區域；步驟
2013、
將篩選出來的人臉圖像進行裁剪和縮放，得到相同大小的人臉圖像；步驟
2014、
通過人臉識別算法對人臉圖像進行特征提取，提取出人臉的關鍵特征點；步驟
2015、
將提取出的人臉特征點進行比對，判斷是否與預設的人臉模板匹配，以確定該圖像中是否包含目標人臉；步驟
2016、
對于匹配成功的人臉圖像，進行信息提取或應用；步驟
202、
手勢識別基于操作邏輯順序描述不同狀態機試別和觸發方案，包括以下步驟：步驟
2021、
通過彩色廣角攝像頭得到近景手勢圖像，并通過關鍵點提取得到人手操作
骨架，其關鍵點在于，實時性與可辨識性，故進行
GPU
調度加快幀率處理，并設定簡單操作手勢預期，區分為：張開手，合攏手
、
伸出食指；步驟
2022、
針對步驟
2021
得到的骨架關鍵點，計算得到所有關鍵點相對于手腕原點的相對坐標，并將坐標扁平化為一維數組，便于搜索遍歷與取用，并根據所有坐標中絕對值的最大值正則化數據，得到正則化方向向量數組；步驟
2023、
針對步驟
2022
得到的正則化方向向量數組，選用
LTSM
神經網絡模型進行訓練，考慮到手勢模型特征明顯，減小運算量與數據訓練成本的基礎上選取具備訓練合理性；步驟
2024、
對步驟
2021
中提到的手勢預期，提取伸出食指的手勢進行運動軌跡化處理，其具體為步驟為：步驟
20241、
設當前時間為
T
，那么計算相對于
T
至
T
?
14
幀內相對時間長度最長的數據，也即標簽為
T
?
15
的相對坐標，用以表示運動軌跡方案；步驟
20242、
根據所需顯示成果的視頻裁切大小進行數據正則化與扁平化；步驟
20243、
為了提高幀率與解決長序列訓練過程中的梯度消失和梯度爆炸問題，也即效...
【專利技術屬性】
技術研發人員：蔣雨初，彭程，李錦豪，吳文菁，湯雯婧，
申請(專利權)人：東南大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。