【技術實現步驟摘要】
本專利技術涉及自動控制，尤其是一種基于動態視覺伺服的機械臂抓取方法及系統。
技術介紹
1、在現代工業自動化和智能制造領域，機械臂的應用日益廣泛，尤其是在精密制造、物流分揀、醫療手術以及服務機器人等行業。
2、研究發現，傳統的機械臂系統大多依賴于預設的程序和固定的操作模式，這限制了它們在處理不規則物體或者易形變物體的靈活性和適應性。不規則物體或者易形變物體因其形狀、大小和材質的多樣性，給機械臂的抓取操作帶來了極大的困難。比如，針對不規則物體，如果按照常規預設的程序難以進行有效、精準地抓取，且當不規則物體為脆弱物體時，容易導致其損壞。又比如，針對易形變物體，如果按照常規預設的程序抓取，容易導致該物體出現過度形變而抓不穩，或者造成易形變物體的損壞。
技術實現思路
1、為解決上述現有技術問題，本專利技術提供一種基于動態視覺伺服的機械臂抓取方法及系統。
2、第一方面，本申請實施例提供一種基于動態視覺伺服的機械臂抓取方法，包括：獲取通過深度相機對目標物體進行采集的初始深度圖像；基于所述初始深度圖像，確定所述目標物體的形狀和位置，以及基于設定特征提取網絡對所述初始深度圖像進行特征提取，獲取所述目標物體的初始關鍵特征點；將所述目標物體的形狀和位置、及所述目標物體的初始關鍵特征點輸入至設定軌跡模型中，確定機械臂的初始抓取路徑；控制所述機械臂以所述初始抓取路徑執行所述目標物體的抓取，并在抓取過程中，動態調整所述初始抓取路徑進行抓?。黄渲?，動態調整所述初始抓取路徑，包括：持續獲取
3、可選地，所述基于所述過程關鍵特征點，調整所述初始抓取路徑，包括：基于所述過程關鍵特征點及所述目標物體的預設抓取特征，計算所述機械臂的當前位置與理想抓取位置之間的偏差；其中，所述理想抓取位置與所述目標物體的預設抓取特征對應；所述目標物體的預設抓取特征基于所述目標物體的初始關鍵特征點所確定，或為預先存儲的由用戶設定的抓取特征；基于所述偏差動態調整所述初始抓取路徑。
4、可選地，所述設定特征提取網絡包括：卷積神經網絡子模型與遞歸神經網絡的組合；其中，所述卷積神經網絡子模型用于提取深度圖像的特征，獲取所述目標物體的關鍵特征點；所述遞歸神經網絡，用于接收不同時間幀的深度圖像的關鍵特征點，跟蹤不同時間幀的深度圖像的特征；或，所述設定特征提取網絡包括：卷積神經網絡子模型與長短時記憶網絡的組合；其中，所述卷積神經網絡子模型用于提取深度圖像的特征，獲取所述目標物體的關鍵特征點；所述長短時記憶網絡，用于接收不同時間幀的深度圖像的關鍵特征點，跟蹤不同時間幀的深度圖像的特征。
5、可選地，所述設定特征提取網絡，還用于對新出現的關鍵特征點進行分類和標記，以及對消失或者移動的關鍵特征點進行重新定位或剔除。
6、可選地，所述方法還包括：基于不同幀的深度圖像對應的關鍵特征點，確定所述目標物體的形變程度；基于所述目標物體的形變程度，控制所述機械臂的抓取力度。
7、可選地，所述設定軌跡模型通過強化學習算法進行訓練生成；所述設定軌跡模型定義獎勵函數；所述獎勵函數配置為：當所述機械臂的動作使得其相較前一次動作更接近樣品物體、或抓取位置未對所述樣品物體造成大于設定閾值的形變程度，或抓取位置未對所述樣品物體造成損壞時，給予正獎勵；當所述機械臂的動作使得其相較前一次動作遠離所述樣品物體、或抓取位置對所述樣品物體造成大于所述設定閾值的形變程度，或抓取位置對所述樣品物體造成損壞時，給予負獎勵。
8、可選地，在所述機械臂的末端執行器上安裝有多個觸覺傳感器；所述方法還包括：接收所述多個觸覺傳感器的檢測壓力；當所述多個觸覺傳感器的檢測壓力大于第一設定壓力閾值時，降低所述機械臂的末端執行器的抓取力度；當所述多個觸覺傳感器的檢測壓力小于第二設定壓力閾值時，增加所述機械臂的末端執行器的抓取力度；其中，所述第二設定壓力閾值小于所述第一設定壓力閾值。
9、可選地，所述方法還包括：獲取基于光譜傳感器采集的所述目標物體的光譜信息；結合所述初始深度圖像以及所述光譜信息，確定所述目標物體的材質；基于所述目標物體的材質以及所述目標物體的形狀，確定所述機械臂的末端執行器的姿態。
10、可選地，在所述機械臂的末端執行器上安裝有多個觸覺傳感器；所述方法還包括：基于所述目標物體的材質，確定與所述目標物體匹配的壓力閾值；接收所述多個觸覺傳感器的檢測壓力；基于所述多個觸覺傳感器的檢測壓力以及與所述目標物體匹配的壓力閾值，動態調整所述機械臂的末端執行器的抓取力度。
11、第二方面，本申請實施例提供一種基于動態視覺的機械臂抓取系統，包括：第一獲取模塊，用于獲取通過深度相機對目標物體進行采集的初始深度圖像；第二獲取模塊，用于基于所述初始深度圖像，確定所述目標物體的形狀和位置，以及基于設定特征提取網絡對所述初始深度圖像進行特征提取，獲取所述目標物體的初始關鍵特征點；路徑確定模塊，用于將所述目標物體的形狀和位置、及所述目標物體的初始關鍵特征點輸入至設定軌跡模型中，確定機械臂的初始抓取路徑；抓取模塊，用于控制所述機械臂以所述初始抓取路徑執行所述目標物體的抓取，并在抓取過程中，動態調整所述初始抓取路徑進行抓取；其中，動態調整所述初始抓取路徑，包括：持續獲取所述深度相機對目標物體進行采集的過程深度圖像，及基于所述設定特征提取網絡對所述過程深度圖像進行特征提取，獲取所述目標物體的過程關鍵特征點；基于所述過程關鍵特征點，調整所述初始抓取路徑。
12、本專利技術的有益效果包括：
13、第一，本申請中，基于設定特征提取網絡對初始深度圖像進行特征提取，以獲取目標物體的初始關鍵特征點，然后，將目標物體的形狀和位置、及目標物體的初始關鍵特征點三項數據輸入到設定軌跡模型中，進而確定機械臂的初始抓取路徑。即，針對每一個目標物體，均涉及深度圖像的采集，初始關鍵特征點的提取，以及基于目標物體的形狀和位置、及目標物體的初始關鍵特征點的路徑生成?？梢?，該方式能夠有效地且對不同的目標物體進行針對性的路徑規劃抓取，尤其是針對不規則物體的抓取，相較于傳統的僅通過預設程序或固定模式抓取，能夠極大地提高抓取的精度和有效性。并且該處理方式能夠更方便的適用于物體切換的場景，比如，當前機械臂正在對大量的物體a進行抓取，但由于工序變化，需要開始對大量的物體b進行抓取，而該方式能夠無縫銜接兩個物體的抓取切換過程，無需任何人為干預。
14、第二，考慮到在實際的抓取過程中可能會涉及物體自身因素導致無法高精度抓取的情況，比如易形變物體自身出現形變，或在抓取時出現形變導致理想抓取點位變化，進而影響按照初始抓取路徑的抓取成功率，因此，本申請中結合過程關鍵特征點分析理想抓取點位變化，來調整初始抓取路徑。又比如，在對不規則物體的抓取過程中，基于過程關鍵特征點，進一步優化初始抓取本文檔來自技高網...
【技術保護點】
1.一種基于動態視覺伺服的機械臂抓取方法，其特征在于，包括：
2.根據權利要求1所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，所述基于所述過程關鍵特征點，調整所述初始抓取路徑，包括：
3.根據權利要求1所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，所述設定特征提取網絡包括：卷積神經網絡子模型與遞歸神經網絡的組合；
4.根據權利要求3所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，所述設定特征提取網絡，還用于對新出現的關鍵特征點進行分類和標記，以及對消失或者移動的關鍵特征點進行重新定位或剔除。
5.根據權利要求3所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，所述方法還包括：
6.根據權利要求1所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，所述設定軌跡模型通過強化學習算法進行訓練生成；
7.根據權利要求1所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，在所述機械臂的末端執行器上安裝有多個觸覺傳感器；
8.根據權利要求1所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，
9.根據權利要求8所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，在所述機械臂的末端執行器上安裝有多個觸覺傳感器；
10.一種基于動態視覺的機械臂抓取系統，其特征在于，包括：
...【技術特征摘要】
1.一種基于動態視覺伺服的機械臂抓取方法，其特征在于，包括：
2.根據權利要求1所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，所述基于所述過程關鍵特征點，調整所述初始抓取路徑，包括：
3.根據權利要求1所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，所述設定特征提取網絡包括：卷積神經網絡子模型與遞歸神經網絡的組合；
4.根據權利要求3所述的基于動態視覺伺服的機械臂抓取方法，其特征在于，所述設定特征提取網絡，還用于對新出現的關鍵特征點進行分類和標記，以及對消失或者移動的關鍵特征點進行重新定位或剔除。
5.根據權利要求3所述的基于動態視覺伺服的機械...
【專利技術屬性】
技術研發人員：劉兆有，張馨文，萬杰，劉富偉，康春蓮，邱世卉，
申請(專利權)人：成都工業學院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。