【技術實現步驟摘要】
本申請涉及農業生產領域，尤其涉及一種棕櫚果抓取裝車控制方法、相應的裝置、電子設備及計算機可讀存儲介質。
技術介紹
1、棕櫚油已成為世界上消費量最大的植物油之一，是日常生活和工業用油的主要來源之一，印度尼西亞和馬來西亞是最大的棕櫚油出口國，大約90％的棕櫚油用于食品用途，而大約10％的棕櫚油用于工業產品。棕櫚油由棕櫚果壓榨而成，棕櫚果可以被加工成植物油，制成化妝品、肥皂、洗滌劑、紡織用油、生物柴油等多種日用品。棕櫚果是從油棕樹上收獲的，然后從這些果實中提取油。由于棕櫚果產油量很高，能夠在有限的土地上實現最大的經濟效益，因此油棕樹的種植面積越來越大，從而對人力資源的需求越來越大。對人力資源的需求和人力成本的高昂是沖突的，需要大力推動園區機械智能化來解決勞動力短缺的困境。
2、棕櫚果裝車轉運是其中的一個重要環節，通常是通過人工進行的，傳統的人力裝果作業效率低，管理成本高，在棕櫚果收獲季期間，數以萬計的棕櫚果被堆放在路邊，等待轉運車過來裝車并運送到榨油廠。實際抓果作業時光照復雜變化的室外環境給棕櫚果識別帶來了巨大挑戰，為了提高效率，抓果作業一定是需要長時間運行的，同時轉運車車載電腦并沒有那么高的性能。
3、綜上所述，適應現有技術中棕櫚果裝車轉運通常是通過人工進行的，傳統的人力裝果作業效率低，管理成本高，以及實際抓果作業時光照復雜變化的室外環境給棕櫚果識別帶來了巨大挑戰等問題，本申請出于解決該問題的考慮作出相應的探索。
技術實現思路
1、本申請的目的在于解決上述問題而
2、為滿足本申請的各個目的，本申請采用如下技術方案：
3、適應本申請的目的之一而提出的一種棕櫚果抓取裝車控制方法，包括：
4、響應棕櫚果抓取裝車控制指令，獲取棕櫚果轉運車中包含有待裝車棕櫚果和/或行人的目標工作區域rgb圖像以及其相對應的目標工作區域深度圖像；
5、采用已訓練至收斂狀態的目標檢測模型對所述目標工作區域rgb圖像進行目標檢測，以確定待裝車棕櫚果和/或行人相對應的中心二維像素坐標，其中，所述目標檢測模型的基礎網絡架構為改進的yolov8網絡模型，所述改進的yolov8網絡模型采用dwconv模塊替換原始yolov8網絡模型中所有的conv?module模塊，并采用faster-pglu模塊替換原始yolov8網絡模型中所有的c2f模塊，其中，所述faster-pglu模塊由卷積門控線性單元結合引入pconv算子的fasternet結構所構建；
6、將所述目標工作區域rgb圖像和所述目標工作區域深度圖像對齊，根據所述目標工作區域rgb圖像中棕櫚果的中心二維像素坐標匹配對應所述目標工作區域深度圖像中的深度值，以確定所述待裝車棕櫚果在真實空間中的三維坐標；
7、確定所述棕櫚果轉運車的機械臂的安全作業空間，檢測所述行人相對應的中心二維像素坐標是否在所述安全作業空間之內，若所述行人相對應的中心二維像素坐標在所述安全作業空間之外，控制所述機械臂根據所述待裝車棕櫚果在真實空間中的三維坐標進行裝車作業，其中，所述安全作業空間大于機械臂的可作業空間；
8、若所述行人相對應的中心二維像素坐標在所述安全作業空間之內，則發送機械臂作業停止指令以控制機械臂暫停裝車作業，以完成棕櫚果抓取裝車的控制。
9、可選的，所述改進的yolov8網絡模型深度因子為0.165，寬度因子為0.125，最大通道數為512。
10、可選的，獲取棕櫚果轉運車中包含有待裝車棕櫚果的目標工作區域rgb圖像的步驟之前，包括：
11、響應圖像預處理指令，對包含有待裝車棕櫚果和/或行人的目標工作區域rgb圖像進行圖像縮放、數據增強以及歸一化處理；
12、將所述目標工作區域rgb圖像調整為預設的圖像尺寸以進行圖像縮放；
13、采用隨機翻轉、旋轉以及亮度調整對圖像縮放后的目標工作區域rgb圖像進行數據增強；
14、對數據增強后的目標工作區域rgb圖像進行歸一化處理。
15、可選的，采用已訓練至收斂狀態的目標檢測模型對所述目標工作區域rgb圖像進行目標檢測，以確定待裝車棕櫚果和/或行人相對應的中心二維像素坐標的步驟，包括：
16、調用已訓練至收斂狀態的改進的yolov8網絡模型，將所述包含有待裝車棕櫚果和/或行人的目標工作區域rgb圖像輸入至所述改進的yolov8網絡模型；
17、經過所述改進的yolov8網絡模型中的dwconv模塊進行特征提取，以得到不同尺度的特征圖；
18、采用所述faster-pglu模塊對所述不同尺度的特征進行處理以強化特征之間的關聯性，在特征圖中識別出待裝車棕櫚果和行人的關鍵特征；
19、采用檢測頭網絡根據所述待裝車棕櫚果和所述行人的關鍵特征進行目標定位和分類，以生成所述待裝車棕櫚果和所述行人的邊界框坐標；
20、根據所述待裝車棕櫚果和所述行人的邊界框坐標，確定待裝車棕櫚果和/或行人相對應的中心二維像素坐標。
21、可選的，根據所述待裝車棕櫚果和所述行人的邊界框坐標，確定待裝車棕櫚果和/或行人相對應的中心二維像素坐標的步驟，包括：
22、確定所述待裝車棕櫚果的邊界框坐標以及所述行人的邊界框坐標，其中，所述邊界框坐標包括邊界框的左上角橫坐標、邊界框的左上角縱坐標、邊界框的右下角橫坐標以及邊界框的右下角縱坐標；
23、計算確定所述待裝車棕櫚果的邊界框的左上角橫坐標與所述待裝車棕櫚果的邊界框的右下角橫坐標之間的第一平均值，將所述第一平均值作為所述待裝車棕櫚果的中心二維像素坐標的橫坐標；
24、計算確定所述待裝車棕櫚果的邊界框的左上角縱坐標與所述待裝車棕櫚果的邊界框的右下角縱坐標之間的第二平均值，將所述第二平均值作為所述待裝車棕櫚果的中心二維像素坐標的縱坐標；
25、計算確定所述行人的邊界框的左上角橫坐標與所述行人的邊界框的右下角橫坐標之間的第三平均值，將所述第三平均值作為所述行人的中心二維像素坐標的橫坐標；
26、計算確定所述行人的邊界框的左上角縱坐標與所述行人的邊界框的右下角縱坐標之間的第四平均值，將所述第四平均值作為所述行人的中心二維像素坐標的縱坐標，以確定待裝車棕櫚果和/或行人相對應的中心二維像素坐標。
27、可選的，將所述目標工作區域rgb圖像和所述目標工作區域深度圖像對齊，根據所述目標工作區域rgb圖像中棕櫚果的中心二維像素坐標匹配對應所述目標工作區域深度圖像中的深度值，以確定所述待裝車棕櫚果在真實空間中的三維坐標的步驟，包括：
28、將二維像素坐標映射成待裝車棕櫚果在真實空間中的三維坐標，對二維像素坐標進行歸一化處理，其包括：
29、
30、其中，xp以及yp是二維像素坐標；cp是圖像的中心；fx、fy分別是圖像平面在x和y方向上的焦距本文檔來自技高網...
【技術保護點】
1.一種棕櫚果抓取裝車控制方法，其特征在于，包括：
2.根據權利要求1所述的棕櫚果抓取裝車控制方法，其特征在于，所述改進的Yolov8網絡模型深度因子為0.165，寬度因子為0.125，最大通道數為512。
3.根據權利要求1所述的棕櫚果抓取裝車控制方法，其特征在于，獲取棕櫚果轉運車中包含有待裝車棕櫚果的目標工作區域RGB圖像的步驟之前，包括：
4.根據權利要求1所述的棕櫚果抓取裝車控制方法，其特征在于，采用已訓練至收斂狀態的目標檢測模型對所述目標工作區域RGB圖像進行目標檢測，以確定待裝車棕櫚果和/或行人相對應的中心二維像素坐標的步驟，包括：
5.根據權利要求4所述的棕櫚果抓取裝車控制方法，其特征在于，根據所述待裝車棕櫚果和所述行人的邊界框坐標，確定待裝車棕櫚果和/或行人相對應的中心二維像素坐標的步驟，包括：
6.根據權利要求1所述的棕櫚果抓取裝車控制方法，其特征在于，將所述目標工作區域RGB圖像和所述目標工作區域深度圖像對齊，根據所述目標工作區域RGB圖像中棕櫚果的中心二維像素坐標匹配對應所述目標工作區域深度圖像中的
7.根據權利要求1所述的棕櫚果抓取裝車控制方法，其特征在于，檢測所述行人相對應的中心二維像素坐標是否在所述安全作業空間之內，若所述行人相對應的中心二維像素坐標在所述安全作業空間之外，控制所述機械臂根據所述待裝車棕櫚果在真實空間中的三維坐標進行裝車作業的步驟，包括：
8.一種棕櫚果抓取裝車控制裝置，其特征在于，包括:
9.一種電子設備，包括中央處理器和存儲器，其特征在于，所述中央處理器用于調用運行存儲于所述存儲器中的計算機程序以執行如權利要求1至7中任意一項所述的方法的步驟。
10.一種計算機可讀存儲介質，其特征在于，其以計算機可讀指令的形式存儲有依據權利要求1至7中任意一項所述的方法所實現的計算機程序，該計算機程序被計算機調用運行時，執行相應的方法所包括的步驟。
...【技術特征摘要】
1.一種棕櫚果抓取裝車控制方法，其特征在于，包括：
2.根據權利要求1所述的棕櫚果抓取裝車控制方法，其特征在于，所述改進的yolov8網絡模型深度因子為0.165，寬度因子為0.125，最大通道數為512。
3.根據權利要求1所述的棕櫚果抓取裝車控制方法，其特征在于，獲取棕櫚果轉運車中包含有待裝車棕櫚果的目標工作區域rgb圖像的步驟之前，包括：
4.根據權利要求1所述的棕櫚果抓取裝車控制方法，其特征在于，采用已訓練至收斂狀態的目標檢測模型對所述目標工作區域rgb圖像進行目標檢測，以確定待裝車棕櫚果和/或行人相對應的中心二維像素坐標的步驟，包括：
5.根據權利要求4所述的棕櫚果抓取裝車控制方法，其特征在于，根據所述待裝車棕櫚果和所述行人的邊界框坐標，確定待裝車棕櫚果和/或行人相對應的中心二維像素坐標的步驟，包括：
6.根據權利要求1所述的棕櫚果抓取裝車控制方法，其特征在于，將所述目標工作區域rgb圖像和所述目標工作區域深...
【專利技術屬性】
技術研發人員：李杰浩，張濤，羅群斐，曾山，羅錫文，高巧明，
申請(專利權)人：華南農業大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。