【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請(qǐng)涉及智慧農(nóng)業(yè)及智能檢測(cè)采集的，特別是涉及基于圖像實(shí)例分割的菇蕾檢測(cè)方法、系統(tǒng)、介質(zhì)及裝置。
技術(shù)介紹
1、在食用菌市場(chǎng)需求持續(xù)攀升的當(dāng)下，提升其生產(chǎn)效率與品質(zhì)已迫在眉睫，而菇蕾的精準(zhǔn)檢測(cè)和高效采集無(wú)疑是整個(gè)生產(chǎn)流程中的關(guān)鍵一環(huán)。長(zhǎng)期以來(lái)，菇蕾檢測(cè)與采集依賴人工肉眼觀察及手工操作，這種傳統(tǒng)模式弊端顯著：效率低下，誤判與漏采現(xiàn)象頻發(fā)，且由于操作人員主觀意識(shí)和經(jīng)驗(yàn)參差不齊，難以確保檢測(cè)采集結(jié)果的準(zhǔn)確性與一致性，極大地制約了食用菌產(chǎn)業(yè)的發(fā)展步伐。
2、面對(duì)市場(chǎng)對(duì)食用菌日益增長(zhǎng)的需求，推動(dòng)食用菌生產(chǎn)朝自動(dòng)化、智能化方向邁進(jìn)成為必然趨勢(shì)。當(dāng)前已有的菇蕾檢測(cè)和采集設(shè)備雖在工作效率上有所突破，但依然存在諸多亟待攻克的難題：檢測(cè)精度尚不能滿足精細(xì)化生產(chǎn)需求，難以精準(zhǔn)判別菇蕾的生長(zhǎng)狀態(tài)與成熟度；采集手段不夠精巧靈活，致使食用菌在采摘過(guò)程中易遭受物理?yè)p傷；此外，多數(shù)現(xiàn)有系統(tǒng)功能較為單一，無(wú)法對(duì)菇蕾進(jìn)行全方位、綜合性的檢測(cè)與采集，難以實(shí)現(xiàn)產(chǎn)業(yè)效益最大化。
技術(shù)實(shí)現(xiàn)思路
1、鑒于以上所述現(xiàn)有技術(shù)的缺點(diǎn)，本申請(qǐng)的目的在于提供基于圖像實(shí)例分割的菇蕾檢測(cè)方法、系統(tǒng)、介質(zhì)及裝置，用于解決現(xiàn)有技術(shù)無(wú)法準(zhǔn)確檢測(cè)菇蕾的生長(zhǎng)狀態(tài)和生產(chǎn)朝向的技術(shù)問(wèn)題。
2、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)的第一方面提供一種基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，包括：通過(guò)預(yù)先配置的圖像采集設(shè)備采集食用菌的生長(zhǎng)環(huán)境圖像；基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，以分割出菇蕾區(qū)域和背景區(qū)
3、于本申請(qǐng)的第一方面的一些實(shí)施例中，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括：對(duì)采集到的菇蕾圖像進(jìn)行標(biāo)注，標(biāo)注內(nèi)容包括每個(gè)菇蕾的實(shí)例輪廓；采用mask?r-cnn模型作為實(shí)例分割的基礎(chǔ)模型架構(gòu)，將標(biāo)注好的菇蕾圖像數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，并利用訓(xùn)練集對(duì)mask?r-cnn模型進(jìn)行訓(xùn)練；在每個(gè)訓(xùn)練迭代中，對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行在線的數(shù)據(jù)增強(qiáng)操作；所述數(shù)據(jù)增強(qiáng)操作包括：旋轉(zhuǎn)操作、縮放操作、翻轉(zhuǎn)操作及添加操作中的任一種或多種；在每個(gè)訓(xùn)練周期結(jié)束后使用驗(yàn)證集對(duì)模型進(jìn)行評(píng)估，并計(jì)算評(píng)估指標(biāo)來(lái)衡量模型對(duì)菇蕾的分割準(zhǔn)確性和完整性；使用測(cè)試集對(duì)優(yōu)化后的模型進(jìn)行最終測(cè)試，評(píng)估模型在真實(shí)場(chǎng)景下對(duì)菇蕾分割的性能表現(xiàn)。
4、于本申請(qǐng)的第一方面的一些實(shí)施例中，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括對(duì)采集到的菇蕾圖像的背景進(jìn)行減除操作，其包括：將采集到的包含菇蕾的?rgb?圖像轉(zhuǎn)換為?hsv?或?lab?顏色空間；根據(jù)事先對(duì)菇蕾顏色的研究和先驗(yàn)知識(shí)，確定在新顏色空間中的閾值范圍；選擇適用于圖像分割的深度學(xué)習(xí)模型架構(gòu)，將經(jīng)過(guò)初步閾值分割后的圖像以及對(duì)應(yīng)的標(biāo)注數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)輸入到深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練；將訓(xùn)練好的模型應(yīng)用于新的菇蕾圖像數(shù)據(jù)集，并根據(jù)實(shí)際應(yīng)用的反饋對(duì)模型的輸出結(jié)果進(jìn)行評(píng)估和優(yōu)化。
5、于本申請(qǐng)的第一方面的一些實(shí)施例中，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括對(duì)采集到的菇蕾圖像進(jìn)行光照歸一化處理，其包括：利用直方圖均衡化對(duì)包含菇蕾的原始圖像進(jìn)行光照歸一化；在深度學(xué)習(xí)模型中嵌入光照不變性特征提取模塊，以自動(dòng)識(shí)別并調(diào)整圖像因光照變化而產(chǎn)生的特征差異，提取出不受光照變化影響的特征；將經(jīng)過(guò)直方圖均衡化處理后的圖像數(shù)據(jù)作為輸入，送入添加了光照不變性特征提取模塊的深度學(xué)習(xí)模型中進(jìn)行訓(xùn)練。
6、于本申請(qǐng)的第一方面的一些實(shí)施例中，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括利用多視角成像技術(shù)從不同角度獲取菇蕾的圖像；通過(guò)三維重建方法獲取菇蕾的完整形態(tài)信息，再進(jìn)行分割。
7、于本申請(qǐng)的第一方面的一些實(shí)施例中，所述基于重建得到的目標(biāo)點(diǎn)云生成有向三維框，包括：使用點(diǎn)云分割算法從整個(gè)點(diǎn)云中識(shí)別出代表菇蕾的點(diǎn)云區(qū)域，并將識(shí)別出的菇蕾點(diǎn)云從背景和其他物體中分離出來(lái)；擬合生成包圍目標(biāo)點(diǎn)云的最小有向三維框，并確定所述最小有向三維框的朝向和坐標(biāo)；對(duì)初始擬合的最小有向三維框進(jìn)行優(yōu)化，以使其匹配所述目標(biāo)點(diǎn)云的形狀和位置，并檢測(cè)最小有向三維框是否與其他物體發(fā)生碰撞。
8、于本申請(qǐng)的第一方面的一些實(shí)施例中，在將執(zhí)行指令下發(fā)至執(zhí)行菇蕾采集任務(wù)的執(zhí)行體之后，還執(zhí)行：對(duì)采集到的原始圖像數(shù)據(jù)、經(jīng)分割處理的結(jié)果以及三維重建后的數(shù)據(jù)進(jìn)行記錄，存儲(chǔ)至數(shù)據(jù)庫(kù)或文件系統(tǒng)中；以及對(duì)記錄的數(shù)據(jù)進(jìn)行分析，以評(píng)估當(dāng)前菇蕾檢測(cè)和采集策略的有效性。
9、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)的第二方面提供一種基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)系統(tǒng)，包括：圖像采集模塊，用于通過(guò)預(yù)先配置的圖像采集設(shè)備采集食用菌的生長(zhǎng)環(huán)境圖像；實(shí)例分割模塊，用于基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，以分割出菇蕾區(qū)域和背景區(qū)域；深度信息提取模塊，用于根據(jù)實(shí)例分割結(jié)果對(duì)深度圖進(jìn)行截取，以提取菇蕾區(qū)域的深度信息；三維重建模塊，用于利用菇蕾區(qū)域的圖像信息和深度信息進(jìn)行三維重建以生成目標(biāo)點(diǎn)云；目標(biāo)框生成模塊，用于基于重建得到的目標(biāo)點(diǎn)云生成有向三維框，以計(jì)算出所述目標(biāo)框的朝向和坐標(biāo)，據(jù)以生成菇蕾的3d位置坐標(biāo)和位姿形態(tài)信息；控制模塊，用于根據(jù)接收到的所述菇蕾的3d位置坐標(biāo)和位姿形態(tài)信息生成相應(yīng)的執(zhí)行指令，并將所述執(zhí)行指令下發(fā)至執(zhí)行菇蕾采集任務(wù)的執(zhí)行體。
10、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)的第三方面提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)所述基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法。
11、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)的第四方面提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品中包括計(jì)算機(jī)程序代碼，當(dāng)所述計(jì)算機(jī)程序代碼在計(jì)算機(jī)上運(yùn)行時(shí)，使得所述計(jì)算機(jī)實(shí)現(xiàn)所述基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法。
12、為實(shí)現(xiàn)上述目的及其他相關(guān)目的，本申請(qǐng)的第五方面提供一種計(jì)算機(jī)裝置，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序；所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)所述基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法。
13、如上所述，本申請(qǐng)的基于圖像實(shí)例分割的菇蕾檢測(cè)方法、系統(tǒng)、介質(zhì)及裝置，具有以下有益效果：本申請(qǐng)能夠在食用菌生產(chǎn)過(guò)程中，本申請(qǐng)能夠在食用菌生產(chǎn)過(guò)程中，通過(guò)精準(zhǔn)的檢測(cè)技術(shù)和高效的采集手段，實(shí)現(xiàn)菇蕾的準(zhǔn)確識(shí)別和自動(dòng)化采集。通過(guò)引入先進(jìn)的傳感技術(shù)、圖像識(shí)別算法和自動(dòng)化控制設(shè)備，使系統(tǒng)能夠?qū)崟r(shí)監(jiān)測(cè)菇蕾的生長(zhǎng)狀態(tài)和朝向，精確控制采集動(dòng)作，優(yōu)化采集流程，降低對(duì)食用菌的損傷，提高采集效率和品質(zhì)。從本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括：
3.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括對(duì)采集到的菇蕾圖像的背景進(jìn)行減除操作，其包括：
4.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括對(duì)采集到的菇蕾圖像進(jìn)行光照歸一化處理，其包括：
5.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括利用多視角成像技術(shù)從不同角度獲取菇蕾的圖像；通過(guò)三維重建方法獲取菇蕾的完整形態(tài)信息，再進(jìn)行分割。
6.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在
7.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，在將執(zhí)行指令下發(fā)至執(zhí)行菇蕾采集任務(wù)的執(zhí)行體之后，還執(zhí)行：
8.一種基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)系統(tǒng)，其特征在于，包括：
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法。
10.一種計(jì)算機(jī)裝置，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序以實(shí)現(xiàn)權(quán)利要求1至7中任一項(xiàng)所述基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法。
...【技術(shù)特征摘要】
1.一種基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括：
3.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括對(duì)采集到的菇蕾圖像的背景進(jìn)行減除操作，其包括：
4.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括對(duì)采集到的菇蕾圖像進(jìn)行光照歸一化處理，其包括：
5.根據(jù)權(quán)利要求1所述的基于圖像實(shí)例分割的食用菌菇蕾檢測(cè)方法，其特征在于，所述基于圖像實(shí)例分割算法對(duì)采集到的食用菌的生長(zhǎng)環(huán)境圖像進(jìn)行圖像實(shí)例分割，包括利用...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：朱文峰，孟凡磊，張志鵬，吳際，孫俊，肖婷婷，
申請(qǐng)(專利權(quán))人：上海恒澤輔匯智能科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。