【技術(shù)實(shí)現(xiàn)步驟摘要】
本專(zhuān)利技術(shù)屬于生物樣本存儲(chǔ)領(lǐng)域，尤其涉及一種基于視覺(jué)的樣本管挑選及異常決策處置方法及系統(tǒng)。
技術(shù)介紹
1、現(xiàn)有的凍存盒挑選機(jī)構(gòu)，一般通過(guò)在底部增加相機(jī)，識(shí)別凍存管的有無(wú)狀態(tài)，工作時(shí)能夠通過(guò)相機(jī)記錄并分析挑管前后凍存盒空位的變化，與預(yù)先寫(xiě)入的值進(jìn)行比對(duì)，若挑管后檢測(cè)值不為空或挑管前檢測(cè)值為空，則表示檢測(cè)到異常情況。
2、由于僅能對(duì)空位變化進(jìn)行檢測(cè)，當(dāng)有異常的凍存管狀態(tài)比較復(fù)雜時(shí)，現(xiàn)有解決方案就束手無(wú)策，只能通過(guò)人工處理異常樣本。費(fèi)時(shí)費(fèi)力，而且影響樣本的存活率。
3、深低溫環(huán)境中取放盒機(jī)構(gòu)長(zhǎng)時(shí)間運(yùn)作時(shí)，凍存盒表面會(huì)逐漸結(jié)霜，增大樣本管定位誤差，導(dǎo)致機(jī)械臂挑管失敗，未被成功取出的樣本管呈現(xiàn)異常姿態(tài)并對(duì)其他樣本管產(chǎn)生遮擋。如果不及時(shí)處理這種異常情況，則會(huì)影響后續(xù)的挑管任務(wù)。
4、中國(guó)專(zhuān)利cn117262658a公開(kāi)了一種存儲(chǔ)機(jī)構(gòu)取放通道高精度智能定位及引導(dǎo)的裝置和方法，可以精準(zhǔn)對(duì)準(zhǔn)凍存盒取放通道或變形的凍存盒取放通道，凍存盒取放板可以順利取放凍存盒，提高了凍存盒取放通道的定位精度，還可以減少人工干預(yù)和維護(hù)成本，但是當(dāng)有異常的凍存管狀態(tài)比較復(fù)雜時(shí)，該專(zhuān)利無(wú)法解決異常姿態(tài)的凍存管。
技術(shù)實(shí)現(xiàn)思路
1、本專(zhuān)利技術(shù)提出的一種基于視覺(jué)的樣本管挑選及異常決策處置方法及系統(tǒng)，通過(guò)將圖像和提示文本作為多模態(tài)模型的輸入，在大模型中處理生成智能決策信息，引導(dǎo)機(jī)器人進(jìn)行合理的處置異常姿態(tài)的凍存管，解決了上述問(wèn)題。
2、為了實(shí)現(xiàn)上述目的，本專(zhuān)利技術(shù)技術(shù)方案如下：p>
3、第一方面，一種基于視覺(jué)的樣本管挑選及異常決策處置方法，包括如下步驟：
4、步驟s1：挑管夾爪從凍存盒中提取樣本管前，普通異常檢測(cè)流程檢測(cè)到挑管異常后，通過(guò)視覺(jué)識(shí)別組件對(duì)凍存盒內(nèi)樣本管排列情況進(jìn)行拍照抓取場(chǎng)景圖像；
5、步驟s2：將圖像傳入多模態(tài)模型中進(jìn)行識(shí)別，并借助提示文本輔助分析圖像內(nèi)容，判斷出不同類(lèi)型的抓取場(chǎng)景；
6、步驟s3：根據(jù)不同類(lèi)型的抓取場(chǎng)景判斷出機(jī)械臂挑管系統(tǒng)應(yīng)采取的動(dòng)作策略來(lái)處理異常樣本管。
7、優(yōu)選的，步驟s2包括以下步驟：
8、步驟s21：將圖像傳入多模態(tài)模型中進(jìn)行識(shí)別；
9、步驟s22：并借助提示文本輔助分析圖像內(nèi)容，提示文本交代圖像的背景信息，提供輸出結(jié)果的格式示例，包括異常樣本管的數(shù)量、姿態(tài)和空間關(guān)系字段的輸出；
10、步驟s23：根據(jù)返回的異常樣本管的數(shù)量、排布姿態(tài)和空間關(guān)系判斷出不同類(lèi)型的抓取場(chǎng)景。
11、優(yōu)選的，步驟s3根據(jù)不同類(lèi)型的抓取場(chǎng)景判斷出機(jī)械臂挑管系統(tǒng)應(yīng)采取的動(dòng)作策略來(lái)處理異常樣本管，包括：
12、根據(jù)異常樣本管的數(shù)量，判斷挑管系統(tǒng)是否需要采用異常處理模式，如果異常樣本管的數(shù)量為0，正常定位挑管，如果異常樣本管的數(shù)量≥1，需要采用異常處理模式；
13、如果異常樣本管的數(shù)量＞1，判斷異常樣本管之間是否接觸，如果異常樣本管之間接觸，進(jìn)一步判斷異常樣本管之間的空間關(guān)系，如果異常樣本管之間交叉，機(jī)械臂挑管系統(tǒng)推開(kāi)上方樣本管后抓取，如果異常樣本管之間平行，機(jī)械臂挑管系統(tǒng)從管蓋前方推開(kāi)任一樣本管后抓取；
14、如果異常樣本管之間不接觸，機(jī)械臂挑管系統(tǒng)直接抓取任一樣本管；
15、如果異常樣本管的數(shù)量為1，判斷異常樣本管姿態(tài)，如果異常樣本管為橫躺姿態(tài)，機(jī)械臂挑管系統(tǒng)抓取樣本管中部，如果異常樣本管為斜倚姿態(tài)，從樣本管蓋上方抓取。
16、優(yōu)先的，所述多模態(tài)模型為gpt-4或gemini?1.5。
17、第二方面，一種基于視覺(jué)的樣本管挑選及異常決策處置系統(tǒng)，包括：
18、存儲(chǔ)機(jī)構(gòu)，所述存儲(chǔ)機(jī)構(gòu)頂部設(shè)置有凍存盒，所述凍存盒內(nèi)設(shè)置有多個(gè)樣本管；
19、視覺(jué)識(shí)別組件，視覺(jué)識(shí)別組件包括視覺(jué)識(shí)別單元、usb數(shù)據(jù)線(xiàn)和計(jì)算機(jī)，所述usb數(shù)據(jù)線(xiàn)用于視覺(jué)識(shí)別單元和計(jì)算機(jī)之間傳輸視覺(jué)圖像，所述視覺(jué)識(shí)別組件位于挑管區(qū)上方；
20、機(jī)械臂挑管系統(tǒng)，所述機(jī)械臂挑管系統(tǒng)包括機(jī)械臂和挑管夾爪，所述挑管夾爪固定在所述機(jī)械臂上，所述挑管夾爪用于將樣本管從存儲(chǔ)機(jī)構(gòu)中取出；
21、還包括多模態(tài)模型軟件。
22、第三方面，一種計(jì)算設(shè)備，包括：
23、一個(gè)或多個(gè)處理器；
24、存儲(chǔ)裝置，用于存儲(chǔ)一個(gè)或多個(gè)程序，當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)上述中任一項(xiàng)所述的方法。
25、第四方面，一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述中任一項(xiàng)所述的方法。
26、本專(zhuān)利技術(shù)的有益效果是：
27、本專(zhuān)利技術(shù)挑管夾爪從凍存盒中提取樣本管前，普通異常檢測(cè)流程檢測(cè)到挑管異常后，通過(guò)視覺(jué)識(shí)別組件對(duì)凍存盒內(nèi)樣本管排列情況進(jìn)行拍照抓取場(chǎng)景圖像，將圖像傳入多模態(tài)模型中進(jìn)行識(shí)別，并借助提示文本輔助分析圖像內(nèi)容，判斷出不同類(lèi)型的抓取場(chǎng)景，根據(jù)不同類(lèi)型的抓取場(chǎng)景判斷出機(jī)械臂挑管系統(tǒng)應(yīng)采取的動(dòng)作策略來(lái)處理異常樣本管。本專(zhuān)利技術(shù)專(zhuān)利提供的方法，可以獨(dú)立工作，也可以是現(xiàn)有異常檢測(cè)流程的提升，異常處置決策流程可以避免人工處置，縮短響應(yīng)的時(shí)間，減少樣本在高溫環(huán)境下的暴露時(shí)長(zhǎng)，保護(hù)其內(nèi)樣本的活性。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種基于視覺(jué)的樣本管挑選及異常決策處置方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于視覺(jué)的樣本管挑選及異常決策處置方法，其特征在于，步驟S2包括以下步驟：
3.根據(jù)權(quán)利要求2所述的基于視覺(jué)的樣本管挑選及異常決策處置方法，其特征在于，步驟S3根據(jù)不同類(lèi)型的抓取場(chǎng)景判斷出機(jī)械臂挑管系統(tǒng)應(yīng)采取的動(dòng)作策略來(lái)處理異常樣本管，包括：
4.根據(jù)權(quán)利要求3所述的基于視覺(jué)的樣本管挑選及異常決策處置方法，其特征在于，所述多模態(tài)模型為GPT-4或Gemini?1.5。
5.一種基于視覺(jué)的樣本管挑選及異常決策處置方法系統(tǒng)，其特征在于，包括：
6.一種計(jì)算設(shè)備，其特征在于，包括：
7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有程序，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至3中任一項(xiàng)所述的方法。
【技術(shù)特征摘要】
1.一種基于視覺(jué)的樣本管挑選及異常決策處置方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于視覺(jué)的樣本管挑選及異常決策處置方法，其特征在于，步驟s2包括以下步驟：
3.根據(jù)權(quán)利要求2所述的基于視覺(jué)的樣本管挑選及異常決策處置方法，其特征在于，步驟s3根據(jù)不同類(lèi)型的抓取場(chǎng)景判斷出機(jī)械臂挑管系統(tǒng)應(yīng)采取的動(dòng)作策略來(lái)處理異常樣本管，包括：
4.根據(jù)權(quán)利要求...
【專(zhuān)利技術(shù)屬性】
技術(shù)研發(fā)人員：張?jiān)骑w，楊書(shū)軍，丁泉，李瀟，
申請(qǐng)(專(zhuān)利權(quán))人：深圳慧智星晨科技有限公司，
類(lèi)型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。