【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于耳穴識(shí)別，特別涉及一種耳穴實(shí)時(shí)檢測(cè)與輔助定位方法、系統(tǒng)及存儲(chǔ)介質(zhì)。
技術(shù)介紹
1、耳部穴位數(shù)量分布較多，且各個(gè)穴位之間的距離較為密集，目前通過(guò)人工判斷的方法難以實(shí)現(xiàn)穴位的精準(zhǔn)定位，且往往需要花費(fèi)較長(zhǎng)的時(shí)間。此外，由于不同人體的耳部構(gòu)造、具體形狀不盡相同存在差異，且耳穴分布密集難以區(qū)分，其定位準(zhǔn)確度受醫(yī)師經(jīng)驗(yàn)水平的限制以及光線、溫度等外部環(huán)境的影響，導(dǎo)致醫(yī)師精確定位耳穴的難度極高，如果定錯(cuò)穴位，可能導(dǎo)致無(wú)法起到理想的治療效果。尤其對(duì)于經(jīng)驗(yàn)不足的醫(yī)師，耳穴識(shí)別操作上手難度高，經(jīng)驗(yàn)積累慢，需要在大量的臨床實(shí)踐中積累相關(guān)經(jīng)驗(yàn)。
2、因此，需要設(shè)計(jì)一種可有效解決上述問(wèn)題的耳穴實(shí)時(shí)檢測(cè)與輔助定位的方法。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)為解決以上技術(shù)問(wèn)題，提出了一種耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，可高效精確的實(shí)時(shí)檢測(cè)并識(shí)別定位耳部穴位，降低耳穴識(shí)別定位的難度，便于輔助使用人員快速準(zhǔn)確取穴。
2、本專利技術(shù)的技術(shù)方案是：
3、本專利技術(shù)提出一種耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，具體包括以下步驟：
4、s1，獲取用戶耳部圖像；
5、s2，構(gòu)建部署實(shí)時(shí)推理模型，根據(jù)所述實(shí)時(shí)推理模型對(duì)所述用戶耳部圖像的檢測(cè)處理，生成相應(yīng)的耳部邊界框以及位于耳部邊界框內(nèi)的若干個(gè)穴位特征點(diǎn)；
6、s3，將所述耳部邊界框和所述穴位特征點(diǎn)映射至所述用戶耳部圖像，并輸出帶有耳穴標(biāo)注的輔助定位圖像。
7、優(yōu)選的，步驟s2中，所述實(shí)時(shí)推理模型包括串
8、優(yōu)選的，步驟s2中，構(gòu)建部署實(shí)時(shí)推理模型包括以下步驟：
9、收集人耳自然光學(xué)圖像，構(gòu)建原始數(shù)據(jù)集；
10、對(duì)原始數(shù)據(jù)集中的圖像進(jìn)行處理，標(biāo)注耳部邊界框形成樣本數(shù)據(jù)集，將其輸入至rtmdet模型中進(jìn)行學(xué)習(xí)訓(xùn)練，得到rtmdet訓(xùn)練模型；
11、對(duì)原始數(shù)據(jù)集中的圖像進(jìn)行處理，標(biāo)注穴位特征點(diǎn)形成樣本數(shù)據(jù)集，將其輸入至rtmpose模型中進(jìn)行學(xué)習(xí)訓(xùn)練，得到rtmpose訓(xùn)練模型；
12、將rtmdet訓(xùn)練模型和rtmpose訓(xùn)練模型串聯(lián)，構(gòu)建實(shí)時(shí)推理模型。
13、優(yōu)選的，所述rtmdet訓(xùn)練模型的學(xué)習(xí)訓(xùn)練過(guò)程包括使用強(qiáng)數(shù)據(jù)增強(qiáng)算法處理的第一迭代訓(xùn)練階段，以及使用弱數(shù)據(jù)增強(qiáng)算法處理的第二迭代訓(xùn)練階段；
14、所述第一迭代訓(xùn)練階段包括mosaic+mixup緩存加速處理、隨機(jī)旋轉(zhuǎn)處理、以及隨機(jī)裁剪處理，所述第二迭代訓(xùn)練階段包括隨機(jī)旋轉(zhuǎn)處理、以及隨機(jī)裁剪處理。
15、優(yōu)選的，所述mosaic+mixup緩存加速處理包括以下步驟：
16、構(gòu)建mosaic緩存隊(duì)列，載入樣本數(shù)據(jù)集中隨機(jī)選擇的圖像對(duì)mosaic緩存隊(duì)列初始化，從樣本數(shù)據(jù)集中加載一張圖像，更新mosaic緩存隊(duì)列，并從中隨機(jī)選取圖像用于mosaic處理；
17、構(gòu)建mixup緩存隊(duì)列，載入樣本數(shù)據(jù)集中隨機(jī)選擇的圖像對(duì)mixup緩存隊(duì)列初始化，從樣本數(shù)據(jù)集中加載一張圖像，更新mixup緩存隊(duì)列，并從中隨機(jī)選取圖像用于mixup處理。
18、優(yōu)選的，所述rtmpose訓(xùn)練模型的學(xué)習(xí)訓(xùn)練過(guò)程包括使用強(qiáng)數(shù)據(jù)增強(qiáng)算法處理的第一迭代訓(xùn)練階段，以及使用弱數(shù)據(jù)增強(qiáng)算法處理的第二迭代訓(xùn)練階段；
19、所述第一迭代訓(xùn)練階段包括尺度變換處理、隨機(jī)旋轉(zhuǎn)處理、以及隨機(jī)裁剪處理，所述第二迭代訓(xùn)練階段包括隨機(jī)旋轉(zhuǎn)處理、以及隨機(jī)裁剪處理。
20、優(yōu)選的，步驟s1中，所述用戶耳部圖像為視頻流中順次逐幀截取的圖像幀。
21、優(yōu)選的，步驟s2中還包括圖像后處理，所述圖形后處理包括跳幀檢測(cè)處理、姿態(tài)非極大值抑制處理、以及一歐元濾波處理。
22、本專利技術(shù)還提出了一種耳穴實(shí)時(shí)檢測(cè)與輔助定位系統(tǒng)，具體包括：
23、圖像獲取模塊，用于檢測(cè)獲取用戶耳部圖像；
24、實(shí)時(shí)推理模塊，用于對(duì)所述用戶耳部圖像檢測(cè)處理，生成相應(yīng)的耳部邊界框以及位于耳部邊界框內(nèi)的若干個(gè)穴位特征點(diǎn)；
25、輔助定位模塊，用于將所述耳部邊界框和所述穴位特征點(diǎn)映射至所述用戶耳部圖像，并實(shí)時(shí)輸出帶有耳穴標(biāo)注的輔助定位圖像；
26、其中，所述實(shí)時(shí)推理模塊包括圖像前處理單元、耳部位置檢測(cè)單元、耳穴特征點(diǎn)檢測(cè)單元、以及圖像后處理單元。
27、圖像前處理單元對(duì)獲取的用戶耳部圖像進(jìn)行預(yù)處理，如調(diào)整圖像大小、去噪等；耳部位置檢測(cè)單元采用rtmdet訓(xùn)練模型對(duì)用戶耳部圖像處理，生成耳部邊界框；耳穴特征點(diǎn)檢測(cè)單元采用rtmpose訓(xùn)練模型對(duì)用戶耳部圖像處理，生成若干個(gè)位于耳部邊界框內(nèi)的耳穴特征點(diǎn)；圖像后處理單元對(duì)完成耳部邊界框以及耳穴特征點(diǎn)標(biāo)注的用戶耳部圖像進(jìn)行跳幀檢測(cè)處理、姿態(tài)非極大值抑制處理、以及一歐元濾波處理，提高實(shí)時(shí)輸出結(jié)果圖像的平滑性。
28、本專利技術(shù)還提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器加載，以執(zhí)行上述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法中的步驟。
29、本專利技術(shù)相對(duì)于現(xiàn)有技術(shù)具有如下的優(yōu)點(diǎn)及效果：
30、(1)采用包括串聯(lián)的rtmdet訓(xùn)練模型和rtmpose訓(xùn)練模型的實(shí)時(shí)推理模型，可提升耳部穴位的定位準(zhǔn)確性和實(shí)時(shí)定位效率，達(dá)到輔助操作人員快速準(zhǔn)確取穴的效果，降低耳穴識(shí)別定位的難度，使得耳穴識(shí)別、定位、取穴更加清晰直觀高效；
31、(2)采用包括第一迭代訓(xùn)練階段和第二迭代訓(xùn)練階段的rtmdet訓(xùn)練模型、rtmpose訓(xùn)練模型，即rtmdet和rtmpose訓(xùn)練模型均采用“兩階段”數(shù)據(jù)增強(qiáng)策略，保證模型對(duì)包括真實(shí)世界環(huán)境的各種噪聲和對(duì)象組合的復(fù)雜模式圖像和視頻的魯棒性更強(qiáng)，同時(shí)使得模型更專注于真實(shí)訓(xùn)練數(shù)據(jù)的特征，以適應(yīng)正常的測(cè)試場(chǎng)景。
本文檔來(lái)自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于：步驟S2中，所述實(shí)時(shí)推理模型包括串聯(lián)的RTMDet訓(xùn)練模型和RTMPose訓(xùn)練模型，所述RTMDet訓(xùn)練模型根據(jù)所述用戶耳部圖像生成所述耳部邊界框，所述RTMPose訓(xùn)練模型根據(jù)所述用戶耳部圖像生成位于所述耳部邊界框內(nèi)的若干個(gè)所述穴位特征點(diǎn)。
3.根據(jù)權(quán)利要求2所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于，步驟S2中，構(gòu)建部署實(shí)時(shí)推理模型包括以下步驟：
4.根據(jù)權(quán)利要求3所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于：所述RTMDet訓(xùn)練模型的學(xué)習(xí)訓(xùn)練過(guò)程包括使用強(qiáng)數(shù)據(jù)增強(qiáng)算法處理的第一迭代訓(xùn)練階段，以及使用弱數(shù)據(jù)增強(qiáng)算法處理的第二迭代訓(xùn)練階段；
5.根據(jù)權(quán)利要求4所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于，所述Mosaic+MixUp緩存加速處理包括以下步驟：
6.根據(jù)權(quán)利要求3所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于：所述RTMPose訓(xùn)練模型的學(xué)習(xí)訓(xùn)練過(guò)程包括使用強(qiáng)數(shù)據(jù)增強(qiáng)算法處理的第
7.根據(jù)權(quán)利要求1所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于：步驟S1中，所述用戶耳部圖像為視頻流中順次逐幀截取的圖像幀。
8.根據(jù)權(quán)利要求1所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于：步驟S2中還包括圖像后處理，所述圖形后處理包括跳幀檢測(cè)處理、姿態(tài)非極大值抑制處理、以及一歐元濾波處理。
9.一種耳穴實(shí)時(shí)檢測(cè)與輔助定位系統(tǒng)，其特征在于，包括：
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于：其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器加載，以執(zhí)行如權(quán)利要求1~8中任一項(xiàng)所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法中的步驟。
...【技術(shù)特征摘要】
1.一種耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于：步驟s2中，所述實(shí)時(shí)推理模型包括串聯(lián)的rtmdet訓(xùn)練模型和rtmpose訓(xùn)練模型，所述rtmdet訓(xùn)練模型根據(jù)所述用戶耳部圖像生成所述耳部邊界框，所述rtmpose訓(xùn)練模型根據(jù)所述用戶耳部圖像生成位于所述耳部邊界框內(nèi)的若干個(gè)所述穴位特征點(diǎn)。
3.根據(jù)權(quán)利要求2所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于，步驟s2中，構(gòu)建部署實(shí)時(shí)推理模型包括以下步驟：
4.根據(jù)權(quán)利要求3所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于：所述rtmdet訓(xùn)練模型的學(xué)習(xí)訓(xùn)練過(guò)程包括使用強(qiáng)數(shù)據(jù)增強(qiáng)算法處理的第一迭代訓(xùn)練階段，以及使用弱數(shù)據(jù)增強(qiáng)算法處理的第二迭代訓(xùn)練階段；
5.根據(jù)權(quán)利要求4所述的耳穴實(shí)時(shí)檢測(cè)與輔助定位方法，其特征在于，所述mosaic+...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：侯廣建，馬麗曼，田廣野，張馨宇，曹盛楠，曹佳杰，汪順虎，李昆侖，
申請(qǐng)(專利權(quán))人：山東盟睿智能科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。