【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于人體關(guān)鍵點(diǎn)檢測(cè)識(shí)別領(lǐng)域，具體地，涉及一種基于改進(jìn)yolov7人體關(guān)鍵點(diǎn)檢測(cè)方法。
技術(shù)介紹
1、人體關(guān)鍵點(diǎn)檢測(cè)識(shí)別是計(jì)算機(jī)視覺領(lǐng)域中的一個(gè)重要的研究方向，在體育領(lǐng)域中，它是動(dòng)作的分析和評(píng)估的一個(gè)重要內(nèi)容，隨著體育教育的日益普及和競(jìng)技水平的不斷提升，對(duì)于動(dòng)作的規(guī)范性判斷并將標(biāo)準(zhǔn)的動(dòng)作進(jìn)行計(jì)數(shù)變得越來越重要。在該背景下，人體關(guān)鍵點(diǎn)檢測(cè)和識(shí)別任務(wù)在動(dòng)作的規(guī)范性判斷中發(fā)揮著重要作用。因此，利用計(jì)算機(jī)視覺技術(shù)進(jìn)行人體關(guān)鍵點(diǎn)檢測(cè)，進(jìn)而實(shí)現(xiàn)動(dòng)作規(guī)范性的識(shí)別，成為了體育教育和體育競(jìng)技領(lǐng)域中的研究熱點(diǎn)。
2、隨著體育運(yùn)動(dòng)的規(guī)范化和競(jìng)技化的發(fā)展，傳統(tǒng)的分析方式往往依賴于人工觀察和記錄，這種方式存在差異、人力成本和人員培訓(xùn)開銷較高、工作人員可能存在動(dòng)作標(biāo)準(zhǔn)度判斷和計(jì)數(shù)錯(cuò)漏等問題，從而影響體育運(yùn)動(dòng)的公平性和規(guī)范性。近年來，隨著深度學(xué)習(xí)技術(shù)被廣泛應(yīng)用到人體關(guān)鍵點(diǎn)檢測(cè)識(shí)別領(lǐng)域，極大提高了人體關(guān)鍵點(diǎn)檢測(cè)識(shí)別的的準(zhǔn)確度和效率，并減少傳統(tǒng)分析方式的人工成本和人為主觀影響。但是，在實(shí)際應(yīng)用過程中，處于自然環(huán)境下，由于光照強(qiáng)度不同、拍攝角度和距離不同等問題，使得yolov7在人體關(guān)鍵點(diǎn)檢測(cè)識(shí)別存在不理想的地方。
3、對(duì)于目標(biāo)檢測(cè)，zeng等人(zeng?lm，hou?j，chen?z?r，et?al.lightweighttraffic?sign?detection?networkbasedon?weak?semantic?segmentation[j].computerengineering，2022，48(9)：269-27
4、綜上所述，雖然yolov7在人體關(guān)鍵點(diǎn)檢測(cè)識(shí)別技術(shù)已有一定的發(fā)展，但是還需要對(duì)其進(jìn)行改進(jìn)，以更好地滿足在體育領(lǐng)域中動(dòng)作規(guī)范性判斷和動(dòng)作計(jì)數(shù)的需求。這將為體育教育和體育競(jìng)技領(lǐng)域帶來更規(guī)范、智能的操作和管理，推動(dòng)體育教育和體育競(jìng)技的發(fā)展和提升。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)旨在克服以上現(xiàn)有技術(shù)中存在的不足，提出了一種改進(jìn)的yolov7人體關(guān)鍵點(diǎn)檢測(cè)方法，以在復(fù)雜場(chǎng)景下提高體育運(yùn)動(dòng)檢測(cè)和識(shí)別計(jì)數(shù)的識(shí)別效率、魯棒性和準(zhǔn)確率。
2、為了實(shí)現(xiàn)上述
技術(shù)實(shí)現(xiàn)思路
，本專利技術(shù)提供一種改進(jìn)的yolov7人體關(guān)鍵點(diǎn)檢測(cè)方法，包括如下步驟：
3、(1)采集仰臥起坐圖像樣本；
4、(2)對(duì)圖像進(jìn)行預(yù)處理及標(biāo)注；
5、(3)基于數(shù)據(jù)增廣的訓(xùn)練集制作；
6、(4)將yolov7中原有的mp模塊替換為l-mp模塊改進(jìn)特征提取；
7、(5)在yolov7網(wǎng)絡(luò)的backbone模塊和head模塊之間新增edh-conv模塊；
8、(6)在yolov7網(wǎng)絡(luò)加入rswin?transformer編碼器優(yōu)化特征提取；
9、(7)基于優(yōu)化的損失函數(shù)訓(xùn)練深度網(wǎng)絡(luò)，并實(shí)現(xiàn)關(guān)鍵點(diǎn)檢測(cè)。
10、進(jìn)一步地，所述的采集中學(xué)生仰臥起坐的圖像樣本，是指采集不同環(huán)境、角度和距離下的運(yùn)動(dòng)圖像樣本，使得圖像樣本包含不同的光照強(qiáng)度、不同人體拍攝視角的圖片；所述對(duì)圖像進(jìn)行預(yù)處理及標(biāo)注，是指通過opencv庫(kù)調(diào)整輸入圖像的大小統(tǒng)一為608×608，使用openpose進(jìn)行人體關(guān)鍵點(diǎn)標(biāo)注；所述的基于數(shù)據(jù)增廣的訓(xùn)練集制作，是指使用mosaic數(shù)據(jù)增強(qiáng)、顏色擾動(dòng)和亮度調(diào)整的方法制作用于訓(xùn)練的數(shù)據(jù)集；所述的基于損失函數(shù)優(yōu)化的關(guān)鍵點(diǎn)檢測(cè)，是指將損失函數(shù)參照wise-iou?loss進(jìn)行適應(yīng)性改動(dòng)，調(diào)整為適用于關(guān)鍵點(diǎn)檢測(cè)的l2損失，引入動(dòng)態(tài)非單調(diào)聚焦機(jī)制用于關(guān)鍵點(diǎn)的誤差權(quán)重分配，并增加幾何約束以確保關(guān)鍵點(diǎn)之間的合理位置關(guān)系。
11、進(jìn)一步地，所述的將yolov7中原有的mp模塊替換為l-mp模塊改進(jìn)特征提取，是指將yolov7的原有mp模塊替換為改進(jìn)的l-mp模塊，所述的改進(jìn)l-mp模塊是指在mp模塊基礎(chǔ)上，新增一個(gè)包含liftdown?pool模塊的分支、并將liftdown?pool模塊和maxpool模塊的輸出通過跳躍鏈接方式輸出到后續(xù)模塊、然后三分支的結(jié)果通過cat方式進(jìn)行匯總、最后修改第三分支的卷積方式而得到的新模塊；所述的新增一個(gè)包含liftdown?pool模塊的分支是指由liftdown?pool模塊和1×1卷積模塊串聯(lián)而成的分支；所述的將liftdown?pool模塊和maxpool模塊的輸出通過跳躍連接方式輸出到后續(xù)模塊是指將liftdown?pool模塊的結(jié)果通過跳躍連接的方式輸入到cat?c模塊，所述的cat?c模塊是指第一分支的liftdown?pool模塊和1×1卷積模塊進(jìn)行串聯(lián)所得的模塊；同時(shí)將maxpool模塊的結(jié)果通過跳躍連接的方式輸入到cat?b模塊，所述的cat?b模塊是指第二分支的maxpool模塊和第二分支的1×1卷積模塊進(jìn)行串本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種改進(jìn)的YOLOv7人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于構(gòu)建改進(jìn)的YOLOv7網(wǎng)絡(luò)結(jié)構(gòu)，將原有的MP模塊替換為改進(jìn)的L-MP模塊，以及在YOLOv7的Backbone模塊和Head模塊之間之間增加EDH-Conv模塊，并將改進(jìn)的RSwin?Transformer編碼器引入到Y(jié)OLOv7的第三個(gè)和第四個(gè)CBS模塊之間，增強(qiáng)人體關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確度，包括如下步驟：(1)采集中學(xué)生仰臥起坐運(yùn)動(dòng)的圖像樣本；(2)對(duì)圖像進(jìn)行預(yù)處理及標(biāo)注；(3)基于數(shù)據(jù)增廣的訓(xùn)練集制作；(4)將改進(jìn)的L-MP模塊替換YOLOv7原有MP模塊以提升特征提取；(5)在YOLOv7網(wǎng)絡(luò)的Backbone模塊和Head模塊之間新增EDH-Conv模塊；(6)在YOLOv7的第三和第四個(gè)CBS模塊之間引進(jìn)改進(jìn)的RSwin?Transformer編碼器；(7)基于優(yōu)化的損失函數(shù)訓(xùn)練深度網(wǎng)絡(luò)，并實(shí)現(xiàn)關(guān)鍵點(diǎn)檢測(cè)；所述的采集中學(xué)生仰臥起坐的圖像樣本，是指采集不同環(huán)境、角度和距離下的運(yùn)動(dòng)圖像樣本，使得圖像樣本包含不同的光照強(qiáng)度、不同人體拍攝視角的圖片；所述對(duì)圖像進(jìn)行預(yù)處理及標(biāo)注，是指通過OpenCV庫(kù)調(diào)整輸入圖像的大小統(tǒng)一為60
2.根據(jù)權(quán)利要求1所述的一種改進(jìn)的YOLOv7人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述的將改進(jìn)的L-MP模塊替換YOLOv7原有MP模塊以提升特征提取，是指將YOLOv7的原有MP模塊替換為改進(jìn)的L-MP模塊，所述的改進(jìn)L-MP模塊是指在MP模塊基礎(chǔ)上，新增一個(gè)包含LiftDownPool模塊的分支、并將LiftDown?Pool模塊和Maxpool模塊的輸出通過跳躍鏈接方式輸出到后續(xù)模塊、然后三分支的結(jié)果通過cat方式進(jìn)行匯總、最后修改第三分支的卷積方式而得到的新模塊；所述的新增一個(gè)包含LiftDown?Pool模塊的分支是指由LiftDown?Pool模塊和1×1卷積模塊串聯(lián)而成的分支；所述的將LiftDown?Pool模塊和Maxpool模塊的輸出通過跳躍連接方式輸出到后續(xù)模塊是指將LiftDown?Pool模塊的結(jié)果通過跳躍連接的方式輸入到cat?C模塊，所述的cat?C模塊是指第一分支的LiftDown?Pool模塊和1×1卷積模塊進(jìn)行串聯(lián)所得的模塊；同時(shí)將Maxpool模塊的結(jié)果通過跳躍連接的方式輸入到cat?B模塊，所述的cat?B模塊是指第二分支的Maxpool模塊和第二分支的1×1卷積模塊進(jìn)行串聯(lián)后與第三分支中的四個(gè)1×1卷積模塊串聯(lián)后通過cat的方式匯總所得；跳躍連接方式允許輸入特征直接傳遞至后續(xù)層，確保早期提取的低級(jí)特征得以保留，有效避免梯度消失和特征衰減；所述的三分支的結(jié)果通過cat方式進(jìn)行匯總是指將上述包含第一分支結(jié)果的cat?C模塊與包含第二分支、第三分支結(jié)果的cat?B模塊通過cat方式串聯(lián)匯總輸出；通過結(jié)合LiftDownPool和超級(jí)下采樣技術(shù)，所得的互補(bǔ)下采樣特征圖能夠在下采樣過程中保留更多關(guān)鍵信息，避免關(guān)鍵特征的丟失；所述的修改第三分支的卷積方式是指將第三分支中原有的一個(gè)1×1卷積模塊與一個(gè)3×3卷積模塊串聯(lián)修改為四個(gè)1×1卷積模塊串聯(lián)，減少了每層的參數(shù)量，從而加快了計(jì)算速度。
3.根據(jù)權(quán)利要求1所述的一種改進(jìn)的YOLOv7人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述的增加EDH-Conv模塊，即Encoder-Decoder-Hole?Convolutional模塊，是指在YOLOv7網(wǎng)絡(luò)的Backbone模塊和Head模塊之間新增EDH-Conv模塊；所述的EDH-Conv模塊是指將YOLOv7網(wǎng)絡(luò)的中與主干網(wǎng)絡(luò)有連接關(guān)系的兩個(gè)CBS模塊的輸出和主干網(wǎng)絡(luò)中的ELAN模塊的輸出作為EDH-Conv模塊的3個(gè)輸入，然后這3個(gè)輸入依次被分配到三個(gè)不同的并行分支，然后三分支的特征圖一起串聯(lián)匯總為總的特征圖，并將該特征圖經(jīng)過1×1的卷積，以得到最終的特征圖輸出；所述的三個(gè)分支是指，第一分支包括一個(gè)步長(zhǎng)為2的3×3的卷積和一個(gè)步長(zhǎng)為2的3×3的轉(zhuǎn)置卷積組成；第二分支由一個(gè)1×1卷積、一個(gè)3×3的卷積和一個(gè)膨脹率為3的3×3的卷積組成，以擴(kuò)大感受野，獲取更豐富的上下文信息；第三分支包括一個(gè)1×1的卷積和一個(gè)膨脹率為1的3×3的卷積；將上述三分支得到的特征圖串聯(lián)匯總經(jīng)過一個(gè)Concat和一個(gè)1×1的卷積，得到最終特征圖的輸出；EDH-Con...
【技術(shù)特征摘要】
1.一種改進(jìn)的yolov7人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于構(gòu)建改進(jìn)的yolov7網(wǎng)絡(luò)結(jié)構(gòu)，將原有的mp模塊替換為改進(jìn)的l-mp模塊，以及在yolov7的backbone模塊和head模塊之間之間增加edh-conv模塊，并將改進(jìn)的rswin?transformer編碼器引入到y(tǒng)olov7的第三個(gè)和第四個(gè)cbs模塊之間，增強(qiáng)人體關(guān)鍵點(diǎn)檢測(cè)的準(zhǔn)確度，包括如下步驟：(1)采集中學(xué)生仰臥起坐運(yùn)動(dòng)的圖像樣本；(2)對(duì)圖像進(jìn)行預(yù)處理及標(biāo)注；(3)基于數(shù)據(jù)增廣的訓(xùn)練集制作；(4)將改進(jìn)的l-mp模塊替換yolov7原有mp模塊以提升特征提取；(5)在yolov7網(wǎng)絡(luò)的backbone模塊和head模塊之間新增edh-conv模塊；(6)在yolov7的第三和第四個(gè)cbs模塊之間引進(jìn)改進(jìn)的rswin?transformer編碼器；(7)基于優(yōu)化的損失函數(shù)訓(xùn)練深度網(wǎng)絡(luò)，并實(shí)現(xiàn)關(guān)鍵點(diǎn)檢測(cè)；所述的采集中學(xué)生仰臥起坐的圖像樣本，是指采集不同環(huán)境、角度和距離下的運(yùn)動(dòng)圖像樣本，使得圖像樣本包含不同的光照強(qiáng)度、不同人體拍攝視角的圖片；所述對(duì)圖像進(jìn)行預(yù)處理及標(biāo)注，是指通過opencv庫(kù)調(diào)整輸入圖像的大小統(tǒng)一為608×608，使用openpose進(jìn)行人體關(guān)鍵點(diǎn)標(biāo)注；所述的基于數(shù)據(jù)增廣的訓(xùn)練集制作，是指使用mosaic數(shù)據(jù)增強(qiáng)、顏色擾動(dòng)和亮度調(diào)整的方法制作用于訓(xùn)練的數(shù)據(jù)集；所述的基于損失函數(shù)優(yōu)化的關(guān)鍵點(diǎn)檢測(cè)，是指將損失函數(shù)參照wise-iou進(jìn)行適應(yīng)性改動(dòng)，調(diào)整為適用于關(guān)鍵點(diǎn)檢測(cè)的l2損失，引入動(dòng)態(tài)非單調(diào)聚焦機(jī)制用于關(guān)鍵點(diǎn)的誤差權(quán)重分配，并增加幾何約束以確保關(guān)鍵點(diǎn)之間的合理位置關(guān)系。
2.根據(jù)權(quán)利要求1所述的一種改進(jìn)的yolov7人體關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述的將改進(jìn)的l-mp模塊替換yolov7原有mp模塊以提升特征提取，是指將yolov7的原有mp模塊替換為改進(jìn)的l-mp模塊，所述的改進(jìn)l-mp模塊是指在mp模塊基礎(chǔ)上，新增一個(gè)包含liftdownpool模塊的分支、并將liftdown?pool模塊和maxpool模塊的輸出通過跳躍鏈接方式輸出到后續(xù)模塊、然后三分支的結(jié)果通過cat方式進(jìn)行匯總、最后修改第三分支的卷積方式而得到的新模塊；所述的新增一個(gè)包含liftdown?pool模塊的分支是指由liftdown?pool模塊和1×1卷積模塊串聯(lián)而成的分支；所述的將liftdown?pool模塊和maxpool模塊的輸出通過跳躍連接方式輸出到后續(xù)模塊是指將liftdown?pool模塊的結(jié)果通過跳躍連接的方式輸入到cat?c模塊，所述的cat?c模塊是指第一分支的liftdown?pool模塊和1×1卷積模塊進(jìn)行串聯(lián)所得的模塊；同時(shí)將maxpool模塊的結(jié)果通過跳躍連接的方式輸入到cat?b模塊，所述的cat?b模塊是指第二分支的maxpool模塊和第二分支的1×1卷積模塊進(jìn)行串聯(lián)后與第三分支中的四個(gè)1×1卷積模塊串聯(lián)后通過cat的方式匯總所得；跳躍連接方式允許輸入特征直接傳遞至后續(xù)層，確保早期提取的低級(jí)特征得以保留，有效避免梯度消失和特征衰減；所述的三分支的結(jié)果通過cat方式進(jìn)行匯總是指將上述包含第一分支結(jié)果的cat?c模塊與包含第二分支、第三分支結(jié)果的cat?b模塊通過cat方式串聯(lián)匯總輸出；通過結(jié)合liftdown...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王國(guó)華，葉曉潼，葉安琪，肖光成，吳秉釗，甄佩盈，鄭永森，
申請(qǐng)(專利權(quán))人：華南農(nóng)業(yè)大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。