【技術實現步驟摘要】
本專利技術涉及計算機視覺領域，具體為一種基于雙層判斷的跌倒行為檢測方法。
技術介紹
1、隨著社會的發展，人口老齡化是當今社會面臨的重大挑戰之一，老年人跌倒行為是影響其正常生活的重要因素之一。社區養老中心、養老院、老年活動中心等場所作為老年人社交活動、康復服務和娛樂活動的重要場所，跌倒事件成為其中一個突出的安全問題，跌倒不僅容易導致老年人受傷，還可能造成長期的心理影響甚至直接威脅到生命。
2、當前，基于計算機視覺的跌倒檢測方法部署便捷以及成本低，因此具備一些顯著的優勢。現存的基于計算機視覺的跌倒檢測方法大多分為兩步：先對檢測目標進行跟蹤，再對目標的運動信息進行分析判定是否發生跌倒行為，這種方法雖然會減少誤判率，但由于網絡結構較大，占用空間內存較多；同時，在社區養老中心、養老院、老年活動中心等復雜環境的場景中，跌倒行為檢測容易受到多個人之間互相遮擋的影響，并且目前所知的跌倒檢測方法很難辨別出跌倒行為和躺在床、沙發或椅子上休息等這類類跌倒行為之間的區別，從而增加了跌倒行為的漏判和誤判。
3、為解決上述問題，本專利技術提出一種基于雙層判斷的跌倒行為檢測方法，在yolov8網絡中引入基于跨空間學習的高效多尺度注意力機制，增強網絡對遮擋和不同尺度跌倒行為的識別能力，以加強網絡對遮擋人體特征的提取，提高檢測精度；同時將yolov8網絡backbone部分的四個c2f層全部替換為c2f_scconv模塊，通過減少傳統卷積操作中的空間和通道上的特征冗余，有效降低了網絡的參數數量和計算復雜度；通過改進的yolov8與open
技術實現思路
1、1、本專利技術的目的
2、鑒于已有技術存在的缺陷，本專利技術公開了一種基于雙層判斷的跌倒行為檢測方法，其目的在于提高人體跌倒行為檢測的精度，解決多人場景下因人體遮擋原因導致的漏檢問題的同時，降低網絡所占用的計算復雜度，并且減少由于某些類跌倒行為(躺在床上、沙發或者椅子上休息等行為)而導致誤檢的問題。
3、2、為了實現以上目的，本專利技術通過以下技術方案實現：
4、本專利技術提供的一種基于雙層判斷的跌倒行為檢測方法，具體步驟包括：
5、(1)人體檢測：將圖像輸入到改進后的yolov8網絡中，對人體目標進行提取，其中對yolov8網絡的改進包括以下兩點：
6、(1-1)將基于跨空間學習的高效多尺度注意力機制融入到yolov8網絡；
7、(1-2)將空間和通道重建卷積融入到yolov8網絡；
8、(2)將步驟(1)中所檢測后的結果，輸入到openpose網絡進行人體關鍵點提取并對關鍵點坐標信息進行分析，使用跌倒特征判斷方法對圖像進行特征提取及分類；
9、(3)將步驟(2)檢測出疑似跌倒類別的圖像輸入到場景語義分割網絡，將場景信息分割為可跌倒區域和非跌倒區域；
10、(4)跌倒判斷：根據改進后的yolov8與openpose網絡結合的方法得到人體頸部以及兩腳中點的關鍵點信息，分析跌倒特征并結合場景語義分割網絡判斷目標是否發生跌倒行為，跌倒判定方法包括以下步驟：1)從步驟(2)中輸出第一次跌倒判斷結果，若檢測目標無跌倒行為則直接輸出無跌倒行為結果；2)若第一次判斷結果為疑似跌倒行為，則計算目標框像素點位置信息與步驟(3)中分割的可跌倒區域像素位置之間的iou(交并比)值，大于所設定閾值則判定為未發生跌倒行為，否則判定為發生跌倒行為。
11、優選的：所述步驟(1-1)將基于跨空間學習的高效多尺度注意力機制融入到yolov8網絡的具體實現方法為：將ema注意力機制融入到yolov8網絡的neck端，與連接detect的三個c2f模塊結合，即在融合特征前都加入ema注意力機制模塊。
12、優選的：所述步驟(1-2)將空間和通道重建卷積融入到yolov8網絡的具體實現方法為：將yolov8網絡backbone部分的四個c2f層全部替換為c2f_scconv模塊。
13、優選的：所述步驟(2)中改進的yolov8網絡所用到的實驗融合數據集制作方法為：取的pascal?voc-2012人體檢測數據集的前8000張圖片進行重新標注，訓練集和測試集比例為7：3。
14、優選的：所述步驟(1)中改進的yolov8網絡的訓練和測試：對融合數據集進行訓練，剖析整個網絡的損失函數，直到損失函數趨于收斂停止迭代，用測試集檢測網絡的精度和速度，用同樣的方式訓練原yolov8網絡，對最終的結果進行分析和總結。
15、優選的：所述步驟(2)具體實現方法為：通過改進的yolov8與openpose網絡結合的方法得到人體頸部以及雙腳中心點的關鍵點坐標，兩個坐標的連線為頸軸，計算相鄰十幀間頸軸方向與重力垂直方向之間的角度α，頸軸方向與地面之間的角度β，人體在產生跌倒行為的瞬間，頸軸與重力垂直方向夾角α會產生明顯變化，若α≥30°，則對人體的頸軸方向與地面方向之間的夾角β進行計算，若β無限趨于0°，則判斷為疑似跌倒行為，否則判斷為未發生跌倒行為。
16、優選的：所述步驟(3)具體實現方法為：首先，建立一個自定義的場景語義分割網絡；其次，對這個場景語義分割網絡進行訓練，在訓練階段，選取了coco數據集中的“床”、“沙發”和“椅子”三個類別的圖片作為訓練數據，將其視為可跌倒區域；最后，將經過訓練的語義分割部署到跌倒檢測網絡的輸出端。
17、優選的：所述的場景語義分割網絡結構由編碼器和解碼器兩部分組成，編碼器部分由input(3,h,w)層、conv1(32,h,w)層、relu(32,h,w)層、bn(32,h,w)層、conv2(64,h/2,w/2)層、relu(64,h/2,w/2)層、bn(32,h/2,w/2)層、conv3(128,h/4,w/4)層、relu(128,h/4,w/4)層、bn(128,h/4,w/4)層以及maxpool(128,h/8,w/8)層順序連接組成；解碼器由dconv1(64,h/4,w/4)層、relu(64,h/4,w/4)層、bn(64,h/4,w/4)層、dconv2(32,h/2,w/2)層、relu(32,h/2,w/2)層、bn(32,h/2,w/2)層、dconv3(1,h,w)層、relu(1,h,w)層、bn(1,h,w)、output(1,w,h)層順序連接組成，并在解碼器的dconv1層和dconv3層之間添加了一層跳躍連接。其中，w和h分別表示輸入圖像的寬度和高度。...
【技術保護點】
1.一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述方法通過以下步驟實現：
2.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述步驟(1-1)將基于跨空間學習的高效多尺度注意力機制融入到YOLOv8網絡的具體實現方法為：將EMA注意力機制融入到YOLOv8網絡的neck端，與連接Detect的三個C2f模塊結合，即在融合特征前都加入EMA注意力機制模塊。
3.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述步驟(1-2)將空間和通道重建卷積融入到YOLOv8網絡的具體實現方法為：將YOLOv8網絡Backbone部分的四個C2f層全部替換為C2f_SCConv模塊。
4.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征于：所述步驟(2)使用跌倒特征判斷方法對圖像進行特征提取及分類，其中跌倒特征具體實現方法為：通過改進的YOLOv8與Openpose網絡結合的方法得到人體頸部以及雙腳中心點的關鍵點坐標，兩個坐標的連線為頸軸，計算相鄰十幀間頸軸方向與重力垂直方向之間的角度α，頸
5.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述步驟(3)具體實現方法為：首先，建立一個自定義的場景語義分割網絡；其次，對這個場景語義分割網絡進行訓練，在訓練階段，選取了COCO數據集中的“床”、“沙發”和“椅子”三個類別的圖片作為訓練數據，將其視為可跌倒區域；最后，將經過訓練的語義分割部署到跌倒檢測網絡的輸出端。
6.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述的場景語義分割網絡結構由編碼器和解碼器兩部分組成，編碼器部分由Input(3,H,W)層、Conv1(32,H,W)層、ReLU(32,H,W)層、BN(32,H,W)層、Conv2(64,H/2,W/2)層、ReLU(64,H/2,W/2)層、BN(32,H/2,W/2)層、Conv3(128,H/4,W/4)層、ReLU(128,H/4,W/4)層、BN(128,H/4,W/4)層以及Maxpool(128,H/8,W/8)層順序連接組成；解碼器由DConv1(64,H/4,W/4)層、ReLU(64,H/4,W/4)層、BN(64,H/4,W/4)層、DConv2(32,H/2,W/2)層、ReLU(32,H/2,W/2)層、BN(32,H/2,W/2)層、DConv3(1,H,W)層、ReLU(1,H,W)層、BN(1,H,W)、Output(1,W,H)層順序連接組成，并在解碼器的DConv1層和DConv3層之間添加了一層跳躍連接；其中，W和H分別表示輸入圖像的寬度和高度。
7.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述步驟(4)跌倒判斷具體實現方法為：首先，將待檢測圖像輸送到改進的YOLOv8人體檢測網絡中進行人體檢測，將所檢測后的結果，輸入到Openpose網絡進行人體關鍵點坐標的提取，得到人體頸部以及雙腳中心點的關鍵點坐標，兩個坐標的連線為頸軸，計算相鄰十幀的頸軸方向與重力垂直方向之間的角度α，頸軸方向與地面之間的角度β，人體在產生跌倒行為的瞬間，頸軸與重力垂直方向夾角α會產生明顯變化，若α≥30°，則對人體的頸軸方向與地面方向之間的夾角β進行計算，若β無限趨于0°，則判斷為疑似跌倒行為；進一步將該圖像輸入場景語義分割網絡，分析計算目標像素點與可跌倒區域的像素點的IoU值，所述IoU計算公式為：
8.根據權利要求7中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述IoU置信度閾值為0.7。
...【技術特征摘要】
1.一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述方法通過以下步驟實現：
2.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述步驟(1-1)將基于跨空間學習的高效多尺度注意力機制融入到yolov8網絡的具體實現方法為：將ema注意力機制融入到yolov8網絡的neck端，與連接detect的三個c2f模塊結合，即在融合特征前都加入ema注意力機制模塊。
3.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述步驟(1-2)將空間和通道重建卷積融入到yolov8網絡的具體實現方法為：將yolov8網絡backbone部分的四個c2f層全部替換為c2f_scconv模塊。
4.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征于：所述步驟(2)使用跌倒特征判斷方法對圖像進行特征提取及分類，其中跌倒特征具體實現方法為：通過改進的yolov8與openpose網絡結合的方法得到人體頸部以及雙腳中心點的關鍵點坐標，兩個坐標的連線為頸軸，計算相鄰十幀間頸軸方向與重力垂直方向之間的角度α，頸軸方向與地面之間的角度β，人體在產生跌倒行為的瞬間，頸軸與重力垂直方向夾角α會產生明顯變化，若α≥30°，則對人體的頸軸方向與地面方向之間的夾角β進行計算，若β無限趨于0°，則判斷為疑似跌倒行為，否則判斷為未發生跌倒行為。
5.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述步驟(3)具體實現方法為：首先，建立一個自定義的場景語義分割網絡；其次，對這個場景語義分割網絡進行訓練，在訓練階段，選取了coco數據集中的“床”、“沙發”和“椅子”三個類別的圖片作為訓練數據，將其視為可跌倒區域；最后，將經過訓練的語義分割部署到跌倒檢測網絡的輸出端。
6.根據權利要求1中所述的一種基于雙層判斷的跌倒行為檢測方法，其特征在于：所述的場景語義分割網...
【專利技術屬性】
技術研發人員：薛楠，王鑫磊，劉莉芬，李鵬程，
申請(專利權)人：哈爾濱理工大學，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。