一種基于聯(lián)邦視覺的電梯行為檢測方法技術

本發(fā)明專利技術公開一種基于聯(lián)邦視覺的電梯行為檢測方法，第一步構建多特征融合模型；第二步，訓練多特征融合模型；第三步，利用多特征融合檢測模型對獲取的電梯行為圖像進行檢測，對用戶進入電梯的行為進行實時檢測，對檢測到的電動車和用戶遮擋下的電動車發(fā)出檢測輸出，完成警告；本發(fā)明專利技術方法克服傳統(tǒng)方式中用單一孤立的圖像的弊端，提升模型對電動車和用戶序列行為的檢測能力，并利用差分隱私保障電梯監(jiān)控采集的用戶行為數(shù)據(jù)隱私，降低訓練數(shù)據(jù)泄露風險。降低訓練數(shù)據(jù)泄露風險。降低訓練數(shù)據(jù)泄露風險。

【技術實現(xiàn)步驟摘要】
一種基于聯(lián)邦視覺的電梯行為檢測方法


[0001]本專利技術屬于計算機
，涉及深度學習學科，具體為一種基于聯(lián)邦視覺的電梯行為檢測方法。

技術介紹

[0002]近年，電動車充電起火，甚至造成不可挽回的人員傷亡、財產(chǎn)損失，尤其，居民區(qū)電動車充電起火的案例屢見不鮮。其中一個重要因素就是電動車違規(guī)進入電梯、樓道、樓梯間等居民生活區(qū)進行充電，人車物混雜，安全隱患巨大，利用電梯的監(jiān)控攝像頭識別檢測用戶違規(guī)將電動車推入電梯的行為，對保護用戶生命財產(chǎn)安全，防范和制止電動車充電導致的違規(guī)事件發(fā)生和違規(guī)行為具有重要意義。
[0003]盡管利用電梯監(jiān)控攝像頭管理監(jiān)督用戶違規(guī)將電動車推入電梯的系統(tǒng)已在部分居民小區(qū)部署，但是其檢測和識別的可靠性仍有待提高。一是，目前大量電動車呈現(xiàn)小型化趨勢，傳統(tǒng)針對大型電動車的檢測方法檢測效果不理想，準確率較低；二是，由于電動車小型化，可折疊等新特點，用戶可以通過各種遮擋手段，將監(jiān)控攝像頭視角遮擋，加之用戶人為的遮擋干擾，傳統(tǒng)識別方法難以實現(xiàn)即時高效的檢測；三是，用戶出入電梯等行為暴露于電梯監(jiān)控攝像頭之下，大量個人行為視頻數(shù)據(jù)被電梯監(jiān)控采集，存在用戶數(shù)據(jù)隱私泄露風險。
[0004]總的來說，現(xiàn)有技術存在以下為問題：一是現(xiàn)有技術實用性差，難以滿足目前電動車小型化、用戶人為遮擋等新的場景需求。傳統(tǒng)方法多針對單一的監(jiān)控視頻中出現(xiàn)電動車圖像，進行檢測報警，但隨著小型電動的出現(xiàn)，人為遮擋便于實施，漏檢現(xiàn)象凸顯。二是現(xiàn)有電梯中電動車識別技術缺乏對用戶隱私的考慮，電梯監(jiān)控攝像頭采集了大量用戶的個人行為隱私數(shù)據(jù)，基于電梯監(jiān)控采集的用戶行為數(shù)據(jù)進行模型訓練和行為檢測存在隱私泄露風險。
[0005]因此，提出兼顧用戶隱私數(shù)據(jù)保護，識別小型電動車和用戶遮擋行為的檢測方法具有其實用性。

技術實現(xiàn)思路

[0006]針對現(xiàn)有技術中存在的問題，本專利技術提供了一種基于聯(lián)邦視覺的電梯行為檢測方法，解決用戶遮擋電動車的漏檢問題和用戶行為數(shù)據(jù)隱私問題。
[0007]本專利技術是通過以下技術方案來實現(xiàn)：
[0008]一種基于聯(lián)邦視覺的電梯行為檢測方法，包括如下步驟：
[0009]第一步，構建多特征融合模型；
[0010]1)、構建yolov5模型的輸入部分、骨干網(wǎng)絡、Neck、預測部分，提取小型電動車特征，獲得電動車檢測框的起點坐標和寬、高，以及類別；
[0011]其中，yolov5模型的輸入部分用于電梯監(jiān)控采集的訓練數(shù)據(jù)的剪裁處理，得到合適的尺寸；骨干網(wǎng)絡采用CSP
?
darknet53架構提取輸入部分圖像中小型電動車的特征，骨干
網(wǎng)絡包括1個Focus結構，串聯(lián)的2個CBL結構和CSP結構，其輸出既與Neck部分的CBL結構相連，又連接CBL結構和SPP結構；Neck部分的輸入是CSP
?
darknet53所提取的特征數(shù)據(jù)，由三組上采樣實現(xiàn)高層特征升維，其輸出通過三組CBL和連接操作，實現(xiàn)三組小型電動車特征的融合提取；預測部分通過三組卷積完成Neck部分輸出了三組特征預測輸出；
[0012]2)、構建yolopose模型，利用與yolov5模型相同的CSP
?
darknet53網(wǎng)絡提取輸入電梯監(jiān)控數(shù)據(jù)的用戶行為特征，形成三個特征尺寸，作為特征融合部分的輸入；特征融合對三組特征先進行自頂向下的上采樣，特征升維，再進行自底向上的特征降維，形成三組尺度的融合特征圖，檢測部分利用3組不同尺度作為三組檢測頭部，分支預測用戶人體行為特征位置檢測框和每個用戶人體特征的17個關鍵點；
[0013]3)、構建多特征融合檢測模型，融合yolov5模型和yolopose模型骨干網(wǎng)絡CSP
?
darknet53，分別初步提取小型電動車特征和用戶人體行為特征，然后通過各自的Neck部分和特征融合、檢測部分，提取出三組小型電動車特征和用戶人體行為邊界框和關鍵點等特征；結合檢測框寬高比的尺度信息，形成基于CIOU_Loss和目標關鍵點相似度的目標函數(shù)；
[0014]第二步，訓練多特征融合模型；
[0015]多特征融合模型具有典型的雙分支結構，利用多個電梯監(jiān)控采集的含有電動車和用戶行為的電梯轎廂情況數(shù)據(jù)，引入時間序列因子，動態(tài)增加訓練數(shù)據(jù)的時序維度，擴大訓練數(shù)據(jù)樣本的時序關聯(lián)性，形成基于動態(tài)序列因子形成本地模型訓練數(shù)據(jù)；
[0016]采用聯(lián)邦學習模式，在模型訓練過程中，將基于由Laplace逆累積函數(shù)生成的Laplace噪聲的模型參數(shù)上報中央服務器，中央服務器聚合模型參數(shù)，形成聚合模型，然后將聚合模型參數(shù)下發(fā)各本地電梯監(jiān)控模型，通過聯(lián)邦學習的迭代過程和訓練數(shù)據(jù)的動態(tài)維度變化，完成兼顧隱私保護和多特征融合的模型訓練；
[0017]第三步，利用多特征融合檢測模型對獲取的電梯行為圖像進行檢測
[0018]經(jīng)過聯(lián)邦學習模型的訓練，多個電梯所具有的多特征融合檢測模型具備了同時檢測小型電動車和用戶行為的能力，對用戶進入電梯的行為進行實時檢測，對檢測到的電動車和用戶遮擋下的電動車發(fā)出檢測輸入，完成警告。
[0019]進一步，所述步驟1)中用于小型電動車特征提取的yolov5模型中，骨干網(wǎng)絡由1個Focus結構，2個CBL結構和CSP結構，以及SPP結構構成；
[0020]1個CBL結構包括卷積、正則化、Leaky_relu激活函數(shù)；CSP結構由三個卷積層、一個Res單元、一個連接單元(Concate)組成，其中，卷積層為CBM結構，包括一個卷積、一個正則化(Bn)、一個Mish激活函數(shù)；Res單元由兩個CBM結構和一個加操作構成，輸出為兩個CBM提取的特征和輸入端的特征加和；SPP結構采用1
×
1，3
×
3，5
×
5三種最大池化方式實現(xiàn)。
[0021]進一步，所述步驟2)中用于用戶人體行為特征提取的yolopose模型與yolov5采用相同的骨干網(wǎng)絡，將用戶人體的所有關鍵點與Anchor關聯(lián)，通過骨干網(wǎng)絡、特征融合、檢測、多尺度檢測框和關鍵點檢測，提取用戶人體的17個關鍵點和可信度，便于后續(xù)優(yōu)化目標關鍵點相似度。
[0022]進一步，所述步驟3)中基于yolov5和yolopose的多特征融合檢測模型，采用CSP
?
darknet53將電動車檢測和人體姿態(tài)檢測通過統(tǒng)一的骨干網(wǎng)絡融合，然后通過各自的Neck部分和特征融合、檢測部分，提取出三組小型電動車特征和用戶人體行為邊界框和關鍵點等特征，形成代表用戶人體行為檢測框的起點坐標和寬、高、框置信度、類別置信度，以及17
個人體關鍵點坐標和相應置信度的向量，融合CIOU_Loss和目標關鍵點相似度(OKS)實現(xiàn)優(yōu)化模型參數(shù)的目標函數(shù)，為模型優(yōu)化提供目標函數(shù)。
[0023]進一步，所述第二部中模型訓練的整體架構包括多個電梯監(jiān)控，用于采集含有電動車和用戶行為的電梯轎廂情況數(shù)據(jù)，訓練數(shù)據(jù)來自電梯監(jiān)控的時序視頻數(shù)據(jù)，時間窗W設置為3的整數(shù)倍，最大值為Wmax，選本文檔來自技高網(wǎng)...

【技術保護點】

【技術特征摘要】
1.一種基于聯(lián)邦視覺的電梯行為檢測方法，其特征在于包括如下步驟：第一步，構建多特征融合模型；1)、構建yolov5模型的輸入部分、骨干網(wǎng)絡、Neck、預測部分，提取小型電動車位置和類別特征，獲得電動車檢測框的起點坐標和寬、高，以及類別；其中，yolov5模型的輸入部分用于電梯監(jiān)控采集的訓練數(shù)據(jù)的剪裁處理，得到合適的尺寸；骨干網(wǎng)絡采用CSP
?
darknet53架構提取輸入部分圖像中小型電動車的特征，骨干網(wǎng)絡包括1個Focus結構，串聯(lián)的2個CBL結構和CSP結構，其輸出既與Neck部分的CBL結構相連，又連接CBL結構和SPP結構；Neck部分的輸入是CSP
?
darknet53所提取的特征數(shù)據(jù)，由三組上采樣實現(xiàn)高層特征升維，其輸出通過三組CBL和連接操作，實現(xiàn)三組小型電動車特征的融合提取；預測部分通過三組卷積完成Neck部分輸出的三組特征預測輸出；2)、構建yolopose模型，利用與yolov5模型相同的CSP
?
darknet53網(wǎng)絡，是典型的雙分支結構，用于提取輸入電梯監(jiān)控數(shù)據(jù)的用戶行為特征，形成三個特征尺寸，作為用戶行為特征融合部分的輸入；特征融合對所提取出用戶行為的三組特征先進行自頂向下的上采樣，特征升維，再進行自底向上的特征降維，形成三組尺度的融合特征圖，檢測部分利用3組不同尺度作為三組檢測頭部，分支預測用戶人體行為特征位置檢測框和每個用戶人體特征的17個關鍵點；3)、構建多特征融合檢測模型，融合yolov5模型和yolopose模型骨干網(wǎng)絡CSP
?
darknet53，分別初步提取小型電動車特征和用戶人體行為特征，然后通過各自的Neck部分和特征融合、檢測部分，提取出三組小型電動車特征和用戶人體行為邊界框和關鍵點等特征；結合檢測框寬高比的尺度信息，形成基于CIOU_Loss和目標關鍵點相似度的目標函數(shù)；第二步，訓練多特征融合模型；利用多個電梯監(jiān)控采集的含有電動車和用戶行為的電梯轎廂情況數(shù)據(jù)，引入時間序列因子，動態(tài)增加訓練數(shù)據(jù)的時序維度，擴大訓練數(shù)據(jù)樣本的時序關聯(lián)性，形成基于動態(tài)序列因子形成本地模型訓練數(shù)據(jù)；采用聯(lián)邦學習模式，在模型訓練過程中，將基于由Laplace逆累積函數(shù)生成的Laplace噪聲的模型參數(shù)上報中央服務器，中央服務器聚合模型參數(shù)，形成聚合模型，然后將聚合模型參數(shù)下發(fā)各本地電梯監(jiān)控模型，通過聯(lián)邦學習的迭代過程和訓練數(shù)據(jù)的動態(tài)維度變化，完成兼顧隱私保護和多特征融合的模型訓練；第三步，利用多特征融合檢測模型對獲取的電梯行為圖像進行檢測經(jīng)過聯(lián)邦學習模型的訓練，多個電梯所具有的多特征融合檢測模型具備了同時檢測小型電動車和用戶行為的能力，對用戶進入電梯的行為進行實時檢測，對檢測到的電動車和用戶遮擋下的電動車發(fā)出檢測輸出，完成警告。2.如權利要求1所述的基于聯(lián)邦視覺的電梯行為檢測方法，其特征在于：所述步驟1)中用于小型電動車特征提取的yolov5模型中...

【專利技術屬性】
技術研發(fā)人員：高志強，鄧雅文，
申請(專利權)人：高志強，
類型：發(fā)明
國別省市：