【技術實現(xiàn)步驟摘要】
一種基于聯(lián)邦遷移學習的檢測方法、系統(tǒng)、設備及介質
[0001]本專利技術屬于工業(yè)智能
，涉及一種基于聯(lián)邦遷移學習的檢測方法、系統(tǒng)、設備及介質。
技術介紹
[0002]安全是電業(yè)建設和發(fā)展的永恒主題，近年來，隨著經(jīng)濟和社會的快速發(fā)展，電力規(guī)模日益擴大，現(xiàn)場作業(yè)出現(xiàn)了點多、面廣、戰(zhàn)線長、位置偏遠、作業(yè)人員素質參差不齊、流動性大的現(xiàn)象，這極大增加了作業(yè)現(xiàn)場安全管控的難度，導致人身傷亡事故時有發(fā)生。
[0003]目前，常用的將視頻或圖像傳輸至云端監(jiān)控中心進行安全行為檢測的方式主要面臨著數(shù)據(jù)安全性低、模型精度低、檢測效率低等問題。首先，工作人員的面部數(shù)據(jù)是敏感和隱私的，作業(yè)現(xiàn)場的監(jiān)控視頻數(shù)據(jù)直接云中聚合的方式不再可取，但本地數(shù)據(jù)不足單獨訓練模型會導致模型性能不理想。如何在數(shù)據(jù)不出作業(yè)現(xiàn)場本地的前提下，為作業(yè)現(xiàn)場提供精準的安全作業(yè)檢測模型是一個重大挑戰(zhàn)。其次，不同電力公司的安全保護裝備存在差異，例如安全帽的顏色，安全手套的材質，掛牌的形狀等存在不同。傳統(tǒng)全局模型共享的聯(lián)邦模式已無法滿足每個電力公司對安全作業(yè)檢測的個性化需求。此外，視頻數(shù)據(jù)的標注費時費力，針對樣本沒有標簽的新公司，如何將樣本帶標簽的電力公司(源域)的知識賦能至新公司(目標域)，實現(xiàn)目標域的安全作業(yè)精準檢測也是一個重要挑戰(zhàn)。最后，工作人員的作業(yè)行為是否符合規(guī)范直接影響人身安全，當前基于純云架構的檢測方式導致檢測延遲大大提高。在聯(lián)邦遷移學習框架下如何降低安全作業(yè)檢測的響應延遲，從而滿足應用的實時性需求也是亟待解決的。因此，面向電力戶外人員安全作業(yè)視頻實時
【技術保護點】
【技術特征摘要】
1.一種基于聯(lián)邦遷移學習的檢測方法，其特征在于，包括以下步驟：根據(jù)源域的本地標簽數(shù)據(jù)，訓練輕量級的CNN檢測模型，利用聯(lián)邦聚合方法聚合CNN檢測模型的參數(shù)，得到本地模型；采用聯(lián)邦遷移學習的個性化模型訓練方法，對本地模型進行處理，得到源域的個性化檢測模型；對源域的個性化檢測模型的參數(shù)進行平均聚合，得到源域全局模型，將源域全局模型作為目標域的初始模型；利用聯(lián)邦對抗網(wǎng)絡為目標域訓練偽標簽預測器；利用多個源域的個性化檢測模型進行投票，得到偽標簽預測器的預測結果；初始模型利用預測結果和目標域不帶標簽的數(shù)據(jù)進行自訓練，得到目標域最終檢測模型；采用固定的關鍵幀間隔方法從源域和目標域的實時視頻幀序列中選擇關鍵幀；將關鍵幀輸入源域的個性化檢測模型和目標域的最終檢測模型得到檢測結果，并將檢測結果發(fā)送至追蹤模塊作為追蹤模板；將非關鍵幀輸入已完成關鍵幀檢測結果更新的輕量化的追蹤模塊，利用追蹤模板對非關鍵幀中的目標進行追蹤檢測，得到當前非關鍵幀中檢測對象的坐標，并繼承關鍵幀的分類結果。2.根據(jù)權利要求1所述的基于聯(lián)邦遷移學習的檢測方法，其特征在于，所述輕量級的CNN檢測模型采用Mobilenetv2
?
SSD。3.根據(jù)權利要求1所述的基于聯(lián)邦遷移學習的檢測方法，其特征在于，所述采用聯(lián)邦遷移學習的個性化模型訓練方法，對本地模型進行處理，得到源域的個性化檢測模型，包括：每次全局級聯(lián)邦通信，全局服務器采用FedBN算法，凍結批歸一化層參數(shù)，其他參數(shù)進行平均聚合，得到源域的個性化檢測模型。4.根據(jù)權利要求1所述的基于聯(lián)邦遷移學習的檢測方法，其特征在于，所述利用聯(lián)邦對抗網(wǎng)絡為目標域訓練偽標簽預測器F2，包括：在聯(lián)邦對抗網(wǎng)絡中加入目標域樣本加權DCBR聯(lián)邦域對抗網(wǎng)絡模塊和類別感知目標模式匹配COPM聯(lián)邦域對抗網(wǎng)絡模塊，在源域和目標域的每個公司隨機選擇1個作業(yè)現(xiàn)場進行訓練，用于減少訓練時間；DCBR聯(lián)邦域對抗網(wǎng)絡模塊能夠動態(tài)地重新加權每個目標樣本，每個目標域樣本的權重為：其中，t為目標域標志，t1為第一個目標域樣本權重標志、t2第二個目標域樣本權重標志，z為目標域選定作業(yè)現(xiàn)場視頻數(shù)據(jù)中圖像幀數(shù)，θ為權重參數(shù)，為易于適應的樣本分配更大的權重，為樣本稀少的類別分配更大的權重；易于適應的樣本分配更大的權重如下：
其中，K為源域模型檢測總類別數(shù)，τ為閾值參數(shù)，M為源域公司總個數(shù)，i表示第i個源域公司，表示目標域選定作業(yè)現(xiàn)場的第z幀圖像利用第i個源域公司的檢測模型在第k類的預測值，且k＝{1,2,
…
,K}，s為源域公司標志，表示目標域選定作業(yè)現(xiàn)場第z幀圖像樣本；l(a)是一個指示函數(shù)，如果為真則為1，否則為0；表示多個源域檢測模型的投票結果；K
′
為歸一化系數(shù)，且為歸一化系數(shù)，且表示在M個源域公司檢測模型中第k類預測值的均值，且樣本稀少的類別分配更大的權重如下：其中，e表示自然常數(shù)，其值約為2.71828，表示目標域中該樣本所屬類別的樣本個數(shù)，樣本所屬類別也由多個源域檢測器投票得到，n
t
表示目標域中總樣本數(shù)；DCBR聯(lián)邦域對抗網(wǎng)絡模塊的總損失L
dcbr
為：其中，是源域第i個電力公司的對抗損失，是目標域的對抗損失；源域第i個電力公司的對抗損失為：其中，n
s,i
是源域第i個電力公司選定作業(yè)現(xiàn)場的視頻數(shù)據(jù)圖像總幀數(shù)，D
dcbr
是images
?
wise的域判別器；代表源域樣本的image
?
wise特征；目標域的對抗損失為：其中，是目標域樣本的image
?
wise特征；
COPM聯(lián)邦域對抗網(wǎng)絡模塊能夠降低源域與目標域之間低級別特征的差異；COPM聯(lián)邦域對抗網(wǎng)絡模塊的總體損失L
copm
為：L
copm
＝L
la
+L
adv
其中，L
la
是對象模式匹配損失，L
adv
為pixel
?
wise的域判別器損失；對象模式匹配損失L
la
為：其中，H和W分別表示源域樣本pixel
?
wise特征層的高和寬，f
s,i
和f
t
分別代表源域和目標域樣本的注意力圖；Φ(x,x
′
)＝‖x
?
...
【專利技術屬性】
技術研發(fā)人員：丁香，楊樹森，王藝蒙，趙鵬，趙聰，李科學，郭思言，李亞男，韓青，
申請(專利權)人：西安交通大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。