【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及人工智能，特別涉及基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法和系統(tǒng)。
技術(shù)介紹
1、現(xiàn)階段國鐵集團(tuán)公司及各站段均對(duì)地面視頻的重視程度和盯控力度不斷升級(jí)，通過地面視頻也及時(shí)發(fā)現(xiàn)和防止了諸多安全隱患問題，由于機(jī)務(wù)系統(tǒng)視頻監(jiān)控點(diǎn)位多、職工違章行為類型種類多樣，目前沒有有效的技術(shù)手段進(jìn)行輔助盯控，當(dāng)前機(jī)務(wù)段人員行為的監(jiān)測主要以人工監(jiān)測為主，靠人工實(shí)時(shí)核查稽查效率低下，不能做到全天候、全方位的盯控，且無法在事發(fā)第一時(shí)間告警，給安全生產(chǎn)造成隱患，由于需要監(jiān)測的場景眾多且需要實(shí)時(shí)保持精神的高度集中，視頻監(jiān)控人員常常面臨較大的工作壓力。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的在于提供基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法和系統(tǒng)，通過自動(dòng)化、智能化的手段，實(shí)現(xiàn)對(duì)機(jī)務(wù)段人員作業(yè)行為的實(shí)時(shí)監(jiān)測和預(yù)警，有助于機(jī)務(wù)段管理人員及時(shí)處理可能存在的安全隱患，保證作業(yè)的安全性，減輕視頻監(jiān)控人員的作業(yè)壓力，以解決上述
技術(shù)介紹
中提出的問題。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)提供如下技術(shù)方案，
3、基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，包括以下步驟：
4、步驟一：視頻采集：通過視頻監(jiān)控設(shè)備捕捉機(jī)務(wù)段現(xiàn)場作業(yè)場景的實(shí)時(shí)視頻流，對(duì)采集到的視頻流進(jìn)行預(yù)處理得到視頻幀，并進(jìn)行目標(biāo)特征提取；
5、步驟二：行為識(shí)別：識(shí)別視頻幀中的機(jī)務(wù)人員位置特征，并基于機(jī)務(wù)人員位置特征框選出人體區(qū)域，在檢測到的人體區(qū)域內(nèi)基于姿態(tài)估計(jì)庫中的關(guān)鍵點(diǎn)特征獲取人體的關(guān)鍵點(diǎn)位置；
6、步驟三：
7、步驟四：智能預(yù)警：當(dāng)判斷機(jī)務(wù)人員的行為存在違規(guī)以及危險(xiǎn)行為時(shí)，立即發(fā)出預(yù)警信號(hào)，提醒管理人員及時(shí)采取措施，同時(shí)，將預(yù)警信息發(fā)送給管理人員所在遠(yuǎn)程管理終端，并在遠(yuǎn)程管理終端顯示對(duì)應(yīng)的視頻流數(shù)據(jù)段；
8、步驟五：數(shù)據(jù)分析與評(píng)估：對(duì)收集到的存在違規(guī)以及危險(xiǎn)行為的數(shù)據(jù)進(jìn)行整合，生成機(jī)務(wù)人員的違規(guī)行為數(shù)據(jù)集，基于機(jī)務(wù)人員歷史違規(guī)行為判斷違規(guī)行為發(fā)生頻率及時(shí)間段，并對(duì)機(jī)務(wù)人員進(jìn)行工作行為評(píng)估。
9、進(jìn)一步的，所述步驟一中對(duì)采集到的視頻流進(jìn)行預(yù)處理，包括：
10、基于視頻解碼器對(duì)獲取到的壓縮格式的視頻流進(jìn)行解碼，得到解碼后視頻流每一幀的原始圖像數(shù)據(jù)；
11、根據(jù)視頻流的幀率將連續(xù)的原始圖像數(shù)據(jù)分割成對(duì)應(yīng)數(shù)量且獨(dú)立的視頻幀，并進(jìn)行亮度補(bǔ)償和去噪處理；
12、對(duì)處理后的每幀圖像進(jìn)行特征點(diǎn)提取，根據(jù)提取結(jié)果對(duì)每幀圖像的特征點(diǎn)進(jìn)行對(duì)比，確定每幀圖像中均出現(xiàn)的目標(biāo)環(huán)境特征點(diǎn)和目標(biāo)人體特征點(diǎn)；
13、根據(jù)所述目標(biāo)環(huán)境特征點(diǎn)和目標(biāo)人體特征點(diǎn)確定視頻流中的目標(biāo)監(jiān)測區(qū)域的目標(biāo)人物數(shù)量。
14、進(jìn)一步的，根據(jù)視頻流的幀率將連續(xù)的原始圖像數(shù)據(jù)分割成對(duì)應(yīng)數(shù)量且獨(dú)立的視頻幀，并進(jìn)行亮度補(bǔ)償，包括：
15、提取所述視頻幀對(duì)應(yīng)的每幀圖像；
16、遍歷每幀圖像所包含的所有像素點(diǎn)，并獲取每個(gè)像素點(diǎn)對(duì)應(yīng)的灰度值；
17、根據(jù)所述每個(gè)像素點(diǎn)對(duì)應(yīng)的灰度值獲取每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)；
18、其中，所述每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)通過如下公式獲取：
19、
20、其中，s表示每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)；hb表示每個(gè)幀圖像所包含的n個(gè)像素點(diǎn)的灰度值標(biāo)準(zhǔn)差；n表示幀圖像所包含像素點(diǎn)的總個(gè)數(shù)；hi表示第i個(gè)像素點(diǎn)對(duì)應(yīng)的像素值；hz表示幀圖像對(duì)應(yīng)的中心灰度值；hx表示幀圖像對(duì)應(yīng)的灰度中間值；hmax和hmin分別表示幀圖像所包含n個(gè)像素點(diǎn)的灰度最大值和灰度最小值；
21、將所述每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)與預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值進(jìn)行比較，獲得比較結(jié)果；
22、根據(jù)所述每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)與預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值之間的比較結(jié)果對(duì)所述每幀圖像進(jìn)行亮度補(bǔ)償。
23、進(jìn)一步的，根據(jù)所述每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)與預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值之間的比較結(jié)果對(duì)所述每幀圖像進(jìn)行亮度補(bǔ)償，包括：
24、當(dāng)所述每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)與預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值之間的比較結(jié)果表示灰度平衡指標(biāo)參數(shù)大于預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值時(shí)，則調(diào)取第一補(bǔ)償系數(shù)模型；
25、利用所述第一補(bǔ)償系數(shù)模型獲取亮度補(bǔ)償系數(shù)；其中，所述第一補(bǔ)償系數(shù)模型的結(jié)構(gòu)如下：
26、
27、其中，b01表示第一補(bǔ)償系數(shù)模型獲取亮度的補(bǔ)償系數(shù)；s表示每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)；sy表示預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值；hp表示幀圖像對(duì)應(yīng)的中灰度平均值；hz表示幀圖像對(duì)應(yīng)的中心灰度值；hx表示幀圖像對(duì)應(yīng)的灰度中間值；
28、當(dāng)所述每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)與預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值之間的比較結(jié)果表示灰度平衡指標(biāo)參數(shù)不大于預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值時(shí)，則調(diào)取第二補(bǔ)償系數(shù)模型；
29、利用所述第二補(bǔ)償系數(shù)模型獲取亮度補(bǔ)償系數(shù)；其中，所述第二補(bǔ)償系數(shù)模型的結(jié)構(gòu)如下：
30、
31、其中，b02表示第二補(bǔ)償系數(shù)模型獲取亮度的補(bǔ)償系數(shù)；s表示每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)；sy表示預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值；hp表示幀圖像對(duì)應(yīng)的中灰度平均值；hz表示幀圖像對(duì)應(yīng)的中心灰度值；hx表示幀圖像對(duì)應(yīng)的灰度中間值；
32、利用所述亮度補(bǔ)償系數(shù)對(duì)每幀圖像的原始亮度進(jìn)行補(bǔ)償調(diào)整，獲得調(diào)整后的每幀圖像；
33、其中，所述補(bǔ)償調(diào)整后的亮度通過如下公式獲取：
34、
35、其中，l表示補(bǔ)償調(diào)整后的亮度的數(shù)值；l0表示每幀圖像的原始亮度的數(shù)值；b01表示第一補(bǔ)償系數(shù)模型獲取亮度的補(bǔ)償系數(shù)；b02表示第一補(bǔ)償系數(shù)模型獲取亮度的補(bǔ)償系數(shù)。
36、進(jìn)一步的，所述步驟二中提取人體的關(guān)鍵點(diǎn)位置，具體為：
37、基于姿態(tài)估計(jì)庫提取所述目標(biāo)人體特征點(diǎn)中的人體關(guān)鍵點(diǎn)特征，識(shí)別出人體關(guān)鍵點(diǎn)位置信息；
38、基于所述人體關(guān)鍵點(diǎn)位置信息確定各個(gè)人體關(guān)鍵點(diǎn)的像素坐標(biāo)，對(duì)關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行平滑處理，基于處理結(jié)果確定各個(gè)人體關(guān)鍵點(diǎn)在每幀圖像中的位置信息；
39、并基于各個(gè)人體關(guān)鍵點(diǎn)在每幀圖像中的位置信息確定人體的姿態(tài)類型。
40、進(jìn)一步的，所述步驟二中行為識(shí)別，還包括：
41、獲取管理人員主動(dòng)上傳的機(jī)務(wù)人員基本數(shù)據(jù)，在所述機(jī)務(wù)人員基本數(shù)據(jù)中提取人員數(shù)據(jù)；
42、獲取機(jī)務(wù)人員的人員數(shù)量，基于所述人員數(shù)量建立對(duì)應(yīng)的人員存放空間；
43、在每個(gè)人員存放空間中根據(jù)所述視頻流的數(shù)據(jù)長度建立時(shí)間軸，對(duì)視頻流的每幀圖像基于人員數(shù)據(jù)的人臉特征點(diǎn)進(jìn)行人臉識(shí)別；
44、根據(jù)識(shí)別結(jié)果對(duì)機(jī)務(wù)人員進(jìn)行身份識(shí)別，在本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，所述步驟一中對(duì)采集到的視頻流進(jìn)行預(yù)處理，包括：
3.如權(quán)利要求2所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，根據(jù)視頻流的幀率將連續(xù)的原始圖像數(shù)據(jù)分割成對(duì)應(yīng)數(shù)量且獨(dú)立的視頻幀，并進(jìn)行亮度補(bǔ)償，包括：
4.如權(quán)利要求3所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，根據(jù)所述每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)與預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值之間的比較結(jié)果對(duì)所述每幀圖像進(jìn)行亮度補(bǔ)償，包括：
5.如權(quán)利要求2所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，所述步驟二中提取人體的關(guān)鍵點(diǎn)位置，具體為：
6.如權(quán)利要求5所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，所述步驟二中行為識(shí)別，還包括：
7.如權(quán)利要求6所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，分析機(jī)務(wù)人員的位置特征，具體包括：
8.如權(quán)利要求7
9.如權(quán)利要求8所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，所述步驟五中判斷機(jī)務(wù)人員歷史違規(guī)行為的發(fā)生頻率，具體包括：
...【技術(shù)特征摘要】
1.基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，包括以下步驟：
2.如權(quán)利要求1所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，所述步驟一中對(duì)采集到的視頻流進(jìn)行預(yù)處理，包括：
3.如權(quán)利要求2所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，根據(jù)視頻流的幀率將連續(xù)的原始圖像數(shù)據(jù)分割成對(duì)應(yīng)數(shù)量且獨(dú)立的視頻幀，并進(jìn)行亮度補(bǔ)償，包括：
4.如權(quán)利要求3所述的基于人工智能的機(jī)務(wù)人員作業(yè)行為監(jiān)測方法，其特征在于，根據(jù)所述每個(gè)幀圖像的圖像灰度對(duì)應(yīng)的灰度平衡指標(biāo)參數(shù)與預(yù)設(shè)的灰度平衡指標(biāo)參數(shù)閾值之間的比較結(jié)果對(duì)所述每幀圖像進(jìn)行亮度補(bǔ)償，包括：
5.如權(quán)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鞏昊，梁子相，綦新亮，張偉，王旭，葛凌云，王虎，李宇，王樂，韓麗麗，張金璞，馬成，張卓欣，翟志明，趙宇星，肖賀明，安猛，
申請(qǐng)(專利權(quán))人：中國國家鐵路集團(tuán)有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。