【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于計(jì)算機(jī)視覺，尤其涉及一種基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法。
技術(shù)介紹
1、在日常居家血壓監(jiān)測(cè)中，除了傳統(tǒng)的血壓儀外，目前研究人員采用的主流方式仍為使用多個(gè)生理信號(hào)結(jié)合等一些非端到端測(cè)量方式。在利用機(jī)器學(xué)習(xí)進(jìn)行血壓測(cè)量領(lǐng)域，光容積脈搏波結(jié)合深度學(xué)習(xí)是最常見的方法，近年來，一些研究人員也開始探索利用ppg信號(hào)、ecg、bvp等結(jié)合的方式進(jìn)行血壓預(yù)測(cè)。其中，liu等研究者提出了一種具有代表性的方法，通過提取21個(gè)傳統(tǒng)的ppg特征和14個(gè)二階導(dǎo)數(shù)的特征，結(jié)合支持向量回歸算法對(duì)估計(jì)模塊進(jìn)行訓(xùn)練，并取得了良好的效果。由于脈搏波傳輸時(shí)間與動(dòng)脈血壓的線性關(guān)系對(duì)于個(gè)體而言，在一段時(shí)期內(nèi)因個(gè)體的生理狀態(tài)穩(wěn)定而保持相對(duì)平穩(wěn)，故xu等研究者利用此特性提出一種利用高速攝像機(jī)捕獲動(dòng)態(tài)血壓的方法，該方法通過使用高速相機(jī)拍攝小臂視頻，捕獲脈搏波，計(jì)算脈搏到達(dá)手臂不同位置之間的時(shí)間差來求取脈搏傳輸時(shí)間(ptt)，進(jìn)而實(shí)現(xiàn)對(duì)血壓的測(cè)量，不過在實(shí)際應(yīng)用場(chǎng)景中，使用手臂測(cè)量血壓顯然是不現(xiàn)實(shí)的，尤其會(huì)受穿戴品的影響。類似地，secerbegovic等利用同樣的原理在信號(hào)采集過程中利用攝像頭同時(shí)獲取人臉面部和手掌的ppg信號(hào)，并根據(jù)ppg信號(hào)到達(dá)時(shí)間差計(jì)算ptt。然而，基于脈搏時(shí)間差的血壓測(cè)量方法存在一定局限性，因?yàn)椴煌頎顟B(tài)下參數(shù)存在差異，建立的線性模型缺乏普適性。除了利用ppg信號(hào)及其二階導(dǎo)數(shù)外，lin等研究者提出了一種新的參數(shù)指標(biāo)——ppg的一階導(dǎo)數(shù)波強(qiáng)度比，即一個(gè)心動(dòng)周期內(nèi)第一個(gè)波谷與波峰之間的幅值比值。在模型中引入此參數(shù)后，收縮壓和舒張
2、自2018年起，端到端測(cè)血壓方法逐漸興起。最早的一篇文章提出了rppg的概念，為該領(lǐng)域的研究奠定了基礎(chǔ)。schrumpf等研究者對(duì)比了ppg和rppg信號(hào)無創(chuàng)血壓預(yù)測(cè)，結(jié)果顯示采用rppg信號(hào)測(cè)量血壓的方式有巨大的應(yīng)用前景，近年來，一些研究人員開始采用端到端的方式進(jìn)行血壓測(cè)量。例如，yan等人從人臉roi提取脈搏波信號(hào)，并采用深度學(xué)習(xí)模型對(duì)其進(jìn)行特征提取和血壓預(yù)測(cè)，同樣wang等人設(shè)計(jì)了一種基于注意力融合機(jī)制的深度網(wǎng)絡(luò)模型，利用雙向長(zhǎng)短記憶神經(jīng)網(wǎng)絡(luò)自動(dòng)提取波形特征，并結(jié)合自注意力機(jī)制和個(gè)人特征進(jìn)行血壓測(cè)量，這兩者可能忽略的地方在于感興趣區(qū)域(roi)的選擇，雖然臉頰部分血流信號(hào)較為明顯，但只選擇一個(gè)roi很明顯不具有對(duì)比性，而且隨著深度學(xué)習(xí)的發(fā)展，lstm已漸漸彈出大眾視野；eom等研究者提出一種基于注意機(jī)制的持續(xù)血壓評(píng)估的端到端深度學(xué)習(xí)架構(gòu)，其實(shí)驗(yàn)結(jié)果的平均誤差雖取較低，但其實(shí)驗(yàn)方法需要用到三種信號(hào)。另外，zhuang等研究者采用了一種不同的roi分割方法，將人臉分為四個(gè)區(qū)域，并通過設(shè)計(jì)的血壓分類器和計(jì)算器進(jìn)行血壓預(yù)測(cè)。但這幾種方式存在的問題是測(cè)量血壓過程中需要被測(cè)量者的個(gè)人(如bmi、年齡、性別)等信息。
3、綜上，現(xiàn)有技術(shù)中存在如下問題：1、大部分血壓測(cè)量方法都需要多信號(hào)結(jié)合的方式：如結(jié)合ppg,ecg等多信號(hào)才能測(cè)量，這樣會(huì)導(dǎo)致測(cè)量過程繁瑣，采集信號(hào)困難等問題。2、現(xiàn)有的基于人臉視頻測(cè)量血壓方法普遍準(zhǔn)確性較低。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)目的在于提供一種基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，以解決上述的技術(shù)問題。
2、為解決上述技術(shù)問題，本專利技術(shù)的一種基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法的具體技術(shù)方案如下：
3、一種基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，包括如下步驟：
4、步驟1：提取遠(yuǎn)程光電容積脈搏波rppg信號(hào)；首先通過mtcnn人臉檢測(cè)算法在視頻中檢測(cè)到人臉并劃分感興趣區(qū)域roi，提取到有效人臉區(qū)域，接著結(jié)合光流估計(jì)和中值濾波初步提取攜帶噪聲的rppg信號(hào)，在血壓預(yù)測(cè)部分，對(duì)rppg信號(hào)進(jìn)行去基線漂移和再次濾波處理得到相對(duì)干凈的信號(hào)，再將rppg信號(hào)進(jìn)行窗口分割；
5、步驟2：設(shè)計(jì)血壓水平檢測(cè)模型ebp-net，將rppg信號(hào)輸入ebp-net模型預(yù)測(cè)收縮壓與舒張壓。
6、進(jìn)一步的，所述步驟1包括如下具體步驟：
7、步驟1.1：從可見光場(chǎng)景下的人臉視頻中提取遠(yuǎn)程光電容積脈搏波rppg信號(hào)；
8、步驟1.2：對(duì)提取到的roi，利用光流估計(jì)法獲取人臉區(qū)域內(nèi)像素點(diǎn)的運(yùn)動(dòng)信息，隨后，計(jì)算圖像中每個(gè)像素點(diǎn)的光流向量，以描述圖像在時(shí)間上的變化。
9、進(jìn)一步的，所述步驟1.1在遠(yuǎn)程信號(hào)提取rppg信號(hào)階段，對(duì)于視頻中的每一幀圖像，利用人臉檢測(cè)算法mtcnn?進(jìn)行人臉檢測(cè)，mtcnn通過多尺度滑動(dòng)窗口檢測(cè)，運(yùn)用cnn模型對(duì)每個(gè)候選窗口分類和回歸，從而確定人臉框的位置和大小；其次，針對(duì)每個(gè)檢測(cè)到的人臉框，從原始圖像中裁剪出相應(yīng)的人臉圖像區(qū)域，即提取出含有人臉的部分。
10、進(jìn)一步的，所述步驟1.2通過分析光流向量的變化，提取出心跳引起的微小血管運(yùn)動(dòng)信號(hào)，對(duì)于連續(xù)幀圖像 i(x,y,t)，計(jì)算圖像的空間梯度 i x 、i y和時(shí)間梯度 i t ?來估計(jì)，在光流估計(jì)中，采用lucas-kanade方法，通過最小化窗口內(nèi)的像素點(diǎn)的灰度值變化來計(jì)算光流向量 (v x ,v y )，在該窗口內(nèi)的每個(gè)像素點(diǎn)的灰度值在時(shí)間上的變化用向量來表示，求解光流向量的方程組如公式(1)所示:
11、，
12、其中， i x、 i y和 i t分別表示圖像在x方向、y方向和時(shí)間方向上的梯度，ω?表示窗口中的像素點(diǎn)集合，( v x ,v y)表示光流向量，通過求解上述方程組，即得到每個(gè)像素點(diǎn)的光流向量，本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟1包括如下具體步驟：
3.根據(jù)權(quán)利要求2所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟1.1在遠(yuǎn)程信號(hào)提取rPPG信號(hào)階段，對(duì)于視頻中的每一幀圖像，利用人臉檢測(cè)算法MTCNN進(jìn)行人臉檢測(cè)，MTCNN通過多尺度滑動(dòng)窗口檢測(cè)，運(yùn)用CNN模型對(duì)每個(gè)候選窗口分類和回歸，從而確定人臉框的位置和大小；其次，針對(duì)每個(gè)檢測(cè)到的人臉框，從原始圖像中裁剪出相應(yīng)的人臉圖像區(qū)域，即提取出含有人臉的部分。
4.根據(jù)權(quán)利要求2所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟1.2通過分析光流向量的變化，提取出心跳引起的微小血管運(yùn)動(dòng)信號(hào)，對(duì)于連續(xù)幀圖像I(x,y,t)，計(jì)算圖像的空間梯度Ix、Iy和時(shí)間梯度It來估計(jì)，在光流估計(jì)中，采用Lucas-Kanade方法，通過最小化窗口內(nèi)的像素點(diǎn)的灰度值變化來計(jì)算光流向量(vx,vy)，在該窗口內(nèi)的每個(gè)像素點(diǎn)的灰度值在時(shí)
5.根據(jù)權(quán)利要求1所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟2包括如下步驟：
6.根據(jù)權(quán)利要求5所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟2.1的模型EBP-Net選擇將面部rPPG信號(hào)及其一階二階導(dǎo)數(shù)疊加作為模型輸入；選擇利用多尺度融合模塊MSF組合不同尺度的信息來捕獲信號(hào)中的層次化結(jié)構(gòu)和復(fù)雜模式；引入并改進(jìn)了EMA模塊，通過捕捉特征的長(zhǎng)期變化趨勢(shì)，幫助模型預(yù)測(cè)血壓值。
7.根據(jù)權(quán)利要求5所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟2.2包括如下具體步驟：
8.根據(jù)權(quán)利要求5所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟2.3包括如下具體步驟：
9.根據(jù)權(quán)利要求5所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟2.3包括增強(qiáng)多尺度注意力模塊EMA對(duì)一維rPPG信號(hào)的時(shí)間序列特征識(shí)別的步驟：首先采用的分組因子增加至32；其次在激活函數(shù)增加對(duì)輸出進(jìn)行非線性變換；最后采用組歸一化來提高穩(wěn)定性和收斂速度。
10.根據(jù)權(quán)利要求9所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述組歸一化具體步驟為：
...【技術(shù)特征摘要】
1.一種基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，包括如下步驟：
2.根據(jù)權(quán)利要求1所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟1包括如下具體步驟：
3.根據(jù)權(quán)利要求2所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟1.1在遠(yuǎn)程信號(hào)提取rppg信號(hào)階段，對(duì)于視頻中的每一幀圖像，利用人臉檢測(cè)算法mtcnn進(jìn)行人臉檢測(cè)，mtcnn通過多尺度滑動(dòng)窗口檢測(cè)，運(yùn)用cnn模型對(duì)每個(gè)候選窗口分類和回歸，從而確定人臉框的位置和大小；其次，針對(duì)每個(gè)檢測(cè)到的人臉框，從原始圖像中裁剪出相應(yīng)的人臉圖像區(qū)域，即提取出含有人臉的部分。
4.根據(jù)權(quán)利要求2所述的基于多尺度注意力約束的人臉視頻血壓預(yù)測(cè)方法，其特征在于，所述步驟1.2通過分析光流向量的變化，提取出心跳引起的微小血管運(yùn)動(dòng)信號(hào)，對(duì)于連續(xù)幀圖像i(x,y,t)，計(jì)算圖像的空間梯度ix、iy和時(shí)間梯度it來估計(jì)，在光流估計(jì)中，采用lucas-kanade方法，通過最小化窗口內(nèi)的像素點(diǎn)的灰度值變化來計(jì)算光流向量(vx,vy)，在該窗口內(nèi)的每個(gè)像素點(diǎn)的灰度值在時(shí)間上的變化用向量來表示，求解光流向量的方程組如公式(1)所示:
5.根據(jù)權(quán)利要求1...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：徐曉剛，周運(yùn)梁，何源夏，鄭乃弋，馮子麒，徐冠雷，
申請(qǐng)(專利權(quán))人：浙江工商大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。