【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)屬于聲學(xué)側(cè)信道攻擊的鍵盤(pán)聲音識(shí)別，具體涉及一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法。
技術(shù)介紹
1、信息技術(shù)的突飛猛進(jìn)已經(jīng)使得網(wǎng)絡(luò)和智能設(shè)備成為現(xiàn)代社會(huì)不可或缺的一部分。這些設(shè)備配備了高精度傳感器，極大地豐富了用戶的交互體驗(yàn)并提高了生活便利性。然而，這種技術(shù)進(jìn)步的另一面是，它為攻擊者提供了新的途徑來(lái)竊取用戶的敏感信息。在眾多與智能設(shè)備的交互方式中，鍵盤(pán)輸入因其普遍性而成為了信息泄露的一個(gè)主要渠道。因此，針對(duì)鍵盤(pán)輸入內(nèi)容的竊聽(tīng)攻擊，尤其是側(cè)信道攻擊，已經(jīng)成為了信息安全領(lǐng)域的一個(gè)重要研究課題。目前，這類攻擊主要分為三種類型：基于慣性傳感器的運(yùn)動(dòng)信號(hào)攻擊、基于無(wú)線通信信號(hào)的攻擊以及基于聲學(xué)信號(hào)的攻擊。在這三種攻擊方式中，基于聲學(xué)信號(hào)的攻擊因其直接利用鍵盤(pán)敲擊時(shí)產(chǎn)生的聲波和振動(dòng)特征，而成為了研究者關(guān)注的焦點(diǎn)。
2、基于聲學(xué)信號(hào)的鍵盤(pán)側(cè)信道攻擊的有效性建立在對(duì)鍵盤(pán)敲擊聲學(xué)特性的深入分析之上。每一次鍵盤(pán)敲擊都會(huì)產(chǎn)生具有獨(dú)特聲學(xué)特征的聲波，這些聲波不僅包含了按鍵本身的物理特性信息，還反映了用戶的打字風(fēng)格和習(xí)慣。攻擊者可以通過(guò)分析這些聲波的特征來(lái)推斷出用戶的按鍵序列，從而獲取敏感信息。值得注意的是，由于用戶在敲擊不同鍵時(shí)可能會(huì)采用不同的手指、力度或角度，這會(huì)導(dǎo)致每次敲擊產(chǎn)生的聲音在強(qiáng)度和音色上存在差異，這些差異為攻擊者提供了額外的線索。自2004年r.agrawal等研究者通過(guò)實(shí)驗(yàn)驗(yàn)證了利用機(jī)械鍵盤(pán)聲音恢復(fù)輸入數(shù)據(jù)的可行性以來(lái)，聲學(xué)側(cè)信道攻擊技術(shù)的研究便受到了信息安全領(lǐng)域的廣泛關(guān)注，并逐漸成為該領(lǐng)域的一個(gè)研究熱點(diǎn)。
3、
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)旨在提供一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，專注于解決現(xiàn)有技術(shù)在處理復(fù)雜聲學(xué)信號(hào)時(shí)所面臨的挑戰(zhàn)，特別是在如何有效融合多種聲學(xué)特征以實(shí)現(xiàn)準(zhǔn)確的擊鍵分類任務(wù)方面?，F(xiàn)有技術(shù)通常未能充分利用各種聲學(xué)特征，且缺乏完善的特征融合策略，導(dǎo)致模型在擊鍵識(shí)別時(shí)能力受限。為此，本專利技術(shù)采用先進(jìn)的特征融合技術(shù)與深度學(xué)習(xí)模型，克服了這些技術(shù)局限，顯著提升了擊鍵識(shí)別的準(zhǔn)確性和實(shí)用性，使其更適用于復(fù)雜的聲學(xué)環(huán)境。
2、為實(shí)現(xiàn)上述目的，本專利技術(shù)采用以下技術(shù)方案：
3、一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，具體包括以下步驟：
4、s1，獲取擊鍵數(shù)據(jù)：使用手機(jī)麥克風(fēng)采集擊鍵音頻數(shù)據(jù)，獲取擊鍵過(guò)程中產(chǎn)生的聲學(xué)信號(hào)；
5、s2，擊鍵數(shù)據(jù)預(yù)處理：對(duì)s1獲取的擊鍵數(shù)據(jù)進(jìn)行預(yù)加重處理，增強(qiáng)信號(hào)的高頻分量，并使用自適應(yīng)譜減法去除背景噪聲，得到干凈的擊鍵信號(hào)；
6、s3，擊鍵事件檢測(cè)：對(duì)經(jīng)過(guò)s2預(yù)處理后的擊鍵信號(hào)進(jìn)行快速傅里葉變換，計(jì)算頻譜能量，將擊鍵信號(hào)分離成單個(gè)擊鍵片段，確保每個(gè)擊鍵片段只包含一次擊鍵行為；
7、s4，特征提?。簩?duì)每個(gè)擊鍵片段提取聲譜圖和梅爾譜圖特征，從擊鍵片段中提取聲學(xué)特征；
8、s5，特征融合與注意力機(jī)制：引入多尺度通道注意力模塊和迭代注意特征融合模塊，對(duì)聲譜圖和梅爾譜圖特征進(jìn)行融合，通過(guò)注意力機(jī)制賦予關(guān)鍵特征更高的權(quán)重；
9、s6，將融合后的特征數(shù)據(jù)輸入卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，利用該模型對(duì)擊鍵行為進(jìn)行分類識(shí)別，最終得到擊鍵識(shí)別結(jié)果。
10、進(jìn)一步地，s1中的擊鍵數(shù)據(jù)是在受控環(huán)境中使用高靈敏度設(shè)備收集的，擊鍵數(shù)據(jù)中包含用戶敲擊鍵盤(pán)時(shí)產(chǎn)生的音頻特征。
11、進(jìn)一步地，s2中對(duì)擊鍵數(shù)據(jù)進(jìn)行預(yù)處理的具體做法為：
12、s2.1，對(duì)s1獲取的擊鍵數(shù)據(jù)進(jìn)行預(yù)加重處理，其操作可以表示為：
13、y[n]＝x[n]-αx[n-1]
14、其中，x[n]表示原始信號(hào)序列，y[n]是經(jīng)過(guò)預(yù)加重處理后的信號(hào)序列，參數(shù)α是預(yù)加重系數(shù)；
15、s2.2，將經(jīng)過(guò)s2.1預(yù)加重得到的結(jié)果進(jìn)行降噪，首先取擊鍵數(shù)據(jù)前5幀的平均值進(jìn)行噪聲模型構(gòu)建，將其頻譜平均得到代表背景噪聲的噪聲頻譜，即：
16、
17、其中，n表示用于計(jì)算平均值的幀數(shù)，是噪聲頻譜的平均值估計(jì)，用來(lái)表示在頻率ω上的噪聲強(qiáng)度，而代表的第i幀內(nèi)聲學(xué)信號(hào)的頻域表示；
18、在譜減法中，假設(shè)原始信號(hào)中受到的噪聲干擾是加性的，收集得到的擊鍵數(shù)據(jù)可以看作是擊鍵信號(hào)和噪聲信號(hào)的線性疊加，從而通過(guò)估計(jì)噪聲分量并將其從擊鍵數(shù)據(jù)中減去，以恢復(fù)出更接近原始的干凈信號(hào)pn,為了進(jìn)一步避免譜減法出現(xiàn)負(fù)值信號(hào)，降噪信號(hào)為
19、
20、其中，pn(ω)表示經(jīng)過(guò)降噪處理后的信號(hào)頻譜，即干凈信號(hào)的估計(jì)值，在頻率ω處，它是從擊鍵數(shù)據(jù)中去除噪聲信號(hào)后的結(jié)果，y(ω)表示原始擊鍵數(shù)據(jù)的頻譜，它包含了擊鍵信號(hào)和噪聲信號(hào)的混合頻譜，αn是根據(jù)信噪比計(jì)算得到的減法因子，表示噪聲頻譜的平均值估計(jì)，表示降噪后的最終信號(hào)頻譜值，是對(duì)干凈信號(hào)頻譜的估計(jì)，βn是用于確定當(dāng)減噪后的信號(hào)幅度小于噪聲幅度時(shí)，避免負(fù)數(shù)的調(diào)整系數(shù),為了自適應(yīng)的調(diào)整噪聲估計(jì)模型，還根據(jù)計(jì)算信號(hào)的信噪比snr來(lái)更新噪聲頻譜，信噪比的計(jì)算方式為：
21、
22、當(dāng)某幀內(nèi)的信噪比低于設(shè)定的經(jīng)驗(yàn)閾值時(shí)根據(jù)噪聲大小自適應(yīng)的調(diào)整噪聲估計(jì)頻譜，噪聲估計(jì)模型的更新計(jì)算過(guò)程如下：
23、
24、其中，表示更新后的噪聲頻譜估計(jì)值，gn表示一個(gè)增益因子，介于0和1之間，用于控制當(dāng)前噪聲估計(jì)和當(dāng)前幀的觀測(cè)頻譜y(ω)在噪聲估計(jì)中的權(quán)重。
25、進(jìn)一步地，s3的具體做法為：
26、對(duì)經(jīng)過(guò)s2預(yù)處理的擊鍵信號(hào)做快速傅里葉變換，將時(shí)域轉(zhuǎn)換為頻域，查看擊鍵信號(hào)的頻域情況，計(jì)算過(guò)程如下：
27、
28、其中，為旋轉(zhuǎn)因子，其計(jì)算公式為擊鍵信號(hào)是x(n)，n＝0,1,…,n-1；
29、查看擊鍵信號(hào)頻率的獨(dú)特特征，并計(jì)算擊鍵信號(hào)的頻譜能量，用ek表示，使用經(jīng)驗(yàn)閾值進(jìn)行判斷是否進(jìn)入擊鍵過(guò)程，當(dāng)兩本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，具體包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，S1中的擊鍵數(shù)據(jù)是在受控環(huán)境中使用高靈敏度設(shè)備收集的，擊鍵數(shù)據(jù)中包含用戶敲擊鍵盤(pán)時(shí)產(chǎn)生的音頻特征。
3.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，S2中對(duì)擊鍵數(shù)據(jù)進(jìn)行預(yù)處理的具體做法為：
4.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，S3的具體做法為：
5.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，S4的具體做法為：
6.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，S5的具體做法為：
7.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，S6的具體做法為：
8.一種計(jì)算機(jī)終端，包含存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7中任意一項(xiàng)所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法。
9.一種計(jì)
...【技術(shù)特征摘要】
1.一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，具體包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，s1中的擊鍵數(shù)據(jù)是在受控環(huán)境中使用高靈敏度設(shè)備收集的，擊鍵數(shù)據(jù)中包含用戶敲擊鍵盤(pán)時(shí)產(chǎn)生的音頻特征。
3.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，s2中對(duì)擊鍵數(shù)據(jù)進(jìn)行預(yù)處理的具體做法為：
4.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，s3的具體做法為：
5.根據(jù)權(quán)利要求1所述的一種基于聲學(xué)竊聽(tīng)的擊鍵識(shí)別方法，其特征在于，s4的具體做法為：<...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：楊志海，賀志泉，李建新，劉志全，鄒如萍，崔子成，
申請(qǐng)(專利權(quán))人：長(zhǎng)安大學(xué)，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。