【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及網(wǎng)絡(luò)多模態(tài)情感分析場景下的隱私保護(hù)，具體是一種基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)和方法。
技術(shù)介紹
1、多模態(tài)情感分析是一種利用多種模態(tài)的數(shù)據(jù)(如文本、音頻、視頻等)來分析并識別用戶情感狀態(tài)的技術(shù)。它通過整合、處理、對齊來自不同來源的數(shù)據(jù)，從而進(jìn)行基于深度學(xué)習(xí)的數(shù)據(jù)分析預(yù)測的方式來準(zhǔn)確捕捉和解釋被觀測者內(nèi)心的情感表達(dá)。這種分析方法可以應(yīng)用于企業(yè)管理、教育、司法執(zhí)政、國防軍事等領(lǐng)域中的遠(yuǎn)程線上辦公、網(wǎng)絡(luò)求職求學(xué)面試、課堂學(xué)習(xí)效果評測、監(jiān)獄監(jiān)控、政府內(nèi)部重要會議等需要進(jìn)行情感需求分析但同時(shí)也需進(jìn)行數(shù)據(jù)保密的多種細(xì)分場景。例如在司法審訊中，多模態(tài)情感分析可以輔助分析嫌疑人或證人的情緒狀態(tài)，通過非言語線索來評估其陳述的可信度；但此類場景同時(shí)要求采集的各通道信號需要被嚴(yán)格保密以保護(hù)嫌疑人的隱私不被泄露。
2、網(wǎng)絡(luò)多模態(tài)情感分析是一個(gè)端到端的過程，該過程首先需要收集包含情感表達(dá)的視頻、音頻和文本等多模態(tài)數(shù)據(jù)，具體方式如使用攝像頭實(shí)時(shí)采集用戶的面部視頻獲取視覺數(shù)據(jù)，使用麥克風(fēng)實(shí)時(shí)采集用戶的語音獲取語音數(shù)據(jù)，通過語音識別技術(shù)將語音轉(zhuǎn)錄成文本從而獲取文本數(shù)據(jù)。接下來，通過使用openface等工具提取面部關(guān)鍵點(diǎn)、頭部姿態(tài)等面部特征；使用librosa等工具提取梅爾頻率倒譜系數(shù)(mfccs)、常數(shù)q變換(cqt)和對數(shù)基頻等語音特征；使用whisper深度學(xué)習(xí)模型，將語音轉(zhuǎn)錄成文本信息，再使用bert模型，將文本信息轉(zhuǎn)化為向量表示，提取文本特征。然后將這些結(jié)構(gòu)相異的多維特征數(shù)據(jù)進(jìn)行整合并對齊，從而得到完整
3、上述過程中情感特征信息集合將被通過互聯(lián)網(wǎng)傳輸至分析端的主機(jī)，對隱私保護(hù)提出了挑戰(zhàn)。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)的目的是提供一種基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，包括發(fā)送端和接收端；
2、所述發(fā)送端包括認(rèn)證中心管理單元、多模態(tài)情感分析單元、量子密鑰制備單元、數(shù)據(jù)加密傳輸單元；
3、所述認(rèn)證中心管理單元用于進(jìn)行身份驗(yàn)證和數(shù)據(jù)傳輸安全認(rèn)證，若認(rèn)證成功，則向多模態(tài)情感分析單元發(fā)送認(rèn)證成功信號；
4、所述多模態(tài)情感分析單元接收到認(rèn)證成功信號后，采集和處理多模態(tài)數(shù)據(jù)，得到情感特征信息，然后利用多模態(tài)情感識別模型對情感特征信息進(jìn)行分析，得到反映用戶情感傾向的情感分?jǐn)?shù)；
5、所述多模態(tài)情感分析單元將多模態(tài)數(shù)據(jù)以及情感分?jǐn)?shù)傳輸至數(shù)據(jù)加密傳輸單元；
6、所述量子密鑰制備單元生成量子密鑰，并傳輸至接收端的量子密鑰驗(yàn)證單元；
7、所述數(shù)據(jù)加密傳輸單元利用量子密鑰對多模態(tài)數(shù)據(jù)和情感分?jǐn)?shù)進(jìn)行加密數(shù)據(jù)，并通過傳統(tǒng)信道傳輸至接收端；
8、所述接收端包括量子密鑰驗(yàn)證單元、數(shù)據(jù)解密單元；
9、所述量子密鑰驗(yàn)證單元接收和驗(yàn)證量子密鑰，并反饋給發(fā)送端；
10、所述數(shù)據(jù)解密單元通過量子密鑰對接收到的數(shù)據(jù)進(jìn)行解密。
11、進(jìn)一步，認(rèn)證中心用于為通信雙方發(fā)放數(shù)字證書，確保雙方身份的真實(shí)性，以及對通信信道進(jìn)行認(rèn)證，保證數(shù)據(jù)傳輸?shù)陌踩浴?/p>
12、進(jìn)一步，所述多模態(tài)數(shù)據(jù)包括用戶面部視頻數(shù)據(jù)、用戶語音數(shù)據(jù)；
13、用戶面部視頻數(shù)據(jù)通過攝像頭采集，用戶語音數(shù)據(jù)通過麥克風(fēng)采集。
14、進(jìn)一步，多模態(tài)情感分析單元處理多模態(tài)數(shù)據(jù)的步驟包括：
15、利用openface工具提取視覺特征，包括面部關(guān)鍵點(diǎn)、頭部姿態(tài)；
16、利用librosa工具提取語音特征，包括梅爾頻率倒譜系數(shù)、常數(shù)q變換和對數(shù)基頻；
17、利用whisper深度學(xué)習(xí)模型將用戶語音數(shù)據(jù)轉(zhuǎn)錄為文本信息，并利用bert模型將文本信息轉(zhuǎn)化為向量表示，提取文本特征。
18、進(jìn)一步，利用多模態(tài)情感識別模型對情感特征信息進(jìn)行分析的步驟包括：
19、a1)對經(jīng)過特征提取的多模態(tài)數(shù)據(jù)進(jìn)行整合、對齊，得到完整的情感特征信息集合，并傳輸至分析端；
20、a2)分析端利用多模態(tài)情感識別模型分析各個(gè)模態(tài)特征之間的關(guān)系，將多個(gè)子空間的注意力分布進(jìn)行拼接和線性變換，得到融合特征，并對融合特征進(jìn)行處理，得到反映用戶情感傾向的情感分?jǐn)?shù)；所述用戶情感傾向包括積極、消極、中立。
21、進(jìn)一步，模態(tài)情感識別模型包括特征嵌入子網(wǎng)絡(luò)、多頭自注意力機(jī)制、基于張量融合的特征融合網(wǎng)絡(luò)和情感分析網(wǎng)絡(luò)。
22、進(jìn)一步，量子密鑰制備單元生成量子密鑰的步驟包括：
23、b1)發(fā)送端的量子密鑰制備單元使用量子真隨機(jī)數(shù)生成器生成一串隨機(jī)量子比特序列，并通過量子信道將該量子比特序列發(fā)送給接收端；所述量子比特序列的量子態(tài)為光子的偏振狀態(tài)；光子偏振狀態(tài)的生成方式為：通過半導(dǎo)體量子點(diǎn)光子發(fā)生器生成單光子源，然后利用偏振片對光子進(jìn)行處理，得到光子的偏振狀態(tài)；
24、b2)接收端的量子密鑰驗(yàn)證單元隨機(jī)選擇測量基對收到的量子比特序列進(jìn)行測量；
25、b3)比較并篩選出量子密鑰制備單元以及量子密鑰驗(yàn)證單元使用相同測量基進(jìn)行測量的量子態(tài)，再根據(jù)預(yù)設(shè)選擇規(guī)則，提取出相應(yīng)的比特序列，形成量子密鑰；
26、b4)判斷是否存在竊聽行為，若存在則舍棄當(dāng)前密鑰分發(fā)過程并重新生成新的密鑰。
27、進(jìn)一步，量子態(tài)包括水平偏振態(tài)、豎直偏振態(tài)、45度偏振態(tài)和135度偏振態(tài)；
28、水平偏振態(tài)記作|0>，賦值為0；
29、豎直偏振態(tài)記作|1>，賦值為1；
30、45度偏振態(tài)記作|+>，賦值為1；
31、135度偏振態(tài)記作|->，賦值為0。
32、基于所述系統(tǒng)的隱私保護(hù)方法，包括以下步驟：
33、1)通過認(rèn)證中心驗(yàn)證通信雙方身份；
34、2)采集多模態(tài)數(shù)據(jù)，并進(jìn)行特征提取和情感狀態(tài)分析，得到反映用戶情感傾向的情感分?jǐn)?shù)；
35、所述多模態(tài)數(shù)據(jù)包括用戶面部視頻數(shù)據(jù)、用戶語音數(shù)據(jù)和根據(jù)語音數(shù)據(jù)轉(zhuǎn)換的文本數(shù)據(jù)；
36、進(jìn)行特征提取的步驟包括：利用openface工具提取視覺特征，包括面部關(guān)鍵點(diǎn)、頭部姿態(tài)；
37、利用librosa工具提取語音特征，包括梅爾頻率倒譜系數(shù)、常數(shù)q變換和對數(shù)基頻；
38、使用whisper深度學(xué)習(xí)模型，將語音轉(zhuǎn)錄成文本信息，再使用bert模型，將文本信息轉(zhuǎn)化為向量表示，提取文本特征；
39、3)利用量子真隨機(jī)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，包括發(fā)送端和接收端。
2.根據(jù)權(quán)利要求1所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，認(rèn)證中心用于為通信雙方發(fā)放數(shù)字證書，確保雙方身份的真實(shí)性，以及對通信信道進(jìn)行認(rèn)證，保證數(shù)據(jù)傳輸?shù)陌踩浴?/p>
3.根據(jù)權(quán)利要求1所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，所述多模態(tài)數(shù)據(jù)包括用戶面部視頻數(shù)據(jù)、用戶語音數(shù)據(jù)；
4.根據(jù)權(quán)利要求1所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，多模態(tài)情感分析單元處理多模態(tài)數(shù)據(jù)的步驟包括：
5.根據(jù)權(quán)利要求1所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，利用多模態(tài)情感識別模型對情感特征信息進(jìn)行分析的步驟包括：
6.根據(jù)權(quán)利要求1所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，模態(tài)情感識別模型包括特征嵌入子網(wǎng)絡(luò)、多頭自注意力機(jī)制、基于張量融合的特征融合網(wǎng)絡(luò)和情感分析網(wǎng)絡(luò)。
7.根據(jù)權(quán)利要求
8.根據(jù)權(quán)利要求7所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，量子態(tài)包括水平偏振態(tài)、豎直偏振態(tài)、45度偏振態(tài)和135度偏振態(tài)；
9.基于權(quán)利要求1-8任一項(xiàng)所述系統(tǒng)的隱私保護(hù)方法，其特征在于，包括以下步驟：
10.根據(jù)權(quán)利要求9所述的一種基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)方法，其特征在于，步驟3.3)中，根據(jù)預(yù)設(shè)選擇規(guī)則提取出相應(yīng)的比特序列的步驟為：
...【技術(shù)特征摘要】
1.一種基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，包括發(fā)送端和接收端。
2.根據(jù)權(quán)利要求1所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，認(rèn)證中心用于為通信雙方發(fā)放數(shù)字證書，確保雙方身份的真實(shí)性，以及對通信信道進(jìn)行認(rèn)證，保證數(shù)據(jù)傳輸?shù)陌踩浴?/p>
3.根據(jù)權(quán)利要求1所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，所述多模態(tài)數(shù)據(jù)包括用戶面部視頻數(shù)據(jù)、用戶語音數(shù)據(jù)；
4.根據(jù)權(quán)利要求1所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，多模態(tài)情感分析單元處理多模態(tài)數(shù)據(jù)的步驟包括：
5.根據(jù)權(quán)利要求1所述的基于量子密鑰分發(fā)的網(wǎng)絡(luò)多模態(tài)情感分析中的隱私保護(hù)系統(tǒng)，其特征在于，利用多模態(tài)情感識別模型對情感特征信息進(jìn)行分析的步驟包括：
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：謝穎，李星雨，孫家寧，劉佳益，李瑞凡，陳佳欣，
申請(專利權(quán))人：重慶大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。