【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及視覺信息處理，尤其涉及一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法和系統(tǒng)。
技術(shù)介紹
1、人類視覺信息解析研究旨在探索大腦視覺皮層對(duì)視覺場(chǎng)景內(nèi)容的信息加工機(jī)制，分析視覺皮層神經(jīng)活動(dòng)對(duì)視覺場(chǎng)景內(nèi)容的表征方式和特點(diǎn)，解析視覺皮層神經(jīng)活動(dòng)中的視覺場(chǎng)景內(nèi)容，是人類視覺功能研究中非常重要的課題。功能磁共振成像(functionalmagnetic?resonance?imaging，fmri)為大腦視覺皮層功能研究提供了一種空間分辨率高、可靠性好、非侵入式的神經(jīng)活動(dòng)監(jiān)測(cè)技術(shù)，已經(jīng)成為人類視覺功能研究的一種重要工具。
2、自然圖像場(chǎng)景復(fù)雜、目標(biāo)種類多樣，針對(duì)自然復(fù)雜場(chǎng)景的fmri視覺信息解析是一個(gè)前沿而困難的問題，通常包括兩個(gè)方向的研究：視覺編碼方向和解碼方向。如圖1所示，視覺編碼方向研究如何構(gòu)建計(jì)算模型模擬大腦視覺皮層信息處理過程，預(yù)測(cè)被試在自然圖像刺激下的視覺皮層fmri體素響應(yīng)，即“仿腦”。視覺解碼方向研究如何構(gòu)建計(jì)算模型從大腦視覺皮層fmri體素響應(yīng)中解析出被試所看到自然圖像的內(nèi)容信息，即“讀腦”。其中，視覺信息編碼是視覺信息解析的基礎(chǔ)性問題。
3、基于fmri的可解釋視覺編碼技術(shù)研究，主要根據(jù)人類觀看圖像刺激(輸入)時(shí)獲得的視覺皮層響應(yīng)fmri數(shù)據(jù)(輸出)，構(gòu)建大腦視覺皮層神經(jīng)活動(dòng)的計(jì)算模型，重點(diǎn)是從中獲得可解釋的特征信息，揭示視覺皮層體素和腦區(qū)是通過怎樣的信息交互和處理形成了怎樣的功能特性，探索和驗(yàn)證視覺皮層信息處理機(jī)制。
4、深度神經(jīng)網(wǎng)絡(luò)啟發(fā)于生物神經(jīng)信息處理機(jī)制，具有非常高效
5、目前相關(guān)的研究在回答“視覺皮層體素和腦區(qū)具有怎樣的功能特性”這一問題上，主要從較為宏觀的層面，通過對(duì)比分析深度網(wǎng)絡(luò)特征與視覺皮層激活的關(guān)聯(lián)性，驗(yàn)證了視覺皮層特征表示的層次性以及特征感受野等特性，但在視覺皮層體素和腦區(qū)功能特性的細(xì)致解釋上仍然需要更為深入的研究。
技術(shù)實(shí)現(xiàn)思路
1、為了至少能夠部分地解決可解釋視覺編碼技術(shù)中現(xiàn)有深度網(wǎng)絡(luò)特征可解釋性不足的問題，本專利技術(shù)提供一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法和系統(tǒng)，首先通過圖像和自然語言詞匯描述(文本)的成對(duì)數(shù)據(jù)構(gòu)建聯(lián)合表征模型，獲得視覺語言共享特征空間，視覺語言共享特征空間連接圖像空間和自然語言空間；然后采用該特征作為中間橋梁構(gòu)建視覺編碼模型，搭建視覺語言共享特征空間到視覺區(qū)域體素空間的編碼映射。最后，利用該特征與語言空間詞匯描述之間的映射關(guān)聯(lián)性，采用語言詞匯的統(tǒng)計(jì)性描述來解釋體素的語義表征特點(diǎn)，并進(jìn)一步分析視覺皮層腦區(qū)的功能特性。
2、為了實(shí)現(xiàn)上述目的，本專利技術(shù)的技術(shù)方案是：
3、本專利技術(shù)第一方面提出了一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，包括：
4、步驟一：根據(jù)圖像-文本對(duì)公開數(shù)據(jù)構(gòu)建視覺語言共享特征空間，用于將圖像和文本聯(lián)系起來；
5、步驟二：根據(jù)視覺語言共享特征空間構(gòu)建視覺編碼模型；
6、步驟三：給定圖像刺激，得到體素對(duì)應(yīng)的視覺皮層響應(yīng)，將圖像和體素對(duì)應(yīng)的視覺皮層響應(yīng)輸入視覺編碼模型中，得到體素對(duì)應(yīng)的視覺皮層腦區(qū)的自然語言集合，便于使體素和自然語言匹配；
7、步驟四：對(duì)體素對(duì)應(yīng)的視覺皮層腦區(qū)的自然語言集合進(jìn)行語義功能分析，得到體素對(duì)應(yīng)的視覺皮層腦區(qū)的語義功能特性。
8、進(jìn)一步地，所述視覺語言共享特征空間包括多個(gè)特征向量，每個(gè)特征向量均對(duì)應(yīng)自然語言中的一個(gè)詞匯，便于通過特征向量將圖像和自然語言聯(lián)系起來。
9、進(jìn)一步地，所述根據(jù)視覺語言共享特征空間構(gòu)建視覺編碼模型，具體包括：
10、構(gòu)建線性編碼模型，對(duì)線性編碼模型中的權(quán)重參數(shù)進(jìn)行初始化，便于模型構(gòu)建；
11、計(jì)算每幅圖像刺激下的所有特征向量的平均向量，將平均向量作為線性編碼模型中與體素匹配的特征向量；
12、根據(jù)線性編碼模型和梯度下降方法得到特征向量的權(quán)重參數(shù)，便于模型訓(xùn)練；
13、根據(jù)權(quán)重參數(shù)和具體線性編碼模型計(jì)算誤差，選擇誤差最小的特征向量作為與視覺皮層響應(yīng)匹配的特征向量，完成一次迭代；
14、進(jìn)行多次迭代得到最終的權(quán)重參數(shù)和與體素對(duì)應(yīng)的視覺皮層響應(yīng)匹配的特征向量組成的矩陣hj，完成體素和特征向量的匹配，得到體素對(duì)應(yīng)的視覺皮層腦區(qū)的自然語言集合。
15、進(jìn)一步地，所述線性編碼模型按照以下公式表示：
16、yj＝hjw+σ
17、其中，yj為體素vj對(duì)所有圖像刺激下的視覺皮層響應(yīng)，hj為與體素vj相關(guān)的所有特征向量，w為權(quán)重參數(shù)，σ為誤差。
18、進(jìn)一步地，所述根據(jù)權(quán)重參數(shù)計(jì)算誤差，具體包括：
19、根據(jù)權(quán)重參數(shù)將每幅圖像刺激下的特征向量均帶入具體線性編碼模型中計(jì)算誤差，具體線性編碼模型按照以下公式表示：
20、
21、其中，為第i幅圖像刺激下的視覺皮層響應(yīng)，為第i幅圖像的第m個(gè)語義單詞對(duì)應(yīng)的特征向量，w為權(quán)重參數(shù)，σ為誤差。
22、進(jìn)一步地所述對(duì)體素和體素對(duì)應(yīng)的視覺皮層腦區(qū)的自然語言集合進(jìn)行語義功能分析，具體包括：
23、構(gòu)建可視化視覺皮層各體素的語言詞匯集合，對(duì)體素功能特性進(jìn)行可解釋分析；
24、對(duì)各體素加權(quán)，構(gòu)建視覺皮層各腦區(qū)的語言詞匯集合，對(duì)視覺皮層各腦區(qū)語義功能特性進(jìn)行分析；
25、根據(jù)體素間空間距離和語義功能特性得到各視覺腦區(qū)中具有不同功能特性的子區(qū)域，實(shí)現(xiàn)視覺腦區(qū)語義功能特性精細(xì)化的解釋。
26、本專利技術(shù)第二方面提出了一種基于特征可解釋視覺編碼模型構(gòu)建與分析系統(tǒng)，包括：
27、視覺語言共享特征空間模塊，用于根據(jù)圖像-文本對(duì)公開數(shù)據(jù)構(gòu)建視覺語言共享特征空間，用于將圖像和文本聯(lián)系起來；
28、視覺編碼模型模塊，用于根據(jù)視覺語言共享特征空間構(gòu)建視覺編碼模型；
29、匹配模塊，用于給定圖像刺激，得到體素對(duì)應(yīng)的視覺皮層響應(yīng)，將圖像和體素對(duì)應(yīng)的視覺皮層響應(yīng)輸入視覺編碼模型中，得到體素對(duì)應(yīng)的視覺皮層腦區(qū)的自然語言集合，便于使體素和自然語言匹配；
30、分析模塊，用于對(duì)體素對(duì)應(yīng)的視覺皮層腦區(qū)的自然語言集合進(jìn)行語義功能分析，得到體素對(duì)應(yīng)的視覺皮層腦區(qū)的語義功能特性。
31、本專利技術(shù)第三方面提出了一種電子設(shè)備，包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中且被配置為由所述處理器執(zhí)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如上述第一方面所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法。
32、本專利技術(shù)第四方面提出了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行如上述第一方面所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，所述視覺語言共享特征空間包括多個(gè)特征向量，每個(gè)特征向量均對(duì)應(yīng)自然語言中的一個(gè)詞匯。
3.根據(jù)權(quán)利要求2所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，所述根據(jù)視覺語言共享特征空間構(gòu)建視覺編碼模型，具體包括：
4.根據(jù)權(quán)利要求3所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，所述線性編碼模型按照以下公式表示：
5.根據(jù)權(quán)利要求3所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，所述根據(jù)權(quán)重參數(shù)計(jì)算誤差，具體包括：
6.根據(jù)權(quán)利要求1所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，所述對(duì)體素和體素對(duì)應(yīng)的視覺皮層腦區(qū)的自然語言集合進(jìn)行語義功能分析，具體包括：
7.一種基于特征可解釋視覺編碼模型構(gòu)建與分析系統(tǒng)，其特征在于，包括：
8.一種電子設(shè)備，其特征在于，包括處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)
9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)包括存儲(chǔ)的計(jì)算機(jī)程序，其中，在所述計(jì)算機(jī)程序運(yùn)行時(shí)控制所述存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行如權(quán)利要求1至6中任意一項(xiàng)所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法。
...【技術(shù)特征摘要】
1.一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，所述視覺語言共享特征空間包括多個(gè)特征向量，每個(gè)特征向量均對(duì)應(yīng)自然語言中的一個(gè)詞匯。
3.根據(jù)權(quán)利要求2所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，所述根據(jù)視覺語言共享特征空間構(gòu)建視覺編碼模型，具體包括：
4.根據(jù)權(quán)利要求3所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，所述線性編碼模型按照以下公式表示：
5.根據(jù)權(quán)利要求3所述的一種基于特征可解釋視覺編碼模型構(gòu)建與分析方法，其特征在于，所述根據(jù)權(quán)重參數(shù)計(jì)算誤差，具體包括：
6.根據(jù)權(quán)利...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：閆鑌，喬凱，陳攀攀，張馳，陳健，于子雅，
申請(qǐng)(專利權(quán))人：中國人民解放軍網(wǎng)絡(luò)空間部隊(duì)信息工程大學(xué)，
類型：發(fā)明
國別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。