【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，屬于圖像識(shí)別。
技術(shù)介紹
1、圖像識(shí)別已廣泛應(yīng)用于多個(gè)領(lǐng)域，包括自動(dòng)駕駛、醫(yī)學(xué)影像分析、安防監(jiān)控、物體檢測(cè)與識(shí)別、人臉識(shí)別等。這些應(yīng)用為社會(huì)帶來(lái)了諸多便利，加速了許多行業(yè)的數(shù)字化轉(zhuǎn)型和智能化發(fā)展。然而，盡管取得了顯著的進(jìn)展，ai圖像識(shí)別仍面臨一些挑戰(zhàn)。其中之一是數(shù)據(jù)不足的問(wèn)題，深度學(xué)習(xí)模型通常需要大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，但在某些領(lǐng)域和任務(wù)中，獲取高質(zhì)量的標(biāo)注數(shù)據(jù)可能非常昂貴和耗時(shí)。另外，過(guò)擬合也是一個(gè)重要的挑戰(zhàn)，即模型在訓(xùn)練數(shù)據(jù)上表現(xiàn)良好，但在新的未見(jiàn)數(shù)據(jù)上泛化能力較差；
2、此外，對(duì)于一些復(fù)雜場(chǎng)景和模糊圖像，現(xiàn)有的圖像識(shí)別技術(shù)可能還存在識(shí)別準(zhǔn)確率不高的問(wèn)題。同時(shí)安全和隱私問(wèn)題也需要引起關(guān)注，特別是在人臉識(shí)別等領(lǐng)域；
3、同時(shí)，短視頻行業(yè)正處于野蠻生長(zhǎng)階段，其信息發(fā)布門檻低，所以導(dǎo)致平臺(tái)出現(xiàn)爆發(fā)式增長(zhǎng)的海量?jī)?nèi)容，因此，要從海量的信息海中，監(jiān)測(cè)所需的負(fù)面輿論信息，就需要采用到現(xiàn)代化技術(shù)手段，也就是專業(yè)的輿情輿論監(jiān)測(cè)控系統(tǒng)。根據(jù)視頻如何快速、準(zhǔn)確識(shí)別出正負(fù)面信息同樣需要系統(tǒng)平臺(tái)具備強(qiáng)大的計(jì)算量。
4、現(xiàn)有技術(shù)如專利號(hào)為“cn110837581a”的專利技術(shù)專利提供了一種視頻輿情分析的方法、裝置以及存儲(chǔ)介質(zhì)，具體步驟為：獲取待檢測(cè)視頻；提取待檢測(cè)視頻中的關(guān)鍵幀、視頻語(yǔ)音以及與用于對(duì)待檢測(cè)視頻進(jìn)行說(shuō)明的第一文本信息；對(duì)第二文本信息進(jìn)行輿情分析，并確定待檢測(cè)視頻的第一輿情分析結(jié)果，其中第二文本信息包括第一文本信息以及從關(guān)鍵幀以及視頻語(yǔ)音中提取的文本信息
5、上述專利雖然提供了視頻輿情的分析方法，但該方案中并未描述具體使用的機(jī)器學(xué)習(xí)模型，無(wú)法判斷該專利的識(shí)別效率以及識(shí)別準(zhǔn)確率。
技術(shù)實(shí)現(xiàn)思路
1、為了解決上述現(xiàn)有技術(shù)中存在的問(wèn)題，本專利技術(shù)提出了一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法。
2、本專利技術(shù)的技術(shù)方案如下：
3、一方面，本專利技術(shù)提供了一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，包括以下步驟：
4、采集輿情圖像及視頻并對(duì)輿情圖像及視頻進(jìn)行預(yù)處理后得到預(yù)處理圖像；
5、將預(yù)處理圖像進(jìn)行裁切后得到子圖像，并設(shè)置每個(gè)子圖像的類別標(biāo)簽，再提取每個(gè)子圖像所包含的幾何元素，為每類幾何元素命名，再基于每個(gè)子圖像中所有幾何元素的命名構(gòu)成對(duì)應(yīng)的句子信息，最后將所句子信息及其對(duì)應(yīng)子圖像的類別標(biāo)簽構(gòu)建為訓(xùn)練集；
6、構(gòu)建輿情圖像信息識(shí)別模型，通過(guò)訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練得到訓(xùn)練完成的輿情圖像信息識(shí)別模型；
7、通過(guò)訓(xùn)練完成的輿情圖像信息識(shí)別模型識(shí)別輿情圖像信息。
8、作為本專利技術(shù)的優(yōu)選實(shí)施方式，對(duì)輿情視頻進(jìn)行分幀采集得到輿情視頻的每幀圖像，提取每幀圖像作為輿情圖像。
9、作為本專利技術(shù)的優(yōu)選實(shí)施方式，所述輿情圖像的預(yù)處理步驟為：
10、基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)置預(yù)設(shè)大小的濾波器模板，對(duì)于輿情圖像的每個(gè)像素點(diǎn)，將濾波器模板與該像素點(diǎn)及其鄰域像素點(diǎn)進(jìn)行卷積運(yùn)算生成一個(gè)新的像素值，通過(guò)該濾波器對(duì)輿情圖像的所有像素點(diǎn)進(jìn)行卷積操作，再對(duì)輿情圖像進(jìn)行模糊、銳化以及邊緣檢測(cè)操作得到清晰的輿情圖像。
11、作為本專利技術(shù)的優(yōu)選實(shí)施方式，所述輿情圖像信息識(shí)別模型基于長(zhǎng)短期記憶網(wǎng)絡(luò)構(gòu)建；
12、設(shè)長(zhǎng)短期記憶網(wǎng)絡(luò)在t時(shí)刻的輸入特征信息為xt，輸出結(jié)果為mt，則所述長(zhǎng)短期記憶網(wǎng)絡(luò)在t時(shí)刻下的輸入門、遺忘門、輸出門以及單元狀態(tài)如下式所示：
13、it＝σ(wixt+wimt-1+wict-1+bi)
14、ft＝σ(wfxt+wfmt-1+wfct-1+bf)
15、ct＝ft×ct-1+it×g(wcxt+wfmt-1+bc)
16、ot＝σ(woxt+womt-1+woct-1+bo)
17、mt＝ot×h(ct)
18、其中：it表示t時(shí)刻下的輸入門；wi表示輸入門的權(quán)重矩陣；bi表示輸入門的偏置；ft表示t時(shí)刻下的遺忘門；wf表示遺忘門的權(quán)重矩陣；bf表示遺忘門的偏置；ct表示t時(shí)刻下的單元狀態(tài)；wc表示單元狀態(tài)的權(quán)重矩陣；g(·)表示激活函數(shù)；ot表示輸出門；wo表示輸出門的權(quán)重矩陣；bo表示輸出門的偏置；σ表示sigmoid函數(shù)；mt-1表示t-1時(shí)刻下的輸出結(jié)果。
19、另一方面，本專利技術(shù)還提供了一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別系統(tǒng)，包括數(shù)據(jù)采集模塊、訓(xùn)練集構(gòu)建模塊、模型訓(xùn)練模塊以及輿情圖像信息識(shí)別模塊；
20、所述數(shù)據(jù)采集模塊用于采集輿情圖像及視頻并對(duì)輿情圖像及視頻進(jìn)行預(yù)處理后得到預(yù)處理圖像；
21、所述訓(xùn)練集構(gòu)建模塊用于將預(yù)處理圖像進(jìn)行裁切后得到子圖像，并設(shè)置每個(gè)子圖像的類別標(biāo)簽，再提取每個(gè)子圖像所包含的幾何元素，為每類幾何元素命名，再基于每個(gè)子圖像中所有幾何元素的命名構(gòu)成對(duì)應(yīng)的句子信息，最后將所句子信息及其對(duì)應(yīng)子圖像的類別標(biāo)簽構(gòu)建為訓(xùn)練集；
22、所述模型訓(xùn)練模塊用于構(gòu)建輿情圖像信息識(shí)別模型，通過(guò)訓(xùn)練集對(duì)模型進(jìn)行訓(xùn)練得到訓(xùn)練完成的輿情圖像信息識(shí)別模型；
23、所述輿情圖像信息識(shí)別模塊用于通過(guò)訓(xùn)練完成的輿情圖像信息識(shí)別模型識(shí)別輿情圖像信息。
24、作為本專利技術(shù)的優(yōu)選實(shí)施方式，對(duì)輿情視頻進(jìn)行分幀采集得到輿情視頻的每幀圖像，提取每幀圖像作為輿情圖像。
25、作為本專利技術(shù)的優(yōu)選實(shí)施方式，所述輿情圖像的預(yù)處理步驟為：
26、基于卷積神經(jīng)網(wǎng)絡(luò)設(shè)置預(yù)設(shè)大小的濾波器模板，對(duì)于輿情圖像的每個(gè)像素點(diǎn)，將濾波器模板與該像素點(diǎn)及其鄰域像素點(diǎn)進(jìn)行卷積運(yùn)算生成一個(gè)新的像素值，通過(guò)該濾波器對(duì)輿情圖像的所有像素點(diǎn)進(jìn)行卷積操作，再對(duì)輿情圖像進(jìn)行模糊、銳化以及邊緣檢測(cè)操作得到清晰的輿情圖像。
27、作為本專利技術(shù)的優(yōu)選實(shí)施方式，所述輿情圖像信息識(shí)別模型基于長(zhǎng)短期記憶網(wǎng)絡(luò)構(gòu)建；
28、設(shè)長(zhǎng)短期記憶網(wǎng)絡(luò)在t時(shí)刻的輸入特征信息為xt，輸出結(jié)果為mt，則所述長(zhǎng)短期記憶網(wǎng)絡(luò)在t時(shí)刻下的輸入門、遺忘門、輸出門以及單元狀態(tài)如下式所示：
29、it＝σ(wixt+wimt-1+wict-1+bi)
30、ft＝σ(wfxt+wfmt-1+wfct-1+bf)
31、ct＝ft×ct-1+it×g(wcxt+wfmt-1+bc)
32、ot＝σ(woxt+womt-1+woct-1+bo)
33、mt＝ot×h(ct)
34、其中：it表示t時(shí)刻下的輸入門；wi表示輸入門的權(quán)重矩陣；bi表示輸入門的偏置；ft表示t時(shí)刻下的遺忘門；wf表示遺忘門的權(quán)重矩陣；bf表示遺忘門的偏置；ct表示t時(shí)刻下的單元狀態(tài)；wc表示單元狀態(tài)的權(quán)重矩陣；g(·)表示激活函數(shù)；ot表示輸出門；wo表示輸出門的權(quán)重矩陣；bo表示輸出門的偏本文檔來(lái)自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，其特征在于，對(duì)輿情視頻進(jìn)行分幀采集得到輿情視頻的每幀圖像，提取每幀圖像作為輿情圖像。
3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，其特征在于，所述輿情圖像的預(yù)處理步驟為：
4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，其特征在于，所述輿情圖像信息識(shí)別模型基于長(zhǎng)短期記憶網(wǎng)絡(luò)構(gòu)建；
5.一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別系統(tǒng)，其特征在于，包括數(shù)據(jù)采集模塊、訓(xùn)練集構(gòu)建模塊、模型訓(xùn)練模塊以及輿情圖像信息識(shí)別模塊；
6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別系統(tǒng)，其特征在于，對(duì)輿情視頻進(jìn)行分幀采集得到輿情視頻的每幀圖像，提取每幀圖像作為輿情圖像。
7.根據(jù)權(quán)利要求6所述的一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別系統(tǒng)，其特征在于，所述輿情圖像的預(yù)處理步驟為：
8.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別系統(tǒng)，其特征
9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至4任一項(xiàng)所述的方法。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至4任一項(xiàng)所述的方法。
...【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，其特征在于，對(duì)輿情視頻進(jìn)行分幀采集得到輿情視頻的每幀圖像，提取每幀圖像作為輿情圖像。
3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，其特征在于，所述輿情圖像的預(yù)處理步驟為：
4.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別方法，其特征在于，所述輿情圖像信息識(shí)別模型基于長(zhǎng)短期記憶網(wǎng)絡(luò)構(gòu)建；
5.一種基于深度學(xué)習(xí)的輿情圖像信息識(shí)別系統(tǒng)，其特征在于，包括數(shù)據(jù)采集模塊、訓(xùn)練集構(gòu)建模塊、模型訓(xùn)練模塊以及輿情圖像信息識(shí)別模塊；
6.根據(jù)權(quán)利要求5所述的一種基于深...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：馬崇瑞，熊祥川，程平，吳輝，蘇婷，陳義發(fā)，何鵬，
申請(qǐng)(專利權(quán))人：福建億榕信息技術(shù)有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。