【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)具體涉及一種基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，屬于數(shù)據(jù)處理。
技術(shù)介紹
1、隨著信息交互越來越頻繁，海量的圖片和文字借助網(wǎng)絡(luò)進行相互傳遞，各個公網(wǎng)平臺每天需要接收和展示海量的圖片和文字，再如利用郵箱或溝通軟件可進行任意圖片和文字的收發(fā)，為了使用戶遵守圖片上傳要求，避免敏感數(shù)據(jù)展示到公網(wǎng)平臺前端，需要對圖片和文字進行審核；另外，對于具有保密要求的用戶，在數(shù)據(jù)交互時，需要對發(fā)送內(nèi)容進行監(jiān)測，避免出現(xiàn)信息泄漏的問題；現(xiàn)有技術(shù)中，對于數(shù)據(jù)交互內(nèi)容監(jiān)測的系統(tǒng)，如中國專利公開號：cn115567284a，公開了一種基于文字及圖片的內(nèi)容安全過濾方法及系統(tǒng)，所述方法包括：獲取待傳輸數(shù)據(jù)；對待核驗文字信息進行關(guān)鍵字核查，得到文字安全檢測結(jié)果；進行圖像識別，提取圖像內(nèi)容，進行圖片內(nèi)容核查，得到圖片安全監(jiān)測結(jié)果；獲取接收數(shù)據(jù)用戶權(quán)限，對待核驗文字信息和待核驗圖片信息進行屏蔽處理，并發(fā)送；該系統(tǒng)能夠?qū)崿F(xiàn)對敏感數(shù)據(jù)進行監(jiān)測和屏蔽處理，但該過濾方法對圖片中，文字內(nèi)容數(shù)據(jù)提取能夠保證精度，而無法實現(xiàn)對圖片內(nèi)容中非文字內(nèi)容進行高效精確識別，容易出現(xiàn)圖片內(nèi)容無法判別或識別精度不高的問題。
技術(shù)實現(xiàn)思路
1、為解決上述問題，本專利技術(shù)提出了一種基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，能夠快速對圖片內(nèi)容進行安全判定，且安全判定精度高。
2、本專利技術(shù)的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，包括圖片采集單元，所述圖片采集單元接入到安全監(jiān)測系統(tǒng)，安全監(jiān)測系統(tǒng)植入數(shù)據(jù)交互的發(fā)送端或接收端，圖片采集單元
3、圖片分類單元，所述圖片分類單元獲取到圖片后，將圖片內(nèi)容劃分為n個區(qū)域，獲得圖片所有區(qū)域，并對區(qū)域進行識別，得到識別圖片組，所述識別圖片組由n個區(qū)域圖片組成，每個區(qū)域圖片存在一個分類區(qū)域；
4、圖片分類單元只執(zhí)行大的分類，如將某一張含有人物、動物、植物和工具等內(nèi)容的圖片送入到圖片分類單元，圖片分類單元獲取圖片后，依次生成具備單獨特征的區(qū)域圖片，如人物區(qū)域圖片、動物區(qū)域圖片、植物區(qū)域圖片和工具區(qū)域圖片等區(qū)域圖片；圖片分類模型可利用現(xiàn)有訓(xùn)練好的識萬物軟件模型或根據(jù)應(yīng)用需求，自行訓(xùn)練的圖片分類模型，如由resnet50網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過訓(xùn)練構(gòu)成的圖像分類模型；圖片分類單元只進行區(qū)域圖片獲取，并對區(qū)域圖片的特征進行識別，如圖片分類單元分類生成人物區(qū)域圖片后，不對人物區(qū)域圖片進行特征識別，如不判定人物臉部表情、人物手勢、人物衣著等特征；從而大大提高圖片分類單元的分類效率，能夠快速生成與輸入圖片對應(yīng)的多張設(shè)定尺寸的區(qū)域圖片，形成圖片組；
5、圖像內(nèi)容識別單元，所述圖像內(nèi)容識別單元包括任務(wù)派發(fā)單元和多個特征識別單元；每個所述特征識別單元內(nèi)置有注意力機制單元，當任務(wù)派發(fā)單元獲取識別圖片組，并根據(jù)圖片組的分類，將n個區(qū)域圖片送入對應(yīng)的特征識別單元；特征識別單元獲取到區(qū)域圖片后，并通過注意力機制單元運算，接著對區(qū)域圖片進行識別，輸出區(qū)域圖片內(nèi)容，所述圖片內(nèi)容包括文字內(nèi)容和特征數(shù)據(jù)；所述圖像內(nèi)容識別單元獲取全部出區(qū)域圖片內(nèi)容，并將圖片內(nèi)容映射到原始圖片的位置關(guān)系中，得到矩陣數(shù)據(jù)組；
6、當任務(wù)派發(fā)單元獲取識別圖片組后，分別送入到相應(yīng)的特征識別單元；如將人物區(qū)域圖片送入到人物特征識別單元，將動物區(qū)域圖片送入到動物特征識別單元；植物區(qū)域圖片送入到植物特征識別單元；工具區(qū)域圖片送入到工具特征識別單元；特征識別單元獲取到區(qū)域圖片后，如人物特征識別單元獲取到人物區(qū)域圖片，接著，引入注意力機制單元，通過多頭的注意力機制單元將人物區(qū)域圖片的臉部、手部、身體隱私部位和衣著服飾等作為重點區(qū)域；人物特征識別單元對重點區(qū)域進行識別，能夠提高識別效率和識別精度，識別后，得到文字內(nèi)容和/或特征數(shù)據(jù)；再如工具區(qū)域圖片送入到工具特征識別單元，通過多頭的注意力機制單元將工具區(qū)域圖片的頭部、中間段和尾部作為重點區(qū)域；快速判定工具是否屬于管制刀具的特征數(shù)據(jù)，及判定工具是否存在暴力血腥的特征數(shù)據(jù)；
7、安全判定單元，所述安全判定單元獲取到矩陣數(shù)據(jù)組后，對矩陣數(shù)據(jù)組進行安全判定，當出現(xiàn)敏感數(shù)據(jù)時，發(fā)出風(fēng)險指令；否則默認圖片內(nèi)容安全；安全判定單元根據(jù)矩陣數(shù)據(jù)組判定是否存在敏感數(shù)據(jù)；如果存在，則發(fā)出風(fēng)險指令，需人工確認無風(fēng)險后，才能夠進行圖片發(fā)送或上傳到平臺。
8、進一步地，所述安全判定單元包括敏感數(shù)據(jù)判定單元和單元塊判定單元；所述文字內(nèi)容輸入到敏感數(shù)據(jù)判定單元；所述特征數(shù)據(jù)組輸入到單元塊判定單元，所述單元塊判定單元包括：
9、圖片特征轉(zhuǎn)換單元，所述圖片特征轉(zhuǎn)換單元連接到鍵值字典庫，所述圖片特征轉(zhuǎn)換單元先獲取輸入圖片的全部特征數(shù)據(jù)和特征數(shù)據(jù)的位置關(guān)系，接著，將特征數(shù)據(jù)作為索引，比對鍵值字典庫，將每個特征數(shù)據(jù)匹配一個鍵值，輸出鍵值數(shù)據(jù)組；所述鍵值數(shù)據(jù)組中的每一個數(shù)據(jù)單元包括鍵值數(shù)據(jù)和位置賦值；當某一特征未被識別時，此次監(jiān)測運算忽略該特征，并對該特征進行登記候補；
10、安全判定模塊，所述安全判定模塊包括快速判定模塊和深檢判定模塊，所述深檢判定模塊包括特征分布監(jiān)測單元、位置監(jiān)測單元和關(guān)聯(lián)監(jiān)測單元；所述快速判定模塊工作過程如下：
11、所述快速判定模塊獲取鍵值數(shù)據(jù)組后，將鍵值數(shù)據(jù)組的每一個鍵值數(shù)據(jù)遍歷敏感字典庫，當某一個鍵值數(shù)據(jù)被檢索到后，快速判定模塊發(fā)出風(fēng)險指令；
12、當快速判定模塊沒有發(fā)出風(fēng)險指令時，直接發(fā)出安全指令或進入深檢判定模塊，選擇觸發(fā)深檢判定模塊時，進入特征分布監(jiān)測單元、位置監(jiān)測單元和關(guān)聯(lián)監(jiān)測單元中的至少一個；當深檢判定模塊監(jiān)測到風(fēng)險特征后，發(fā)出風(fēng)險指令，當深檢判定模塊沒有被檢索到風(fēng)險特征后，輸出安全指令；完成圖片內(nèi)容安全審核；
13、所述特征分布監(jiān)測單元連接特征權(quán)重字典庫，并預(yù)先設(shè)定第一權(quán)重閾值，所述特征分布監(jiān)測單元獲取鍵值數(shù)據(jù)組，并對鍵值數(shù)據(jù)組的每一個鍵值遍歷特征權(quán)重字典庫，得到權(quán)重數(shù)據(jù)組；接著，統(tǒng)計權(quán)重數(shù)據(jù)組中超過第一權(quán)重閾值的數(shù)量；當數(shù)量達到設(shè)定值時，發(fā)出風(fēng)險指令，否則輸出輸出安全指令；
14、所述位置監(jiān)測單元工作時，所述數(shù)據(jù)單元輸入到位置監(jiān)測單元，位置監(jiān)測單元根據(jù)位置賦值將行相鄰或縱相鄰的兩個鍵值形成一個組合，并通過比對關(guān)聯(lián)數(shù)據(jù)庫，判定該組合是否被關(guān)聯(lián)數(shù)據(jù)庫中的數(shù)據(jù)命中，如果命中，則發(fā)出風(fēng)險指令，否則輸出輸出安全指令；
15、所述關(guān)聯(lián)監(jiān)測單元連接關(guān)聯(lián)數(shù)據(jù)庫，并預(yù)先設(shè)定第二權(quán)重閾值，所述第二權(quán)重閾值小于第一權(quán)重閾值；關(guān)聯(lián)監(jiān)測單元獲取鍵值數(shù)據(jù)組中超過權(quán)重閾值的鍵值數(shù)據(jù)，并通過遍歷隨機組合數(shù)據(jù)庫，判定鍵值數(shù)據(jù)組中的鍵值數(shù)據(jù)所有組合是否存在與隨機組合數(shù)據(jù)庫中的存在一致的組合，如果命中，發(fā)出風(fēng)險指令，否則輸出輸出安全指令；所述關(guān)聯(lián)數(shù)據(jù)庫為隨機組合數(shù)據(jù)庫的真子集。
16、進一步地，所述圖片分類單元包括由resnet50網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過訓(xùn)練構(gòu)成的本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：包括圖片采集單元，所述圖片采集單元接入到安全監(jiān)測系統(tǒng)，所述安全監(jiān)測系統(tǒng)包括：
2.根據(jù)權(quán)利要求1所述的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：所述安全判定單元包括敏感數(shù)據(jù)判定單元和單元塊判定單元；所述文字內(nèi)容輸入到敏感數(shù)據(jù)判定單元；所述特征數(shù)據(jù)組輸入到單元塊判定單元，所述單元塊判定單元包括：
3.根據(jù)權(quán)利要求1所述的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：所述圖片分類單元包括由ResNet50網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過訓(xùn)練構(gòu)成的圖像分類模型；所述圖片分類單元完成圖片內(nèi)容分類，并截取各個分類對象形成識別圖片組；所述特征識別單元由YOLOV3模型或YOLOV5模型構(gòu)成；所述注意力機制單元由CAM模塊和SAM模塊中的一個或兩個組合構(gòu)成。
4.根據(jù)權(quán)利要求1所述的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：所述特征識別單元識別對象為文字內(nèi)容時，特征識別單元為OCR識別單元；所述特征識別單元識別對象為非文字內(nèi)容時，所述特征識別單元為特征提取單元；所述非文字內(nèi)容的區(qū)域圖片先通過注意力機制
5.根據(jù)權(quán)利要求1所述的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：所述敏感數(shù)據(jù)判定單元連接敏感字符字典庫，所述敏感字符字典庫內(nèi)置有敏感字符、詞組和語句。
6.根據(jù)權(quán)利要求1所述的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：所述單元塊判定單元包括安全監(jiān)測模式選擇單元，所述安全監(jiān)測模式選擇單元包括：
7.根據(jù)權(quán)利要求1所述的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：所述登記候補過程如下，當特征未被識別時，輸出未被識別的特征數(shù)據(jù)，并手動對特征數(shù)據(jù)設(shè)定識別字符、識別字符的鍵值和權(quán)重值，并自動更新到特征權(quán)重字典庫和隨機組合數(shù)據(jù)庫。
...【技術(shù)特征摘要】
1.一種基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：包括圖片采集單元，所述圖片采集單元接入到安全監(jiān)測系統(tǒng)，所述安全監(jiān)測系統(tǒng)包括：
2.根據(jù)權(quán)利要求1所述的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：所述安全判定單元包括敏感數(shù)據(jù)判定單元和單元塊判定單元；所述文字內(nèi)容輸入到敏感數(shù)據(jù)判定單元；所述特征數(shù)據(jù)組輸入到單元塊判定單元，所述單元塊判定單元包括：
3.根據(jù)權(quán)利要求1所述的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：所述圖片分類單元包括由resnet50網(wǎng)絡(luò)結(jié)構(gòu)經(jīng)過訓(xùn)練構(gòu)成的圖像分類模型；所述圖片分類單元完成圖片內(nèi)容分類，并截取各個分類對象形成識別圖片組；所述特征識別單元由yolov3模型或yolov5模型構(gòu)成；所述注意力機制單元由cam模塊和sam模塊中的一個或兩個組合構(gòu)成。
4.根據(jù)權(quán)利要求1所述的基于注意力機制的圖片內(nèi)容安全監(jiān)測系統(tǒng)，其特征在于：所述特征識別單元識別對象為文字內(nèi)容時，特征識別單元為ocr識別單元；所述特征識別單元識別對象為非文字內(nèi)容時，所述特征識別單元為特征提取單元；所述非...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄧國強，陳明，楊祎，
申請(專利權(quán))人：濟南抖度信息科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。