【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及圖像特征處理，尤其涉及一種基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法、系統(tǒng)及介質(zhì)。
技術(shù)介紹
1、當(dāng)用戶在系統(tǒng)上查找資源時(shí)，由于系統(tǒng)收集的材料多為非結(jié)構(gòu)化數(shù)據(jù)，一般的查詢功能只能根據(jù)關(guān)鍵詞去匹配文件名稱，無法根據(jù)文件內(nèi)容查找，特別是圖像格式的。以至于用戶查找資料時(shí)總是找不全或者找不對，導(dǎo)致系統(tǒng)里的大量數(shù)據(jù)沒有充分利用。
2、當(dāng)使用傳統(tǒng)的多模態(tài)數(shù)據(jù)處理技術(shù)來收集圖像格式文件內(nèi)的數(shù)據(jù)時(shí)，傳統(tǒng)的多模態(tài)數(shù)據(jù)處理技術(shù)僅局限于對某一類圖像的處理，如處理地圖圖像或者動物圖像。但是實(shí)際情況中，收集上來數(shù)據(jù)雖然都是圖像，往往存在多種類型的圖像，有的是拍的一張表格內(nèi)容，有的是拍的一封文件函，有的是掃描件，還有的是地圖之類的。雖然都是圖像格式但屬于異質(zhì)數(shù)據(jù)，當(dāng)使用一種多模態(tài)數(shù)據(jù)處理技術(shù)來處理這種異質(zhì)數(shù)據(jù)時(shí)，無法充分捕捉和表示圖像中的信息，從而可能導(dǎo)致信息丟失或者誤識別，造成特征表達(dá)不足的問題，導(dǎo)致最終處理結(jié)果的質(zhì)量下降。
3、因此，亟需一種基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法、系統(tǒng)及介質(zhì)，以解決由于傳統(tǒng)多模態(tài)數(shù)據(jù)處理技術(shù)無法識別多種類型的數(shù)據(jù)圖像，進(jìn)而無法在用戶查找數(shù)據(jù)時(shí)提供多類型數(shù)據(jù)圖像的問題。
技術(shù)實(shí)現(xiàn)思路
1、針對現(xiàn)有技術(shù)的上述不足，本申請?zhí)峁┮环N基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法、系統(tǒng)及介質(zhì)，以解決由于傳統(tǒng)多模態(tài)數(shù)據(jù)處理技術(shù)無法識別多種類型的數(shù)據(jù)圖像，進(jìn)而無法在用戶查找數(shù)據(jù)時(shí)提供多類型數(shù)據(jù)圖像的問題。
2、第一方面，本申請?zhí)峁┝艘环N基于深度學(xué)習(xí)的多模態(tài)數(shù)
3、獲取各個(gè)類型的數(shù)據(jù)圖像，基于數(shù)據(jù)圖像的具體類型確定對應(yīng)的圖像預(yù)處理算法，將數(shù)據(jù)圖像轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)；其中，數(shù)據(jù)圖像的類型至少包括文本類數(shù)據(jù)圖像、表格類數(shù)據(jù)圖像和地圖類數(shù)據(jù)圖像；向結(jié)構(gòu)化數(shù)據(jù)添加標(biāo)簽數(shù)據(jù)；根據(jù)結(jié)構(gòu)化數(shù)據(jù)對應(yīng)的圖像類型，確定對應(yīng)的特征提取算法，獲得各個(gè)圖像類型對應(yīng)的特征數(shù)據(jù)集合；其中，特征數(shù)據(jù)集合包含標(biāo)簽數(shù)據(jù)；獲取對齊因子，進(jìn)而根據(jù)對齊因子，獲取同屬于相同對齊因子的若干特征數(shù)據(jù)集合；其中，對齊因子至少包括以下任意一項(xiàng)或多項(xiàng)：時(shí)間、唯一標(biāo)識符、預(yù)設(shè)內(nèi)容關(guān)鍵詞、事件名稱、對象名稱、地理坐標(biāo)、區(qū)域范圍；將同屬于相同對齊因子的若干特征數(shù)據(jù)集合，拼接成一個(gè)特征向量，獲得特征向量的歸一化數(shù)據(jù)矩陣、協(xié)方差矩陣；通過協(xié)方差矩陣，計(jì)算獲得主成分空間，將歸一化數(shù)據(jù)矩陣投影到主成分空間中，獲得降維后的數(shù)據(jù)矩陣；通過降維后的數(shù)據(jù)矩陣和對應(yīng)的標(biāo)簽數(shù)據(jù)，訓(xùn)練預(yù)設(shè)深度學(xué)習(xí)模型，獲得訓(xùn)練好的預(yù)設(shè)深度學(xué)習(xí)模型；當(dāng)進(jìn)行用戶檢索信息時(shí)，根據(jù)用戶檢索信息，確定對應(yīng)的對齊因子，進(jìn)而確定對應(yīng)的降維后的數(shù)據(jù)矩陣；將降維后的數(shù)據(jù)矩陣作為訓(xùn)練好的預(yù)設(shè)深度學(xué)習(xí)模型的輸入，獲得標(biāo)簽數(shù)據(jù)；進(jìn)而獲取標(biāo)簽數(shù)據(jù)對應(yīng)的各個(gè)類型的數(shù)據(jù)圖像。
4、本申請實(shí)施例提供的多模態(tài)數(shù)據(jù)特征處理方法，本申請?zhí)峁┝颂幚聿煌愋蛿?shù)據(jù)圖像的圖像預(yù)處理算法，能夠?qū)⒉煌愋偷臄?shù)據(jù)圖像轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，能夠處理有文本類數(shù)據(jù)圖像、表格類數(shù)據(jù)圖像、地圖類數(shù)據(jù)圖像等數(shù)據(jù)圖像；另外，針對不同類型的數(shù)據(jù)圖像設(shè)置對應(yīng)的特征提取算法，在提取各個(gè)模態(tài)的特征之后，可以根據(jù)實(shí)際需求選擇不同的對齊因子進(jìn)行對齊，將它們對齊在一起，確保不同模態(tài)的數(shù)據(jù)能夠?qū)?yīng)到同一個(gè)實(shí)體或事件上，從而保證后面融合后的特征是有意義的。對齊的目的是確保不同模態(tài)的信息可以相互補(bǔ)充和支持，從而提供更完整和一致的數(shù)據(jù)表示。通過訓(xùn)練好的預(yù)設(shè)深度學(xué)習(xí)模型，將后續(xù)用戶的實(shí)際需求對應(yīng)的降維后的數(shù)據(jù)矩陣作為輸入，獲得用戶的實(shí)際需求對應(yīng)的標(biāo)簽數(shù)據(jù)，進(jìn)而獲取標(biāo)簽數(shù)據(jù)對應(yīng)的各個(gè)類型的數(shù)據(jù)圖像，解決了在用戶查找數(shù)據(jù)時(shí)無法提供多類型數(shù)據(jù)圖像的問題。
5、在本申請的一種實(shí)現(xiàn)方式中，獲取各個(gè)類型的數(shù)據(jù)圖像，基于數(shù)據(jù)圖像的具體類型確定對應(yīng)的圖像預(yù)處理算法，將數(shù)據(jù)圖像轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，具體包括：
6、當(dāng)數(shù)據(jù)圖像為文本類數(shù)據(jù)圖像時(shí)，通過ocr技術(shù)將文本類數(shù)據(jù)圖像轉(zhuǎn)換成可編輯的文本格式的結(jié)構(gòu)化數(shù)據(jù)；當(dāng)數(shù)據(jù)圖像為表格類數(shù)據(jù)圖像時(shí)，通過圖像預(yù)處理，對表格類數(shù)據(jù)圖像進(jìn)行灰度化和二值化處理，將彩色表格類數(shù)據(jù)圖像轉(zhuǎn)換為黑白表格類數(shù)據(jù)圖像；使用中值濾波技術(shù)去除表格類數(shù)據(jù)圖像中的噪點(diǎn)，并校正表格類數(shù)據(jù)圖像的傾斜情況；使用邊緣檢測算法找到表格類數(shù)據(jù)圖像中的線條，使用hough直線檢測算法檢測線條中的直線，使用輪廓檢測功能，找出直線中所有閉合的輪廓；剪裁出每一個(gè)閉合的輪廓，使用ocr技術(shù)識別每個(gè)閉合的輪廓中的文字，進(jìn)而獲得表格類數(shù)據(jù)圖像對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)；當(dāng)數(shù)據(jù)圖像為地圖類數(shù)據(jù)圖像時(shí)，使用地理信息系統(tǒng)技術(shù)并結(jié)合ocr技術(shù)，提取地圖類數(shù)據(jù)圖像中的地理信息，作為當(dāng)前數(shù)據(jù)圖像的結(jié)構(gòu)化數(shù)據(jù)；其中，地理信息至少包括經(jīng)度、緯度、街道名稱、街道號。
7、在本申請的一種實(shí)現(xiàn)方式中，向結(jié)構(gòu)化數(shù)據(jù)添加標(biāo)簽數(shù)據(jù)，具體包括：通過預(yù)設(shè)數(shù)據(jù)上傳終端，獲取各個(gè)結(jié)構(gòu)化數(shù)據(jù)對應(yīng)的標(biāo)簽數(shù)據(jù)；以及通過預(yù)設(shè)語義識別算法，識別結(jié)構(gòu)化數(shù)據(jù)對應(yīng)的預(yù)設(shè)標(biāo)注關(guān)鍵字，確定預(yù)設(shè)標(biāo)注關(guān)鍵字對應(yīng)的標(biāo)簽數(shù)據(jù)為當(dāng)前結(jié)構(gòu)化數(shù)據(jù)對應(yīng)的標(biāo)簽數(shù)據(jù)。
8、在本申請的一種實(shí)現(xiàn)方式中，根據(jù)結(jié)構(gòu)化數(shù)據(jù)對應(yīng)的圖像類型，確定對應(yīng)的特征提取算法，獲得各個(gè)圖像類型對應(yīng)的特征數(shù)據(jù)集合，具體包括：
9、當(dāng)結(jié)構(gòu)化數(shù)據(jù)對應(yīng)文本類數(shù)據(jù)圖像時(shí)，調(diào)用文本特征提取算法，提取結(jié)構(gòu)化數(shù)據(jù)中的向量特征數(shù)據(jù)，生成當(dāng)前文本類數(shù)據(jù)圖像對應(yīng)的特征數(shù)據(jù)集合；當(dāng)結(jié)構(gòu)化數(shù)據(jù)對應(yīng)表格類數(shù)據(jù)圖像時(shí)，識別各列數(shù)據(jù)類型；其中，數(shù)據(jù)類型至少包括：數(shù)值型、類別型；使用歸一化處理將數(shù)值型結(jié)構(gòu)化數(shù)據(jù)處理為特征數(shù)據(jù)；使用獨(dú)熱編碼將類別型結(jié)構(gòu)化數(shù)據(jù)處理為二進(jìn)制特征數(shù)據(jù)，獲得當(dāng)前表格類數(shù)據(jù)圖像對應(yīng)的特征數(shù)據(jù)集合；當(dāng)結(jié)構(gòu)化數(shù)據(jù)對應(yīng)地圖類數(shù)據(jù)圖像時(shí)，從結(jié)構(gòu)化數(shù)據(jù)中提取地理坐標(biāo)特征、區(qū)域?qū)傩蕴卣鳎煌ㄟ^包含當(dāng)前地理坐標(biāo)特征的預(yù)設(shè)地理坐標(biāo)特征集合、k-means聚類算法，確定當(dāng)前地理坐標(biāo)對應(yīng)的預(yù)設(shè)聚類標(biāo)簽；通過包含當(dāng)前地理坐標(biāo)特征的預(yù)設(shè)地理坐標(biāo)特征集合和haversine方法，獲得距離當(dāng)前地理坐標(biāo)特征最近的預(yù)設(shè)數(shù)量個(gè)地理坐標(biāo)特征作為空間關(guān)系特征；將地理坐標(biāo)特征、區(qū)域?qū)傩蕴卣鳌㈩A(yù)設(shè)聚類標(biāo)簽和空間關(guān)系特征添加至當(dāng)前地圖類數(shù)據(jù)圖像對應(yīng)的特征數(shù)據(jù)集合。
10、在本申請的一種實(shí)現(xiàn)方式中，在獲取對齊因子，進(jìn)而根據(jù)對齊因子，獲取同屬于相同對齊因子的若干特征數(shù)據(jù)集合之后，方法包括：
11、確認(rèn)同屬于相同對齊因子的若干特征數(shù)據(jù)集合中的數(shù)據(jù)格式是否一致；當(dāng)存在數(shù)據(jù)格式不一致時(shí)，將不一致的數(shù)據(jù)格式修改為預(yù)設(shè)統(tǒng)一格式。
12、在本申請的一種實(shí)現(xiàn)方式中，將同屬于相同對齊因子的若干特征數(shù)據(jù)集合，拼接成一個(gè)特征向量，獲得特征向量的歸一化數(shù)據(jù)矩陣、協(xié)方差矩陣；通過協(xié)方差矩陣，計(jì)算獲得主成分空間，將歸一化數(shù)據(jù)矩陣投影到主成分空間中，獲得降維后的數(shù)據(jù)矩陣，具體包括：
13、將同屬于相同對齊因子的若干特征數(shù)據(jù)集合中的關(guān)鍵詞拼接在一起，生成一個(gè)總特征集合，將總特征集合轉(zhuǎn)換為特征向量；其中，特征向量為n個(gè)特征數(shù)據(jù)集合的m個(gè)特征數(shù)量的數(shù)據(jù)矩陣；使用本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，獲取各個(gè)類型的數(shù)據(jù)圖像，基于數(shù)據(jù)圖像的具體類型確定對應(yīng)的圖像預(yù)處理算法，將數(shù)據(jù)圖像轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，具體包括：
3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，向結(jié)構(gòu)化數(shù)據(jù)添加標(biāo)簽數(shù)據(jù)，具體包括：
4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，根據(jù)結(jié)構(gòu)化數(shù)據(jù)對應(yīng)的圖像類型，確定對應(yīng)的特征提取算法，獲得各個(gè)圖像類型對應(yīng)的特征數(shù)據(jù)集合，具體包括：
5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，在獲取對齊因子，進(jìn)而根據(jù)對齊因子，獲取同屬于相同對齊因子的若干特征數(shù)據(jù)集合之后，所述方法包括：
6.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，將同屬于相同對齊因子的若干特征數(shù)據(jù)集合，拼接成一個(gè)特征向量，獲得特征向量的歸一化數(shù)據(jù)矩陣、協(xié)方差矩陣；通過協(xié)方差矩陣，計(jì)算獲得主成分空間，將歸
7.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，當(dāng)進(jìn)行用戶檢索信息時(shí)，根據(jù)用戶檢索信息，確定對應(yīng)的對齊因子，進(jìn)而確定對應(yīng)的降維后的數(shù)據(jù)矩陣，具體包括：
8.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，在獲取標(biāo)簽數(shù)據(jù)對應(yīng)的各個(gè)類型的數(shù)據(jù)圖像之后，所述方法還包括：
9.一種基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理系統(tǒng)，其特征在于，所述系統(tǒng)包括：
10.一種非易失性計(jì)算機(jī)存儲介質(zhì)，其特征在于，其上存儲有計(jì)算機(jī)指令，所述計(jì)算機(jī)指令在被執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-8任一項(xiàng)所述的一種基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法。
...【技術(shù)特征摘要】
1.一種基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，獲取各個(gè)類型的數(shù)據(jù)圖像，基于數(shù)據(jù)圖像的具體類型確定對應(yīng)的圖像預(yù)處理算法，將數(shù)據(jù)圖像轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)，具體包括：
3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，向結(jié)構(gòu)化數(shù)據(jù)添加標(biāo)簽數(shù)據(jù)，具體包括：
4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，根據(jù)結(jié)構(gòu)化數(shù)據(jù)對應(yīng)的圖像類型，確定對應(yīng)的特征提取算法，獲得各個(gè)圖像類型對應(yīng)的特征數(shù)據(jù)集合，具體包括：
5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處理方法，其特征在于，在獲取對齊因子，進(jìn)而根據(jù)對齊因子，獲取同屬于相同對齊因子的若干特征數(shù)據(jù)集合之后，所述方法包括：
6.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多模態(tài)數(shù)據(jù)特征處...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：章敏，賈曉豐，范軍，李凝云，周沫，宋冠熹，
申請(專利權(quán))人：北京市大數(shù)據(jù)中心，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。