【技術實現步驟摘要】
本專利技術涉及數據處理及可視化展示，具體地說是一種非結構化文件解析與可視化展示方法、系統、設備及介質。
技術介紹
1、針對不同類型的非結構化文件的元數據提取處理，需要設計特定的預處理算法或流程，特別是數據清洗、轉換等過程中，數據處理通常比較復雜且不易于管理，數據也不易整合。
2、在非結構化文件數據不同的應用場景中，對同一元數據往往需要根據需求進行額外的預處理方可使用，且各種預處理方案的重復冗余很大程度上增加了工作量，而且不一致的處理方法和工具的多樣性可能導致數據處理結果的不一致性，不僅影響數據分析的準確性，也降低了數據分析的效率，更不能滿足對用戶需求的動態變化的快速靈活響應。
3、故如何提升非結構化文件的處理效率，增強數據的整合與分析能力，最終改善數據驅動決策的響應速度與質量是目前亟待解決的技術問題。
技術實現思路
1、本專利技術的技術任務是提供一種非結構化文件解析與可視化展示方法、系統、設備及介質，來解決如何提升非結構化文件的處理效率，增強數據的整合與分析能力，最終改善數據驅動決策的響應速度與質量的問題。
2、本專利技術的技術任務是按以下方式實現的，一種非結構化文件解析與可視化展示方法，該方法是將非結構化文件導入集成解析器中，通過集成解析器提取各種類型的非結構化文件的元數據，轉化為結構化數據存儲至任意目標數據源，再利用sql查詢或api接口查詢，經過多種腳本轉換工具生成數據集，在大屏和報表設計中調用，實現對非結構化文件數據的可視化分析展示。p>
3、作為優選，將非結構化文件導入集成解析器中，通過集成解析器提取各種類型的非結構化文件的元數據，轉化為結構化數據存儲至任意目標數據源具體如下：
4、集成解析器集成antlr、ocr多種解析工具，根據文件模型選擇解析工具，完成元數據提取；
5、對元數據進行預處理，并根據需求選擇有效的元數據信息；
6、通過設置表名、表字段及字段類型構建結構化存儲的基礎信息；
7、選擇元數據的目標數據源，完成非結構化文件數據到結構化數據的存儲；
8、選擇更新數據，重新導入新的非結構化文件，并根據表字段信息，選擇元數據記錄，更新目標表數據內容；
9、字段管理過程中，進行表字段數據類型的修改及刪除操作；
10、通過數據預覽查看非結構化文件提取的元數據記錄。
11、更優地，根據文件模型選擇解析工具情況如下：
12、對于日志文件及電子郵件，選擇antlr語法解析器，提取日志中的關鍵字信息及郵件的主題及發件人信息；
13、對于圖像文件，選擇ocr工具提取圖片上的拍攝時間、地點及大小基本信息及票據號碼及車牌號的關鍵信息。
14、作為優選，生成數據集具體如下：
15、選擇非結構化文件數據所在的數據源；
16、編寫sql查詢語句，查詢語句中添加動態參數，同時提供動態參數查詢的預設功能，方便數據的預覽；
17、通過數據預覽查看獲取到的數據；
18、當數據不滿足要求時，通過數據轉換對數據進行過濾；其中，數據轉換提供java腳本、js腳本和字典項翻譯三種方式，每種方式均可多次使用，實現串聯過濾；過濾方式配置完成后，進行數據預覽，查看過濾效果。
19、作為優選，在大屏和報表設計中調用，實現對非結構化文件數據的可視化分析展示具體如下：
20、大屏設計的圖表數據配置時，直接選擇數據集，將數據集的字段與圖表對應完成數據配置，進行數據分析展示；
21、報表設計時，選擇數據集的字段拖拽到報表的相關位置，將實際數據表中的數據進行展示。
22、一種非結構化文件解析與可視化展示系統，該系統包括：
23、非結構化文件處理模塊，用于將非結構化文件數據轉為結構化數據存儲到數據源中，并通過集成解析器提取出有效元數據，存儲到數據源中，實現結構化數據統一管理；其中，集成解析器適用于多種不同數據結構的非結構化文件；
24、元數據存儲模塊，用于不同數據源的接入，并通過配置基礎的配置信息連接需要的數據庫；
25、數據集模塊，用于獲取數據并對數據進行再次處理，獲取數據后，根據需求對數據進行進一步處理和轉換，滿足大屏設計及報表分析對數據的要求；
26、場景應用模塊，用于用戶在大屏分析及報表設計中通過直接調用數據集信息，完成對非結構化文件數據的高效使用和展示。
27、作為優選，所述非結構化文件處理模塊根據文件模型選擇解析工具，情況如下：
28、對于日志文件及電子郵件，選擇antlr語法解析器，提取日志中的關鍵字信息及郵件的主題及發件人信息；
29、對于圖像文件，選擇ocr工具提取圖片上的拍攝時間、地點及大小基本信息及票據號碼及車牌號的關鍵信息。
30、更優地，所述數據集模塊通過sql查詢、api接口調用及數據轉化工具完成對非結構化文件元數據的轉換和整合。
31、一種電子設備，包括：存儲器和至少一個處理器；
32、其中，所述存儲器上存儲有計算機程序；
33、所述至少一個處理器執行所述存儲器存儲的計算機程序，使得所述至少一個處理器執行如上述的非結構化文件解析與可視化展示方法。
34、一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有計算機程序，所述計算機程序可被處理器執行以實現如上述的非結構化文件解析與可視化展示方法。
35、本專利技術的非結構化文件解析與可視化展示方法、系統、設備及介質具有以下優點：
36、(一)本專利技術過集成解析器對多種類型的非結構化文件進行解析處理，實現數據集對結構化和非結構化數據的無縫集成和統一處理，使得用戶在進行數據分析應用時，可以無須關注數據的復雜形態，直接在應用層通過數據集實現對數據的高效利用和分析，顯著提高了數據分析的智能化水平；
37、(二)本專利技術通過集成解析器提取各種類型的非結構化文件的元數據，存儲至任意目標數據源，實現元數據的存儲。同時，通過構建數據集，為用戶提供一個統一的、易于操作的數據管理與調用平臺，從而為大屏展示、報表分析等高級數據分析應用提供更加快速、靈活的工具與方法，旨在顯著提升非結構化文件的處理效率，增強數據的整合與分析能力，最終改善數據驅動決策的響應速度與質量；
38、(三)本專利技術的元數據存儲數據源提供了多種數據源的配置環境，方便各類非結構化數據的存儲；
39、(四)本專利技術根據數據庫的連接信息，修改表單中的信息，并輸入用戶密碼，然后點擊測試，如信息無誤，會提示連接成功；并支持mysql、clickhouse、達夢、神通，elasticsearch等11種常用的數據源類型；
40、(五)本專利技術的多種不同數據結構的非結構化文件都可以通過集成解析器提取元數據，并轉化為結構化數據進行統一存儲；
41、(六)本專利技術在大屏分析、報表設計等本文檔來自技高網...
【技術保護點】
1.一種非結構化文件解析與可視化展示方法，其特征在于，該方法是將非結構化文件導入集成解析器中，通過集成解析器提取各種類型的非結構化文件的元數據，轉化為結構化數據存儲至任意目標數據源，再利用SQL查詢或API接口查詢，經過多種腳本轉換工具生成數據集，在大屏和報表設計中調用，實現對非結構化文件數據的可視化分析展示。
2.根據權利要求1所述的非結構化文件解析與可視化展示方法，其特征在于，將非結構化文件導入集成解析器中，通過集成解析器提取各種類型的非結構化文件的元數據，轉化為結構化數據存儲至任意目標數據源具體如下：
3.根據權利要求2所述的非結構化文件解析與可視化展示方法，其特征在于，根據文件模型選擇解析工具情況如下：
4.根據權利要求1所述的非結構化文件解析與可視化展示方法，其特征在于，生成數據集具體如下：
5.根據權利要求1所述的非結構化文件解析與可視化展示方法，其特征在于，在大屏和報表設計中調用，實現對非結構化文件數據的可視化分析展示具體如下：
6.一種非結構化文件解析與可視化展示系統，其特征在于，該系統包括：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。