【技術實現步驟摘要】
本專利技術涉及java?web應用開發，具體為一種高質量目錄標注的方法及系統。
技術介紹
1、在當前的信息化環境中，各類數據目錄作為信息資源的索引和導航，對于數據的組織、管理和利用起著至關重要的作用。然而，隨著數據量的快速增長和數據來源的多樣化，部門基礎目錄數據的質量問題日益凸顯。這些問題包括但不限于目錄編制不規范、資源掛接錯誤或缺失、數據質量參差不齊、更新不及時以及數據安全定級缺失等。這些問題不僅影響了數據的可用性和可信度，還增加了數據管理和利用的難度和成本。
2、傳統的目錄管理方法往往依賴于人工審核和標注，這種方式不僅效率低下，而且容易出錯，難以滿足大規模數據目錄管理的需求。因此，迫切需要一種自動化、標準化、可量化的高質量目錄標注系統，以實現對目錄質量的全面檢測、評估和持續改進。
技術實現思路
1、本專利技術的目的在于提供一種高質量目錄標注的方法及系統，以解決上述
技術介紹
中提出的問題。
2、為實現上述目的，本專利技術提供如下技術方案：一種高質量目錄標注的方法，所述方法包括以下步驟：
3、制定質量檢測規則，包括目錄編制質量規則、資源掛接情況規則、資源數據質量規則、數據更新及時性規則、數據安全定級情況規則以及用戶自定義檢測規則；
4、對目錄數據進行整合，定義目錄數據模型和統一標準，并將數據抽取到中間數據庫，以保證數據的全量和一致性；
5、對數據進行預處理，包括刪除重復值、排除特殊字符、處理信息項缺失數據清洗工作，并建立預處
6、采用定時任務調度工具對目錄質量進行定期檢測，根據預設的檢測周期和檢測規則，對目錄進行批量查詢和檢測，生成檢測結果；
7、根據檢測結果計算目錄質量得分，得分基于用戶設置的指標權重和每項檢測規則的得分計算得出；
8、生成質量報告，包括部門檢測報告和目錄檢測報告，以可視化方式展示目錄質量狀況、問題分布、檢測不合格的規則及改進建議。
9、優選的，質量檢測規則中的目錄編制質量規則包括基本檢測項和其他檢測項，基本檢測項涉及目錄名稱、描述、數據項名稱的清晰性、準確性和規范性，其他檢測項包括目錄結構合理性、分類準確性。
10、優選的，數據預處理步驟采用openrefine工具進行，包括刪除重復值數據、排除特殊字符數據、處理信息項缺失數據，并將預處理結果分為正常數據和異常數據，異常數據推送給數據提供部門進行人工檢查。
11、優選的，目錄質量得分的計算方式包括將資源數據質量、數據安全定級情況、目錄編制質量、數據更新及時性和資源掛接情況按用戶設置的權重進行加權求和，得到總質量得分。
12、優選的，質量報告以可視化方式展示，包括折線圖、餅圖等，展示目錄質量狀況、問題分布、檢測不合格的規則top5，以及對每個質量不達標的目錄提供全面的分析報告，包括檢測不合格的規則、分析建議和改進措施。
13、一種高質量目錄標注系統，所述系統包括：
14、規則制定模塊，用于制定影響目錄質量的檢測規則及質量得分的細則，包括目錄編制質量規則、資源掛接情況規則、資源數據質量規則、數據更新及時性規則、數據安全定級情況規則以及用戶自定義檢測規則；
15、數據整合模塊，用于定義目錄數據模型和統一標準，并將整合后的目錄數據抽取到中間數據庫，以保證數據的全量和一致性；
16、數據預處理模塊，采用數據處理工具對數據進行預處理，包括刪除重復值、排除特殊字符、處理信息項缺失操作，并區分正常和異常數據，異常數據推送給數據提供部門進行人工檢查；
17、質量檢測模塊，通過定時任務調度工具定期執行質量檢測任務，根據預設的檢測規則和周期對目錄進行批量查詢和檢測，生成檢測結果；
18、質量評估與報告模塊，根據檢測結果計算目錄質量得分，并生成部門檢測報告和目錄檢測報告，以可視化方式展示目錄質量狀況、問題分布、檢測不合格的規則及改進建議。
19、優選的，質量檢測模塊進一步包括：
20、敏感數據檢測功能，使用基于相似度的算法和語義分析技術構建敏感信息文檔的指紋模型，對被測文檔或內容進行指紋抓取和比對，以確定是否包含敏感信息；
21、資源掛接情況檢測功能，通過接口查詢目錄下掛接的資源數量來判斷資源及接口掛接情況；
22、資源安全和質量檢測功能，根據提供的接口判斷資源安全級別和更新及時性，并根據預設的質量規則和權重計算質量得分。
23、優選的，質量評估與報告模塊還包括：
24、權重配置功能，允許用戶根據實際需求自定義質量指標的權重；
25、質量得分計算功能，根據用戶設置的指標權重和每項檢測得分計算總質量得分；
26、報告生成功能，生成部門檢測報告和目錄檢測報告，部門檢測報告展示所有目錄的檢測情況、問題分布及top5檢測規則，目錄檢測報告提供每個質量不達標目錄的全面分析報告。
27、優選的，數據整合模塊定義的目錄數據模型包括：
28、目錄基本信息，如目錄名稱、目錄id、所屬部門、目錄描述、信息項名稱、信息項長度；
29、資源信息，如掛接的資源名稱、資源id、更新情況；
30、服務信息，如服務名稱、服務id，確保所有目錄數據按照統一標準整合到中間數據庫。
31、優選的，系統支持自定義檢測周期，用戶根據自身數據更新周期或目錄編制周期，通過cron表達式設定檢測周期，以實現目錄質量的定期檢測和持續改進。
32、與現有技術相比，本專利技術的有益效果是：
33、本專利技術提出的高質量目錄標注的方法及系統，通過分析用戶使用目錄、數據的影響因素及政策法規中安全性的規定，制定了目錄質量檢測規則，包含了目錄編制的質量、掛接資源情況、數據安全級別等規則，提高目錄的質量，增強規范性和數據安全性保障，為用戶提供更加優質的數據資源。
34、通過制定嚴格的目錄編制質量規則，對目錄名稱、描述、數據項名稱等進行規范化要求，有效避免了目錄編制過程中的不規范現象，提升了目錄的準確性和可讀性。
35、通過資源掛接情況規則，確保目錄下掛接的資源正確無誤，無缺失或錯誤鏈接，提高了資源的可用性和可靠性。
36、根據資源數據質量的檢測規則，對庫表、數據服務接口及代理接口的數據質量進行全面評估，確保了資源數據的高質量。
37、通過數據更新及時性的檢測規則，督促數據提供部門及時更新數據，保證了數據的時效性和準確性。
38、通過數據安全定級情況的檢測規則，要求目錄數據項和資源進行安全定級，提高了數據的安全性和合規性。
39、采用自動化、標準化的檢測流程，結合數據處理工具進行預處理和檢測，大大提高了檢測效率和準確性，減少了人工審核的工作量和錯誤率。
40、定期生成部門檢測報告和目錄檢測報告，以可視化方式展示目錄質量狀況、問題分布及改進建議，為數本文檔來自技高網...
【技術保護點】
1.一種高質量目錄標注的方法，其特征在于：所述方法包括以下步驟：
2.根據權利要求1所述的一種高質量目錄標注的方法，其特征在于：質量檢測規則中的目錄編制質量規則包括基本檢測項和其他檢測項，基本檢測項涉及目錄名稱、描述、數據項名稱的清晰性、準確性和規范性，其他檢測項包括目錄結構合理性、分類準確性。
3.根據權利要求1所述的一種高質量目錄標注的方法，其特征在于：數據預處理步驟采用OpenRefine工具進行，包括刪除重復值數據、排除特殊字符數據、處理信息項缺失數據，并將預處理結果分為正常數據和異常數據，異常數據推送給數據提供部門進行人工檢查。
4.根據權利要求1所述的一種高質量目錄標注的方法，其特征在于：目錄質量得分的計算方式包括將資源數據質量、數據安全定級情況、目錄編制質量、數據更新及時性和資源掛接情況按用戶設置的權重進行加權求和，得到總質量得分。
5.根據權利要求1所述的一種高質量目錄標注的方法，其特征在于：質量報告以可視化方式展示，包括折線圖、餅圖等，展示目錄質量狀況、問題分布、檢測不合格的規則TOP5，以及對每個質量不達標的目錄
6.一種根據權利要求1-5任意一項所述的高質量目錄標注的方法的高質量目錄標注系統，其特征在于：所述系統包括：
7.根據權利要求6所述的一種高質量目錄標注系統，其特征在于：質量檢測模塊進一步包括：
8.根據權利要求6所述的一種高質量目錄標注系統，其特征在于：質量評估與報告模塊還包括：
9.根據權利要求6所述的一種高質量目錄標注系統，其特征在于：數據整合模塊定義的目錄數據模型包括：
10.根據權利要求6所述的一種高質量目錄標注系統，其特征在于：系統支持自定義檢測周期，用戶根據自身數據更新周期或目錄編制周期，通過CRON表達式設定檢測周期，以實現目錄質量的定期檢測和持續改進。
...【技術特征摘要】
1.一種高質量目錄標注的方法，其特征在于：所述方法包括以下步驟：
2.根據權利要求1所述的一種高質量目錄標注的方法，其特征在于：質量檢測規則中的目錄編制質量規則包括基本檢測項和其他檢測項，基本檢測項涉及目錄名稱、描述、數據項名稱的清晰性、準確性和規范性，其他檢測項包括目錄結構合理性、分類準確性。
3.根據權利要求1所述的一種高質量目錄標注的方法，其特征在于：數據預處理步驟采用openrefine工具進行，包括刪除重復值數據、排除特殊字符數據、處理信息項缺失數據，并將預處理結果分為正常數據和異常數據，異常數據推送給數據提供部門進行人工檢查。
4.根據權利要求1所述的一種高質量目錄標注的方法，其特征在于：目錄質量得分的計算方式包括將資源數據質量、數據安全定級情況、目錄編制質量、數據更新及時性和資源掛接情況按用戶設置的權重進行加權求和，得到總質量得分。
5.根據權利要求1所述的一種高質量目錄標注...
【專利技術屬性】
技術研發人員：連鵬，李連偉，王振峰，周慶勇，孫思清，
申請(專利權)人：浪潮云信息技術股份公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。