一種數據血緣關系整理及監(jiān)測方法技術

本發(fā)明專利技術提供一種數據血緣關系整理及監(jiān)測方法，立足于提供一種基于預測、評估算法實施深度學習，覆蓋業(yè)務邏輯限定、數據元數據的數據血緣關系整理方法和自動化監(jiān)測方法，包括：構建技術標準，通過預設代碼簡單處置和檢查，完成數據集集中登記，被識別和傳遞的各類數據集均按數據表維度進行命名和登記，用于事后識別和溯源；通過value distibution，value matcher、boolean analyzer、patter finder等系列分析對數據集的數據質量情況進行登記和多維度標識，并對數據問題按特征分類，使用Constant模型對數據問題發(fā)生進行預測、賦值。賦值。

【技術實現步驟摘要】
一種數據血緣關系整理及監(jiān)測方法


[0001]本專利技術涉及數據治理
，具體涉及一種數據血緣關系整理及監(jiān)測方法。

技術介紹

[0002]數據治理技術。數字化時代，多維度數據快速增長、數據附加價值不斷增加，各類數據管理、應用問題日益凸顯，數據治理技術、理論不斷優(yōu)化完善。為采用更合理、更智能化的解決方案、流程方法去理清數據流轉線索以及與業(yè)務、時序、應用場景、時間（時效性）依賴關系和依賴深度提供了條件。數據治理技術中尚未出現基于預測、評估算法實施深度學習的數據血緣關系整理及監(jiān)測評估方法。

技術實現思路

[0003]本專利技術旨在至少解決現有技術中存在的技術問題之一。本專利技術提供一種數據血緣關系整理及監(jiān)測方法。本專利技術立足于提供一種基于預測、評估算法實施深度學習，覆蓋業(yè)務邏輯限定、數據元數據的數據血緣關系整理方法和自動化監(jiān)測方法，包括：在多系統(tǒng)之間搭建技術標準，結合數據庫自帶的元數據管理功能實現數據集登記，通過預設代碼處置和檢查，可完成數據集集中登記，被識別和傳遞的各類數據集均按數據表維度進行命名和登記，用于事后識別和溯源。
[0004]進一步實施數據流轉關系采集。構建開發(fā)規(guī)范、數標準規(guī)范，通過程序對應用系統(tǒng)的.JAR包中xml和程序腳本，并將所有數據分析類代碼均集中入庫，讀取業(yè)務限定條件，存入專用分析數據表，元數據存入元數據管理數據表，進行預判訓練和智能學習、智能識別和分析。
[0005]進一步實施數據源采集和數據質量評價：確定數據來源，并應用數據抽取、清洗和轉換方案，多維度監(jiān)測和評價數據質量，通過value distibution，value matcher、boolean analyzer、patter finder等系列分析對數據集的數據質量情況進行登記和多維度標識，并對數據問題進行按特征分類，使用Constant模型對數據問題發(fā)生進行預測，進行提前預判。
[0006]進一步處理數據節(jié)點。標記數據所有者、所屬關系及層次、其它附加標簽。 通過窮舉以及利用CN2規(guī)則分類算法、KNN分類算法對窮舉產生的數據值進行二次驗證和置信度預測，讀取各指標項判定的預設閾值參數配置表，實現自動智能識別數據平臺；智能識別范圍的各個系統(tǒng)數據流入主節(jié)點、數據流入節(jié)點、數據流出節(jié)點，以及流轉路線，均按規(guī)則集進行分類及標注；通過上述處理，數據血緣關系數據涵蓋應用系統(tǒng)、數據平臺實際發(fā)生的數據調用、被調用關系，以及基于數據業(yè)務屬性，技術屬性，實際調用關系數據運算得出的潛在相關度。
[0007]數據血緣分析處理全面性智能驗證，經上一步驟加工形成血緣關系數據進入特定沙盒進行分析觀察，通過常規(guī)匹配監(jiān)測，輔助PREDICTIONS算法、CONFUSION MATRIX算法對數據血緣關系全面性滿足情況進行系統(tǒng)性的綜合評估，評估結果分級分類展現。
[0008]進一步驗證數據血緣分析處理及時性，實時監(jiān)測元數據變化及數據報表變更情
況，對變化及時反應。
[0009]提醒變化的節(jié)點名并可對表、報表ID、存儲過程按類型進行篩選，不區(qū)分大小寫。折疊展示當前節(jié)點各類屬性及調用、被調用的其他節(jié)點信息，支持全部展開和部分展開，控制展開層級。節(jié)點類型包括數據集、表、存儲過程、ETL工具、應用程序任務等。
[0010]進一步定義篩選，對前一個節(jié)點篩選出來的結果進行二次篩選，縮小監(jiān)測范圍，精準定位關注血緣線索。二次篩選類型,包括區(qū)間節(jié)點、展示兩個節(jié)點之間的枝干節(jié)點和葉節(jié)點、展示特點節(jié)點下的所有葉節(jié)點。自定義血緣關系穿透層數。如，不限制。一層，只展示節(jié)點的第一層葉節(jié)點。二層，只展示節(jié)點的前兩層葉節(jié)點。三層，只展示節(jié)點的前三層葉節(jié)點。以此類推。
[0011]進一步監(jiān)控和評估，實現管理閉環(huán)：定期監(jiān)控和評估血緣分析的結果，以確保準確記錄，核心方法為問題發(fā)現跟蹤，輔助ROC（接受者操作特征曲線）,其中roc分析涉及針對數據血緣關系有效性評測的單變量和多變量的ROC和PR曲線的繪制，AUC、最佳界值的確定，通過曲線靈敏度和特異度來尋找最佳界值，尋找靈敏度和特異度之和最大的點，模型質量用圖形顯示，數據采用AUC 的置信區(qū)間下限的值。監(jiān)控和評估數據血緣分析的結果，采用ROC（接受者操作特征曲線）、Calibration curve（校準曲線）形成聯(lián)合分析指標,監(jiān)測和評估數據血緣分析結果數據。
[0012]常規(guī)應用，依托于ECHART等報表插件的樹形圖功能，實現數據血緣關系可視化，依托積木等開源可視化報表插件工具檢測各項指標參數。
[0013]本專利技術的有益效果是，應用本專利技術的數據血緣關系整理及監(jiān)測方法可以不用單獨采購血緣分析工具和系統(tǒng)模塊，減少工具部署和集成的成本開銷，快速實現血緣關系整理和監(jiān)測。尤其是使用該方法能夠適應數據的爆發(fā)式增長，以及具備可塑性、歸屬性，對數據血緣分析涉及的不同廣度、深度、維度分析均具有適用性。提高數據管理的效率和準確性，減少人為錯誤和重復工作，引入預測算法，節(jié)省問題發(fā)現時間和成本。其次，高效的血緣分析整理和監(jiān)測，可以加強數據安全性和合規(guī)性，進而確保數據的完整性、保密性和可用性，支持更快速、更準確的數據分析和數據決策應用，促進業(yè)務的發(fā)展和創(chuàng)新。
本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種數據血緣關系整理及監(jiān)測方法，其特征在于，應用于數據治理、數據質量管理、數據問題溯源，包括：通過value distibution，value matcher、boolean analyzer、patter finder等系列分析對數據集的數據質量情況進行登記和標識并將數據表納入特定沙盒進行分析觀察，通過常規(guī)匹配監(jiān)測、predictions算法、confusion matrix算法對數據血緣關系全面性滿足情況進行系統(tǒng)性評估，此環(huán)節(jié)服務于血緣關系整理及監(jiān)測，作為基礎環(huán)節(jié)；predictions算法主要對數據的patter finder與value matcher、boolean analyzer分析結果進行預測評估；confusion matrix主要對boolean analyzer、patter finder分析結果用于監(jiān)督學習，分析輸入數據，并產生一個推斷的功能，用于映射出新的實例進行預判與推斷。2.如權利要求1所述的一種數據血緣關系整理及監(jiān)測方法，其特征在于，還包括：通過窮舉以...

【專利技術屬性】
技術研發(fā)人員：徐維，林曉燕，
申請(專利權)人：徐維，
類型：發(fā)明
國別省市：