【技術實現步驟摘要】
本專利技術涉及數據監管，具體為基于統一數據交換服務的數據監管系統及方法。
技術介紹
1、統一數據交換服務是一種集成化的技術平臺，旨在實現各部門之間的數據高效、安全和標準化的交換。通過這一平臺，財政部門可以更好地管理、分析和利用跨部門的數據，從而優化政策制定、提升資源配置效率，并加強跨部門協作。
2、在現有的技術背景中，隨著數據交換服務的發展和應用的廣泛推廣，多個部門和系統之間的數據交換日益頻繁。然而，由于數據源的多樣性、數據格式的異構性以及網絡環境的不穩定性，數據傳輸過程中常常會出現各種錯誤。這些錯誤可能包括數據丟失、數據損壞、數據延遲、數據傳輸中斷等問題，嚴重影響了系統的正常運行和數據的準確性，在面對大量的系統部門，在海量的數據面前，數據傳輸錯誤，沒有自動化錯誤預警機制決策機構短時間難以察覺數據發生了錯誤，無法在短時間內進行數據溯源就會出現決策失誤的問題。
技術實現思路
1、本專利技術的目的在于提供基于統一數據交換服務的數據監管系統及方法，以解決上述
技術介紹
中提出的問題。
2、為了解決上述技術問題，本專利技術提供如下技術方案：基于統一數據交換服務的數據監管方法，該方法包括以下步驟：
3、s100、采集歷史中各部門傳輸時發生錯誤的數據，對數據進行分析后提取導致錯誤的特征因素；
4、s200、根據歷史中各部門在傳輸數據時的特征因素值，計算用于判斷傳輸數據是否發生錯誤的閾值；
5、s300、提取歷史中各部門傳輸數據時發生錯誤的
6、s400、對實時傳輸的數據，利用錯誤閾值判斷各部門傳輸的實時數據是否發生錯誤，并實時發出錯誤預警；
7、s500、計算實時發出的錯誤預警可信度，根據可信度閾值判斷錯誤預警是否可信。
8、在步驟s100中，所述對數據進行分析后提取導致錯誤的特征因素的具體步驟為：
9、s101、收集歷史中各部門傳輸時發生錯誤的數據{q1，q2，q3，...，qn}；q1，q2，q3，...，qn表示收集的歷史中各部門傳輸時的第1，2，3，...，n個錯誤數據值，n為正整數；收集m次歷史中各部門傳輸時發生錯誤的數據；并收集n個傳輸時未發生錯誤的數據，同樣進行m次收集；
10、s102、采集得到m次歷史中各部門傳輸時發生錯誤和未發生錯誤的n個數據，計算每個部門傳輸數據時的變化平均值，公式為：
11、
12、其中，q(p)表示每個部門傳輸數據時的變化平均值，q’表示各部門傳輸數據時沒有發生錯誤的數據值，q表示各部門傳輸數據時發生錯誤的數據值，n表示采集得到的數據個數，m表示數據出現錯誤的影響因素個數；影響因素包括數據傳輸延遲、數據更新頻率和數據記錄時間偏差等；
13、s103、計算每個部門傳輸數據的變化平均值為{q(p1)，q(p2)，q(p3)，...，q(pl)}；q(p1)，q(p2)，q(p3)，...，q(pl)表示計算得到的第1、2、3...l個部門傳輸數據的變化平均值，對l個部門的變化平均值進行對比分析，提取其中傳輸數據的變化平均值大于50％的部門，統計導致數據出現錯誤的影響因素，將數量最多的影響因素記為特征因素；查看各部門在傳輸數據時的特征因素值t(qk)，k表示不同特征因素的特征標簽。
14、在步驟s200中，所述計算用于判斷各部門在傳輸數據時發生錯誤的閾值的具體步驟為：
15、s201、采集歷史中各部門在傳輸數據時的特征因素值{{t(q1k1)，t(q1k2)，t(q1k3)，...，t(q1kj)}，{t(q2k1)，t(q2k2)，t(q2k3)，...，t(q2kj)}，...，{t(qmk1)，t(qmk2)，t(qmk3)，...，t(qmkj)}}；t(q1)，t(q2)，t(q3)，...，t(qm)表示采集的傳輸數據在第1、2、3...m次發生錯誤時的特征因素值，m為正整數，{k1，k2，k3，...，kj}分別表示不同特征因素的特征標簽；
16、s202、根據歷史中各部門在傳輸數據時發生錯誤的特征因素值計算錯誤閾值，公式為：
17、
18、其中，r表示判斷各部門傳輸數據發生錯誤的錯誤閾值，t(qukv)表示采集的傳輸數據在發生錯誤時的特征因素值。
19、在步驟s300中，所述查找與特征因素存在影響關系的可信參數的具體步驟為：
20、s311、采集歷史中在各部門傳輸數據時特征因素發生變化時的k個影響因子(當前網速狀況和部門數據更新頻率等)，將影響因子作為自變量，特征因素作為因變量繪制線性圖，對繪制的線性圖進行觀察分析，建立每種影響因子和特征因素的回歸模型，利用回歸模型表示每種影響因子和特征因素之間的關系；計算表達式為：
21、t″(qk)＝a×h+b
22、其中，t”(qk)表示特征因素的預測值，h表示影響因子的值，a表示回歸模型的斜率，b表示回歸模型的截距；
23、s312、計算回歸模型的斜率和截距，具體公式為：
24、
25、b＝t′(qf)-a×h′(f)
26、其中，e表示收集的影響因子和每種特征因素的個數，h(f)表示每種影響因子的值，t(qf)表示采集的不同的特征因素值，h′(f)表示影響因子的平均值，t’(qf)表示特征因素的平均值，f∈[1，e]；依次對k個特征因素的回歸模型的表達式進行計算，最終得到k個特征因素的預測值為{t”(qk)_1，t”(qk)_2，t”(qk)_3，...，t”(qk)_k}；t”(qk)_1，t”(qk)_2，t”(qk)_3，...，t”(qk)_k分別表示第1，2，3，...，k個特征因素的預測值；
27、s313、計算每種特征因素的預測值后，計算每種特征因素預測值和真實值的差異值，公式為：
28、
29、其中，ch表示每種回歸模型中特征因素預測值和真實值的差異值，t(qk)表示每個點的特征因素真實值，t”(qk)表示特征因素預測值，e表示特征因素值的個數；經過計算得到k個差異值為{ch_1，ch_2，ch_3，...，ch_k}，ch_1，ch_2，ch_3，...，ch_k分別表示計算得到的第1，2，3，...，k個特征因素預測值和真實值的差異值；
30、s314、計算k個差異值的中位值，具體方式為：
31、將ch_1，ch_2，ch_3，...，ch_k按照由大到小的關系進行排序，取個差異值即為所述中位值；當時，判斷差異值ch對應的特征因素和影響因子不存在影響關系，當時，判斷差異值ch對應的特征因素和影響因子存在影響關系，將存在影響關系的影響因子定為可信因素b。
32、對每種環境數據進行回歸模型的構建，計算每種回歸模型的差異值可以判斷對應的影響本文檔來自技高網...
【技術保護點】
1.基于統一數據交換服務的數據監管方法，其特征在于：該方法包括以下步驟：
2.根據權利要求1所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟S100中，所述對數據進行分析后提取導致錯誤的特征因素的具體步驟為：
3.根據權利要求2所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟S200中，所述計算用于判斷各部門在傳輸數據時發生錯誤的閾值的具體步驟為：
4.根據權利要求3所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟S300中，所述查找與特征因素存在影響關系的可信參數的具體步驟為：
5.根據權利要求4所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟S300中，所述計算數據錯誤預警判斷的可信度閾值具體步驟為：
6.根據權利要求5所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟S400中，所述利用錯誤閾值判斷各部門傳輸的實時數據是否發生錯誤具體為：
7.根據權利要求6所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟S500中，計算實時發出的錯誤
8.基于統一數據交換服務的數據監管系統，其特征在于：該系統包括歷史數據收集與錯誤分析模塊、錯誤閾值計算模塊、特征關系分析模塊、實時傳輸監控與錯誤預警模塊和預警可信度計算與管理模塊；
9.根據權利要求8所述的基于統一數據交換服務的數據監管系統，其特征在于：所述歷史數據收集與錯誤分析模塊包括歷史數據收集單元、元數據管理單元、數據交換單元和錯誤分析單元；
...【技術特征摘要】
1.基于統一數據交換服務的數據監管方法，其特征在于：該方法包括以下步驟：
2.根據權利要求1所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟s100中，所述對數據進行分析后提取導致錯誤的特征因素的具體步驟為：
3.根據權利要求2所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟s200中，所述計算用于判斷各部門在傳輸數據時發生錯誤的閾值的具體步驟為：
4.根據權利要求3所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟s300中，所述查找與特征因素存在影響關系的可信參數的具體步驟為：
5.根據權利要求4所述的基于統一數據交換服務的數據監管方法，其特征在于：在步驟s300中，所述計算數據錯誤預警判斷的可信度閾值具...
【專利技術屬性】
技術研發人員：張向飛，程茜，袁大為，沈天杰，龔玎琦，朱策，
申請(專利權)人：上海市大數據中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。