本發明專利技術涉及數據融合技術領域，具體為一種多源數據融合的執法記錄生成系統及方法，系統包括：數據采集模塊歸一化和剔除重復數據，異常檢測模塊進行數據校驗和清理，信源評估模塊對數據源執行量化評分，權重調整模塊基于評分動態調整權重，數據融合模塊執行加權融合和字段校驗，輸出協同執法記錄。本發明專利技術中，通過數據值范圍的校驗和偏離值的計算進一步確保了數據質量，通過移除異常數據，增強了數據集的可靠性。通過量化評分和動態權重調整，確保了數據源的質量評估和輸入的公正性，使得執法記錄更全面和權威。這種精細化的數據處理不僅提高了執法記錄的準確性，還加強了信息的安全性和完整性，從而顯著提升了執法機構的響應速度和決策質量。
【技術實現步驟摘要】
本專利技術涉及數據融合，尤其涉及一種多源數據融合的執法記錄生成系統及方法。
技術介紹
1、數據融合
涉及從多個數據源集成和分析數據的方法和系統。這些技術允許將來自不同來源的數據組合成單一視圖，從而提高決策質量和操作效率。數據融合技術廣泛應用于軍事、安全監控、醫療、環境監測以及商業智能等多個領域。在實施過程中，數據融合解決了數據冗余和不一致性問題，通過算法和模型對數據進行清洗、整合和分析，以提供更準確和全面的信息。
2、其中，執法記錄生成系統是指利用數據融合技術自動收集、整合和處理來自不同執法部門和信息系統的數據，以生成執法記錄。這種系統的主要用途是提高執法效率和記錄的準確性，使得執法機構能夠快速響應和處理事件，同時確保信息的完整性和安全性。執法記錄生成系統特別適用于需要跨部門合作和信息共享的執法活動，如交通違章處理、犯罪調查等場合。
3、現有技術在處理多源數據時常常面臨數據冗余和不一致性問題，缺乏有效的機制來評估數據源的可靠性和一致性，導致執法記錄可能存在誤差和延誤。由于未能實現對數據源信任度的動態評估和權重調整，這限制了數據利用的效率和執法記錄的準確性。此外，現有系統在數據融合過程中往往未能徹底排除異常數據，影響了決策的質量和操作的效率。這些不足導致了信息處理速度慢，以及在跨部門合作和信息共享方面的困難，降低了整體執法效率和效果。
技術實現思路
1、本專利技術的目的是解決現有技術中存在的缺點，而提出的一種多源數據融合的執法記錄生成系統及方法。
2、為了實現上述目的，本專利技術采用了如下技術方案：一種多源數據融合的執法記錄生成系統包括：
3、數據采集模塊從多個數據源獲取原始數據，對原始數據進行歸一化處理，將重復記錄進行比對后剔除，通過規則匹配并提取包括執法人員信息、違法行為描述、時間地點、證據材料的關聯數據字段，生成整合原始記錄；
4、異常檢測模塊對所述整合原始記錄執行數據值范圍校驗，按照指定偏差范圍計算每個數據字段的偏離值，對偏離值超出設定標準的條目進行標記后移除，對清理后的數據重新構建數據表，生成處理后數據集；
5、信源評估模塊基于所述處理后數據集，對多數據源的數值分布、一致性以及證據材料覆蓋范圍進行量化評分，通過對評分集合執行加權平均處理獲得整體評分結果，將整體評分結果按數據源維度進行匯總并存儲為獨立記錄，建立信源信任評分表；
6、權重調整模塊根據所述信源信任評分表中評分數據，對多數據源的輸入權重分配進行動態調整，按照輸入數據當前特性執行比對，結合評分與數據分布情況分配多源的權重參數，獲取調整后的權重配置；
7、數據融合與生成模塊基于所述調整后的權重配置對每個數據源的輸入數據執行加權融合，對融合結果進行字段校驗，基于權重排除非關鍵數據字段對結果的干擾，將符合融合規則的字段輸出為協同執法記錄。
8、所述整合原始記錄包括歸一化數據、去重后的記錄、提取的關聯字段，所述處理后數據集包括校驗后的數據條目、移除異常項的清理數據、重構的數據表，所述信源信任評分表包括信源評分、覆蓋范圍數據、一致性評分，所述調整后的權重配置包括信源權重參數、評分加權參數、分布權重參數，所述協同執法記錄包括加權融合數據、校驗后的有效字段、符合規則的輸出字段。
9、作為本專利技術的進一步方案，所述整合原始記錄的獲取步驟具體為：
10、從多個數據源提取數據后，對數據執行標準化處理以消除量綱影響，生成標準化數據集；
11、對所述標準化數據集進行唯一性校驗，通過散列函數進行數據的比對，識別并刪除重復條目，得到去重數據集；
12、使用數據匹配技術，在所述去重數據集中識別和提取關鍵字段，包括用戶id和交易日期，以字段為基礎，構建關聯字段數據集；
13、在所述關聯字段數據集基礎上，進行數據關聯分析，應用關聯度計算公式：
14、；
15、計算并分析差異化數據字段之間的關聯度，生成整合原始記錄；
16、其中，代表第個數據字段的數值，用于表示字段在數據集中的數值，代表第個數據字段的數值，用于表示另一個字段在數據集中的數值，是第個字段的權重系數，調整第個字段在關聯度計算中的影響力，是第個字段的權重系數，調整第個字段在關聯度計算中的影響力，是在求平方和時使用的權重系數，用于調整在分母中的貢獻，表示第字段和第字段之間的關聯度指數，用來量化兩個字段之間的關聯性強度。
17、作為本專利技術的進一步方案，所述處理后數據集的獲取步驟具體為：
18、對所述整合原始記錄執行數據值范圍校驗，基于每個字段的預設標準，檢查每個數據點的符合性，驗證數據的合規性，生成符合標準的數據集；
19、基于所述符合標準的數據集，計算每個數據字段的偏離值，對比偏離值與設定偏差范圍，生成偏離值分析數據集；
20、篩選所述偏離值分析數據集中所有偏離值超出標準的數據條目，標記條目，并執行移除操作，得到修正后的數據集；
21、對所述修正后的數據集進行處理，采用公式：
22、；
23、計算每個數據點的調整標準化分數，生成處理后數據集；
24、其中，表示數據點的值，是數據字段的平均值，是標準偏差，用于調節分數敏感性，代表第個數據點對于第個數據字段的調整標準化分數。
25、作為本專利技術的進一步方案，所述信源信任評分表的獲取步驟具體為：
26、對所述處理后數據集中的多數據源進行量化評分，捕捉數值分布、一致性以及數據覆蓋范圍，以多維度的統計指標為基礎，生成初步評分結果集；
27、通過對所述初步評分結果集中的多項評分進行加權平均處理，每項數據源評分根據其數據質量和數量分配差異化的權重，計算生成加權評分數據集；
28、將所述加權評分數據集按數據源維度進行匯總，對每個數據源的評分結果進行聚合，保證數據源的評分能反映貢獻的關鍵性，得到數據源匯總評分集；
29、基于所述數據源匯總評分集，采用公式：
30、；
31、計算每個數據源的歸一化信任度，建立信源信任評分表；
32、其中，表示第個數據源的評分，是根據數據源的質量和覆蓋范圍確定的權重系數。
33、作為本專利技術的進一步方案，所述調整后的權重配置的獲取步驟具體為：
34、從所述信源信任評分表中提取每個數據源的評分數據，并分析數值分布和一致性，根據數據特性，初步確定每個數據源的權重，生成權重初步分配數據集；
35、對所述權重初步分配數據集進行細化，根據每個數據源的當前輸入特性與評分數據比對，動態調整權重，匹配每個數據源的表現和數據覆蓋范圍，生成調整權重數據集；
36、綜合參照所述調整權重數據集中的權重設置與多數據源的評分及數據分布情況，對權重分配進行優化，生成優化后的權重配置集；
37、基于所述優化后的權重配置集，計算每個數據源的權重，采用公式：<本文檔來自技高網
...
【技術保護點】
1.一種多源數據融合的執法記錄生成系統，其特征在于，所述系統包括：
2.根據權利要求1所述的多源數據融合的執法記錄生成系統，其特征在于，所述整合原始記錄包括歸一化數據、去重后的記錄、提取的關聯字段，所述處理后數據集包括校驗后的數據條目、移除異常項的清理數據、重構的數據表，所述信源信任評分表包括信源評分、覆蓋范圍數據、一致性評分，所述調整后的權重配置包括信源權重參數、評分加權參數、分布權重參數，所述協同執法記錄包括加權融合數據、校驗后的有效字段、符合規則的輸出字段。
3.根據權利要求2所述的多源數據融合的執法記錄生成系統，其特征在于，所述整合原始記錄的獲取步驟具體為：
4.根據權利要求3所述的多源數據融合的執法記錄生成系統，其特征在于，所述處理后數據集的獲取步驟具體為：
5.根據權利要求4所述的多源數據融合的執法記錄生成系統，其特征在于，所述信源信任評分表的獲取步驟具體為：
6.根據權利要求5所述的多源數據融合的執法記錄生成系統，其特征在于，所述調整后的權重配置的獲取步驟具體為：
7.根據權利要求6所述的多源數據融合的執法記錄生成系統，其特征在于，所述協同執法記錄的獲取步驟具體為：
8.一種多源數據融合的執法記錄生成方法，其特征在于，根據權利要求1-7任一項所述的多源數據融合的執法記錄生成系統執行，包括以下步驟：
...
【技術特征摘要】
1.一種多源數據融合的執法記錄生成系統，其特征在于，所述系統包括：
2.根據權利要求1所述的多源數據融合的執法記錄生成系統，其特征在于，所述整合原始記錄包括歸一化數據、去重后的記錄、提取的關聯字段，所述處理后數據集包括校驗后的數據條目、移除異常項的清理數據、重構的數據表，所述信源信任評分表包括信源評分、覆蓋范圍數據、一致性評分，所述調整后的權重配置包括信源權重參數、評分加權參數、分布權重參數，所述協同執法記錄包括加權融合數據、校驗后的有效字段、符合規則的輸出字段。
3.根據權利要求2所述的多源數據融合的執法記錄生成系統，其特征在于，所述整合原始記錄的獲取步驟具體為：
<...
【專利技術屬性】
技術研發人員：楊楠，王敏，楊劍鋒，嚴凱，夏軍，黃仿元，劉峰，
申請(專利權)人：貴州理工學院，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。