一種用于地質監測的數據集成方法和系統技術方案

本發明專利技術公開了一種用于地質監測的數據集成方法和系統，該方法包括：S1：從預先獲取的數據源中獲取原始數據；S2：將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。該方法將來源于不同的監測儀器得到的不同格式的數據進行格式轉化，以得到具有同一格式的數據，解決了地質監測中，不同儀器得到的數據因為不兼容而不能進行統一使用的問題，實現了這些多源異構數據的快速、實時、有效地集成。

【技術實現步驟摘要】

本專利技術屬于數據處理領域，具體涉及一種用于地質監測的數據集成的方法和系統。
技術介紹
地質災害監測是提升主動應對地質災害能力的重要手段，通過利用各種監測傳感器，如雨量、位移、地下水與受力等，對地質災害的變形量等控制性因素進行監測，常見的有人工監測、半自動監測及全自動化監測等方式。隨著地質災害信息化管理的發展和各種監測技術的日益成熟與廣泛應用，極大地推動了地質災害無線自動化監測的進步，提高了監測數據的可靠性和實時性。然而，地質災害的監測工作中，使用的監測儀器往往來自不同的生產廠家，這些廠家擁有各自的業務系統，因而獲取的監測數據結構也各不相同。這些數據分散于各個獨立的數據庫中，并且各自擁有獨立的數據庫管理系統，構成了一個龐大而且復雜的多源異構的數據源。監測人員只能在各監測儀器的業務系統中分析監測數據，很難在同一平臺中對監測數據進行統一的分析與管理，使得監測工作變得異常繁瑣復雜。
技術實現思路
本專利技術所要解決的技術問題如何實現多源異構數據的快速、實時、有效地集成。針對該技術問題，本專利技術提供了一種用于地質監測的數據集成方法，包括：S1：從預先獲取的數據源中獲取原始數據；S2：將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。優選地，所述步驟S2具體包括：S21：將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據；S22：將所述修正的目標數據集成至目標數據庫中。優選地，所述將原始數據轉化為預設格式的目標數據的方法包括：映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。優選地，所述對所述異常數據進行處理的方法包括：插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。優選地，還包括：S3：對所述原始數據和獲取所述原始數據相應的儀器參數進行備份。另一方面，本專利技術提供了一種用于地質監測的數據集成系統，包括：獲取模塊，用于從預先獲取的數據源中獲取原始數據；轉換模塊，用于將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。優選地，所述轉換模塊還用于將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據并將所述修正的目標數據
集成至目標數據庫中。優選地，所述轉換模塊在將原始數據轉化為預設格式的目標數據的方法包括：映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。優選地，所述轉換模塊對所述異常數據進行處理的方法包括：插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。優選地，還包括備份模塊，用于對所述原始數據和獲取所述原始數據相應的儀器參數進行備份本專利技術提供的用于地質監測的數據集成的方法和系統，將來源于不同的監測儀器得到的不同格式的數據進行格式轉化，以得到具有同一格式的數據，解決了地質監測中，不同儀器得到的數據因為不兼容而不能進行統一使用的問題，實現了這些多源異構數據的快速、實時、有效地集成。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作一簡單地介紹，顯而易見地，下面描述中的附圖是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1是本專利技術實施例提供的用于地質監測的數據集成方法的流程示意圖；圖2是本專利技術實施例提供的幾種多源異構數據集成方法的流程示意圖；圖3是本專利技術實施例提供的用于地質監測的數據集成系統的結構示意圖。具體實施方式為使本專利技術實施例的目的、技術方案和優點更加清楚，下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。圖1是本實施例提供的用于地質監測的數據集成方法的流程示意圖，參見圖1，該方法包括：S1：從預先獲取的數據源中獲取原始數據；S2：將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。數據源是原始數據的來源，可以是不同的數據庫中的數據，也可以是不同的監測儀器獲取的數據。該方法將來源于不同的監測儀器得到的不同格式的數據進行格式轉化，以得到具有同一格式的數據，解決了地質監測中，不同儀器得到的數據因為不兼容而不能進行統一使用的問題，實現了這些多源異構數據的快速、實時、有效地集成。更進一步地，所述步驟S2具體包括：S21：將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據；S22：將所述修正的目標數據集成至目標數據庫中。通常，在對原始數據進行數據格式的轉化后，即可將轉化后的目標數據集成至數據庫中，但是由于原始數據在獲取的過程中會受到很多不確定性因素的影響，因此需要對目標數據進行檢查并對檢查出的異常數據進行處理，以使得處理之后的監測數據能在最大程度上反映真實情況。原始數據在獲取的過程中受到的不確定性因素有：如電壓不穩、連接傳感器失敗、傳感器損壞、網絡傳輸失敗等，這些因素會導致監測數據出現丟失、跳躍等現象。具體地，所述將原始數據轉化為預設格式的目標數據的方法包括：映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。針對不同的原始數據的不同處理方法有助于更快的得到同意格式的目標數據。具體地，所述對所述異常數據進行處理的方法包括：插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。更進一步地，還包括：S3：對所述原始數據和獲取所述原始數據相應的儀器參數進行備份。對原始數據進行備份供后期分析使用，充分保障了入庫的監測數據的真實性與可靠性。作為一種更為具體的示例，圖2是本實施例提供的幾種多源異構
數據集成方法的流程示意圖，參見圖2，原始數據來源于不同的數據庫，例如SQL Server，Oracle，My SQL和Access，這些原始數據通過借鑒ETL(一種將數據從源端經過抽取-轉換-加載到目的端的過程)方法，結合作業表(Jobs)，通過自主開發的數據訪問組件(圖2中的HCY.DBUtility)從各數據源進行數據提取，得到原始數據集。經過“多源異構數據自動入庫系統”完成數據的集成。然后，對原始數據集中的數據進行格式轉換，具體的參見圖2中的中間件所示的過程。中間件通過數據本文檔來自技高網...

【技術保護點】
一種用于地質監測的數據集成方法，其特征在于，包括：S1：從預先獲取的數據源中獲取原始數據；S2：將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。

【技術特征摘要】
1.一種用于地質監測的數據集成方法，其特征在于，包括：S1：從預先獲取的數據源中獲取原始數據；S2：將所述原始數據轉換為預設格式的目標數據，并將所述目標數據集成至目標數據庫中。2.根據權利要求1所述的方法，其特征在于，所述步驟S2具體包括：S21：將所述原始數據轉化為預設格式的目標數據后，對所述目標數據進行檢查，若檢查到異常數據，對所述異常數據進行處理，以得到修正的目標數據；S22：將所述修正的目標數據集成至目標數據庫中。3.根據權利要求1所述的方法，其特征在于，所述將原始數據轉化為預設格式的目標數據的方法包括：映射轉換，用于所述原始數據的數據表和與之對應的目標數據的數據表的字段不同的情況。直接提取，用于所述原始數據的數據結構和與之與之對應的目標數據的數據結構相同的情況。換算轉換，用于所述原始數據為直接監測得到的數據且需要通過計算進行轉換的情況。4.根據權利要求2所述的方法，其特征在于，所述對所述異常數據進行處理的方法包括：插值處理、三點移動平均法修勻數據、均值替換法、等間距處理、數據消噪處理。5.根據權利要求1所述的方法，其特征在于，還包括：S3：對所述原始數據和獲取所述原始數據相應的儀器參數進行備份。6.一種用...

【專利技術屬性】
技術研發人員：何朝陽，巨能攀，黃健，
申請(專利權)人：成都理工大學，
類型：發明
國別省市：四川;51