【技術實現步驟摘要】
本專利技術涉及計算機相關，具體為一種可動態配置的數據集成與格式轉換框架。
技術介紹
1、企業在it系統架構中會遇到各種集成的場景，而集成的技術和手段多種多樣，面對的場景也非常多。行業中通常的解決辦法為：提供一個開發工具，讓開發人員自定義數據源、轉換規則和輸出目標；實現方面大同小異，但是在怎樣統一治理所有的數據集成場景的能力缺失。如何實現具備業務健壯性，數據一致性是目前主要的痛點。
技術實現思路
1、為解決現有技術存在怎樣統一治理所有的數據集成場景的能力缺失。如何實現具備業務健壯性，數據一致性是目前主要的痛點和缺陷，本專利技術提供一種可動態配置的數據集成與格式轉換框架。
2、為了解決上述技術問題，本專利技術提供了如下的技術方案：
3、本專利技術一種可動態配置的數據集成與格式轉換框架，包括數據接收層、數據轉換層、數據輸出層以及數據冪等模塊；
4、所述數據接收層用于對消息數據進行接收，并對消息數據的類型進行判斷，并將判斷類型后的消息數據流轉到數據轉換層；
5、所述數據轉換層內設有匹配模塊和若干個數據格式轉換模塊，每個所述數據格式轉換模塊采用一一映射的方式進行格式轉換，所述匹配模塊判斷類型后的消息數據的數據類型，將消息數據分配到相應的數據格式轉換模塊來進行格式轉換，轉換成統一格式；
6、所述數據輸出層則用于接收數據轉換層流送的轉換格式的后形成統一格式的初步消息數據，其中數據輸出層中還設有輸出邏輯編輯模塊，且所述輸出邏輯編輯模塊用于
7、所述數據冪等模塊用于對數據接收層、數據轉換層以及數據輸出層進行數據冪等。
8、作為本專利技術的一種優選技術方案，還包括先后順序控制模塊，在數據先后順序錯亂的情況下，通過配置的數據時間戳字段自動識別數據時效，實現對亂序數據的自動處理，按照數據接收時間的先后順序進行轉換。
9、作為本專利技術的一種優選技術方案，所述先后順序控制模塊的控制方法是，在先后順序控制模塊依據接收到的數據信息進行類型判定，并將接收到的同一類型消息數據的實際業務時間在輸出模塊進行數據先后順序的控制校驗。
10、作為本專利技術的一種優選技術方案，還包括備份重推模塊，所述備份重推模塊則在數據異常處理的情況下，提供統一的異常數據備份和重推方案，支持異常類型和錯誤內容模糊匹配的定時定次重推方式。
11、作為本專利技術的一種優選技術方案，還包括環境管理模塊，所述的環境管理模塊用于提供環境配置和管理功能，在前端對集成中心集群、連接的第三方等系統做管理和配置。
12、本專利技術的有益效果是：
13、1、該種可動態配置的數據集成與格式轉換框架設置數據接收層用于對消息數據進行接收，并對消息數據的類型進行判斷，并將判斷類型后的消息數據流轉到數據轉換層；數據轉換層中的匹配模塊判斷類型后的消息數據的數據類型，將消息數據分配到相應的數據格式轉換模塊來進行格式轉換，轉換成統一格式，用于接收數據轉換層流送的轉換格式的后形成統一格式的初步消息數據，其中數據輸出層中還設有輸出邏輯編輯模塊，且所述輸出邏輯編輯模塊對輸出的初步消息數據進行邏輯控制上傳至數據庫內；其中每個所述數據格式轉換模塊采用一一映射的方式進行格式轉換，這樣可以對不同類型的文件格式進行轉換，而且能夠同時進行不同類型數據格式的轉換，具有轉換效率高、標準化和易開發的特點。
14、2、該種可動態配置的數據集成與格式轉換框架通過設置先后順序控制模塊，在數據先后順序錯亂的情況下，通過配置的數據時間戳字段自動識別數據時效，實現對亂序數據的自動處理，按照數據接收時間的先后順序進行轉換，所述先后順序控制模塊的控制方法是，在先后順序控制模塊依據接收到的數據信息進行類型判定，并將接收到的同一類型消息數據的實際業務時間在輸出模塊進行數據先后順序的控制校驗。
本文檔來自技高網...【技術保護點】
1.一種可動態配置的數據集成與格式轉換框架，其特征在于，包括數據接收層(1)、數據轉換層(2)和數據輸出層(3)；
2.根據權利要求1所述的一種可動態配置的數據集成與格式轉換框架，其特征在于，還包括先后順序控制模塊(6)，在數據先后順序錯亂的情況下，通過配置的數據時間戳字段自動識別數據時效，實現對亂序數據的自動處理，按照數據接收時間的先后順序進行轉換。
3.根據權利要求2所述的一種可動態配置的數據集成與格式轉換框架，其特征在于，所述先后順序控制模塊(6)的控制方法是，在先后順序控制模塊設置排序模塊(601)，依據接收到的數據信息進行類型判定，并將接收到的同一類型消息數據的實際業務時間在輸出模塊進行數據先后順序的控制校驗。
4.根據權利要求1所述的一種可動態配置的數據集成與格式轉換框架，其特征在于，還包括備份重推模塊(9)，所述備份重推模塊則在數據異常處理的情況，提供統一的異常數據備份和重推方案，支持異常類型和錯誤內容模糊匹配的定時定次重推方式。
5.根據權利要求1所述的一種可動態配置的數據集成與格式轉換框架，其特征在于，還包括環境管
...【技術特征摘要】
1.一種可動態配置的數據集成與格式轉換框架，其特征在于，包括數據接收層(1)、數據轉換層(2)和數據輸出層(3)；
2.根據權利要求1所述的一種可動態配置的數據集成與格式轉換框架，其特征在于，還包括先后順序控制模塊(6)，在數據先后順序錯亂的情況下，通過配置的數據時間戳字段自動識別數據時效，實現對亂序數據的自動處理，按照數據接收時間的先后順序進行轉換。
3.根據權利要求2所述的一種可動態配置的數據集成與格式轉換框架，其特征在于，所述先后順序控制模塊(6)的控制方法是，在先后順序控制模塊設置排序模塊(601)，依據接收到的數據信...
【專利技術屬性】
技術研發人員：席陽波，陳海彬，劉錫坤，
申請(專利權)人：深圳新貝奧數字科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。