【技術實現步驟摘要】
本專利技術涉及數據處理，具體而言，涉及一種數據文件歸檔方法和系統。
技術介紹
1、隨著銀行業務不斷發展和數據庫系統持續運行，大量的歷史數據（包括文件、數據庫記錄、日志等）會不斷積累。其中，部分數據無需頻繁訪問，但仍然需要保存備用。然而，將歷史數據與新增數據保存在同一數據庫系統中會導致磁盤空間不足、性能下降以及數據備份困難等問題。因此，歷史數據歸檔技術應運而生。歷史數據歸檔技術的主要目標是將無需頻繁訪問的數據從主要存儲環境移動或復制到次要存儲環境（如磁帶、云存儲或較低速度的磁盤），從而釋放主要存儲資源，提高數據庫系統的性能和可擴展性。銀行為了保證數據安全和發揮數據效能，將系統數據及外部數據統一存儲到數據倉庫，使用數據時需要將待使用的數據歸檔到歸檔平臺進行存儲，以便加工使用。
2、傳統的歷史數據歸檔技術采用批量歸檔方式，定期或者等到歷史數據量達到一定規模后再進行歸檔，對于時效性要求較低。這種定期任務只能在預定時間執行歸檔程序，歸檔時間間隔期間產生的數據無法歸檔，導致該時間段內的數據無法利用；另外，歸檔時間間隔期間會堆積大量的歷史數據，在進行歸檔時需要耗費大量時間、占用大量系統資源（如i/o資源），影響系統性能。此外，傳統歷史數據歸檔即使采用t+1歷史數據歸檔方式，即當天晚上對白天產生的數據進行歸檔，這種數據歸檔方式不僅不能滿足業務場景對數據時效性的要求，并且容易出現人為操作失誤。
技術實現思路
1、本專利技術的目的在于提供一種自動化實時的歷史數據歸檔方法和系統，解決傳統的歷
2、本專利技術通過下述技術方案實現：
3、一方面，提供一種數據文件歸檔方法，包括以下步驟：在數據中心或云平臺上建立流式數據處理平臺；為指定目錄下的每一個待歸檔數據文件配置歸檔信息；所述歸檔信息包括：歸檔目標類型、歸檔生命周期、歸檔條件、文件名和存儲介質；在所述流式數據處理平臺上執行以下步驟：掃描所述指定目錄下的所有待歸檔數據文件；將掃描到的每一個待歸檔數據文件映射成為對應的data文件、check文件和ddl文件，并在數據庫表中添加對應的待歸檔數據文件記錄；所述待歸檔數據文件記錄中包含data文件的路徑信息、check文件的路徑信息和ddl文件的路徑信息；實時地讀取所述數據庫表，當所述數據庫表中出現新的待歸檔數據文件記錄時，執行步驟s1和步驟s2；其中，步驟s1：讀取所述新的待歸檔數據文件記錄對應的歸檔信息；步驟s2：根據歸檔信息中的歸檔條件將所述歸檔信息中的文件名與所述新的待歸檔數據文件記錄對應的數據文件的文件名進行比較，若相同則將所述新的待歸檔數據文件記錄對應的數據文件進行歸檔存入所述存儲介質中；若不同則報錯，并將報錯記錄到日志中。
4、進一步的，實時地讀取所述數據庫表之前，還包括以下步驟：從數據源采集待歸檔數據文件；將采集的待歸檔數據文件緩存至消息隊列。
5、進一步的，所述步驟s1之后，還包括以下步驟：校驗check文件在歸檔前后是否一致，校驗data文件在歸檔前后是否一致，若check文件或data文件在歸檔前后不一致，則中斷歸檔流程，若check文件和data文件在歸檔前后均一致，則校驗ddl文件在歸檔前后是否一致，若新增字段在末尾，則繼續歸檔流程，若有新增字段不在末尾，則中斷歸檔流程；創建臨時表，并將data文件中的數據加載至所述臨時表中，將數據加載完成后的臨時表中的數據條數與check中的數據條數進行比對，將臨時表中的數據記載到所述數據庫表中；將執行記錄寫入歸檔系統的數據庫的日志操作表中，生成操作日志。
6、進一步的，數據文件歸檔過程中，還包括以下步驟：對數據文件的歸檔進度進行監控；所述歸檔進度包括：歸檔速度、歸檔數量、丟失的數據文件和重復歸檔的數據文件；對存儲介質狀態進行監控；所述存儲介質狀態包括：存儲容量、使用率、硬件故障和網絡故障；若數據文件歸檔過程中出現數據文件丟失，對丟失的數據文件進行重新歸檔或補充；生成歸檔報告；所述歸檔報告中包含歸檔進度監控結果、存儲介質監控結果和異常處理結果；所述異常處理結果包括：數據文件丟失處理結果、硬件故障處理結果和網絡故障處理結果。
7、進一步的，數據文件歸檔之后，還包括以下步驟：進行歸檔數據備份；所述歸檔數據備份包括：備份方式、備份周期、備份存儲介質、備份數據驗證和備份恢復；所述備份方式包括：全量備份、增量備份或選定字段備份；所述備份存儲介質包括：固態硬盤；所述備份數據驗證包括：可讀性驗證和一致性驗證；所述備份恢復包括：存儲數據損壞或數據文件不可用時提供數據恢復。
8、另一方面，提供一種數據文件歸檔系統，包括：
9、平臺建立模塊，用于在數據中心或云平臺上建立流式數據處理平臺；
10、信息配置模塊，用于為指定目錄下的每一個待歸檔數據文件配置歸檔信息；所述歸檔信息包括：歸檔目標類型、歸檔生命周期、歸檔條件、文件名和存儲介質；
11、文件掃描模塊，用于掃描所述指定目錄下的所有待歸檔數據文件；
12、文件映射模塊，用于將掃描到的每一個待歸檔數據文件映射成為對應的data文件、check文件和ddl文件，并在數據庫表中添加對應的待歸檔數據文件記錄；所述待歸檔數據文件記錄中包含data文件的路徑信息、check文件的路徑信息和ddl文件的路徑信息；
13、數據庫表讀取模塊，用于實時地讀取所述數據庫表，當所述數據庫表中出現新的待歸檔數據文件記錄時，控制文件歸檔模塊工作；
14、歸檔信息讀取模塊，用于讀取所述新的待歸檔數據文件記錄對應的歸檔信息；
15、數據分析模塊，用于根據歸檔信息中的歸檔條件將所述歸檔信息中的文件名與所述新的待歸檔數據文件記錄對應的數據文件的文件名進行比較，若相同則將所述新的待歸檔數據文件記錄對應的數據文件進行歸檔存入所述存儲介質中；若不同則報錯，并將報錯記錄到日志中；
16、數據采集模塊，用于從數據源采集待歸檔數據文件；
17、數據緩存模塊，用于將采集的待歸檔數據文件緩存至消息隊列。
18、第一校驗模塊，用于校驗check文件在歸檔前后是否一致，校驗data文件在歸檔前后是否一致，若check文件或data文件在歸檔前后不一致，則中斷歸檔流程，若check文件和data文件在歸檔前后均一致，則校驗ddl文件在歸檔前后是否一致，若新增字段在末尾，則繼續歸檔流程，若有新增字段不在末尾，則中斷歸檔流程；
19、第二校驗模塊，用于創建臨時表，并將data文件中的數據加載至所述臨時表中，將數據加載完成后的臨時表中的數據條數與check中的數據條數進行比對，將臨時表中的數據記載到所述數據庫表中；
20、日志生成模塊，用于將執行記錄寫入歸檔系統的數據庫的數據庫的日志操作表中，生成操作日志。
21、第一監控模塊，用于對數據文件的歸檔進度進行監控；所述歸檔進度包括：歸檔速度、歸檔本文檔來自技高網...
【技術保護點】
1.一種數據文件歸檔方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種數據文件歸檔方法，其特征在于，實時地讀取所述數據庫表之前，還包括以下步驟：
3.根據權利要求1或2所述的一種數據文件歸檔方法，其特征在于，所述步驟S1之后，還包括以下步驟：
4.根據權利要求1或2所述的一種數據文件歸檔方法，其特征在于，數據文件歸檔過程中，還包括以下步驟：
5.根據權利要求1或2所述的一種數據文件歸檔方法，其特征在于，數據文件歸檔之后，還包括以下步驟：進行歸檔數據備份；所述歸檔數據備份包括：備份方式、備份周期、備份存儲介質、備份數據驗證和備份恢復；所述備份方式包括：全量備份、增量備份或選定字段備份；所述備份存儲介質包括：固態硬盤；所述備份數據驗證包括：可讀性驗證和一致性驗證；所述備份恢復包括：存儲數據損壞或數據文件不可用時提供數據恢復。
6.一種數據文件歸檔系統，其特征在于，包括：
7.根據權利要求6所述的一種數據文件歸檔系統，其特征在于，還包括：
8.根據權利要求6或7所述的一種數據文件歸檔系統，其
9.根據權利要求6或7所述的一種數據文件歸檔系統，其特征在于，還包括：
10.根據權利要求6或7所述的一種數據文件歸檔系統，其特征在于，還包括：
...【技術特征摘要】
1.一種數據文件歸檔方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種數據文件歸檔方法，其特征在于，實時地讀取所述數據庫表之前，還包括以下步驟：
3.根據權利要求1或2所述的一種數據文件歸檔方法，其特征在于，所述步驟s1之后，還包括以下步驟：
4.根據權利要求1或2所述的一種數據文件歸檔方法，其特征在于，數據文件歸檔過程中，還包括以下步驟：
5.根據權利要求1或2所述的一種數據文件歸檔方法，其特征在于，數據文件歸檔之后，還包括以下步驟：進行歸檔數據備份；所述歸檔數據備份包括：備份方式、備份周期、備份存儲介質、備份數據驗證和備份...
【專利技術屬性】
技術研發人員：謝娟，劉智萍，謝英杰，鄧鵬，代雄，黃思銘，劉艦陽，王森，彭梓高，侯波迅，陳科，
申請(專利權)人：四川農村商業聯合銀行股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。