【技術實現步驟摘要】
本專利技術用于數據采集和監控領域，具體為一種有序文件采集和斷點續傳的方法。
技術介紹
1、在現有金融行業領域，核心的交易模塊會產生很多日志和數據，這些數據對于整個金融模塊的狀態有著關鍵的意義，所以要保證在采集和傳輸過程數據的完整性和有序性，中斷會產生斷點信息，要能夠重新恢復數據的完整和有序性，避免監控到的狀態是混亂的，斷點信息是全量數據傳輸中斷后表示相關文件的元信息以及傳輸斷開位置的信息。現有數據采集，沒有關注數據文件的有序性，斷點續傳過程只考慮單一文件的續傳，會導致數據的時序混亂。
技術實現思路
1、本專利技術的目的是解決現有技術存在沒有關注數據文件的有序性，斷點續傳過程只考慮單一文件的續傳，會導致數據的時序混亂的問題。
2、為了解決上述問題本專利技術提供了一種有序文件采集和斷點續傳的方法，具體步驟如下：
3、s1：文件分類；
4、s1-1：針對不同類型文件使用前綴_時間.后綴的方式來分類，相同前綴文件為同一類文件；
5、前綴包括：應用模塊名稱a、應用模塊名稱b、應用模塊名稱c；
6、時間包括：例如202409201306，表示文件生成時間為2024年9月20號13時06分；
7、后綴包括：.sh、.pl、py；
8、分類是為了體現同一應用模塊輸出的多個文件的相互關系，相同類型的文件才會按時間進行排序，按序傳輸，不同類文件可以混雜傳輸互不影響。
9、s2：文件存儲；
10、
11、應用模塊是用于完成某項功能的程序，具體功能不限，完成功能的同時通常會以文件的形式儲存新產生數據，數據內容不限，這些數據的作用包括但不限于：1.作為其他模塊的輸入或2.記錄當前應用模塊狀態或3.記錄進程運行時發生的事件。
12、文件存儲的時候需要有文件夾層級，這個層級也叫“路徑”，這里的分類存儲就是確定文件的存儲路徑，上面針對文件名字的分類是為了區分同一文件夾下的文件，此處的按路徑分類是為了能夠很明確的確定文件來自于哪臺機器，是由哪個模塊產生。
13、s3：agent端與所述server端交互；
14、agent是一個用于采集應用模塊產生的文件中的部分或全部的程序，采集后的數據發送給server。
15、server是將agent傳輸來的數據存儲到磁盤上的程序。
16、agent及server均為普通tcp交互程序，自行創建即可。
17、s3-1：所述server端通過tcp連接主動取得所述agent端的ip信息；
18、s3-2：所述server端提供給所述agent端的所述agent端所在ip的已接收文件的斷點信息，完成交互；
19、斷點信息包括文件名和該文件已傳輸的文件尺寸，其中“該文件已傳輸的文件尺寸”稱為斷點
20、s3-3：在交互后傳輸文件時所述agent端在數據中攜帶應用模塊名稱及文件名稱發送給所述server端；
21、s3-3-1：所述agent端發送文件情形如下：
22、s3-3-2：所述agent端將待傳輸的所述同一類文件按照文件名稱中的時間來排序發送；
23、如果待傳輸的所述同一類文件中已有斷點信息，說明該文件之前被傳輸過，那么就從斷點處開始傳輸文件，即接著文件的尾部繼續寫入數據；
24、如果待傳輸的所述同一類文件中沒有斷點信息，即所述server端沒有該文件的信息，說明這是個未被傳輸過的文件，從頭開始傳輸。
25、優選方式下，所述步驟s3-3-2中不同類的文件可以通過不同通道同時發送。
26、優選方式下，文件是應用模塊產生的，具體內容可以是任意數據，即二進制數據、文本數據均可。
27、本專利技術能夠取得下列有益效果：實現了交易系統的重要事件和性能指標的有序、實時、完整性的監控和傳輸，確保正確的監控交易系統。
本文檔來自技高網...【技術保護點】
1.一種有序文件采集和斷點續傳的方法，其特征在于，具體步驟如下：
2.根據權利要求1所述的有序文件采集和斷點續傳的方法，其特征在于，所述步驟S3-3-2中不同類的文件可以通過不同通道同時發送。
3.根據權利要求1所述的有序文件采集和斷點續傳的方法，其特征在于，文件是應用模塊產生的，具體內容可以是任意數據，即二進制數據、文本數據均可。
【技術特征摘要】
1.一種有序文件采集和斷點續傳的方法，其特征在于，具體步驟如下：
2.根據權利要求1所述的有序文件采集和斷點續傳的方法，其特征在于，所述步驟s3-3-2中不同類的文件可...
【專利技術屬性】
技術研發人員：孟文，趙世強，高聰，鮑學強，
申請(專利權)人：大連飛創信息技術有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。