【技術實現步驟摘要】
本專利技術涉及數據處理，尤其涉及批量大文件的數據拆分、定時執行與可攔截控制的技術。
技術介紹
1、在當今數字化時代，眾多行業尤其是銀行業務實踐中，頻繁面臨大批量數據的快速處理需求，例如批量短信發送等場景。傳統的處理方式通常采用批量文件形式一次性進行實時或定時處理。
2、然而，這種方式存在諸多缺陷。一方面，在大批量數據處理進程中，系統極易出現內存占用過高的狀況，嚴重影響系統性能與穩定性；另一方面，一旦發現文件數據存在錯誤，難以在數據處理過程中針對尚未處理的數據實時實施有效干預，從而無法有效控制相關業務風險。
3、此外，現有技術大多依賴人工手動操作，例如在處理大文件中的部分數據時，需手動拆分數據并導入，隨后人工等待合適時間再進行下一輪處理，這不僅導致整體處理效率低下，還容易因手動拆分操作失誤引發問題，并且執行處理時間難以精準把控，無法像本專利技術通過配置規則自動生成延遲任務并由系統自動處理和維護文件的拆分、執行以及攔截等操作，在自動化、可視化與規范管理化方面存在明顯不足。
技術實現思路
1、本專利技術提供一種批量大文件數據拆分定時執行可攔截的實現方法，包括：
2、步驟101，當大數據文件被請求調用處理時，選取對應的拆分規則，拆分規則的參數包括執行時間、執行間隔；
3、步驟102，依據拆分規則將大數據文件拆分為多個子文件，每個子文件初始狀態設定為待執行；
4、步驟103，根據子文件的處理時間及批次處理間隔，計算每個延遲任務的執行
5、依據拆分規則的執行時間、執行間隔，計算各個子文件的執行時間，生成待執行狀態的延遲任務，每一個被拆分后的子文件均可視為一個獨立的任務；
6、將延遲任務保存至數據庫；
7、步驟104，根據預設的執行頻率，查詢執行時間小于等于當前時間且狀態為待執行的延遲任務記錄，獲取延遲任務信息并更新其記錄狀態為執行中；
8、采用多線程處理待執行的延遲任務，并依據執行情況更新狀態為：執行成功或執行失敗；
9、步驟105，在前述任一步驟執行時，都可以插入執行本步驟的如下任一動作：
10、針對待執行且尚未被調度執行的延遲任務，可實施暫停、取消（攔截）操作，也可進行立即執行操作；
11、對于已暫停的任務，可恢復執行；
12、對執行失敗的任務，經分析后可進行重試操作。
13、進一步地，還包括步驟106，分析和監控延遲任務執行狀況，分析和監控維度包括：
14、任務執行狀態、處理文件記錄數、各服務器執行情況。
15、多維度的分析和監控延遲任務執行狀況，便于業務人員清晰掌握批量文件整體執行流轉過程，提升管理效率與用戶體驗。
16、更進一步地，所述任務執行狀態包括：待執行、執行中、已暫停、已取消、執行成功、執行失敗；
17、所述處理文件記錄數包括總數、成功數、失敗數；
18、所述各服務器執行情況包括：任務數、成功任務數、失敗任務數、整個批次執行總耗時、各個子批次執行耗時、平均耗時。
19、提供延遲任務的多種操作功能，如立即執行、暫停、取消、恢復執行、重試等，可以滿足不同業務場景需求，增強了業務處理的靈活性與可控性。
20、本專利技術還提供一種批量大文件數據拆分定時執行可攔截的裝置，包括：定時拆分規則管理模塊、數據處理模塊、任務job調度服務模塊。
21、定時拆分規則管理模塊：用于設定和維護文件的拆分規則，以及在大數據文件導入時提供規則選擇接口，拆分規則的參數包括執行時間、執行間隔；
22、數據處理模塊用于數據處理、執行服務；數據處理模塊接收文件/請求后，依據拆分規則對大數據文件進行多線程文件拆分，生成多個子文件；根據子文件的處理時間及批次處理間隔，計算每個延遲任務的執行時間，構建待執行狀態的延遲任務并保存至數據庫，之后，在分布式任務調度下進行多線程處理并更新執行狀態；
23、任務job調度服務模塊：按照設定的執行頻率查詢待執行的延遲任務，當延遲任務到達執行時間時，調用數據處理模塊進行多線程處理。
24、進一步的，還包括任務管理模塊，用于查詢延遲任務的狀態，提供對延遲任務進行暫停、取消、立即執行、恢復執行、重試等操作的接口。
25、進一步的，還包括監控分析模塊，從多個維度對延遲任務執行狀況進行分析和監控，包括任務執行狀態、處理文件記錄數、各服務器執行情況等維度的統計與分析，并提供可視化展示界面。
26、進一步的，所述拆分規則在大數據文件被客戶端、瀏覽器、api請求調用處理時，是由客戶端、瀏覽器、api選擇的拆分規則。
27、進一步的，所述拆分規則在大數據文件被客戶端、瀏覽器、api請求調用處理時，是由數據處理平臺依據預設策略選擇的拆分規則。
28、進一步的，所述拆分規則的參數還包括：首批次執行時間、首批次執行間隔、首批次執行數量、剩余批次間隔、剩余批次條數。
29、更進一步的，所述拆分規則的參數還包括：首批次執行時間、首批次執行間隔、首批次執行數量、剩余批次間隔、剩余批次條數；
30、首批次執行數量的子文件是根據首批次執行時間及首批次執行間隔，計算首批次執行的每個延遲任務的執行時間；
31、剩余次處理數量的子文件是根據首批次執行時間、首批次執行間隔、剩余批次間隔，計算每個剩余批次的延遲任務的執行時間。
32、有益效果：
33、有效解決系統內存占用高、單次執行耗時長、客戶端等待時間久等問題，提升系統性能與處理效率。
34、通過配置規則自動生成延遲任務并由系統自動處理和維護文件的拆分、執行以及攔截等操作，減少人工干預，降低誤操作風險，提高處理的準確性與及時性。
本文檔來自技高網...【技術保護點】
1.一種批量大文件數據拆分定時執行可攔截的實現方法，其特征在于，包括：
2.如權利要求1所述的一種批量大文件數據拆分定時執行可攔截的實現方法，其特征在于，還包括步驟106，分析和監控延遲任務執行狀況，分析和監控維度包括：
3.如權利要求1所述的一種批量大文件數據拆分定時執行可攔截的實現方法，其特征在于，所述任務執行狀態包括：待執行、執行中、已暫停、已取消、執行成功、執行失敗；
4.一種批量大文件數據拆分定時執行可攔截的裝置，其特征在于，包括：定時拆分規則管理模塊、數據處理模塊、任務job調度服務模塊；
5.如權利要求4所述的一種批量大文件數據拆分定時執行可攔截的裝置，其特征在于，還包括任務管理模塊，用于查詢延遲任務的狀態，提供對延遲任務進行暫停、取消、立即執行、恢復執行、重試等操作的接口。
6.如權利要求4所述的一種批量大文件數據拆分定時執行可攔截的裝置，其特征在于，還包括監控分析模塊，從多個維度對延遲任務執行狀況進行分析和監控，包括任務執行狀態、處理文件記錄數、各服務器執行情況等維度的統計與分析，并提供可視化展示界面。
7.如權利要求1至6任一所述的一種批量大文件數據拆分定時執行可攔截的實現方法或裝置，其特征在于，所述拆分規則在大數據文件被客戶端、瀏覽器、API請求調用處理時，是由客戶端、瀏覽器、API選擇的拆分規則。
8.如權利要求1至6任一所述的一種批量大文件數據拆分定時執行可攔截的實現方法或裝置，其特征在于，所述拆分規則在大數據文件被客戶端、瀏覽器、API請求調用處理時，是由數據處理平臺依據預設策略選擇的拆分規則。
9.如權利要求1至6任一所述的一種批量大文件數據拆分定時執行可攔截的實現方法或裝置，其特征在于，所述拆分規則的參數還包括：首批次執行時間、首批次執行間隔、首批次執行數量、剩余批次間隔、剩余批次條數。
10.如權利要求1至6任一所述的一種批量大文件數據拆分定時執行可攔截的實現方法或裝置，其特征在于，所述拆分規則的參數還包括：首批次執行時間、首批次執行間隔、首批次執行數量、剩余批次間隔、剩余批次條數；
...【技術特征摘要】
1.一種批量大文件數據拆分定時執行可攔截的實現方法，其特征在于，包括：
2.如權利要求1所述的一種批量大文件數據拆分定時執行可攔截的實現方法，其特征在于，還包括步驟106，分析和監控延遲任務執行狀況，分析和監控維度包括：
3.如權利要求1所述的一種批量大文件數據拆分定時執行可攔截的實現方法，其特征在于，所述任務執行狀態包括：待執行、執行中、已暫停、已取消、執行成功、執行失敗；
4.一種批量大文件數據拆分定時執行可攔截的裝置，其特征在于，包括：定時拆分規則管理模塊、數據處理模塊、任務job調度服務模塊；
5.如權利要求4所述的一種批量大文件數據拆分定時執行可攔截的裝置，其特征在于，還包括任務管理模塊，用于查詢延遲任務的狀態，提供對延遲任務進行暫停、取消、立即執行、恢復執行、重試等操作的接口。
6.如權利要求4所述的一種批量大文件數據拆分定時執行可攔截的裝置，其特征在于，還包括監控分析模塊，從多個維度對延遲任務執行狀況進行分析和監控，包括任務執行狀態、處理文件...
【專利技術屬性】
技術研發人員：馬偉，李政，
申請(專利權)人：北京中關村銀行股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。