【技術實現步驟摘要】
本申請涉及文件合并，尤其涉及一種文件合并方法、裝置、設備、存儲介質、產品及系統。
技術介紹
1、在數據處理和文件管理的眾多場景中，文件合并是一項基礎且關鍵的處理任務。隨著信息技術的飛速發展，各類數據以文件形式不斷產生和積累，數據量急劇增加，如何高效地管理和利用這些數據成為亟待解決的問題。特別是在處理大量具有時序屬性的文件(如日志文件、交易記錄等)時，如何快速且準確的合并這些文件，保證數據的完整性和時序性，顯得尤為重要。
技術實現思路
1、有鑒于此，本申請實施例致力于提供一種文件合并方法、裝置、設備、存儲介質、產品及系統，不僅能夠在合并過程中保持數據的時間順序，確保合并后的文件在時序上的一致性和準確性，還能夠大幅縮短文件合并所需的時間，提高整體處理效率。
2、根據本申請實施例的第一方面，提供了一種文件合并方法，包括：
3、根據預設的分組策略，將多個待合并文件劃分為多個待合并文件組，所述分組策略包括基于待合并文件的時序進行分組的策略；
4、調用多個子線程分別執行第一任務，得到多個任務執行結果，所述第一任務包括根據待合并文件的時序，對一個待合并文件組中的待合并文件進行合并，生成第一合并文件，所述任務執行結果包括所述第一合并文件以及所述第一合并文件的時序屬性，每一個子線程至少執行一個第一任務；
5、根據所述第一合并文件的時序屬性，對多個第一合并文件進行合并，生成第二合并文件。
6、可選的，所述根據預設的分組策略，將多個待合并文件劃
7、根據當前可用處理資源信息，確定目標分組數量；
8、根據每個待合并文件的時序屬性，按照時間均衡分配原則以及相鄰時間范圍同組分配原則，將多個待合并文件劃分為所述目標分組數量的待合并文件組。
9、可選的，所述第一任務還包括：
10、根據預設的劃分規則，將所述第一合并文件在邏輯上劃分為多個內容塊；
11、根據所述第一合并文件中各個內容塊的時序屬性，建立各個內容塊的索引，所述索引包括時間索引；
12、根據各個內容塊的索引，生成所述第一合并文件的索引文件；
13、所述任務執行結果還包括所述第一合并文件的索引文件；
14、所述方法還包括：
15、對各個第一合并文件的索引文件進行合并，生成所述第二合并文件的索引文件。
16、可選的，所述建立各個內容塊的索引，包括：
17、根據所述第一合并文件中各個內容塊在所述第一合并文件中的偏移量，建立各個內容塊的偏移量索引；
18、根據所述第一合并文件的時序屬性，建立所述偏移量索引的時間索引。
19、可選的，所述方法還包括：
20、響應于查詢請求，根據預設的任務劃分策略，將所述查詢請求對應的查詢任務劃分為至少一個查詢子任務，其中，所述查詢請求包括在第一文件組中對目標數據進行查詢的查詢任務，所述第一文件組包括所述第二合并文件，所述查詢子任務包括在一個第二合并文件中對目標數據進行查詢；
21、并行執行所述至少一個查詢子任務，得到每個查詢子任務對應的查詢結果；
22、利用預設的合并規則對每個子任務對應的查詢結果進行合并，生成最終查詢結果。
23、根據本申請實施例的第二方面，提供了一種文件合并裝置，包括：
24、第一單元，用于根據預設的分組策略，將多個待合并文件劃分為多個待合并文件組，所述分組策略包括基于待合并文件的時序進行分組的策略；
25、第二單元，用于調用多個子線程分別執行第一任務，得到多個任務執行結果，所述第一任務包括根據待合并文件的時序，對一個待合并文件組中的待合并文件進行合并，生成第一合并文件，所述任務執行結果包括所述第一合并文件以及所述第一合并文件的時序屬性，每一個子線程至少執行一個第一任務；
26、第三單元，用于根據所述第一合并文件的時序屬性，對多個第一合并文件進行合并，生成第二合并文件。
27、根據本申請實施例的第三方面，提供了一種文件合并設備，包括存儲器和處理器；
28、所述存儲器與所述處理器連接，用于存儲程序；
29、所述處理器用于通過運行所述存儲器中的程序，實現如本申請實施例的第一方面中任意一項所述的文件合并方法。
30、根據本申請實施例的第四方面，提供了一種存儲介質，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器運行時，實現如本申請實施例的第一方面中任意一項所述的文件合并方法。
31、根據本申請實施例的第五方面，提供了一種計算機程序產品，包括計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器實現如本申請實施例的第一方面中任意一項所述的文件合并方法。
32、根據本申請實施例的第六方面，提供了一種文件合并系統，包括：
33、如本申請實施例的第三方面中所述的文件合并設備以及數據存儲模塊，所述數據存儲模塊與所述文件合并設備通信連接；
34、所述數據存儲模塊用于對所述文件合并設備生成的第二合并文件進行存儲。
35、本申請提出的文件合并方法，通過預設的分組策略，將多個待合并文件劃分為多個待合并文件組，每組內的文件按照一定的時序屬性進行組織，隨后，將待合并文件組分配給不同的子線程，每個子線程負責合并至少一個文件組內的所有文件，生成具有明確時序屬性的第一合并文件，最后根據第一合并文件的時序屬性，對第一合并文件進行最終合并操作，生成第二合并文件。本申請一方面能夠在合并過程中保持數據的時間順序，確保合并后的文件在時序上的一致性和準確性，便于下游任務的執行；另一方面能夠大幅縮短文件合并所需的時間，提高整體處理效率。
本文檔來自技高網...【技術保護點】
1.一種文件合并方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述根據預設的分組策略，將多個待合并文件劃分為多個待合并文件組，包括：
3.根據權利要求1所述的方法，其特征在于，所述第一任務還包括：
4.根據權利要求3所述的方法，其特征在于，所述建立各個內容塊的索引，包括：
5.根據權利要求1所述的方法，其特征在于，所述方法還包括：
6.一種文件合并裝置，其特征在于，包括：
7.一種文件合并設備，其特征在于，包括存儲器和處理器；
8.一種存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，所述計算機程序被處理器運行時，實現如權利要求1-5中任意一項所述的文件合并方法。
9.一種計算機程序產品，其特征在于，包括計算機程序指令，所述計算機程序指令在被處理器運行時使得所述處理器實現如權利要求1-5中任意一項所述的文件合并方法。
10.一種文件合并系統，其特征在于，包括：
【技術特征摘要】
1.一種文件合并方法，其特征在于，包括：
2.根據權利要求1所述的方法，其特征在于，所述根據預設的分組策略，將多個待合并文件劃分為多個待合并文件組，包括：
3.根據權利要求1所述的方法，其特征在于，所述第一任務還包括：
4.根據權利要求3所述的方法，其特征在于，所述建立各個內容塊的索引，包括：
5.根據權利要求1所述的方法，其特征在于，所述方法還包括：
6.一種文件合并裝置，其特征在于，包...
【專利技術屬性】
技術研發人員：王彤，丁亮，蔣祥輝，耿洪坤，
申請(專利權)人：浙江綠色智行科創有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。