【技術實現步驟摘要】
本專利技術涉及數據處理，尤其涉及一種異步多線程快速處理表格數據導入的處理方法及系統。
技術介紹
1、在當前的數據處理
，表格數據的處理與導入是一個重要的環節。然而，現有的表格處理工具在面臨大數據寫庫任務時，往往耗時較長，這在一定程度上限制了數據處理效率。為了解決這個問題，網絡上涌現出了一些其他的解決方案，如利用消息隊列進行解耦，以及采用異步線程處理等方式。然而，這些方案在實際應用中往往涉及較多的資源占用，不僅增加了系統負擔，也提高了運行成本。鑒于這種情況，有必要開發一種更為高效、資源占用更少的表格數據處理方法。
技術實現思路
1、為此，本專利技術實施例提供了一種異步多線程快速處理表格數據導入的處理方法及系統，用于解決現有技術中表格數據處理工具在解析數據后寫庫耗時太久，且其他異步處理方案資源占用較多的問題。
2、為了解決上述問題，本專利技術實施例提供一種異步多線程快速處理表格數據導入的處理方法，該方法包括：
3、步驟s1：對需要導入的表格數據進行信息解析，生成集合數據，其中表格中的一條數據對應集合中的一條數據；
4、步驟s2：判斷集合數據的大小，若集合數據的條數大于預設閾值，則對集合數據進行分割，形成多個子集合；
5、步驟s3：根據分割后的子集合數量，開啟相應數量的異步線程，每個異步線程分別處理一個子集合的數據；
6、步驟s4：每個異步線程對各自處理的子集合數據進行存表持久化處理；
7、步驟s5：使用cou
8、優選地，步驟s2中，所述預設閾值根據系統資源狀況和數據處理需求進行動態調整。
9、優選地，步驟s2中，所述對集合數據進行分割的方法為：
10、將集合數據按照預設閾值進行打包，每個打包后的集合包含不超過預設閾值的數據條數。
11、優選地，在步驟s3之前包括：配置線程池，用于管理異步線程，其中線程池屬性包括核心線程數、最大線程數和隊列容量。
12、優選地，所述線程池使用threadpooltaskexecutor實現。
13、優選地，步驟s3中，所述每個異步線程使用@async注解進行異步處理。
14、優選地，步驟s4中，所述存表持久化處理包括對子集合內的數據進行數據庫寫入操作。
15、本專利技術實施例還提供了一種異步多線程快速處理表格數據導入的處理系統，該系統用于實現上述所述的異步多線程快速處理表格數據導入的處理方法，具體包括：
16、數據解析模塊，用于對需要導入的表格數據進行信息解析，生成集合數據，其中表格中的一條數據對應集合中的一條數據；
17、數據分割模塊，用于判斷集合數據的大小，若集合數據的條數大于預設閾值，則對集合數據進行分割，形成多個子集合；
18、線程管理模塊，用于根據分割后的子集合數量，開啟相應數量的異步線程，每個異步線程分別處理一個子集合的數據；
19、數據處理模塊，用于每個異步線程對各自處理的子集合數據進行存表持久化處理；
20、計數模塊，用于使用countdownlatch進行異步計數，當所有異步線程處理成功后，返回標志位，表示數據導入成功。
21、本專利技術實施例還提供了一種電子設備，所述電子設備包括處理器、存儲器和總線系統，所述處理器和存儲器通過該總線系統相連，所述存儲器用于存儲指令，所述處理器用于執行存儲器存儲的指令，以實現上述所述的異步多線程快速處理表格數據導入的處理方法。
22、本專利技術實施例還提供了一種計算機存儲介質，所述計算機存儲介質存儲有計算機軟件產品，所述計算機軟件產品包括若干指令，用以使得一臺計算機設備執行上述所述的異步多線程快速處理表格數據導入的處理方法。
23、從以上技術方案可以看出，本專利技術申請具有以下有益效果：
24、(1)本專利技術通過異步多線程處理表格數據導入，能夠根據表格的大小進行分割分組，并利用線程池管理異步線程。這種方式顯著提高了數據處理的并行度，從而大幅縮短了數據導入數據庫的時間，提升了整體工作效率。
25、(2)與現有技術中利用消息隊列等方案相比，本專利技術在不引入外部資源的情況下，通過整合原有框架現有技術實現了異步多線程處理。這減少了額外的資源占用，降低了系統負擔，使得數據導入過程更加高效且經濟。
26、(3)本專利技術提供的異步多線程處理表格數據導入的方法，不僅技術實現靈活，而且具有較高的可復用性。通過簡單的配置和調整，即可適應不同規模和類型的數據導入需求，為各種應用場景提供了便捷的數據處理解決方案。
本文檔來自技高網...【技術保護點】
1.一種異步多線程快速處理表格數據導入的處理方法，其特征在于，包括：
2.根據權利要求1所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，步驟S2中，所述預設閾值根據系統資源狀況和數據處理需求進行動態調整。
3.根據權利要求1所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，步驟S2中，所述對集合數據進行分割的方法為：
4.根據權利要求1所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，在步驟S3之前包括：配置線程池，用于管理異步線程，其中線程池屬性包括核心線程數、最大線程數和隊列容量。
5.根據權利要求4所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，所述線程池使用ThreadPoolTaskExecutor實現。
6.根據權利要求1所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，步驟S3中，所述每個異步線程使用@Async注解進行異步處理。
7.根據權利要求1所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，步驟S4中，所述存表持久化處理包括
8.一種異步多線程快速處理表格數據導入的處理系統，其特征在于，所述系統用于實現權利要求1至7任意一項所述的異步多線程快速處理表格數據導入的處理方法，具體包括：
9.一種電子設備，其特征在于，所述電子設備包括處理器、存儲器和總線系統，所述處理器和存儲器通過該總線系統相連，所述存儲器用于存儲指令，所述處理器用于執行存儲器存儲的指令，以實現權利要求1至7任意一項所述的異步多線程快速處理表格數據導入的處理方法。
10.一種計算機存儲介質，其特征在于，所述計算機存儲介質存儲有計算機軟件產品，所述計算機軟件產品包括若干指令，用以使得一臺計算機設備執行權利要求1至7任意一項所述的異步多線程快速處理表格數據導入的處理方法。
...【技術特征摘要】
1.一種異步多線程快速處理表格數據導入的處理方法，其特征在于，包括：
2.根據權利要求1所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，步驟s2中，所述預設閾值根據系統資源狀況和數據處理需求進行動態調整。
3.根據權利要求1所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，步驟s2中，所述對集合數據進行分割的方法為：
4.根據權利要求1所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，在步驟s3之前包括：配置線程池，用于管理異步線程，其中線程池屬性包括核心線程數、最大線程數和隊列容量。
5.根據權利要求4所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，所述線程池使用threadpooltaskexecutor實現。
6.根據權利要求1所述的異步多線程快速處理表格數據導入的處理方法，其特征在于，步驟s3中，所述每個異步線程使用@a...
【專利技術屬性】
技術研發人員：王玨，秦華軍，
申請(專利權)人：蘇州良醫匯網絡科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。