【技術(shù)實現(xiàn)步驟摘要】
本申請涉及計算機領(lǐng)域，尤其涉及一種數(shù)據(jù)調(diào)度方法、裝置、設(shè)備、介質(zhì)及系統(tǒng)。
技術(shù)介紹
1、在企業(yè)日常運維中，從數(shù)據(jù)庫中提取數(shù)據(jù)是一項關(guān)鍵任務(wù)。通過精確的數(shù)據(jù)提取，企業(yè)能夠洞察業(yè)務(wù)運營、識別潛在問題并優(yōu)化資源配置。隨著信息技術(shù)的迅速發(fā)展，數(shù)據(jù)來源、數(shù)據(jù)格式類型和數(shù)據(jù)規(guī)模越來越大，使得高效且準(zhǔn)確提取數(shù)據(jù)的需求愈發(fā)顯著。
2、目前數(shù)據(jù)提取的方法主要采用串行處理模式，即在單一節(jié)點上進行數(shù)據(jù)處理，通過執(zhí)行結(jié)構(gòu)化查詢語言(英文：structured?query?language，簡稱：sql)從數(shù)據(jù)庫中提取所需數(shù)據(jù)，然后按照特定邏輯對導(dǎo)出的數(shù)據(jù)進行順序加工，進而完成數(shù)據(jù)提取。
3、然而，上述數(shù)據(jù)提取的方法在面對數(shù)據(jù)量大、邏輯復(fù)雜的業(yè)務(wù)時，數(shù)據(jù)處理速度較慢。
技術(shù)實現(xiàn)思路
1、本申請實施例提供數(shù)據(jù)調(diào)度方法、裝置、設(shè)備、介質(zhì)及系統(tǒng)，用以解決現(xiàn)有的數(shù)據(jù)提取方法在面對數(shù)據(jù)量大、邏輯復(fù)雜的業(yè)務(wù)時，數(shù)據(jù)處理速度慢的問題。
2、第一方面，本申請實施例提供一種數(shù)據(jù)調(diào)度方法，應(yīng)用于數(shù)據(jù)調(diào)度處理系統(tǒng)中的調(diào)度節(jié)點，系統(tǒng)中包括調(diào)度節(jié)點，以及與調(diào)度節(jié)點連接的多個工作節(jié)點，方法包括：
3、響應(yīng)于數(shù)據(jù)調(diào)度任務(wù)，進行調(diào)度任務(wù)拆分，得到多個子調(diào)度任務(wù)；
4、根據(jù)多個子調(diào)度任務(wù)，從數(shù)據(jù)庫中提取每個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)；
5、將不同子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)，分配至多個工作節(jié)點進行并行處理。
6、在一種可能的實施方式中，將不同子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)，分配至多
7、根據(jù)多個工作節(jié)點的數(shù)量或當(dāng)前運行情況，將多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)分配至多個工作節(jié)點上進行并行處理。
8、在一種可能的實施方式中，根據(jù)多個工作節(jié)點的數(shù)量，將多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)分配至多個工作節(jié)點上進行并行處理，包括：
9、根據(jù)多個工作節(jié)點的數(shù)量以及多個子調(diào)度任務(wù)的數(shù)量，將多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)，平均分配至多個工作節(jié)點上進行并行處理。
10、在一種可能的實施方式中，根據(jù)多個工作節(jié)點的當(dāng)前運行情況，將多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)分配至多個工作節(jié)點上進行并行處理，包括：
11、根據(jù)多個工作節(jié)點的當(dāng)前運行情況，確定出當(dāng)前處于空閑狀態(tài)的工作節(jié)點的數(shù)量，并根據(jù)當(dāng)前處于空閑狀態(tài)的工作節(jié)點的數(shù)量以及多個子調(diào)度任務(wù)的數(shù)量，將多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)平均分配至空閑的工作節(jié)點上進行并行處理；
12、或者，
13、根據(jù)多個工作節(jié)點的當(dāng)前運行情況，將多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)按照預(yù)設(shè)規(guī)則分配至多個工作節(jié)點上進行并行處理，預(yù)設(shè)規(guī)則中包括：分配后每個工作節(jié)點的處理數(shù)據(jù)量的差距小于預(yù)設(shè)值。
14、在一種可能的實施方式中，響應(yīng)于數(shù)據(jù)調(diào)度任務(wù)，進行調(diào)度任務(wù)拆分，得到多個子調(diào)度任務(wù)，包括：
15、若數(shù)據(jù)調(diào)度任務(wù)中攜帶調(diào)度時間區(qū)間，則根據(jù)預(yù)設(shè)的調(diào)度時間間隔對數(shù)據(jù)調(diào)度任務(wù)進行拆分，得到多個子調(diào)度任務(wù)；
16、或者，
17、若數(shù)據(jù)調(diào)度任務(wù)中攜帶調(diào)度地域信息，則根據(jù)預(yù)設(shè)的調(diào)度區(qū)域劃分對數(shù)據(jù)調(diào)度任務(wù)進行拆分，得到多個子調(diào)度任務(wù)。
18、在一種可能的實施方式中，根據(jù)多個子調(diào)度任務(wù)，從數(shù)據(jù)庫中提取每個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)，包括：
19、根據(jù)多個子調(diào)度任務(wù)，通過sql依次從數(shù)據(jù)庫中提取每個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)。
20、第二方面，本申請實施例提供一種數(shù)據(jù)調(diào)度裝置，應(yīng)用于數(shù)據(jù)調(diào)度處理系統(tǒng)中的調(diào)度節(jié)點，系統(tǒng)中包括調(diào)度節(jié)點，以及與調(diào)度節(jié)點連接多個工作節(jié)點，裝置包括：
21、調(diào)度任務(wù)拆分模塊，用于響應(yīng)于數(shù)據(jù)調(diào)度任務(wù)，進行調(diào)度任務(wù)拆分，得到多個子調(diào)度任務(wù)；
22、數(shù)據(jù)提取模塊，用于根據(jù)多個子調(diào)度任務(wù)，從數(shù)據(jù)庫中提取每個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)；
23、調(diào)度任務(wù)分配模塊，用于將不同子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)，分配至多個工作節(jié)點進行并行處理。
24、第三方面，本申請實施例提供一種數(shù)據(jù)調(diào)度設(shè)備，包括：存儲器，處理器；
25、存儲器存儲計算機執(zhí)行指令；
26、處理器執(zhí)行存儲器存儲的計算機執(zhí)行指令，使得處理器執(zhí)行如上第一方面和/或第一方面各種可能的實施方式。
27、第四方面，本申請實施例提供一種計算機可讀存儲介質(zhì)，計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令，計算機執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)如上第一方面和/或第一方面各種可能的實施方式。
28、第五方面，本申請實施例提供一種數(shù)據(jù)調(diào)度處理系統(tǒng)，包括：
29、與數(shù)據(jù)庫連接的調(diào)度節(jié)點，以及與調(diào)度節(jié)點連接多個工作節(jié)點；
30、其中，調(diào)度節(jié)點用于執(zhí)行權(quán)利要求1至6任一項的數(shù)據(jù)調(diào)度方法；
31、工作節(jié)點用對調(diào)度節(jié)點分配的數(shù)據(jù)進行處理。
32、本申請?zhí)岢龅臄?shù)據(jù)調(diào)度方法、裝置、設(shè)備、介質(zhì)及系統(tǒng)，通過將數(shù)據(jù)處理任務(wù)拆分成多個小任務(wù)，并根據(jù)每個拆分出來的小任務(wù)，從對應(yīng)數(shù)據(jù)庫中獲取各個小任務(wù)對應(yīng)的數(shù)據(jù)，然后將各個小任務(wù)以及對應(yīng)的數(shù)據(jù)分配到不同的工作節(jié)點上，以使各個工作節(jié)點可以并行處理對應(yīng)數(shù)據(jù)的手段，實現(xiàn)了多個工作節(jié)點可以同時處理數(shù)據(jù)，從而提高了數(shù)據(jù)處理的速度，且并行處理能夠更好地利用數(shù)據(jù)調(diào)度和處理資源，達到了確保數(shù)據(jù)調(diào)度處理系統(tǒng)高效運行的效果。
本文檔來自技高網(wǎng)...【技術(shù)保護點】
1.一種數(shù)據(jù)調(diào)度方法，其特征在于，應(yīng)用于數(shù)據(jù)調(diào)度處理系統(tǒng)中的調(diào)度節(jié)點，所述系統(tǒng)中包括所述調(diào)度節(jié)點，以及與所述調(diào)度節(jié)點連接的多個工作節(jié)點，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將不同子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)，分配至所述多個工作節(jié)點進行并行處理，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述多個工作節(jié)點的數(shù)量，將所述多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)分配至所述多個工作節(jié)點上進行并行處理，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述多個工作節(jié)點的當(dāng)前運行情況，將所述多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)分配至所述多個工作節(jié)點上進行并行處理，包括：
5.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于，所述響應(yīng)于數(shù)據(jù)調(diào)度任務(wù)，進行調(diào)度任務(wù)拆分，得到多個子調(diào)度任務(wù)，包括：
6.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于，所述根據(jù)所述多個子調(diào)度任務(wù)，從數(shù)據(jù)庫中提取每個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)，包括：
7.一種數(shù)據(jù)調(diào)度裝置，其特征在于，應(yīng)用于數(shù)據(jù)調(diào)度處理系統(tǒng)中的調(diào)度節(jié)點，所述系統(tǒng)中包括所述調(diào)度節(jié)
8.一種數(shù)據(jù)調(diào)度設(shè)備，其特征在于，包括：存儲器，處理器；
9.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令，所述計算機執(zhí)行指令被處理器執(zhí)行時用于實現(xiàn)如權(quán)利要求1-6任一項所述的方法。
10.一種數(shù)據(jù)調(diào)度處理系統(tǒng)，其特征在于，包括：
...【技術(shù)特征摘要】
1.一種數(shù)據(jù)調(diào)度方法，其特征在于，應(yīng)用于數(shù)據(jù)調(diào)度處理系統(tǒng)中的調(diào)度節(jié)點，所述系統(tǒng)中包括所述調(diào)度節(jié)點，以及與所述調(diào)度節(jié)點連接的多個工作節(jié)點，所述方法包括：
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將不同子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)，分配至所述多個工作節(jié)點進行并行處理，包括：
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述多個工作節(jié)點的數(shù)量，將所述多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)分配至所述多個工作節(jié)點上進行并行處理，包括：
4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述多個工作節(jié)點的當(dāng)前運行情況，將所述多個子調(diào)度任務(wù)對應(yīng)的數(shù)據(jù)分配至所述多個工作節(jié)點上進行并行處理，包括：
5.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：趙陽，鐘劍標(biāo)，李迪，
申請(專利權(quán))人：中國銀行股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。