【技術實現步驟摘要】
本專利技術涉及批量作業調度，尤其涉及一種基于云平臺的作業調度方法及系統。
技術介紹
1、在進行批量作業調度時，傳統分布式批量作業調度方法支持集群部署和分布式任務調度，此類方法大多基于數據庫的方式進行任務的注冊發現，在調度中心集群部署時，需要保證集群機器時鐘一致，且需根據服務器id等硬編碼實現作業的分布式調度。
2、現有的批量作業調度框架由于依賴了硬編碼等特殊硬件配置，而部分主流云平臺產品不存在固定的硬件編碼，所以存在批量作業調度框架難以直接上云的問題。
技術實現思路
1、本專利技術提供了一種基于云平臺的作業調度方法及系統，在進行作業調度時與ip、機器硬編碼等硬件配置均無關聯，能夠在云環境和云下虛擬機進行部署，提高了對于云端的適用性。
2、根據本專利技術的一方面，提供了一種基于云平臺的作業調度方法，由作業調度系統執行，所述作業調度系統配置于云平臺的節點中，所述作業調度系統包括：接收器、預處理單元、處理單元以及存儲單元；所述方法包括：
3、通過接收器接收待處理任務，將所述待處理任務的任務文件存放至存儲單元的信息存儲器中，并在存儲單元的預處理隊列中建立對應于所述待處理任務的預處理任務；
4、若通過預處理單元的搶占器在存儲單元的鎖存儲器中搶占到針對預處理階段的分布式鎖，則在預處理隊列中確定目標預處理任務并將所述目標預處理任務發送至預處理單元的分割器；
5、通過預處理單元的分割器對位于所述信息存儲器中的目標任務文件進行分割，將分割得
6、通過處理單元對所述存儲單元的處理隊列中的目標處理任務進行處理。
7、根據本專利技術的另一方面，提供了一種基于云平臺的作業調度系統，所述作業調度系統配置于云平臺的節點中，所述作業調度系統包括：接收器、預處理單元、處理單元以及存儲單元；
8、所述接收器，用于接收待處理任務，將所述待處理任務的任務文件存放至存儲單元的信息存儲器中，并在存儲單元的預處理隊列中建立對應于所述待處理任務的預處理任務；
9、所述預處理單元的搶占器，用于在存儲單元的鎖存儲器中搶占針對預處理階段的分布式鎖，還用于在預處理隊列中確定目標預處理任務并將所述目標預處理任務發送至預處理單元的分割器；
10、所述預處理單元的分割器，用于對位于所述信息存儲器中的目標任務文件進行分割，將分割得到的子任務文件放置于所述信息存儲器中，并在所述存儲單元的處理隊列中建立對應于子任務文件的處理任務；所述目標任務文件為所述目標預處理任務對應的任務文件；
11、所述處理單元，用于對所述存儲單元的處理隊列中的目標處理任務進行處理。
12、本申請實施例的技術方案，所述作業調度方法由作業調度系統執行，所述作業調度系統配置于云平臺的節點中，所述作業調度系統包括：接收器、預處理單元、處理單元以及存儲單元；所述方法包括：通過接收器接收待處理任務，將所述待處理任務的任務文件存放至存儲單元的信息存儲器中，并在存儲單元的預處理隊列中建立對應于所述待處理任務的預處理任務；若通過預處理單元的搶占器在存儲單元的鎖存儲器中搶占到針對預處理階段的分布式鎖，則在預處理隊列中確定目標預處理任務并將所述目標預處理任務發送至預處理單元的分割器；通過預處理單元的分割器對位于所述信息存儲器中的目標任務文件進行分割，將分割得到的子任務文件放置于所述信息存儲器中，并在所述存儲單元的處理隊列中建立對應于子任務文件的處理任務；所述目標任務文件為所述目標預處理任務對應的任務文件；通過處理單元對所述存儲單元的處理隊列中的目標處理任務進行處理。本技術方案在進行作業調度時，與ip、機器硬編碼等硬件配置均無關聯，能夠在云環境和云下虛擬機進行部署，提高了對于云端的適用性。
13、應當理解，本部分所描述的內容并非旨在標識本專利技術的實施例的關鍵或重要特征，也不用于限制本專利技術的范圍。本專利技術的其它特征將通過以下的說明書而變得容易理解。
本文檔來自技高網...【技術保護點】
1.一種基于云平臺的作業調度方法，其特征在于，由作業調度系統執行，所述作業調度系統配置于云平臺的節點中，所述作業調度系統包括：接收器、預處理單元、處理單元以及存儲單元；所述方法包括：
2.根據權利要求1所述的方法，其特征在于，通過接收器在存儲單元的預處理隊列中建立對應于所述待處理任務的預處理任務，包括：
3.根據權利要求2所述的方法，其特征在于，通過預處理單元的搶占器在預處理隊列中確定目標預處理任務，包括：
4.根據權利要求2所述的方法，其特征在于，通過預處理單元的狀態守護器對位于預處理隊列中的目標預處理任務的時間戳進行調整，包括：
5.根據權利要求1所述的方法，其特征在于，通過預處理單元的分割器對位于所述信息存儲器中的目標任務文件進行分割，將分割得到的子任務文件放置于所述信息存儲器中，包括：
6.根據權利要求1所述的方法，其特征在于，通過預處理單元的分割器在所述存儲單元的處理隊列中建立對應于子任務文件的處理任務，包括：
7.根據權利要求6所述的方法，其特征在于，通過處理單元對所述存儲單元的處理隊列中的目標處
8.根據權利要求7所述的方法，其特征在于，通過處理單元的搶占器將所述處理隊列中時間戳位于當前時間之前、作業狀態為未完成且位于隊頭的處理任務確定為目標處理任務之后，所述方法還包括：
9.根據權利要求7所述的方法，其特征在于，通過所述處理單元的處理器對位于信息存儲器中的對應于目標處理任務的子任務文件進行處理時，所述方法還包括：
10.一種基于云平臺的作業調度系統，其特征在于，所述作業調度系統配置于云平臺的節點中，所述作業調度系統包括：接收器、預處理單元、處理單元以及存儲單元；
...【技術特征摘要】
1.一種基于云平臺的作業調度方法，其特征在于，由作業調度系統執行，所述作業調度系統配置于云平臺的節點中，所述作業調度系統包括：接收器、預處理單元、處理單元以及存儲單元；所述方法包括：
2.根據權利要求1所述的方法，其特征在于，通過接收器在存儲單元的預處理隊列中建立對應于所述待處理任務的預處理任務，包括：
3.根據權利要求2所述的方法，其特征在于，通過預處理單元的搶占器在預處理隊列中確定目標預處理任務，包括：
4.根據權利要求2所述的方法，其特征在于，通過預處理單元的狀態守護器對位于預處理隊列中的目標預處理任務的時間戳進行調整，包括：
5.根據權利要求1所述的方法，其特征在于，通過預處理單元的分割器對位于所述信息存儲器中的目標任務文件進行分割，將分割得到的子任務文件放置于所述信息存儲器中，包括：
6...
【專利技術屬性】
技術研發人員：趙英舒，
申請(專利權)人：中國農業銀行股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。