一種計算機集群作業調度方法及其裝置制造方法及圖紙

本發明專利技術公開了一種計算機集群作業調度方法，包括依據各個未處理任務的任務類型以及預設的每種任務類型的平均資源占用率確定各個未處理任務的資源占用率；按照資源占用率的大小，分別為各個未處理任務分配相應大小的container進程進行任務處理。能夠根據任務所需的資源調整container的大小，盡可能避免資源的浪費，提高運行資源的利用效率。本發明專利技術還公開了一種采用上述方法的計算機集群作業調度裝置，也具有上述優點，在此不再贅述。

Computer cluster job scheduling method and device thereof

The invention discloses a computer cluster scheduling method, including the basis of each untreated task types and each type of task average resource occupancy rate to determine the various preset processing tasks without resource utilization; in accordance with the resource occupancy rate size for each untreated task processing task distribution corresponding to the size of the container process. The size of container can be adjusted according to the resources required by the task, and the waste of resources can be avoided as much as possible, and the utilization efficiency of the running resource can be improved. The invention also discloses a computer cluster job scheduling device adopting the above method, and also has the advantages that no longer details.

【技術實現步驟摘要】
一種計算機集群作業調度方法及其裝置
本專利技術涉及作業調度領域，特別是涉及一種計算機集群作業調度方法及其裝置。
技術介紹
Hadoop是一種能在大規模計算機集群上運行大數據處理應用的開源框架，作業調度是Hadoop系統的一個重要組成部分。在作業調度過程中，調度基本單元為container，每個任務對應一個container，container的大小(一般為內存大小)為固定的，當任務過大時，會將任務分割為幾個小任務后由幾個container執行，但對于較小的任務而言，一般用不了container所包含的全部資源，即較小的任務所需的內存等資源較少，而這些小任務也由一個container來完成的話，會造成資源的浪費。因此，如何提供一種節約資源的計算機集群作業調度方法及其裝置是本領域技術人員目前需要解決的問題。
技術實現思路
本專利技術的目的是提供一種計算機集群作業調度方法及其裝置，能夠根據任務所需的資源調整container的大小，盡可能避免資源的浪費，提高運行資源的利用效率。為解決上述技術問題，本專利技術提供了一種計算機集群作業調度方法，包括：步驟s101：依據各個未處理任務的任務類型以及預設的每種任務類型的平均資源占用率確定各個所述未處理任務的資源占用率；步驟s102：按照所述資源占用率的大小，分別為各個所述未處理任務分配相應大小的container進程進行任務處理。優選地，步驟s101與步驟s102之間還包括：依據各個所述未處理任務的任務類型、預設的每種任務類型單位數據量的平均占用時間以及對應的資源占用率確定各個所述未處理任務的資源占用量；周期性檢測所述集群的空閑資源占用率；從當前的各個所述未處理任務中，篩選出資源占用率未超出所述空閑資源占用率的未處理任務作為候選任務，并將各個所述候選任務按照資源占用量從小到大的順序加入候選任務列表；其中，所述候選任務列表中的任務處理順序為任務排列順序。優選地，所述依據各個所述未處理任務的任務類型、預設的每種任務類型單位數據量的平均占用時間以及對應的資源占用率確定各個所述未處理任務的資源占用量的過程具體為：依據各個所述未處理任務的任務類型以及預設的每種任務類型單位數據量的平均占用時間，確定每個所述未處理任務的單位數據量的平均占用時間；確定每個所述未處理任務的輸入數據量；分別將每個所述未處理任務的所述輸入數據量與自身的單位數據量的平均占用時間相乘，得到每個所述未處理任務的占用時間；將每個所述未處理任務的占用時間與自身的資源占用率相乘，得到每個所述未處理任務的資源占用量。優選地，將各個所述候選任務加入所述候選任務列表后，還包括：將篩選出的資源占用率超出所述空閑資源占用率的若干個未處理任務按照預設順序添加至所述候選任務列表中最后一個候選任務的后面。為解決上述技術問題，本專利技術還提供了一種計算機集群作業調度裝置，包括：資源占用率計算模塊，用于依據各個未處理任務的任務類型以及預設的每種任務類型的平均資源占用率確定各個所述未處理任務的資源占用率；調度模塊，用于按照所述資源占用率的大小，分別為各個所述未處理任務分配相應大小的container進程進行任務處理。優選地，還包括：資源占用量計算模塊，用于依據各個所述未處理任務的任務類型、預設的每種任務類型單位數據量的平均占用時間以及對應的資源占用率確定各個所述未處理任務的資源占用量；空閑檢測模塊，用于周期性檢測所述集群的空閑資源占用率；排序模塊，用于從當前的各個所述未處理任務中，篩選出資源占用率未超出所述空閑資源占用率的未處理任務作為候選任務，并將各個所述候選任務按照資源占用量從小到大的順序加入候選任務列表；其中，所述候選任務列表中的任務處理順序為任務排列順序。優選地，所述資源占用量計算模塊具體用于：依據各個所述未處理任務的任務類型以及預設的每種任務類型單位數據量的平均占用時間，確定每個所述未處理任務的單位數據量的平均占用時間；確定每個所述未處理任務的輸入數據量；分別將每個所述未處理任務的所述輸入數據量與自身的單位數據量的平均占用時間相乘，得到每個所述未處理任務的占用時間；將每個所述未處理任務的占用時間與自身的資源占用率相乘，得到每個所述未處理任務的資源占用量。優選地，所述排序模塊還用于：將篩選出的資源占用率超出所述空閑資源占用率的若干個未處理任務按照預設順序添加至所述候選任務列表中最后一個候選任務的后面。本專利技術提供了一種計算機集群作業調度方法及其裝置，能夠預先估計各個未處理任務的資源占用率，然后依據其資源占用率的大小，來為其分配相應大小的container進行任務處理；其中，這里的資源占用率為任務在穩定運行過程中，任務對運行資源的占用情況。即本專利技術中，container的大小是變化的，是根據其執行的任務所需的資源進行分配的，這樣能夠極大程度上避免資源的浪費，提高運行資源的利用效率。附圖說明為了更清楚地說明本專利技術實施例中的技術方案，下面將對現有技術和實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本專利技術提供的一種計算機集群作業調度方法的過程的流程圖；圖2為本專利技術提供的另一種計算機集群作業調度方法的過程的流程圖；圖3為本專利技術提供的另一種計算機集群作業調度裝置的結構示意圖。具體實施方式本專利技術的核心是提供一種計算機集群作業調度方法及其裝置，能夠根據任務所需的資源調整container的大小，盡可能避免資源的浪費，提高運行資源的利用效率。為使本專利技術實施例的目的、技術方案和優點更加清楚，下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。實施例一本專利技術提供了一種計算機集群作業調度方法，參見圖1所示，圖1為本專利技術提供的一種計算機集群作業調度方法的過程的流程圖；該方法包括：步驟s101：依據各個未處理任務的任務類型以及預設的每種任務類型的平均資源占用率確定各個未處理任務的資源占用率；步驟s102：按照資源占用率的大小，分別為各個未處理任務分配相應大小的container進程進行任務處理。可以理解的是，這里的資源占用率為任務在穩定運行過程中，任務對運行資源的占用情況，但步驟s101中確定的未處理任務的資源占用率，僅是根據之前實驗或實際應用中的經驗值進行估計后得到的，并不能是未處理任務實際所需的資源占用率，但該估計得到的資源占用率與未處理任務實際所需的資源占用率較為接近，故能夠在極大程度上減小資源的浪費。其中，這里的任務類型包括計算類型、IO類型等，當然，還可包括其他類型，本專利技術對此不作限定。另外，這里的某一任務類型的平均資源占用率的計算關系式為：x任務類型的平均資源占用率＝之前運行過的x類型的多個任務的資源占用率總和/以上多個任務的數量。當然，本專利技術不限定計算平均資源占用率時使用的任務的數量。本專利技術提供了一種計算機集群作業調度方法，能夠預先估計各個未處理任務的資源占用率，然后依據其資源占用率的大小，來為其分配相應大小的本文檔來自技高網...

【技術保護點】
一種計算機集群作業調度方法，其特征在于，包括：步驟s101：依據各個未處理任務的任務類型以及預設的每種任務類型的平均資源占用率確定各個所述未處理任務的資源占用率；步驟s102：按照所述資源占用率的大小，分別為各個所述未處理任務分配相應大小的container進程進行任務處理。

【技術特征摘要】
1.一種計算機集群作業調度方法，其特征在于，包括：步驟s101：依據各個未處理任務的任務類型以及預設的每種任務類型的平均資源占用率確定各個所述未處理任務的資源占用率；步驟s102：按照所述資源占用率的大小，分別為各個所述未處理任務分配相應大小的container進程進行任務處理。2.根據權利要求1所述的方法，其特征在于，步驟s101與步驟s102之間還包括：依據各個所述未處理任務的任務類型、預設的每種任務類型單位數據量的平均占用時間以及對應的資源占用率確定各個所述未處理任務的資源占用量；周期性檢測所述集群的空閑資源占用率；從當前的各個所述未處理任務中，篩選出資源占用率未超出所述空閑資源占用率的未處理任務作為候選任務，并將各個所述候選任務按照資源占用量從小到大的順序加入候選任務列表；其中，所述候選任務列表中的任務處理順序為任務排列順序。3.根據權利要求2所述的方法，其特征在于，所述依據各個所述未處理任務的任務類型、預設的每種任務類型單位數據量的平均占用時間以及對應的資源占用率確定各個所述未處理任務的資源占用量的過程具體為：依據各個所述未處理任務的任務類型以及預設的每種任務類型單位數據量的平均占用時間，確定每個所述未處理任務的單位數據量的平均占用時間；確定每個所述未處理任務的輸入數據量；分別將每個所述未處理任務的所述輸入數據量與自身的單位數據量的平均占用時間相乘，得到每個所述未處理任務的占用時間；將每個所述未處理任務的占用時間與自身的資源占用率相乘，得到每個所述未處理任務的資源占用量。4.根據權利要求2所述的方法，其特征在于，將各個所述候選任務加入所述候選任務列表后，還包括：將篩選出的資源占用率超出所述空閑資源占用率的若干個未處理任務按照...

【專利技術屬性】
技術研發人員：辛永欣，
申請(專利權)人：鄭州云海信息技術有限公司，
類型：發明
國別省市：河南,41