一種作業調度和計算資源分配方法組成比例

本發明專利技術涉及一種作業調度和計算資源分配方法，屬于計算機技術領域。該方法包括以下步驟：S1：根據用戶業務需求為用戶分配計算資源；S2：根據用戶業務需求建立作業隊列，記錄每個作業的優先級、作業提交時間、作業要求計算完畢時間信息，并為每個作業分配相應的計算資源；S3：計算各隊列中各個作業預計運行時間長度；S4：以用戶為調度范圍，采用作業的優先級、預計運行時間長度為依據進行作業調度；S5：以作業包含的任務類型和關系為依據進行任務調度；S6：計算完畢，釋放計算資源。該方法能夠避免優先級低的業務不能及時調度的問題，保障所有作業在規定的時間能夠完成計算；提作業調度的公平性和時效性。

【技術實現步驟摘要】

本專利技術屬于計算機
，涉及一種作業調度和計算資源分配方法。
技術介紹
在超算服務業務開展過程中，主要使用FIFO(FirstInFirstOut，先入先出)調度機制分配任務，將所有的作業統一提交到一個隊列中，并按照提交的先后順序依次運行隊列中的作業。但隨著超算用戶、業務量、業務類型的增多，傳統的FIFO調度機制已經不能滿足目前超算業務調度的需求。現有作業調度方法中，通常只考慮業務的優先級，導致優先級低的業務不能及時調度，降低了作業調度的公平性和時效性。現有資源分配方法中，通常只考慮將所有資源作為一個統一的計算資源池，導致計算資源劃分不靈活、使用效率低。
技術實現思路
有鑒于此，本專利技術的目的在于提供一種作業調度和計算資源分配方法，該方法能夠避免優先級低的業務不能及時調度的問題，保障所有作業在規定的時間能夠完成計算，提作業調度的公平性和時效性。為達到上述目的，本專利技術提供如下技術方案：一種作業調度和計算資源分配方法，該方法包括以下步驟：S1：根據用戶業務需求為用戶分配計算資源；S2：根據用戶業務需求建立作業隊列，記錄每個作業的優先級、作業提交時間、作業要求計算完畢時間信息，并為每個作業分配相應的計算資源；S3：計算各隊列中各個作業預計運行時間長度；S4：以用戶為調度范圍，采用作業的優先級、預計運行時間長度為依據進行作業調度；S5：以作業包含的任務類型和關系為依據進行任務調度；S6：計算完畢，釋放計算資源。進一步，在步驟S1中，根據每個用戶的業務需求，為其分配分配計算資源Ki，i＝1,2,…n,i為用戶編號；管理節點將分配給節點i的計算資源分成兩部份：一部份為Ki*P，作為該用戶實際的計算資源，另外一部份為Ki*(1-P)，作為該用戶的預留計算資源，其中，P為該用戶實際使用的計算資源與該用戶分配的總計算資源的比值，0≤P≤1。進一步，在步驟S2中，以用戶為單位，調度系統根據用戶業務量的大小及業務類型，建立N(N≥1)個作業隊列；以用戶為單位，對每個用戶在超算平臺上運行的所有作業建立一張作業信息表，每個作業對應的相關信息作為該信息表中的一條記錄；該表中記錄的內容包括：作業對應的計算資源、作業優先級、作業提交時間、作業要求計算完畢時間、預計完成時間長度、當前是否占用計算資源信息。進一步，在步驟S3中，根據信息表中各個作業的記錄信息，計算各個作業預計完成時間長度，作業預計完成時間長度T的方法如下：T=SS′T0]]>其中，S為當前作業的計算量，S’為歷史作業的計算量，T0為歷史作業的運行時間長度；計算完畢后，將本用戶各個作業的預計完成時間長度T添加對應的作業信息表中。進一步，在步驟S4中，以用戶為單位，對作業優先級進行排序，綜合考慮作業優先級和作業預計完成時間、運行速度等信息進行作業調度；針對本用戶，以每個作業的預計完成時間長度為依據，判斷隊列中作業的處理順序，處理機制如下：1)作業要求計算完畢的時間-當前時間>作業的預計完成時間長度，則不作處理，按作業優先級順序進行調度；2)作業要求計算完畢時間-當前時間≤作業的預計完成時間長度，立即進行作業調度，將該作業分配到本用戶的預留計算資源進行調度；如果本用戶的預留計算資源不夠用，則申請系統獨立的計算資源進行調度。進一步，在步驟S5中，在任務調度過程中，需要判斷該作業的所有任務的關系，如果任務間是串行關系，則將任務按FIFO順序，分配該作業對應的全部資源進行計算；如果任務間是并行關系，需確定該并行關系的任務數M，然后將該作業的計算資源等分成M份，每個任務對應其中1份計算資源，最后進行并行計算。進一步，在步驟S6中，當作業使用資源完畢，設置作業信息表中占用資源信息為空，即釋放資源，并更新作業信息表中相關信息。本專利技術的有益效果在于：本專利技術提供的方法能夠避免優先級低的業務不能及時調度的問題，保障所有作業在規定的時間能夠完成計算；提作業調度的公平性和時效性。附圖說明為了使本專利技術的目的、技術方案和有益效果更加清楚，本專利技術提供如下附圖進行說明：圖1為作業調度和資源分配流程示意圖；圖2為作業調度和資源分配原理圖；圖3為作業調度流程示意圖；圖4為任務調度流程示意圖。具體實施方式下面將結合附圖，對本專利技術的優選實施例進行詳細的描述。圖1為作業調度和資源分配流程示意圖，如圖所示，在圖中，參數配置被細分為6個步驟：步驟S1，根據用戶需求為用戶分配計算資源；具體地，根據每個用戶的業務需求，為其分配分配計算資源Ki(i＝1,2,…n,i為用戶編號)；管理節點將分配給節點i的計算資源分成兩部分：一部份為Ki*P，作為該用戶實際的計算資源，另外一部份為Ki*(1-P)，作為該用戶的預留計算資源，其中，P為該用戶實際使用的計算資源與該用戶分配的總計算資源的比值，0≤P≤1。另外，為了保證整個系統超算業務調度的順利進行，在為每個用戶分配預留資源外，系統還將預留一部份資源備用。具體作業調度和資源分配原理如圖2所示。步驟S2，根據用戶需求建立作業隊列，并為每個作業分配計算資源，確定作業優先級、記錄作業提交時間。另外，需要針對每個用戶建立一張作業信息表，用于記錄該用戶所有作業的計算資源、作業優先級、記錄作業提交時間、作業要求計算完畢時間、當前是否占用計算資源等信息；作業信息表示例如下：步驟S3，計算各隊列中各個作業預計運行時間：T=SS′T0]]>其中，S為當前作業的計算量，S’為歷史作業的計算量，T0為歷史作業的運行時間。步驟S4，進行作業調度；作業調度示意如圖3所示。步驟S41，以用戶為單位，對本用戶的所有作業優先級進行排序；步驟S42，對于每個用戶，以每個作業的預計完成時間長度為依據，判斷是否立即處理；計算作業要求計算完畢時間-當前時間的值，并判斷作業要求計算完畢時間-當前時間與作業的預計完成時間長度的關系；步驟S43，如果作業要求計算完畢時間-當前時間>作業的預計完成時間長度，則不作處理，按作業優先級順序進行調度；步驟S44，如果作業要求計算完畢時間-當前時間≤作業的預計完成時間長度，立即進行作業調度，將該作業分配到本用戶的預留計算資源進行調度；如果本用戶的預留計算資源不夠用，則申請系統獨立的計算資源進行調度。步驟S5，以該作業的所有任務的關系為依據進行任務調度；圖4為任務調度流程示意圖。步驟S51，在任務調度過程中，首先判斷該作業的所有任務的類型和關系；步驟S52，如果任務間是串行關系，則將任務按FIFO順序，分配該作業的全部資源進行計算；步驟S53，如果任務間是并行關系，則需要確定該并行關系的任務數M，然后將該作業的計算資源分成M份，每個任務對應其中1份計算資源，最后進行并行計算。步驟S6，計算資源使用完畢，釋放計算資源。當作業使用資源完畢，更新作業信息表中占用資源信息為空，即釋放資源，并更新作業信息表中相關信息。最后說明的是，以上優選實施例僅用以說明本專利技術的技術方案而非限制，盡管通過上述優選實施例已經對本專利技術進行了詳細的描述，但本領域技術人員應當理解，可以在形式上和細節上對其作出各種各樣的改變，而不偏離本專利技術權利要求書所限定的范圍。本文檔來自技高網...

【技術保護點】
一種作業調度和計算資源分配方法，其特征在于：該方法包括以下步驟：S1：根據用戶業務需求為用戶分配計算資源；S2：根據用戶業務需求建立作業隊列，記錄每個作業的優先級、作業提交時間、作業要求計算完畢時間信息，并為每個作業分配相應的計算資源；S3：計算各隊列中各個作業預計運行時間長度；S4：以用戶為調度范圍，采用作業的優先級、預計運行時間長度為依據進行作業調度；S5：以作業包含的任務類型和關系為依據進行任務調度；S6：計算完畢，釋放計算資源。

【技術特征摘要】
1.一種作業調度和計算資源分配方法，其特征在于：該方法包括以下步驟：S1：根據用戶業務需求為用戶分配計算資源；S2：根據用戶業務需求建立作業隊列，記錄每個作業的優先級、作業提交時間、作業要求計算完畢時間信息，并為每個作業分配相應的計算資源；S3：計算各隊列中各個作業預計運行時間長度；S4：以用戶為調度范圍，采用作業的優先級、預計運行時間長度為依據進行作業調度；S5：以作業包含的任務類型和關系為依據進行任務調度；S6：計算完畢，釋放計算資源。2.根據權利要求1所述的一種作業調度和計算資源分配方法，其特征在于：在步驟S1中，根據每個用戶的業務需求，為其分配分配計算資源Ki，i＝1,2,…n,i為用戶編號；管理節點將分配給節點i的計算資源分成兩部份：一部份為Ki*P，作為該用戶實際的計算資源，另外一部份為Ki*(1-P)，作為該用戶的預留計算資源，其中，P為該用戶實際使用的計算資源與該用戶分配的總計算資源的比值，0≤P≤1。3.根據權利要求1所述的一種作業調度和計算資源分配方法，其特征在于：在步驟S2中，以用戶為單位，調度系統根據用戶業務量的大小及業務類型，建立N(N≥1)個作業隊列；以用戶為單位，對每個用戶在超算平臺上運行的所有作業建立一張作業信息表，每個作業對應的相關信息作為該信息表中的一條記錄；該表中記錄的內容包括：作業對應的計算資源、作業優先級、作業提交時間、作業要求計算完畢時間、預計完成時間長度、當前是否占用計算資源信息。4.根據權利要求1所述的一種作業調度和計算資源分配方法，其特征在于：在步驟S3中，根據信息表中各個作業...

【專利技術屬性】
技術研發人員：楊涌，王湘，趙學良，黃東，張矩，延關德，
申請(專利權)人：中國科學院重慶綠色智能技術研究院，
類型：發明
國別省市：重慶;50