【技術實現步驟摘要】
本專利技術涉及工作流任務調度，尤其涉及一種基于任務時空屬性的算力網絡工作流任務調度方法及系統。
技術介紹
1、本部分的陳述僅僅是提供了與本專利技術相關的
技術介紹
信息，不必然構成在先技術。
2、當下算力成為重要資源，大量人工智能應用于各行各業，在日常生活中，人工智能已經成為人們不可或缺的工具。隨著人工智能技術發展，計算需求與日俱增，這要求更多的算力資源。但算力中心也就是各個算力平臺，分散在各地，不能協同應對大量且需求種類多樣的任務，所以提出在多個算力平臺間通過網絡連接建立算力網絡，統一處理任務需求，面向全局匹配資源，但基于算力網絡提出的調度方法不能滿足實現任務與資源的最優映射。且當下研究較少考慮到工作流在執行時間上的聯系性，提交任務的地理位置上的聯系性。
技術實現思路
1、為了解決上述
技術介紹
中存在的技術問題，本專利技術提供了一種基于任務時空屬性的算力網絡工作流任務調度方法及系統，本專利技術通過研究工作流任務的時間與空間屬性在算力網絡接入的資源中匹配合適的，能夠實現任務時間屬性、空間屬性、調度服務質量多維度考慮的任務高效執行。
2、為了實現上述目的，本專利技術采用如下技術方案：
3、本專利技術的第一個方面提供一種基于任務時空屬性的算力網絡工作流任務調度方法。
4、一種基于任務時空屬性的算力網絡工作流任務調度方法，包括：
5、基于獲取的多個工作流的用戶優先級、作業優先級和任務資源需求額度，分別計算多個工作流的總優先級，按照該總
6、基于工作流的完成時間、執行成本和資源匹配度，構建多目標函數；基于多目標函數和待選擇算力平臺，判斷任務隊列中工作流所需的資源量與待選擇算力平臺的資源需求量的關系，采用多目標人工兔優化算法，選擇滿足要求的算力平臺執行。
7、進一步地，所述基于工作流的完成時間、執行成本和資源匹配度，構建多目標函數；方法包括：
8、根據工作流的開始執行時間和任務執行時間，得到所有工作流的完成時間；
9、根據所有工作流的完成時間、工作流進入工作流調度器的時間、算力平臺的計費周期以及算力平臺的每個計費周期的單價，計算用戶成本；
10、根據所有工作流執行在某一算力平臺的資源需求，計算資源匹配度；
11、基于最小化所有工作流的完成時間、最小化用戶成本和最小化資源匹配度，得到多目標函數。
12、進一步地，基于多目標函數和待選擇算力平臺，判斷任務隊列中工作流所需的資源量與待選擇算力平臺的資源需求量的關系，采用多目標人工兔優化算法，選擇滿足要求的算力平臺執行；方法包括：
13、若工作流所需的資源量大于待選擇算力平臺的資源需求量，對該工作流在其提交時間前一個t時間周期內，采用多目標人工兔優化算法，得到一算力平臺；為該算力平臺設置概率，在提交時間前一個t時間周期內以所述概率，作為可選的算力平臺；當該工作流被提交，將該工作流調度到預選的算力平臺，清除對該算力平臺的概率選擇方法，繼續對所有算力平臺進行調度；
14、若工作流所需的資源量小于等于待選擇算力平臺的資源需求量，且所有工作流描述文件的數量遠大于算力平臺數量，則在這些工作流前一個t時間周期內，選擇距離工作流提交設備的地理位置距離最近的算力平臺；對與該算力平臺間帶寬高于均值的其它算力平臺，減少工作流調度，等待所有工作流提交后，調度最近的算力平臺和所述其它算力平臺進行工作流處理。
15、進一步地，每個工作流的所述總優先級為每個工作流的用戶優先級、作業優先級與任務資源需求額度的累加和。
16、進一步地，所述任務資源需求額度采用以下公式計算：
17、
18、其中，raw表示任務資源需求額度，α、β是用來歸一化的系數，表示工作流所用最大的cpu資源數量，表示工作流所用最大的mem資源數量。
19、進一步地，所述采用多目標人工兔優化算法的過程包括：
20、采用halton低差異序列方法初始化種群，每一個兔子是一個任務調度方案，共有n個解；
21、采用非支配排序方法對所有解，并計算所有解的擁擠度，得到與種群數目一致的新種群；達到迭代次數，則輸出結果，否則繼續執行；
22、根據能量收縮機制，若a>1，選擇繞道覓食策略，否則選擇隨機隱藏策略；根據兩個策略，共得到2n個解，更新種群；
23、隨機隱藏策略在迭代過程中基于歷史記錄的適應度變化調整，若在多次迭代中適應度變化總在固定區間內，則自適應性地調整步長，跳出局部最優解。
24、本專利技術的第二個方面提供一種基于任務時空屬性的算力網絡工作流任務調度系統。
25、一種基于任務時空屬性的算力網絡工作流任務調度系統，包括：
26、優先級排序模塊，其被配置為：基于獲取的多個工作流的用戶優先級、作業優先級和任務資源需求額度，分別計算多個工作流的總優先級，按照該總優先級進行排序，得到工作流的任務隊列；
27、算力平臺分配模塊，其被配置為：基于工作流的完成時間、執行成本和資源匹配度，構建多目標函數；基于多目標函數和待選擇算力平臺，判斷任務隊列中工作流所需的資源量與待選擇算力平臺的資源需求量的關系，采用多目標人工兔優化算法，選擇滿足要求的算力平臺執行。
28、本專利技術的第三個方面提供一種計算機可讀存儲介質。
29、一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如上述第一個方面所述的基于任務時空屬性的算力網絡工作流任務調度方法中的步驟。
30、本專利技術的第四個方面提供一種計算機設備。
31、一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述第一個方面所述的基于任務時空屬性的算力網絡工作流任務調度方法中的步驟。
32、與現有技術相比，本專利技術的有益效果是：
33、本專利技術提出了一種基于任務時空屬性的算力網絡工作流任務調度方法及系統，為工作流選擇算力平臺，并執行工作流各個任務在算力平臺的集群內部。面向工作流調度時間、空間屬性敏感的使用場景下，本專利技術降低工作流所需數據集上傳的重復性，提升資源使用效率，提高用戶滿意程度。
34、本專利技術提供了能夠基于分布各地的多算力平臺資源的管理和使用，利用調度歷史數據，基于任務執行的時間和空間屬性，以及調度服務要求多方位考慮，來實現任意時間段內各個工作流對全局資源的最優調度，充分利用算力平臺，快速處理工作流，提高用戶滿意度。并面向計算集群進行工作流任務調度系統的插件開發。
本文檔來自技高網...【技術保護點】
1.基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，包括：
2.根據權利要求1所述的基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，所述基于工作流的完成時間、執行成本和資源匹配度，構建多目標函數；方法包括：
3.根據權利要求1所述的基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，基于多目標函數和待選擇算力平臺，判斷任務隊列中工作流所需的資源量與待選擇算力平臺的資源需求量的關系，采用多目標人工兔優化算法，選擇滿足要求的算力平臺執行；方法包括：
4.根據權利要求3所述的基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，基于多目標函數和待選擇算力平臺，判斷任務隊列中工作流所需的資源量與待選擇算力平臺的資源需求量的關系，采用多目標人工兔優化算法，選擇滿足要求的算力平臺執行；方法還包括：
5.根據權利要求1所述的基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，每個工作流的所述總優先級為每個工作流的用戶優先級、作業優先級與任務資源需求額度的累加和。
6.根據權利要求1或5所述的基于任務
7.根據權利要求1所述的基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，所述采用多目標人工兔優化算法的過程包括：
8.基于任務時空屬性的算力網絡工作流任務調度系統，其特征在于，包括：
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-7中任一項所述的基于任務時空屬性的算力網絡工作流任務調度方法中的步驟。
10.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7中任一項所述的基于任務時空屬性的算力網絡工作流任務調度方法中的步驟。
...【技術特征摘要】
1.基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，包括：
2.根據權利要求1所述的基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，所述基于工作流的完成時間、執行成本和資源匹配度，構建多目標函數；方法包括：
3.根據權利要求1所述的基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，基于多目標函數和待選擇算力平臺，判斷任務隊列中工作流所需的資源量與待選擇算力平臺的資源需求量的關系，采用多目標人工兔優化算法，選擇滿足要求的算力平臺執行；方法包括：
4.根據權利要求3所述的基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，基于多目標函數和待選擇算力平臺，判斷任務隊列中工作流所需的資源量與待選擇算力平臺的資源需求量的關系，采用多目標人工兔優化算法，選擇滿足要求的算力平臺執行；方法還包括：
5.根據權利要求1所述的基于任務時空屬性的算力網絡工作流任務調度方法，其特征在于，...
【專利技術屬性】
技術研發人員：陳靜，耿玉棟，王英龍，郭瑩，張傳福，季明超，張天翔，付同林，
申請(專利權)人：山東省計算中心國家超級計算濟南中心，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。