【技術(shù)實現(xiàn)步驟摘要】
本申請實施例涉及大數(shù)據(jù)領(lǐng)域，尤其涉及任務(wù)調(diào)度方法、裝置、電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品。
技術(shù)介紹
1、在大數(shù)據(jù)領(lǐng)域，任務(wù)調(diào)度是一項至關(guān)重要的技術(shù)，它直接影響著任務(wù)所在系統(tǒng)的整體性能和資源利用率。目前常用的任務(wù)調(diào)度技術(shù)包括基于經(jīng)典優(yōu)化方法，該方法依賴于預(yù)定義的規(guī)則和搜索迭代方法，難以有效應(yīng)對復(fù)雜動態(tài)的環(huán)境變化，容易陷入局部最優(yōu)，而陷入局部最優(yōu)說明著資源沒有充分利用，例如，一些資源可能被過度分配，另一些資源則可能處于閑置狀態(tài)，這種不均衡的資源分配會降低系統(tǒng)的整體效率。所以，目前存在任務(wù)調(diào)度不夠高效的技術(shù)問題。
2、上述內(nèi)容僅用于輔助理解本申請實施例的技術(shù)方案，并不代表承認上述內(nèi)容為現(xiàn)有技術(shù)。
技術(shù)實現(xiàn)思路
1、本申請實施例的主要目的在于提供一種任務(wù)調(diào)度方法、裝置、電子設(shè)備、存儲介質(zhì)及程序產(chǎn)品，旨在解決任務(wù)調(diào)度不夠高效的技術(shù)問題。
2、為實現(xiàn)上述目的，本申請實施例提供一種任務(wù)調(diào)度方法，方法包括：
3、獲取由待調(diào)度任務(wù)和當前的數(shù)據(jù)資源環(huán)境構(gòu)建的任務(wù)環(huán)境狀態(tài)；
4、調(diào)用預(yù)設(shè)提示生成器，從所述任務(wù)環(huán)境狀態(tài)中確定目標調(diào)度任務(wù)，并生成所述目標調(diào)度任務(wù)與數(shù)據(jù)資源環(huán)境共同對應(yīng)的提示詞；
5、將所述提示詞輸入至預(yù)設(shè)大模型，得到所述目標調(diào)度任務(wù)的調(diào)度方案，以基于所述調(diào)度方案對所述目標調(diào)度任務(wù)進行調(diào)度。
6、在一實施例中，所述的方法還包括：
7、確定所述調(diào)度方案的調(diào)度評分；
8、基于所述調(diào)度評分，優(yōu)化所述預(yù)設(shè)提示
9、在一實施例中，所述確定所述調(diào)度方案的調(diào)度評分的步驟包括：
10、執(zhí)行所述調(diào)度方案，得到執(zhí)行所述調(diào)度方案的調(diào)度結(jié)果；
11、從所述調(diào)度結(jié)果中確定出各預(yù)設(shè)量化評分指標各自對應(yīng)的執(zhí)行結(jié)果參數(shù)；
12、對各所述執(zhí)行結(jié)果參數(shù)進行加權(quán)求和，得到所述調(diào)度結(jié)果的調(diào)度評分。
13、在一實施例中，所述獲取由待調(diào)度任務(wù)和當前的數(shù)據(jù)資源環(huán)境構(gòu)建的任務(wù)環(huán)境狀態(tài)的步驟包括：
14、基于獲取到的待調(diào)度任務(wù)以及所述待調(diào)度任務(wù)中每個子任務(wù)的依賴關(guān)系，生成所述待調(diào)度任務(wù)的任務(wù)狀態(tài)向量，其中，所述任務(wù)狀態(tài)向量包括待調(diào)度任務(wù)中每個子任務(wù)對應(yīng)的依賴向量；
15、基于獲取到當前的數(shù)據(jù)資源環(huán)境中每個數(shù)據(jù)中心的資源利用率，生成所述數(shù)據(jù)資源環(huán)境的資源利用狀態(tài)向量；
16、拼接所述任務(wù)狀態(tài)向量和所述資源利用狀態(tài)向量，得到任務(wù)環(huán)境狀態(tài)。
17、在一實施例中，所述調(diào)用預(yù)設(shè)提示生成器，從所述任務(wù)環(huán)境狀態(tài)中確定目標調(diào)度任務(wù)，并生成所述目標調(diào)度任務(wù)與數(shù)據(jù)資源環(huán)境共同對應(yīng)的提示詞的步驟包括：
18、調(diào)用預(yù)設(shè)提示生成器，從所述任務(wù)環(huán)境狀態(tài)中確定目標調(diào)度任務(wù)、所述目標調(diào)度任務(wù)中每個目標子任務(wù)的目標依賴向量、以及所述數(shù)據(jù)資源環(huán)境中剩余的可用資源向量，并生成所述目標調(diào)度任務(wù)中每個目標子任務(wù)的任務(wù)描述向量；
19、拼接所述可用資源向量、各所述目標依賴向量以及各所述任務(wù)描述向量，得到提示詞。
20、在一實施例中，所述將所述提示詞輸入至預(yù)設(shè)大模型，得到所述目標調(diào)度任務(wù)的調(diào)度方案的步驟包括：
21、將所述提示詞輸入至預(yù)設(shè)大模型，對所述提示詞進行編碼，得到所述提示詞的文本向量，并基于所述文本向量對所述目標調(diào)度任務(wù)進行調(diào)度分配，得到所述調(diào)度方案；
22、其中，所述調(diào)度方案包括目標調(diào)度任務(wù)中每個目標子任務(wù)的執(zhí)行順序和節(jié)點資源。
23、在一實施例中，所述的方法包括：
24、獲取預(yù)設(shè)待訓(xùn)練模型的訓(xùn)練樣本，將所述訓(xùn)練樣本劃分為多個子訓(xùn)練樣本；
25、將各所述子訓(xùn)練樣本分別分配至各預(yù)設(shè)計算節(jié)點，在每個所述預(yù)設(shè)計算節(jié)點配置預(yù)設(shè)待訓(xùn)練模型；
26、在每個所述預(yù)設(shè)計算節(jié)點中通過對應(yīng)的所述子訓(xùn)練樣本迭代訓(xùn)練所述預(yù)設(shè)待訓(xùn)練模型，并周期性的同步各所述預(yù)設(shè)計算節(jié)點各自對應(yīng)的預(yù)設(shè)待訓(xùn)練模型；
27、基于各預(yù)設(shè)計算節(jié)點各自的損失函數(shù)，計算各所述預(yù)設(shè)計算節(jié)點各自對應(yīng)的預(yù)設(shè)待訓(xùn)練模型的訓(xùn)練損失值；
28、計算各所述預(yù)設(shè)計算節(jié)點各自對應(yīng)的訓(xùn)練損失值的損失平均值，并基于所述損失平均值更新各預(yù)設(shè)計算節(jié)點上各自的預(yù)設(shè)待訓(xùn)練模型；
29、當任一所述預(yù)設(shè)計算節(jié)點對應(yīng)的所述預(yù)設(shè)待訓(xùn)練模型滿足預(yù)設(shè)訓(xùn)練結(jié)束條件時，將所述預(yù)設(shè)待訓(xùn)練模型作為預(yù)設(shè)訓(xùn)練完成模型；
30、其中，當所述預(yù)設(shè)待訓(xùn)練模型為預(yù)設(shè)待訓(xùn)練大模型時，所述預(yù)設(shè)訓(xùn)練完成模型為預(yù)設(shè)大模型，當所述預(yù)設(shè)待訓(xùn)練模型為預(yù)設(shè)待訓(xùn)練提示器時，所述預(yù)設(shè)訓(xùn)練完成模型為預(yù)設(shè)提示生成器。
31、在一實施例中，所述的方法還包括：
32、將目標調(diào)度任務(wù)以及所述目標調(diào)度任務(wù)對應(yīng)的目標依賴向量從任務(wù)環(huán)境狀態(tài)中移除，并基于調(diào)度方案中目標調(diào)度任務(wù)中每個目標子任務(wù)的節(jié)點資源，調(diào)整任務(wù)環(huán)境狀態(tài)中的資源利用狀態(tài)向量，以更新所述任務(wù)環(huán)境狀態(tài)。
33、此外，為實現(xiàn)上述目的，本申請實施例提供一種任務(wù)調(diào)度裝置，裝置包括：
34、獲取模塊，用于獲取由待調(diào)度任務(wù)和當前的數(shù)據(jù)資源環(huán)境構(gòu)建的任務(wù)環(huán)境狀態(tài)；
35、提示詞生成模塊，用于調(diào)用預(yù)設(shè)提示生成器，從所述任務(wù)環(huán)境狀態(tài)中確定目標調(diào)度任務(wù)，并生成所述目標調(diào)度任務(wù)與數(shù)據(jù)資源環(huán)境共同對應(yīng)的提示詞；
36、調(diào)度方案生成模塊，用于將所述提示詞輸入至預(yù)設(shè)大模型，得到所述目標調(diào)度任務(wù)的調(diào)度方案，以基于所述調(diào)度方案對所述目標調(diào)度任務(wù)進行調(diào)度。
37、此外，為實現(xiàn)上述目的，本申請實施例還提供一種電子設(shè)備，所述電子設(shè)備包括：存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的所述任務(wù)調(diào)度方法的程序，所述任務(wù)調(diào)度方法的程序被處理器執(zhí)行時可實現(xiàn)如上述的任務(wù)調(diào)度方法的步驟。
38、此外，為實現(xiàn)上述目的，本申請實施例還提供一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)上存儲有實現(xiàn)任務(wù)調(diào)度方法的程序，所述任務(wù)調(diào)度方法的程序被處理器執(zhí)行時實現(xiàn)如上述的任務(wù)調(diào)度方法的步驟。
39、此外，為實現(xiàn)上述目的，本申請實施例還提供一種計算機程序產(chǎn)品，包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如上述的任務(wù)調(diào)度方法的步驟。
40、本申請實施例提出的一個或多個技術(shù)方案，至少具有以下技術(shù)效果：本申請可以獲取待調(diào)度任務(wù)和當前的數(shù)據(jù)資源環(huán)境構(gòu)建的任務(wù)環(huán)境狀態(tài)，且在本申請中，預(yù)設(shè)提示生成器可以從任務(wù)環(huán)境狀態(tài)中確定目標調(diào)度任務(wù)，從而可以實現(xiàn)在任務(wù)環(huán)境狀態(tài)中確定出當前合適進行調(diào)度分配的目標調(diào)度任務(wù)，進而便于提高調(diào)度分配的效率，進一步的，預(yù)設(shè)提示生成器還可以生成目標調(diào)度任務(wù)與數(shù)據(jù)資源環(huán)境共同對應(yīng)的提示詞，使得提示詞可以綜合表征當前的數(shù)據(jù)資源環(huán)境的狀態(tài)以及目標調(diào)度任務(wù)的狀態(tài)，而預(yù)設(shè)大模型自身具備強大的語義理解和推理能力，從而使得預(yù)設(shè)大模型可以通過提示詞捕捉目標調(diào)度任務(wù)與數(shù)據(jù)資源環(huán)境之間的復(fù)雜關(guān)系，進而便于預(yù)設(shè)大模型生成全局最優(yōu)的調(diào)度方案，而非基于既定的規(guī)則進任務(wù)調(diào)度，避免調(diào)本文檔來自技高網(wǎng)...
【技術(shù)保護點】
1.一種任務(wù)調(diào)度方法，其特征在于，所述的方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述的方法還包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述確定所述調(diào)度方案的調(diào)度評分的步驟包括：
4.如權(quán)利要求1所述的方法，其特征在于，所述獲取由待調(diào)度任務(wù)和當前的數(shù)據(jù)資源環(huán)境構(gòu)建的任務(wù)環(huán)境狀態(tài)的步驟包括：
5.如權(quán)利要求1所述的方法，其特征在于，所述調(diào)用預(yù)設(shè)提示生成器，從所述任務(wù)環(huán)境狀態(tài)中確定目標調(diào)度任務(wù)，并生成所述目標調(diào)度任務(wù)與數(shù)據(jù)資源環(huán)境共同對應(yīng)的提示詞的步驟包括：
6.如權(quán)利要求1所述的方法，其特征在于，所述將所述提示詞輸入至預(yù)設(shè)大模型，得到所述目標調(diào)度任務(wù)的調(diào)度方案的步驟包括：
7.如權(quán)利要求1所述的方法，其特征在于，所述的方法包括：
8.如權(quán)利要求1-7任一項所述的方法，其特征在于，所述的方法還包括：
9.一種任務(wù)調(diào)度裝置，其特征在于，所述的裝置包括：
10.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：
11.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)為計
12.一種程序產(chǎn)品，其特征在于，所述程序產(chǎn)品為計算機程序產(chǎn)品，計算機程序產(chǎn)品包括計算機程序，所述計算機程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1至8中任一項所述的任務(wù)調(diào)度方法的步驟。
...【技術(shù)特征摘要】
1.一種任務(wù)調(diào)度方法，其特征在于，所述的方法包括：
2.如權(quán)利要求1所述的方法，其特征在于，所述的方法還包括：
3.如權(quán)利要求2所述的方法，其特征在于，所述確定所述調(diào)度方案的調(diào)度評分的步驟包括：
4.如權(quán)利要求1所述的方法，其特征在于，所述獲取由待調(diào)度任務(wù)和當前的數(shù)據(jù)資源環(huán)境構(gòu)建的任務(wù)環(huán)境狀態(tài)的步驟包括：
5.如權(quán)利要求1所述的方法，其特征在于，所述調(diào)用預(yù)設(shè)提示生成器，從所述任務(wù)環(huán)境狀態(tài)中確定目標調(diào)度任務(wù)，并生成所述目標調(diào)度任務(wù)與數(shù)據(jù)資源環(huán)境共同對應(yīng)的提示詞的步驟包括：
6.如權(quán)利要求1所述的方法，其特征在于，所述將所述提示詞輸入至預(yù)設(shè)大模型，得到所述目標調(diào)度任務(wù)的調(diào)度方案的步驟包括：
7.如權(quán)...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：尚晶，吳佳熙，王冀彬，武智暉，肖智文，張逸飛，王穎，賀富華，
申請(專利權(quán))人：中移動信息技術(shù)有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。