計算引擎及其運行方法、介質和系統技術方案

本申請涉及電子技術領域，公開了一種計算引擎及其運行方法、介質和系統。計算引擎通過各執行程序完成用戶提交的任務，并且用戶提交任務時指令了各執行程序可以使用的存儲空間的大小，該方法包括：在各執行程序的運行過程中，監測各執行程序由用戶提交任務時指定的存儲空間的剩余空間大小，在該剩余空間大小滿足第一預設條件的情況下，即該剩余空間大小表明用戶指定的存儲空間可能不足以完成任務的情況下，增加各執行程序所在物理節點的物理存儲空間中可以被各執行程序使用的空間大小，從而避免在用戶提交任務時指定的存儲空間大小不足時導致任務失敗，提高計算引擎運行任務的成功率。功率。功率。

【技術實現步驟摘要】
計算引擎及其運行方法、介質和系統


[0001]本申請涉及電子
，特別涉及一種計算引擎及其運行方法、介質和系統。

技術介紹

[0002]隨著大數據和計算機技術的發展，計算引擎，例如Apache Spark
TM
，在大規模數據處理中的應用越來越廣泛。計算引擎在運行包括大規模數據的計算任務時，需要將任務分配給至少一個工作節點運行，并且在將任務分配至工作節點時，需要分配工作節點中用于運行該任務的硬件資源的量，例如內存資源。但是，在工作節點運行該任務的過程中，若用戶指定的硬件資源的量不足以完成該任務時，可能會發生錯誤，例如當指定的內存資源不足以完成該任務時會發生內存不足(Out Of Memory，OOM)錯誤，從而導致該工作節點任務失敗，而在該工作節點重試特定次數仍舊失敗后，則計算任務徹底失敗。

技術實現思路

[0003]有鑒于此，本申請實施例提供了一種計算引擎及其運行方法、介質和系統。通過在計算引擎運行任務的過程中，監測用戶提交任務時指定的該任務對應的各執行程序的存儲空間大小，在該大小滿足預設條件的情況下，增加各執行程序所在物理節點中可供各執行程序使用的物理存儲空間，從而可以避免由于用戶指定的存儲空間大小不足以完成任務導致任務運行失敗，提高計算引擎運行任務的成功率
[0004]第一方面，本申請實施例提供了一種計算引擎的運行方法，該包括：
[0005]接收到用戶的任務執行指令，其中任務執行指令包括：用于完成任務的各執行程序的理論存儲空間的大小；
[0006]在多個物理節點的可執行環境中運行各執行程序，其中物理節點分配給物理節點的可執行環境的物理存儲空間的大小，為物理節點的可執行環境中運行的執行程序的理論存儲空間的大小之和，并且在物理節點的可執行環境中運行執行程序的過程中，監測物理節點分配給可執行環境的物理存儲空間的剩余空間大小，并在物理節點分配給可執行環境的物理存儲空間的剩余空間大小滿足第一預設條件的情況下，增加物理節點分配給可執行環境的物理存儲空間。
[0007]在本申請實施例中，在計算引擎接收到用戶的任務執行指令后，在物理節點(例如下文的工作節點)分配給可執行環境(例如下文的Java虛擬機)的物理存儲空間的剩余空間大小(也即是運行于可執行環境中的執行程序可以使用但未使用的存儲空間的大小)滿足第一預設條件(例如下文的執行器堆內內存不足閾值)的情況下，也即是用戶在提交任務執行指令時指定的各執行程序(例如下文的執行器、驅動器等)的理論存儲空間可能不足以完成任務時，增加物理節點分配給可執行環境的物理存儲空間，從而使任務可以繼續運行，避免用戶提交任務時指定的運行任務的各執行程序所需的存儲空間不足導致任務失敗，提高了計算引擎運行任務的成功率。
[0008]例如，下文中任務01對應執行器012/013運行于工作節點13(物理節點)中，在用戶
提交任務01時指定的執行器012/013對應的執行器容器中的存儲空間的剩余空間大小，例如堆內內存中未使用的空間大小，滿足第一預設條件，例如小于128MB時，認為堆內內存可能會不足以完成任務01，此時將可工作節點13的物理內存中可供執行器012/013使用的大小增加128MB，從而可以使得任務01可以繼續運行。
[0009]在上述第一方面的一種可能實現中，上述第一預設條件，包括：
[0010]物理節點上分配給可執行環境的物理存儲空間的剩余空間大小小于第一閾值和/或物理節點上分配給可執行環境的物理存儲空間的剩余空間大小與理論存儲空間大小的比值小于第二閾值。
[0011]也即是說，物理節點上分配給可執行環境的物理存儲空間的剩余空間大小在小于第一閾值，或者該剩余空間大小與理論存儲空間大小的比值小于第二閾值，或者該剩余空間大小小于第一閾值并且該剩余空間大小與理論存儲空間大小的比值小于第二閾值的情況下即可認為用戶提交任務時指定的存儲空間(即理論存儲空間，例如下文中的執行器容器、驅動器容器中指定的存儲空間)可能不能滿足任務的運行需要，會導致任務失敗，此時，可以增加物理節點分配給可執行環境的物理存儲空間(例如下文的物理內存)，使任務可以繼續運行，提高計算引擎運行任務的成功率。
[0012]在本申請實施例中，可以在物理節點上分配給可執行環境的物理存儲空間的剩余空間大小小于第一閾值并且該剩余空間大小與理論存儲空間大小的比值小于第二閾值的情況下才增加物理節點分配給可執行環境的物理存儲空間，可以避免第一閾值或第二閾值設置不當導致誤判定前述剩余空間大小不足以完成任務，進而增加物理節點分配給可執行環境的物理存儲空間，浪費物理節點的存儲資源，影響計算引擎運行其他任務的效率。例如，參考下文圖6B，第一預設條件可以為執行器012/013堆內內存不足閾值為空閑內存絕對量小于128MB(即第一閾值)且相對量(即物理節點上分配給可執行環境的物理存儲空間的剩余空間大小與理論存儲空間大小的比值)小于30％。
[0013]在上述第一方面的一種可能實現中，上述在物理節點分配給可執行環境的物理存儲空間的剩余空間大小滿足第一預設條件的情況下，增加物理節點分配給可執行環境的物理存儲空間，包括：
[0014]在物理節點上分配給可執行環境的物理存儲空間的剩余空間大小滿足第一預設條件的情況下，判斷物理節點的物理存儲空間中未分配給可執行環境部分的空閑空間大小是否滿足第二預設條件；
[0015]在判斷為不滿足第二預設條件的情況下，增加物理節點分配給可執行環境的物理存儲空間。
[0016]在本申請實施例中，在判斷出在物理節點上分配給可執行環境的物理存儲空間的剩余空間大小滿足第一預設條件的情況下，也即是用戶在提交任務時指定的存儲空間大小(即理論存儲空間，例如下文中的執行器容器、驅動器容器中指定的存儲空間)可能不足以完成任務時，還需要判斷執行程序(例如下文的驅動器、執行器)所在判斷物理節點的物理存儲空間中未分配給可執行環境部分的空閑空間大小是否滿足第二預設條件(例如下文中的工作節點物理內存不足閾值)，在判斷結果為不滿足第二預設條件的情況下，也即是物理節點的物理存儲空間有足夠的空閑空間(即未使用的空間)的情況下，再增加物理節點分配給可執行環境的物理存儲空間，如此可以避免在物理節點空閑空間不足時將部分物理存儲
空間分配給上述可執行環境，影響物理節點的其他應用程序的運行。
[0017]在上述第一方面的一種可能實現中，上述第二預設條件，包括：
[0018]物理節點的物理存儲空間中未分配給可執行環境部分的空閑空間大小小于第三閾值和/或物理節點的物理存儲空間中未分配給可執行環境部分的空閑空間大小與物理節點的物理存儲空間總大小的比值小于第四閾值。
[0019]在本申請實施例中，可以在物理節點的物理存儲空間中未分配給可執行環境部分的空閑空間大小小于第三閾值并且物理節點的物理存儲空間中未分配給可執行環境部分的空閑空間大小與物理節點的物理存儲空間總大小的比值小于第四閾值，才判斷物理節點的物理存儲空間中未分配給可執行環境部分的空閑空間大小本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種計算引擎的運行方法，其特征在于，包括：接收到用戶的任務執行指令，其中所述任務執行指令包括：用于完成所述任務的各執行程序的理論存儲空間的大小；在多個物理節點的可執行環境中運行所述各執行程序，其中所述物理節點分配給物理節點的可執行環境的物理存儲空間的大小，為所述物理節點的可執行環境中運行的執行程序的理論存儲空間的大小之和，并且在物理節點的可執行環境中運行所述執行程序的過程中，監測所述物理節點分配給所述可執行環境的物理存儲空間的剩余空間大小，并在所述物理節點分配給可執行環境的物理存儲空間的剩余空間大小滿足第一預設條件的情況下，增加所述物理節點分配給所述可執行環境的物理存儲空間。2.根據權利要求1所述的方法，其特征在于，所述第一預設條件，包括：所述物理節點上分配給所述可執行環境的物理存儲空間的剩余空間大小小于第一閾值和/或所述物理節點上分配給所述可執行環境的物理存儲空間的剩余空間大小與所述理論存儲空間大小的比值小于第二閾值。3.根據權利要求1所述的方法，其特征在于，所述在所述物理節點分配給可執行環境的物理存儲空間的剩余空間大小滿足第一預設條件的情況下，增加所述物理節點分配給所述可執行環境的物理存儲空間，包括：在所述物理節點上分配給所述可執行環境的物理存儲空間的剩余空間大小滿足第一預設條件的情況下，判斷所述物理節點的物理存儲空間中未分配給所述可執行環境部分的空閑空間大小是否滿足第二預設條件；在判斷為不滿足第二預設條件的情況下，增加所述物理節點分配給所述可執行環境的物理存儲空間。4.根據權利要求3所述的方法，其特征在于，所述第二預設條件，包括：所述物理節點的物理存儲空間中未分配給所述可執行環境部分的空閑空間大小小于第三閾值和/或所述物理節點的物理存儲空間中未分配給所述可執行環境部分的空閑空間大小與所述物理節點的物理存儲空間總大小的比值小于第四閾值。5.根據權利要求4所述的方法，其特征在于，第一電子設備運行有所述計算引擎的客戶端；并且所述方法還包括：從所述第一電子設備獲取所述第一預設條件和/或所述第二預設條件。6.根據權利要求1所述的方法，其特征在于，所述增加所述物理節點分配給所述可執行環境的物理存儲空間，包括：將所述物理節點分配給所述可執行環境的物理存儲空間增加預設調整量，所述預設調整量為預設固定值和動態值中較小的一個，其中，所述動態值為所述物理節點的物理存儲空間中未分配給所述可執行環境部分的空閑空間大小與預設比例系數的乘積。7.根據權利要求5或6所述的方法，其特征在于，第一電子設備運行有所述計算引擎的客戶端；并且所述方法還包括：從所述第一電子設備獲取所述預設調整量。
8.根據權利要求1至7任一項所述的方法，其特征在于，所述執行程序包括第一執行程序和至少一個第二執行程序；其中，所述第一執行程序用于管理、調度所述任務，所述至少一個第二執行程序用于實際執行所述任務。9.根據權利要求1至7任一項所述的方法，其特征在于，所述物理存儲空間，包括：所述物理節點的物理內存。10.根據權利要求1至7任一項所述的方法，其特征在于，所述可執行環境包括運行于所述物理節點的虛擬機。11.根據權利要求1至7任一項所述的方法，其特征在于，所述計算引擎為Apache Spark
TM
計算引擎。12.一種計算引擎的運行方法，其特征在于，所述計算引擎通過多個執行程序完成用戶指定的任務，其中所述多個執行程序運行在至少一個物理節點的可執行環境中；所述方法包括：在所述物理節點的可執行環境中運行執行程序的過程中，監測所述物理節點分配給所述可執行環境的物理存儲空間的剩余空間大小，其中所述物理節點分配給所述可執行環境的物理存儲空間的大小，為所述物理節點的可執行環境中運行的執行程序的理論存儲空間的大小之和；在所述物理節點分配給可執行環境的物理存儲空間的剩余空間大小滿足第一預設條件的情況下，增加所述物理節點分配給所述可執行環境的物理存儲空間。13.根據權利要求12所述的方法，其特征在于，所述第一預設條件，包括：所述物理節點上分配給所述可執行環境的物理存儲空間的剩余空間大小小于第一閾值和/或所述物理節點上分配給所述可執行環境的物理存儲空間的剩余空間大小與所述理論存儲空間大小的比值小于第二閾值。14.根據權利要求12所述的方法，其特征在于，所述在所述物理節點分配給可執行環境的物理存儲空間的剩余空間大小滿足第一預設條件...

【專利技術屬性】
技術研發人員：李東威，
申請(專利權)人：花瓣云科技有限公司，
類型：發明
國別省市：