本發明專利技術實施例提供了一種基于流式計算的資源管理方法及裝置。其中，基于流式計算的資源管理方法包括：分別獲取多條計算流的數據訂閱流量以及所述計算流的延遲時間長度；根據所述多條計算流的數據訂閱流量以及延遲時間長度對分配給所述計算流的資源進行調整。本發明專利技術實施例的基于流式計算的資源管理方法及裝置，實現了在流式計算過程中，自動地對分配給計算流的既有資源進行調整以適應流量變化，使得流量高峰期和低峰期的資源使用率相對均衡，進而保證服務質量。
【技術實現步驟摘要】
本專利技術設及互聯網
，尤其設及一種基于流式計算的資源管理方法及裝 置。
技術介紹
在流式計算中，對于重要的計算往往會添加多份備份。W便于當一條計算流失效 時，其他的計算仍然可用，從而不影響整體的服務質量。當然，每一條計算流的資源都會受 到限制，僅保留可見的必要的余量，W保證峰值期間仍然可用。 近年來，隨著流式計算業務的發展，數據量也逐步增大，通常會發生一些突發狀 況。例如高峰期流量超出預期。在此狀況下，任何一條計算流都會因數據量暴增而處理不 及時，導致延時，進而無法滿足可靠性要求。現有技術一般采用投入更多的計算資源的方式 來保證服務質量。然而，上述方式具有無限制地獲取額外資源，流量低峰期造成資源閑置等 不足之處。
技術實現思路
本專利技術實施例的目的在于，提供一種基于流式計算的資源管理方法及裝置，W實 現在流式計算過程中，自動地調整分配給計算流的既有資源W適應數據量驟增等突發狀 況，并保證服務質量。 為實現上述專利技術目的，本專利技術的實施例提供了一種基于流式計算的資源管理方 法，包括：分別獲取多條計算流的數據訂閱流量W及所述計算流的延遲時間長度；根據所 述多條計算流的數據訂閱流量W及延遲時間長度對分配給所述計算流的資源進行調整。 優選地，所述根據所述多條計算流的數據訂閱流量W及延遲時間長度對分配給所 述計算流的資源進行調整的處理包括：根據所述多條計算流的數據訂閱流量分別對所述多 條計算流賦予權值，并且根據所述計算流的延遲時間長度分別計算在預定的時間間隔內所 述計算流的平均延遲時間長度；根據為所述多條計算流賦予的權值W及計算的平均延遲時 間長度分別計算所述多條計算流的價值評分；根據計算的所述多條計算流的價值評分對分 配給所述計算流的資源進行調整。 優選地，所述根據計算的所述多條計算流的價值評分對分配給所述計算流的資源 進行調整的處理包括：增加為計算出的價值評分低于預定的第一價值闊值的計算流分配的 資源。 優選地，所述根據計算的所述多條計算流的價值評分對分配給所述計算流的資源 進行調整的處理包括：根據為所述計算流計算出的價值評分計算所述多條計算流的總價值 評分，如果計算出的總價值評分低于預設的總價值闊值，則增加為計算出的價值評分低于 預定的第二價值闊值的計算流分配的資源。 優選地，所述根據計算的所述多條計算流的價值評分對分配給所述計算流的資源 進行調整的處理包括：根據為所述計算流計算出的價值評分計算所述多條計算流的總價值 評分，如果計算出的總價值評分低于預設的總價值闊值，則選取權值最大的計算流，并計算 選取的計算流的價值評分，如果所述選取的計算流的價值評分低于預定的第=價值闊值， 則增加為選取的計算流分配的資源。 優選地，所述根據計算的所述多條計算流的價值評分對分配給所述計算流的資源 進行調整的處理還包括：減少為計算出的價值評分高于預定的第四價值闊值的計算流分配 的資源。 優選地，所述根據所述多條計算流的數據訂閱流量分別對所述多條計算流賦予權 值的處理包括：根據計算流的數據訂閱流量在全部計算流的數據訂閱流量總和的百分比分 別對所述多條計算流賦予權值。 優選地，所述分別獲取多條計算流的延遲時間長度的處理包括：根據計算流的收 到確認時間和數據訂閱時間分別計算所述計算流的延遲時間長度。 本專利技術的實施例還提供了一種基于流式計算的資源管理裝置，包括：數據獲取模 塊，用于分別獲取多條計算流的數據訂閱流量W及所述計算流的延遲時間長度；資源調整 模塊，用于根據所述多條計算流的數據訂閱流量W及延遲時間長度對分配給所述計算流的 資源進行調整。 優選地，所述資源調整模塊包括：權值及延遲時間計算單元，用于根據所述多條計 算流的數據訂閱流量分別對所述多條計算流賦予權值，并且根據所述計算流的延遲時間長 度分別計算在預定的時間間隔內所述計算流的平均延遲時間長度；價值評分計算單元，用 于根據為所述多條計算流賦予的權值W及計算的平均延遲時間長度分別計算所述多條計 算流的價值評分；資源調整單元，用于根據計算的所述多條計算流的價值評分對分配給所 述計算流的資源進行調整。 優選地，所述資源調整單元用于增加為計算出的價值評分低于預定的第一價值闊 值的計算流分配的資源。 優選地，所述資源調整單元用于根據為所述計算流計算出的價值評分計算所述多 條計算流的總價值評分，如果計算出的總價值評分低于預設的總價值闊值，則增加為計算 出的價值評分低于預定的第二價值闊值的計算流分配的資源。 優選地，所述資源調整單元用于根據為所述計算流計算出的價值評分計算所述多 條計算流的總價值評分，如果計算出的總價值評分低于預設的總價值闊值，則選取計算出 的價值評分最高的計算流，如果選取的計算流的價值評分低于預定的第S價值闊值，則增 加為選取的計算流分配的資源。 優選地，所述資源調整單元還用于減少為計算出的價值評分高于預定的第四價值 闊值的計算流分配的資源。 優選地，所述權值及延遲時間計算單元用于根據計算流的數據訂閱流量在全部計 算流的數據訂閱流量總和的百分比分別對所述多條計算流賦予權值。 優選地，所述數據獲取模塊用于根據計算流的收到確認時間和數據訂閱時間分別 計算所述計算流的延遲時間長度。 本專利技術實施例提供的基于流式計算的資源管理方法及裝置，在獲取多條計算流的 數據訂閱流量W及所述計算流的延遲時間長度后，進一步根據獲取到的多條計算流的數據 訂閱流量W及延遲時間長度，自動地對分配給所述計算流的資源進行調整，從而適應數據 量驟增等突發狀況并保證服務質量。可見，本實施例所述方法充分利用既有資源，無論是在 流量高峰期還是低峰期對資源的使用情況都相對平衡。同時，無需獲取額外資源來保證流 式計算服務質量，由此，減少了資源浪費。【附圖說明】 圖1是示出本專利技術實施例一的基于流式計算的資源管理方法的流程圖； 圖2是示出本專利技術實施例二的基于流式計算的資源管理裝置的邏輯框圖。【具體實施方式】 本專利技術的基本構思是，提供一種基于流式計算的資源管理方式：分別獲取多條計 算流的數據訂閱流量W及所述計算流的延遲時間長度，由此，可基于獲取到的所述多條計 算流的數據訂閱流量W及延遲時間長度，自動地對分配給所述計算流的資源進行調整。與現有技術相比，本專利技術實施例所述的基于流式計算的資源管理方法能夠充分利 用既有資源，無需獲取額外資源。無論是在流量高峰期還是低峰期對資源的使用情況相對 平衡，減少資源浪費。并且，使得流式計算服務既滿足常規的計算需求，又滿足流量高峰期 的低延遲性需求。 下面結合附圖詳細描述本專利技術實施例的基于流式計算的資源管理方法及裝置。 實施例一[002引圖1是示出本專利技術實施例一的基于流式計算的資源管理方法的流程圖。可在如圖 2所示的裝置上執行該方法。 參照圖1，在步驟S110,分別獲取多條計算流的數據訂閱流量W及所述計算流的 延遲時間長度。 根據本專利技術的示例性實施例，步驟S110中分別獲取多條計算流的延遲時間長度 的處理包括：根據計算流的收到確認時間和數據訂閱時間分別計算所述計算流的延遲時間 長度。具體地，在傳輸可靠的流式計算系統中，下游應用（AP巧一般在收到計算流傳遞的上 游數據之后，會向計算流發送確認信息。因此，可W根據計算流收到的確認信息的時間計算 傳輸延遲時間長度。 在步本文檔來自技高網...
【技術保護點】
一種基于流式計算的資源管理方法，其特征在于，所述方法包括：分別獲取多條計算流的數據訂閱流量以及所述計算流的延遲時間長度；根據所述多條計算流的數據訂閱流量以及延遲時間長度對分配給所述計算流的資源進行調整。
【技術特征摘要】
【專利技術屬性】
技術研發人員：熊云，
申請(專利權)人：百度在線網絡技術北京有限公司，
類型：發明
國別省市：北京;11
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。