一種流數(shù)據(jù)任務(wù)的處理方法和裝置制造方法及圖紙

本發(fā)明專利技術(shù)公開了一種流數(shù)據(jù)任務(wù)的處理方法和裝置。所述方法包括：將流數(shù)據(jù)任務(wù)拆分成多個流數(shù)據(jù)子任務(wù)；將多個流數(shù)據(jù)子任務(wù)分配至至少一個目標(biāo)處理節(jié)點(diǎn)；調(diào)用各目標(biāo)處理節(jié)點(diǎn)運(yùn)行至少一個處理進(jìn)程處理所述多個流數(shù)據(jù)子任務(wù)，其中，一個所調(diào)用的處理進(jìn)程處理一個或多個流數(shù)據(jù)子任務(wù)；接收各目標(biāo)處理節(jié)點(diǎn)針對流數(shù)據(jù)子任務(wù)反饋的處理結(jié)果，匯集得到所述流數(shù)據(jù)任務(wù)的處理結(jié)果。由于多個處理進(jìn)程在執(zhí)行過程中互不影響，因此避免了背景技術(shù)中一個線程出現(xiàn)問題導(dǎo)致整個節(jié)點(diǎn)無法正常工作的情況的發(fā)生，有效保證了目標(biāo)處理節(jié)點(diǎn)的正常工作。

Method and device for processing stream data task

The invention discloses a method and a device for processing a stream data task. The method comprises the following steps: data flow task is divided into multiple sub tasks of data flow; a plurality of data flow task allocation to the at least one target node; call the target processing node running at least one of the plurality of processing data flow task, among them, a process called one or more data stream sub tasks; receives the target processing results stream data sub task feedback node, pooled results for the data flow task. Due to the multiple process in the implementation process of mutual influence, thus avoiding a thread in the background technology problems lead to the node cannot work normally occurs, effectively ensuring the normal work of the target node.

【技術(shù)實(shí)現(xiàn)步驟摘要】
一種流數(shù)據(jù)任務(wù)的處理方法和裝置
本專利技術(shù)涉及通信
，具體涉及一種流數(shù)據(jù)任務(wù)的處理方法以及一種流數(shù)據(jù)任務(wù)的處理裝置。
技術(shù)介紹
為滿足用戶對觀看視頻的清晰度的不同需求，對視頻錄制端推送的視頻流數(shù)據(jù)進(jìn)行轉(zhuǎn)碼處理，得到多個分辨率的視頻流數(shù)據(jù)供用戶選擇。目前轉(zhuǎn)碼視頻流數(shù)據(jù)時，轉(zhuǎn)碼服務(wù)器使用內(nèi)置的多個線程同時處理多個轉(zhuǎn)碼任務(wù)，每個線程處理一個轉(zhuǎn)碼任務(wù)，轉(zhuǎn)碼結(jié)束后將所得的視頻流數(shù)據(jù)推送至預(yù)設(shè)存儲空間。雖然現(xiàn)有方法實(shí)現(xiàn)了視頻流數(shù)據(jù)的轉(zhuǎn)碼處理，但是存在以下缺陷：轉(zhuǎn)碼服務(wù)器內(nèi)置的多個線程相互關(guān)聯(lián)，當(dāng)某一線程處理轉(zhuǎn)碼任務(wù)出現(xiàn)問題時，如線程卡死或崩潰，會導(dǎo)致整個轉(zhuǎn)碼服務(wù)器無法正常工作，從而影響其他轉(zhuǎn)碼任務(wù)的進(jìn)行。
技術(shù)實(shí)現(xiàn)思路
鑒于上述問題，提出了本專利技術(shù)以便提供一種克服上述問題或者至少部分地解決上述問題的流數(shù)據(jù)任務(wù)的處理方法和相應(yīng)的流數(shù)據(jù)任務(wù)的處理裝置。依據(jù)本專利技術(shù)的一個方面，提供了一種流數(shù)據(jù)任務(wù)的處理方法，包括：將流數(shù)據(jù)任務(wù)拆分成多個流數(shù)據(jù)子任務(wù)；將多個流數(shù)據(jù)子任務(wù)分配至至少一個目標(biāo)處理節(jié)點(diǎn)；調(diào)用各目標(biāo)處理節(jié)點(diǎn)運(yùn)行至少一個處理進(jìn)程處理所述多個流數(shù)據(jù)子任務(wù)，其中，一個所調(diào)用的處理進(jìn)程處理一個或多個流數(shù)據(jù)子任務(wù)；接收各目標(biāo)處理節(jié)點(diǎn)針對流數(shù)據(jù)子任務(wù)反饋的處理結(jié)果，匯集得到所述流數(shù)據(jù)任務(wù)的處理結(jié)果。可選地，所述將多個流數(shù)據(jù)子任務(wù)分配至至少一個目標(biāo)處理節(jié)點(diǎn)包括：從管理節(jié)點(diǎn)獲取各個處理節(jié)點(diǎn)的負(fù)載狀態(tài)；選取負(fù)載狀態(tài)滿足設(shè)定條件的至少一個目標(biāo)處理節(jié)點(diǎn)，并向各選取的目標(biāo)處理節(jié)點(diǎn)下發(fā)至少一個流數(shù)據(jù)子任務(wù)。可選地，各處理節(jié)點(diǎn)對應(yīng)一個任務(wù)隊(duì)列，在所述向各選取的目標(biāo)處理節(jié)點(diǎn)下發(fā)至少一個流數(shù)據(jù)子任務(wù)之前，所述方法還包括：獲取各目標(biāo)處理節(jié)點(diǎn)的任務(wù)隊(duì)列；設(shè)置待下發(fā)的流數(shù)據(jù)子任務(wù)在各任務(wù)隊(duì)列中的排序，使各個流數(shù)據(jù)子任務(wù)的處理時間的差值小于設(shè)定閾值。可選地，所述設(shè)置待下發(fā)的流數(shù)據(jù)子任務(wù)在各任務(wù)隊(duì)列中的排序，使各個流數(shù)據(jù)子任務(wù)的處理時間的差值小于設(shè)定閾值包括：根據(jù)各目標(biāo)處理節(jié)點(diǎn)的任務(wù)隊(duì)列中已有的流數(shù)據(jù)子任務(wù)，預(yù)測各個待下發(fā)的流數(shù)據(jù)子任務(wù)的處理時間；確定處理時間最晚的目標(biāo)流數(shù)據(jù)子任務(wù)；按照所述目標(biāo)流數(shù)據(jù)子任務(wù)的處理時間安排各個待下發(fā)的流數(shù)據(jù)子任務(wù)的處理時間。可選地，所述獲取各目標(biāo)處理節(jié)點(diǎn)的任務(wù)隊(duì)列包括：從各目標(biāo)處理節(jié)點(diǎn)的管理進(jìn)程獲取任務(wù)隊(duì)列。可選地，在所述將流數(shù)據(jù)任務(wù)拆分為多個流數(shù)據(jù)子任務(wù)之前，所述方法還包括：接收攜帶流數(shù)據(jù)地址的流數(shù)據(jù)處理指令；通過訪問所述流數(shù)據(jù)地址，下載待處理的流數(shù)據(jù)。可選地，所述流數(shù)據(jù)任務(wù)為轉(zhuǎn)碼任務(wù)，所述將流數(shù)據(jù)任務(wù)拆分為多個流數(shù)據(jù)子任務(wù)包括：按照所述流數(shù)據(jù)處理指令攜帶的多種轉(zhuǎn)碼格式，將所述流數(shù)據(jù)處理任務(wù)拆分為對應(yīng)各種轉(zhuǎn)碼格式的多個流數(shù)據(jù)子任務(wù)。可選地，所述流數(shù)據(jù)任務(wù)為轉(zhuǎn)碼任務(wù)，所述將流數(shù)據(jù)任務(wù)拆分為多個流數(shù)據(jù)子任務(wù)包括：提取所述流數(shù)據(jù)處理指令攜帶的業(yè)務(wù)標(biāo)識；查找針對所述業(yè)務(wù)標(biāo)識預(yù)設(shè)的多種轉(zhuǎn)碼格式；按照所查找的多種轉(zhuǎn)碼格式，將所述流數(shù)據(jù)處理任務(wù)拆分為多個流數(shù)據(jù)子任務(wù)。可選地，所述方法還包括：監(jiān)控各個處理進(jìn)程的處理進(jìn)度；將已處理完的流數(shù)據(jù)子任務(wù)對應(yīng)的流數(shù)據(jù)推送至存儲服務(wù)器，以供流數(shù)據(jù)的傳輸節(jié)點(diǎn)或流數(shù)據(jù)的播放客戶端調(diào)用。可選地，所述方法還包括：接收處理進(jìn)程上報至管理進(jìn)程的處理異常通知，并在當(dāng)前目標(biāo)處理節(jié)點(diǎn)內(nèi)為處理異常的流數(shù)據(jù)子任務(wù)重新分配處理進(jìn)程。可選地，所述方法還包括：接收當(dāng)前目標(biāo)處理節(jié)點(diǎn)上報至管理節(jié)點(diǎn)的處理異常通知，并在其他處理節(jié)點(diǎn)中為處理異常的流數(shù)據(jù)子任務(wù)重新分配一個目標(biāo)處理節(jié)點(diǎn)；調(diào)用重新分配的目標(biāo)處理節(jié)點(diǎn)的一個處理進(jìn)程對處理異常的流數(shù)據(jù)子任務(wù)進(jìn)行處理。依據(jù)本專利技術(shù)的另一個方面，提供了一種流數(shù)據(jù)任務(wù)的處理裝置，包括：任務(wù)拆分模塊，用于將流數(shù)據(jù)任務(wù)拆分成多個流數(shù)據(jù)子任務(wù)；子任務(wù)分配模塊，用于將多個流數(shù)據(jù)子任務(wù)分配至至少一個目標(biāo)處理節(jié)點(diǎn)；處理進(jìn)程調(diào)用模塊，用于調(diào)用各目標(biāo)處理節(jié)點(diǎn)運(yùn)行至少一個處理進(jìn)程處理所述多個流數(shù)據(jù)子任務(wù)，其中，一個所調(diào)用的處理進(jìn)程處理一個或多個流數(shù)據(jù)子任務(wù)；處理結(jié)果接收模塊，用于接收各目標(biāo)處理節(jié)點(diǎn)針對流數(shù)據(jù)子任務(wù)反饋的處理結(jié)果，匯集得到所述流數(shù)據(jù)任務(wù)的處理結(jié)果。可選地，所述子任務(wù)分配模塊包括：負(fù)載狀態(tài)獲取子模塊，用于從管理節(jié)點(diǎn)獲取各個處理節(jié)點(diǎn)的負(fù)載狀態(tài)；目標(biāo)處理節(jié)點(diǎn)選取子模塊，用于選取負(fù)載狀態(tài)滿足設(shè)定條件的至少一個目標(biāo)處理節(jié)點(diǎn)，并向各選取的目標(biāo)處理節(jié)點(diǎn)下發(fā)至少一個流數(shù)據(jù)子任務(wù)。可選地，所述裝置還包括：任務(wù)隊(duì)列獲取模塊，用于在所述向各選取的目標(biāo)處理節(jié)點(diǎn)下發(fā)至少一個流數(shù)據(jù)子任務(wù)之前，獲取各目標(biāo)處理節(jié)點(diǎn)的任務(wù)隊(duì)列，各處理節(jié)點(diǎn)對應(yīng)一個任務(wù)隊(duì)列；排序設(shè)置子模塊，用于設(shè)置待下發(fā)的流數(shù)據(jù)子任務(wù)在各任務(wù)隊(duì)列中的排序，使各個流數(shù)據(jù)子任務(wù)的處理時間的差值小于設(shè)定閾值。可選地，所述排序設(shè)置子模塊包括：處理時間預(yù)測單元，用于根據(jù)各目標(biāo)處理節(jié)點(diǎn)的任務(wù)隊(duì)列中已有的流數(shù)據(jù)子任務(wù)，預(yù)測各個待下發(fā)的流數(shù)據(jù)子任務(wù)的處理時間；目標(biāo)流數(shù)據(jù)子任務(wù)確定單元，用于確定處理時間最晚的目標(biāo)流數(shù)據(jù)子任務(wù)；處理時間安排單元，用于按照所述目標(biāo)流數(shù)據(jù)子任務(wù)的處理時間安排各個待下發(fā)的流數(shù)據(jù)子任務(wù)的處理時間。可選地，所述任務(wù)隊(duì)列獲取模塊，具體用于從各目標(biāo)處理節(jié)點(diǎn)的管理進(jìn)程獲取任務(wù)隊(duì)列。可選地，所述裝置還包括：處理指令接收模塊，用于在所述將流數(shù)據(jù)任務(wù)拆分為多個流數(shù)據(jù)子任務(wù)之前，接收攜帶流數(shù)據(jù)地址的流數(shù)據(jù)處理指令；流數(shù)據(jù)下載模塊，用于通過訪問所述流數(shù)據(jù)地址，下載待處理的流數(shù)據(jù)。可選地，所述任務(wù)拆分模塊，具體用于按照所述流數(shù)據(jù)處理指令攜帶的多種轉(zhuǎn)碼格式，將所述流數(shù)據(jù)處理任務(wù)拆分為對應(yīng)各種轉(zhuǎn)碼格式的多個流數(shù)據(jù)子任務(wù)，所述流數(shù)據(jù)任務(wù)為轉(zhuǎn)碼任務(wù)。可選地，所述任務(wù)拆分模塊包括：業(yè)務(wù)標(biāo)識提取子模塊，用于提取所述流數(shù)據(jù)處理指令攜帶的業(yè)務(wù)標(biāo)識，所述流數(shù)據(jù)任務(wù)為轉(zhuǎn)碼任務(wù)；轉(zhuǎn)碼格式查找子模塊，用于查找針對所述業(yè)務(wù)標(biāo)識預(yù)設(shè)的多種轉(zhuǎn)碼格式；任務(wù)劃分子模塊，用于按照所查找的多種轉(zhuǎn)碼格式，將所述流數(shù)據(jù)處理任務(wù)拆分為多個流數(shù)據(jù)子任務(wù)。可選地，所述裝置還包括：處理進(jìn)度監(jiān)控模塊，用于監(jiān)控各個處理進(jìn)程的處理進(jìn)度；流數(shù)據(jù)推送模塊，用于將已處理完的流數(shù)據(jù)子任務(wù)對應(yīng)的流數(shù)據(jù)推送至存儲服務(wù)器，以供流數(shù)據(jù)的傳輸節(jié)點(diǎn)或流數(shù)據(jù)的播放客戶端調(diào)用。可選地，所述裝置還包括：第一通知接收模塊，用于接收處理進(jìn)程上報至管理進(jìn)程的處理異常通知；處理進(jìn)程重新分配模塊，用于在當(dāng)前目標(biāo)處理節(jié)點(diǎn)內(nèi)為處理異常的流數(shù)據(jù)子任務(wù)重新分配處理進(jìn)程。可選地，所述裝置還包括：第二通知接收模塊，用于接收當(dāng)前目標(biāo)處理節(jié)點(diǎn)上報至管理節(jié)點(diǎn)的處理異常通知；目標(biāo)處理節(jié)點(diǎn)重新分配模塊，用于在其他處理節(jié)點(diǎn)中為處理異常的流數(shù)據(jù)子任務(wù)重新分配一個目標(biāo)處理節(jié)點(diǎn)；目標(biāo)處理節(jié)點(diǎn)調(diào)用模塊，用于調(diào)用重新分配的目標(biāo)處理節(jié)點(diǎn)的一個處理進(jìn)程對處理異常的流數(shù)據(jù)子任務(wù)進(jìn)行處理。依據(jù)本專利技術(shù)實(shí)施例，調(diào)用目標(biāo)處理節(jié)點(diǎn)內(nèi)的處理進(jìn)程對多個流數(shù)據(jù)子任務(wù)進(jìn)行處理，由于多個處理進(jìn)程在執(zhí)行過程中互不影響，因此避免了
技術(shù)介紹
中一個線程出現(xiàn)問題導(dǎo)致整個節(jié)點(diǎn)無法正常工作的情況的發(fā)生，有效保證了目標(biāo)處理節(jié)點(diǎn)的正常工作。同時，各流數(shù)據(jù)子任務(wù)的處理結(jié)果以及匯集得到的流數(shù)據(jù)任務(wù)的處理結(jié)果可以作為任務(wù)監(jiān)控、子任務(wù)分發(fā)的依據(jù)，從而完善了處理機(jī)制。本專利技術(shù)實(shí)施例在各傳輸節(jié)點(diǎn)內(nèi)置了管理進(jìn)程并設(shè)置了管理節(jié)點(diǎn)，使用管理進(jìn)程和管理節(jié)點(diǎn)對流數(shù)據(jù)子任務(wù)本文檔來自技高網(wǎng)...

【技術(shù)保護(hù)點(diǎn)】
一種流數(shù)據(jù)任務(wù)的處理方法，包括：將流數(shù)據(jù)任務(wù)拆分成多個流數(shù)據(jù)子任務(wù)；將多個流數(shù)據(jù)子任務(wù)分配至至少一個目標(biāo)處理節(jié)點(diǎn)；調(diào)用各目標(biāo)處理節(jié)點(diǎn)運(yùn)行至少一個處理進(jìn)程處理所述多個流數(shù)據(jù)子任務(wù)，其中，一個所調(diào)用的處理進(jìn)程處理一個或多個流數(shù)據(jù)子任務(wù)；接收各目標(biāo)處理節(jié)點(diǎn)針對流數(shù)據(jù)子任務(wù)反饋的處理結(jié)果，匯集得到所述流數(shù)據(jù)任務(wù)的處理結(jié)果。

【技術(shù)特征摘要】
1.一種流數(shù)據(jù)任務(wù)的處理方法，包括：將流數(shù)據(jù)任務(wù)拆分成多個流數(shù)據(jù)子任務(wù)；將多個流數(shù)據(jù)子任務(wù)分配至至少一個目標(biāo)處理節(jié)點(diǎn)；調(diào)用各目標(biāo)處理節(jié)點(diǎn)運(yùn)行至少一個處理進(jìn)程處理所述多個流數(shù)據(jù)子任務(wù)，其中，一個所調(diào)用的處理進(jìn)程處理一個或多個流數(shù)據(jù)子任務(wù)；接收各目標(biāo)處理節(jié)點(diǎn)針對流數(shù)據(jù)子任務(wù)反饋的處理結(jié)果，匯集得到所述流數(shù)據(jù)任務(wù)的處理結(jié)果。2.根據(jù)權(quán)利要求1所述的方法，其中，所述將多個流數(shù)據(jù)子任務(wù)分配至至少一個目標(biāo)處理節(jié)點(diǎn)包括：從管理節(jié)點(diǎn)獲取各個處理節(jié)點(diǎn)的負(fù)載狀態(tài)；選取負(fù)載狀態(tài)滿足設(shè)定條件的至少一個目標(biāo)處理節(jié)點(diǎn)，并向各選取的目標(biāo)處理節(jié)點(diǎn)下發(fā)至少一個流數(shù)據(jù)子任務(wù)。3.根據(jù)權(quán)利要求1所述的方法，其中，各處理節(jié)點(diǎn)對應(yīng)一個任務(wù)隊(duì)列，在所述向各選取的目標(biāo)處理節(jié)點(diǎn)下發(fā)至少一個流數(shù)據(jù)子任務(wù)之前，所述方法還包括：獲取各目標(biāo)處理節(jié)點(diǎn)的任務(wù)隊(duì)列；設(shè)置待下發(fā)的流數(shù)據(jù)子任務(wù)在各任務(wù)隊(duì)列中的排序，使各個流數(shù)據(jù)子任務(wù)的處理時間的差值小于設(shè)定閾值。4.根據(jù)權(quán)利要求3所述的方法，其中，所述設(shè)置待下發(fā)的流數(shù)據(jù)子任務(wù)在各任務(wù)隊(duì)列中的排序，使各個流數(shù)據(jù)子任務(wù)的處理時間的差值小于設(shè)定閾值包括：根據(jù)各目標(biāo)處理節(jié)點(diǎn)的任務(wù)隊(duì)列中已有的流數(shù)據(jù)子任務(wù)，預(yù)測各個待下發(fā)的流數(shù)據(jù)子任務(wù)的處理時間；確定處理時間最晚的目標(biāo)流數(shù)據(jù)子任務(wù)；按照所述目標(biāo)流數(shù)據(jù)子任務(wù)的處理時間安排各個待下發(fā)的流數(shù)據(jù)子任務(wù)的處理時間。5.根據(jù)權(quán)利要求3所述的方法，其中，所述獲取各目標(biāo)處理節(jié)點(diǎn)的任務(wù)隊(duì)列包括：從各目標(biāo)處理節(jié)點(diǎn)的管理...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：董文新，殷宇輝，梁全存，
申請(專利權(quán))人：北京奇虎科技有限公司，
類型：發(fā)明
國別省市：北京,11