數據下載請求的處理方法、裝置及系統制造方法及圖紙

本發明專利技術公開了一種數據下載請求的處理方法、裝置及系統。其中處理方法包括步驟：由主處理設備接收請求方發送的數據下載請求，該數據下載請求包括一個或者多個下載任務；主處理設備將一個或者多個下載任務中的每個任務分發給相應的子處理設備來進行；子處理設備執行相應的下載任務，將下載任務執行結果存儲到下載相關信息中的請求處理結果存儲位置處，以便由請求方從請求處理結果存儲位置處獲取下載任務執行結果。本發明專利技術提供的方案無需等待一個下載任務完成之后繼續接收下一個下載任務，而是并行執行多個下載任務，在所有下載任務執行完成后，請求方設備一并查找下載任務執行結果，大大提高了下載任務執行的效率。

【技術實現步驟摘要】

本專利技術涉及計算機網絡
，具體涉及一種數據下載請求的處理方法、裝置及系統。
技術介紹
計算機在運行一個程序時需要的硬件執行主體包括CPU、內存、硬盤和網絡IO等，以上各個硬件執行主體的運行速度是依次遞減的。雖然CPU的運行速度最快，但是CPU需要網絡IO提供的資源，而網絡IO的運行速度很慢，此時運行的程序就只能空等待著網絡IO提供的資源，這樣在批量下載網絡資源時，很多時間都被浪費了。傳統的解決辦法是使用同步的多線程或多進程處理方式，在每個線程(進程)中執行一個下載任務，由此提高了網絡資源的下載能力。這種同步的多線程或多進程處理方式仍然存在以下不足:對于每個線程(進程)來說，需要下載獲得網絡資源之后才能繼續接收下一個下載任務，線程接收任務為阻塞方式，下載任務執行效率低下；每個線程(進程)仍沒有充分利用CPU，使得系統的執行時間浪費在網絡等待中。另外，在現有的多線程下載中，由于把下載任務分配給多個線程處理，因此就需要在多個線程之間進行協調，由此增加了多線程處理的復雜度。
技術實現思路
鑒于上述問題，提出了本專利技術以便提供一種克服上述問題或者至少部分地解決上述問題的數據下載請求的處理方法和相應的數據下載請求的處理裝置及系統。根據本專利技術的一個方面，提供了一種數據下載請求的處理方法，該處理方法由包括主處理設備和一個或多個子處理設備的處理系統執行，該處理方法包括步驟:由主處理設備接收請求方發送的數據下載請求，該數據下載請求包括一個或者多個下載任務，并且該數據下載請求還包括下載相關信息，下載相關信息包括請求處理結果存儲位置信息；主處理設備將一個或者多個下載任務中的每個任務分發給相應的子處理設備來進行，并且將下載相關信息發送給子處理設備；子處理設備執行相應的下載任務，將下載任務執行結果存儲到下載相關信息中的請求處理結果存儲位置處，以便由請求方從請求處理結果存儲位置處獲取下載任務執行結果。根據本專利技術的另一方面，提供了一種數據下載請求的處理裝置，包括:主處理設備和一個或多個子處理設備；主處理設備包括:接收模塊，適于接收請求方發送的數據下載請求，該數據下載請求包括一個或者多個下載任務，并且該數據下載請求還包括下載相關信息，下載相關信息包括請求處理結果存儲位置信息；分發模塊，適于將一個或者多個下載任務中的每個任務分發給相應的子處理設備來進行，并且將下載相關信息發送給子處理設備；每個子處理設備包括:任務執行模塊，適于執行相應的下載任務；至少一個存儲設備，以及存儲模塊，適于將下載任務執行結果存儲到下載相關信息中的請求處理結果存儲位置所對應的存儲設備中，以便由請求方從請求處理結果存儲位置處獲取下載任務執行結果。根據本專利技術的又一方面，提供了一種數據下載請求的處理系統，包括上述數據下載請求的處理裝置以及請求方設備，請求方設備適于向數據下載請求的處理裝置的主處理設備發送數據下載請求，以及從請求處理結果存儲位置處獲取下載任務執行結果。根據本專利技術提供的數據下載請求的處理方法、裝置及系統，主處理設備接收請求方設備發送的數據下載請求后，將數據下載請求中所包括的一個或多個下載任務分發給相應的子處理設備來進行，子處理設備將下載任務交給內核進行處理，子處理設備接收下載任務為非阻塞方式，并且通過將下載任務執行結果存儲到請求方設備指定的請求處理結果存儲位置處，使得請求方設備能夠去相應位置查找獲取下載任務執行結果。本專利技術提供的方案無需等待一個下載任務完成之后繼續接收下一個下載任務，而是并行執行多個下載任務，在所有下載任務執行完成后，請求方設備一并查找下載任務執行結果，由此多個下載任務的執行總時間是其中最耗時的下載任務的執行時間，大大提高了下載任務執行的效率；同時明顯提高了 CPU的利用率，充分利用了 CPU的處理能力。上述說明僅是本專利技術技術方案的概述，為了能夠更清楚了解本專利技術的技術手段，而可依照說明書的內容予以實施，并且為了讓本專利技術的上述和其它目的、特征和優點能夠更明顯易懂，以下特舉本專利技術的具體實施方式。附圖說明通過閱讀下文優選實施方式的詳細描述，各種其他的優點和益處對于本領域普通技術人員將變得清楚明了。附圖僅用于示出優選實施方式的目的，而并不認為是對本專利技術的限制。而且在整個附圖中，用相同的參考符號表示相同的部件。在附圖中:圖1示出了根據本專利技術一個實施例的數據下載請求的處理方法的流程圖；圖2示出了根據本專利技術一個實施例的數據下載請求的處理系統的結構框圖。具體實施例方式下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開的示例性實施例，然而應當理解，可以以各種形式實現本公開而不應被這里闡述的實施例所限制。相反，提供這些實施例是為了能夠更透徹地理解本公開，并且能夠將本公開的范圍完整的傳達給本領域的技術人員。圖1示出了根據本專利技術一個實施例的數據下載請求的處理方法100的流程圖。該處理方法100由包括主處理設備和一個或多個子處理設備的處理系統執行，其中主處理設備是指執行主進程的設備，子處理設備是指執行子進程的設備，本方法100是由一個主進程和一個或多個子進程協同工作來實現的。如圖1所示，方法100始于步驟S101，其中由主處理設備接收請求方發送的數據下載請求，該數據下載請求包括一個或多個下載任務，用于下載網絡資源。該數據下載請求還包括下載相關信息，該下載相關信息包括請求處理結果存儲位置信息?？蛇x地，主處理設備接收的數據下載請求可以支持JSON格式。作為一種示例，表I示出了數據下載請求所包含的字段的具體內容。表1.數據下載請求所包含的字段的示意表權利要求1.一種數據下載請求的處理方法，該處理方法由包括主處理設備和一個或多個子處理設備的處理系統執行，該處理方法包括步驟: 由主處理設備接收請求方發送的數據下載請求，該數據下載請求包括一個或者多個下載任務，并且該數據下載請求還包括下載相關信息，所述下載相關信息包括請求處理結果存儲位置信息； 所述主處理設備將所述一個或者多個下載任務中的每個任務分發給相應的子處理設備來進行，并且將所述下載相關信息發送給所述子處理設備； 所述子處理設備執行相應的下載任務，將下載任務執行結果存儲到所述下載相關信息中的請求處理結果存儲位置處，以便由請求方從所述請求處理結果存儲位置處獲取下載任務執行結果。2.如權利要求1所述的處理方法，其中所述下載相關信息還包括下載數據存儲位置信息； 所述方法還包括步驟:如果子處理設備執行下載任務成功，則把執行所述下載任務所下載的數據存儲到所述下載相關信息中的下載數據存儲位置處，并在所述下載任務執行結果中包括所述下載數據在下載數據存儲位置中的標識符。3.如權利要求1或2所述的處理方法，還包括步驟: 在所述主處理設備將一個或者多個下載任務分發給一個或多個子處理設備執行之后，所述主處理設備向所述請求方返回分發成功/失敗消息。4.如權利要求1-3中任一個所述的處理方法,所述一個或者多個下載任務中的每一個下載任務都包括任務標識和下 載目標地址。5.如權利要求1-4中任一個所述的處理方法，其中 所述下載任務執行結果包括下載結果元數據，所述下載結果元數據包括任務標識、下載目標地址以及執行狀態信息和/或錯誤信息；以及 所述請求方從所述請求處理結果存儲位置處獲取下載任務執行結果包括: 所本文檔來自技高網...

【技術保護點】
一種數據下載請求的處理方法，該處理方法由包括主處理設備和一個或多個子處理設備的處理系統執行，該處理方法包括步驟：由主處理設備接收請求方發送的數據下載請求，該數據下載請求包括一個或者多個下載任務，并且該數據下載請求還包括下載相關信息，所述下載相關信息包括請求處理結果存儲位置信息；所述主處理設備將所述一個或者多個下載任務中的每個任務分發給相應的子處理設備來進行，并且將所述下載相關信息發送給所述子處理設備；所述子處理設備執行相應的下載任務，將下載任務執行結果存儲到所述下載相關信息中的請求處理結果存儲位置處，以便由請求方從所述請求處理結果存儲位置處獲取下載任務執行結果。

【技術特征摘要】

【專利技術屬性】
技術研發人員：呂本偉，楊濤，汪雨田，
申請(專利權)人：北京奇虎科技有限公司，奇智軟件北京有限公司，
類型：發明
國別省市：