離線下載系統和方法技術方案

一種離線下載系統，包括離線任務管理服務器、離線任務分發服務器和分布式離線下載服務器。離線任務管理服務器用于獲取離線下載請求，離線下載請求中包括請求下載的客戶端的IP地址和離線任務的原始下載鏈接。離線任務分發服務器用于根據IP地址查找到與客戶端位于同一城域網內的分布式離線下載服務器，并將離線任務分發給查找到的分布式離線下載服務器。部署在城域網的網絡出口處的分布式離線下載服務器根據離線任務的原始下載鏈接獲取離線任務對應的數據內容并存儲。由于離線取回數據內容不涉及到跨網絡，因此，上述離線下載系統使得離線取回數據內容的效率提高且取回的數據內容的質量得到保障。此外，本發明專利技術還提供一種離線下載方法。

【技術實現步驟摘要】

本專利技術涉及互聯網數據共享技術，特別是涉及一種離線下載的系統和方法。
技術介紹
離線下載本質是下載工具的服務器代替用戶先行下載。比如某個資源是冷門資源，下載速度很慢，用戶就得下很久。離線下載技術可以讓服務器代替用戶下載，而用戶可以關掉下載工具或者機器。服務器端的離線下載機器將下載完成的數據內容存儲于云存儲服務器，用戶可再從云存儲服務器上高速下載數據內容到客戶端。ISP即互聯網服務提供商，是向廣大用戶綜合提供互聯網接入業務、信息業務、和增值業務的電信運營商。ISP包括大ISP (如中國電信、中國聯通)和小ISP (如東方有線、創威寬帶)。大ISP具有自己的骨干網，骨干網是用來連接多個局域網和地區網的高速網絡鏈路。小ISP沒有自己的骨干網，需要租借大ISP的骨干網。每個ISP包括多個城域網，城域網是在一個城市范圍內所建立的計算機通信網，屬寬帶局域網。在大的ISP中，城域網一個重要作用是構成ISP的骨干網。IDC即互聯網數據中心，用于在互聯網上提供的各項增值服務，包括申請域名、租用虛擬主機空間、主機托管等業務的服務。IDC—般設于大ISP上。傳統的離線下載技術中，離線下載機器和云端存儲服務器一般都集中部署于某個地方的IDC。國內提供互聯網服務的供應商有多個，且國內各ISP之間存在互聯互通的問題，而資源通常都在大的ISP上，IDC也一般位于大的ISP內。對于沒有足夠用戶的小ISP，單靠P2P內部用戶的節點難以形成有效的P2P規模。因此，在這類小ISP內部的網絡用戶通常需要骨干網跨越ISP網絡獲取數據內容。此外，由于網絡分層的原因，即使資源在同一個大ISP中，也需要通過骨干網跨越城市訪問另外一個城市或者區域的節點。隨著離線下載業務的發展，用戶從云存儲服務器獲取數據內容的次數越來越頻繁、數據量越來越大。受限于帶寬，這會造成骨干網絡的擁塞。同時，由于某些小ISP還會限制跨網流量。因此，容易造成數據傳輸受阻，使得離線取回數據內容的效率降低，且數據內容的質量無法保障。
技術實現思路
基于此，有必要針對離線取回數據內容的效率降低，且數據內容的質量無法保障的問題，提供一種能提高離線取回數據內容的效率和數據內容質量的離線下載系統。一種離線下載系統，包括:離線任務管理服務器，用于獲取離線下載請求，所述離線下載請求中包括請求離線下載的客戶端的IP地址和離線任務的原始下載鏈接；離線任務分發服務器，用于根據所述IP地址查找到與所述客戶端位于同一城域網內的分布式離線下載服務器，并將所述離線任務分發給查找到的分布式離線下載服務器；分布式離線下載服務器，部署在城域網的網絡出口處，用于根據所述離線任務的原始下載鏈接獲取所述離線任務對應的數據內容并存儲。此外，還提供一種能提高離線取回數據內容的效率和數據內容質量的離線下載方法。一種離線下載方法，包括以下步驟:獲取離線下載請求，所述離線下載請求中包括請求離線下載的客戶端的IP地址和離線任務的原始下載鏈接；根據所述IP地址查找到與所述客戶端位于同一城域網內的部署于網絡出口處的分布式離線下載服務器，并將所述離線任務分發給查找到的分布式離線下載服務器；通過所述分布式離線下載服務器根據所述原始下載鏈接獲取所述離線任務對應的數據內容，并存儲。上述，獲取離線下載請求，離線下載請求中包括請求下載的客戶端的IP地址和離線任務的原始下載鏈接。根據IP地址查找到與客戶端位于同一城域網內的分布式離線下載服務器，并將離線任務分發給查找到的分布式離線下載服務器。部署在城域網的網絡出口處的分布式離線下載服務器根據離線任務的原始下載鏈接獲取離線任務對應的數據內容并存儲。由于離線任務對應的數據內容存儲于分布式離線下載服務器上，而分布式離線下載服務器與客戶端位于同一個城域網內，因此，在離線取回數據內容時不需要經過骨干網到其他城域網內的節點上獲取數據，避免堵塞骨干網，使得離線取回數據內容的效率提高。此外，由于城域網內部的網路情況相對于骨干網要流暢，且城域網內部之間的數據交換不涉及到跨網絡流量，因此，可降低在數據內容取回過程中數據包丟失的可能，從而使得取回的數據內容的質量得到保障?！靖綀D說明】圖1為一個實施例中離線下載系統的模塊示意圖；圖2為另一個實施例中離線下載系統的模塊示意圖；圖3為一個實施例中離線下載方法的流程圖?！揪唧w實施方式】如圖1所示，在一個實施例中，一種離線下載系統，包括離線任務管理服務器110、離線任務分發服務器120和分布式離線下載服務器130。其中:離線任務管理服務器110用于獲取離線下載請求，離線下載請求中包括請求下載的客戶端的IP地址和離線任務的原始下載鏈接。具體的，客戶端連接在互聯網中時會分配到一個IP地址，該IP地址用來標識客戶端在互聯網中的位置，通過分析該IP地址可得到客戶端所在城域網?？蛻舳嗽谙螂x線任務管理服務器110發送離線下載請求時，將請求下載的離線任務的原始下載鏈接與本客戶端的IP地址打包。離線任務管理服務器110在收到某一離線下載請求后，可通過解析該離線請求得到離線任務的原始下載鏈接以及發送該離線下載請求的客戶端的IP地址。進一步的，請求下載的離線任務可為視頻、音頻及文字等各種類型文件的下載任務。根據目前主流的下載協議，離線任務的原始下載鏈接可為Bt種子、eMule鏈接和URL鏈接中的至少一種。離線任務分發服務器120用于根據IP地址查找到與客戶端位于同一城域網內的分布式離線下載服務器130，并將離線任務分發給查找到的分布式離線下載服務器130。在一個實施例中，分布式離線下載服務器130首先需向離線任務分發服務器120注冊，并提供注冊信息。注冊信息包括分布式離線下載服務器130的IP地址、磁盤空間和CPU負載信息等。進一步的，離線任務分發服務器120還將向其進行注冊過的分布式離線下載服務器130的IP地址存儲于IP數據庫中。具體的，離線任務分發服務器120在收到離線任務管理服務器110遞交的離線任務后，先將離線下載請求中包含的客戶端的IP地址與IP數據庫中存儲的分布式離線下載服務器130的IP地址進行比對，查找到與客戶端位于同一城域網內的分布式離線下載服務器130。進一步的，離線任務分發服務器120將離線任務的原始下載鏈接分發給查找到的分布式離線下載服務器130。分布式離線下載服務器130部署在城域網的網絡出口處，用于根據離線任務的原始下載鏈接獲取離線任務對應的數據內容并存儲。具體的，相比于傳統的離線下載服務器，分布式離線下載服務器130不集中部署于IDC機房，而是分布式的部署于各城域網的網絡出口處。分布式離線下載服務器130用于根據離線任務的原始下載鏈接從互聯網中獲取離線任務對應的數據內容，并存儲數據內容。進一步的，分布式離線下載服務器130可通過P2P、P2S或/和P2SP等方式從互聯網中獲取數據內容。由于分布式離線下載服務器130部署在城域網的出口，因此，客戶端在取回數據內容時，不需要跨越城域網、避免占用骨干網的帶寬。從而使得取回數據內容的效率提高、質量也得到保障。在一個實施例中，離線下載系統還包括數據返回模塊(圖中未示出)，數據返回模塊用于提供數據內容的取回地址。具體的，數據返回模塊接收客戶端請求下載數據內容的下載請求,下載請求中包含了所請求下載的數據內容對應的離本文檔來自技高網...

【技術保護點】
一種離線下載系統，其特征在于，包括：離線任務管理服務器，用于獲取離線下載請求，所述離線下載請求中包括請求離線下載的客戶端的IP地址和離線任務的原始下載鏈接；離線任務分發服務器，用于根據所述IP地址查找到與所述客戶端位于同一城域網內的分布式離線下載服務器，并將所述離線任務分發給查找到的分布式離線下載服務器；分布式離線下載服務器，部署在城域網的網絡出口處，用于根據所述離線任務的原始下載鏈接獲取所述離線任務對應的數據內容并存儲。

【技術特征摘要】
1.一種離線下載系統，其特征在于，包括: 離線任務管理服務器，用于獲取離線下載請求，所述離線下載請求中包括請求離線下載的客戶端的IP地址和離線任務的原始下載鏈接； 離線任務分發服務器，用于根據所述IP地址查找到與所述客戶端位于同一城域網內的分布式離線下載服務器，并將所述離線任務分發給查找到的分布式離線下載服務器； 分布式離線下載服務器，部署在城域網的網絡出口處，用于根據所述離線任務的原始下載鏈接獲取所述離線任務對應的數據內容并存儲。2.根據權利要求1所述的離線下載系統，其特征在于，所述系統還包括: 數據返回模塊，用于提供所述數據內容的取回地址。3.根據權利要求2所述的離線下載系統，其特征在于，所述數據返回模塊為多資源索引服務器，所述多資源索引服務器用于根據所述數據內容的哈希值和存儲所述數據內容的分布式離線下載服務器的標識符生成所述數據內容的取回地址。4.根據權利要求2所述的離線下載系統，其特征在于，所述離線任務管理服務器用于判斷所述離線任務是否存在于預設的離線任務數據庫中，若是，則調用所述數據返回模塊提供所述數據內容的取回地址，否則，為所述離線任務生成唯一標識，并將所述離線任務的唯一標識與原始下載鏈接對應存儲于所述離線任務數據庫中。5.根據權利要求4所述的離線下載系統，其特征在于，還包括分布式離線下載管理服務器，所述分布式離線下載管 理服務器用于將所述數據內容的唯一索引與所述離線任務的唯一標識對應存儲于所述離線任務數據庫中。6.根據權利要求4所述的離線下載系統，其特征在于，所述分布式下載服務器還用于當其存儲空間低于閾值時，選取在預設時間段內向客戶端提供次數最少的數據內容為冷門數據內容，并將所述冷門數據內容刪除； 所述分布式離線下載管理服務器還用于刪除所述離線任務數據庫中與所述冷門數據內容對應的離線任務。7.根據權利要求1所述的離線下載系統，其特征在于，還包括集中離線下載服務器群和云存儲服務器，所述集中離線下載服務器群和云存儲服務器均部署在互聯網數據中心的機房； 所述離線任務分發服務器還用于若在所述客戶端所在的城域網內未查找到分布式離線下載服務器和/或所述查找到的分布式離線下載服務器不滿足下載條件，則將所述離線任務分發給所述集中離線下載服務器群； 所述集中離線下載服務器群用于根據所述原始下載鏈接獲取所述離線任務對應的數據內容，并將所述數據內容存儲于云存儲服務器上。8.一種離線下載方法，包括以下...

【專利技術屬性】
技術研發人員：劉剛，
申請(專利權)人：騰訊科技深圳有限公司，
類型：發明
國別省市：廣東;44