一種異步下載方法及系統技術方案

本發明專利技術提供的異步下載方法及系統，通過在DNS緩存中設置URL對應服務器的IP和端口號，使得對HTTPS網頁實現異步下載，既滿足可以HTTPS網頁下載的功能，又可以進行異步下載，提高HTTPS網頁的下載效率。

【技術實現步驟摘要】

本專利技術涉及互聯網領域，特別涉及一種異步下載方法及系統。
技術介紹
超文本傳輸協議HTTP(中文：超文本傳輸協議，英文：HyperTextTransferProtocol))協議被用于在Web瀏覽器和網站服務器之間傳遞信息。HTTP協議以明文方式發送內容，不提供任何方式的數據加密，如果攻擊者截取了Web瀏覽器和網站服務器之間的傳輸報文，就可以直接讀懂其中的信息，因此HTTP協議不適合傳輸一些敏感信息，比如信用卡號、密碼等。為了解決HTTP協議的這一缺陷，需要使用另一種協議：HTTPS(中文：安全套接字層超文本傳輸協議，英文：HyperTextTransferProtocoloverSecureSocketLayer)協議，是以安全為目標的HTTP通道，為了數據傳輸的安全，HTTPS在HTTP的基礎上加入了SSL(中文：安全套接字層，英文：SecureSocketLayer)協議，SSL依靠證書來驗證服務器的身份，并為瀏覽器和服務器之間的通信加密。WEB下載方式分為HTTP與FTP(中文：文件傳輸協議，英文：FileTransportationProtocol)兩種類型，它們是計算機之間交換數據的方式，也是兩種經典的下載方式，該下載方式原理非常簡單，就是用戶兩種協議和提供文件的服務器取得聯系并將文件搬到自己的計算機中來，從而實現下載的功能。在WEB下載中包括了同步下載和異步下載兩種方式，異步下載是指向目標網站發送連接請求時，無需等待下載是否完成都可繼續發送請求，即不必等待對方網站返回數據，不停的向外發送數據，目前實現的異步下載網頁的方式大多是HTTP網頁，HTTPS的網頁目前只支持同步下載，如python的一些下載庫、linux中的wget命令和curl命令。Python庫一般可以使用urllib2或requests(python在安裝編譯時要加入openssl)，利用wget命令和curl命令可以通過添加一些參數實現HTTPS網頁的同步下載。目前的技術解決方案中，無法實現HTTPS網頁的異步下載，對于數據量較大的下載業務，很容易造成數據擁塞，特別是受到對方網站的響應時間的限制，如果存在大量鏈接超時情況，則對下載效率的影響更大。
技術實現思路
有鑒于此，本專利技術實施例提供了一種異步下載方法及系統。本專利技術的一個目的是提供一種異步下載方法，包括：接收邏輯控制發送模塊的請求數據包；獲取所述請求數據包中的統一資源定位符鏈接URL；當所述URL為HTTPS請求時記錄所述URL的用于信息統計和下載完畢后打包信息的第一信息并存儲至異步請求隊列，所述第一信息包括URL長度、URL域名解析得到IP地址以及發送URL的邏輯控制發送模塊ID；初始化所述URL的發送請求信息；配置DNS緩存并將與所述URL指向的IP和端口號放置到所述DNS緩存中；將所述發送請求信息和所述第一信息加入到所述異步請求隊列中啟動下載；當監聽到所述異步請求隊列完成下載時根據所述第一信息將下載數據進行發送至所述邏輯控制發送模塊。進一步地、所述接收邏輯控制發送模塊的請求數據包，包括：監聽網絡端口；接收邏輯控制發送模塊的ASN抽象語法標記格式數據包；所述獲取所述請求數據包中的統一資源定位符鏈接URL，包括：獲取ASN抽象語法標記格式數據包中的統一資源定位符鏈接URL。進一步地，所述獲取ASN抽象語法標記格式數據包中的統一資源定位符鏈接URL之前，還包括：判斷所述ASN格式數據包是否是合法請求，若為合法請求，執行后續步驟。進一步地，所述初始化URL的發送請求信息，包括：設置HTTPS請求的頭部；是否支持URL跳轉；是否設置代理；設置記錄下載結果的變量；以及是否驗證所述URL所訪問的HTTPS站點的證書。進一步地，所述當監聽到所述異步請求隊列完成下載時根據所述第一信息將下載數據進行發送至所述邏輯控制發送模塊，包括：監聽所述異步請求隊列的下載情況；當下載完成時將下載數據封裝成ASN格式的返回包；根據所述第一信息的內容將所述ASN格式的返回包發送至所述邏輯控制發送模塊。進一步地，所述當監聽到所述異步請求隊列完成下載時根據所述第一信息將下載數據進行發送至所述邏輯控制發送模塊之后，還包括：將所述異步請求隊列中與所述下載數據對應的所述第一信息刪除。本專利技術的另一個目的是提供一種異步下載系統，包括：接收單元，用于接收邏輯控制發送模塊的請求數據包；獲取單元，用于獲取所述請求數據包中的統一資源定位符鏈接URL；存儲單元，用于當所述URL為HTTPS請求時記錄所述URL的用于信息統計和下載完畢后打包信息的第一信息并存儲至異步請求隊列，所述第一信息包括URL長度、URL域名解析得到IP地址以及發送URL的邏輯控制發送模塊ID；初始化單元，用于初始化所述URL的發送請求信息；配置單元，用于配置DNS緩存并將與所述URL指向的IP和端口號放置到所述DNS緩存中；下載單元，用于將所述發送請求信息和所述第一信息加入到所述異步請求隊列中啟動下載；發送單元，用于當監聽到所述異步請求隊列完成下載時根據所述第一信息將下載數據進行發送至所述邏輯控制發送模塊。進一步地，所述接收單元還用于監聽網絡端口以及接收邏輯控制發送模塊的ASN抽象語法標記格式數據包；所述獲取單元還用于獲取ASN抽象語法標記格式數據包中的統一資源定位符鏈接URL。進一步地，所述異步下載系統還包括：判斷單元，用于判斷所述ASN格式數據包是否是合法請求，若為合法請求則通知所述獲取單元。進一步地，所述初始化單元還用于設置HTTPS請求的頭部、是否支持URL跳轉、是否設置代理、設置記錄下載結果的變量以及是否驗證所述URL所訪問的HTTPS站點的證書。進一步地，所述發送單元還用于監聽所述異步請求隊列的下載情況、當下載完成時將下載數據封裝成ASN格式的返回包以及根據所述第一信息的內容將所述ASN格式的返回包發送至所述邏輯控制發送模塊。進一步地、所述異步下載系統還包括：刪除單元，用于將所述異步請求隊列中與所述下載數據對應的所述第一信息刪除。從以上技術方案可以看出，本專利技術實施例具有以下優點：本專利技術提供的異步下載方法及系統，通過在DNS緩存中設置URL對應服務器的IP和端口號，使得對HTTPS網頁實現異步下載，既滿足可以HTTPS網頁下載的功能，又可以進行異步下載，提高HTTPS網頁的下載效率。附圖說明圖1是本專利技術提供的異步下載方法的一種實施例的流程圖；圖2是本專利技術提供的異步下載方法的另一種實施例的流程圖；圖3是本專利技術提供的異步下載系統的一種實施例的結構圖。具體實施方式為了使本
的人員更好地理解本專利技術方案，下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分的實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬于本專利技術保護的范圍。本專利技術的說明書和權利要求書及上述附圖中的術語“第一”、“第二”、“第三”“第四”等是用于區別類似的對象，而不必用于描述特定的順序或先后次序。應該理解這樣使用的數據在適當情況下可以互換，以便這里描述的實施例能夠以除了在這里圖示或描述的內容以外的順本文檔來自技高網...

【技術保護點】
一種異步下載方法，其特征在于，包括：接收邏輯控制發送模塊的請求數據包；獲取所述請求數據包中的統一資源定位符鏈接URL；當所述URL為HTTPS請求時記錄所述URL的用于信息統計和下載完畢后打包信息的第一信息并存儲至異步請求隊列，所述第一信息包括URL長度、URL域名解析得到IP地址以及發送URL的邏輯控制發送模塊ID；初始化所述URL的發送請求信息；配置DNS緩存并將與所述URL指向的IP和端口號放置到所述DNS緩存中；將所述發送請求信息和所述第一信息加入到所述異步請求隊列中啟動下載；當監聽到所述異步請求隊列完成下載時根據所述第一信息將下載數據進行發送至所述邏輯控制發送模塊。

【技術特征摘要】
1.一種異步下載方法，其特征在于，包括：接收邏輯控制發送模塊的請求數據包；獲取所述請求數據包中的統一資源定位符鏈接URL；當所述URL為HTTPS請求時記錄所述URL的用于信息統計和下載完畢后打包信息的第一信息并存儲至異步請求隊列，所述第一信息包括URL長度、URL域名解析得到IP地址以及發送URL的邏輯控制發送模塊ID；初始化所述URL的發送請求信息；配置DNS緩存并將與所述URL指向的IP和端口號放置到所述DNS緩存中；將所述發送請求信息和所述第一信息加入到所述異步請求隊列中啟動下載；當監聽到所述異步請求隊列完成下載時根據所述第一信息將下載數據進行發送至所述邏輯控制發送模塊。2.根據權利要求1所述的異步下載方法，其特征在于，所述接收邏輯控制發送模塊的請求數據包，包括：監聽網絡端口；接收邏輯控制發送模塊的ASN抽象語法標記格式數據包；所述獲取所述請求數據包中的統一資源定位符鏈接URL，包括：獲取ASN抽象語法標記格式數據包中的統一資源定位符鏈接URL。3.根據權利要求2所述的異步下載方法，其特征在于，所述獲取ASN抽象語法標記格式數據包中的統一資源定位符鏈接URL之前，還包括：判斷所述ASN格式數據包是否是合法請求，若為合法請求，執行后續步驟。4.根據權利要求1所述的異步下載方法，其特征在于，所述初始化URL的發送請求信息，包括：設置HTTPS請求的頭部；是否支持URL跳轉；是否設置代理；設置記錄下載結果的變量；以及是否驗證所述URL所訪問的HTTPS站點的證書。5.根據權利要求1所述的異步下載方法，其特征在于，所述當監聽到所述異步請求隊列完成下載時根據所述第一信息將下載數據進行發送至所述邏輯控制發送模塊，包括：監聽所述異步請求隊列的下載情況；當下載完成時將下載數據封裝成ASN格式的返回包；根據所述第一信息的內容將所述ASN格式的返回包發送至所述邏輯控制發送模塊。6.根據權利要求1所述的異步下載方法，其特征在于，所述當監聽到所述異步請求隊列完成下載時根據所述第一信息將下載數據進行發送...

【專利技術屬性】
技術研發人員：趙銘鑫，
申請(專利權)人：深圳市騰訊計算機系統有限公司，
類型：發明
國別省市：廣東;44