網絡數據內容的獲取方法及裝置制造方法及圖紙

本申請公開了網絡數據內容的獲取方法及裝置，其中所述方法包括：客戶端接收任務系統下發的獲取網絡數據內容的任務；所述任務中包括多個目標網頁的目標網址；所述客戶端預置于移動終端設備中，移動終端設備通過移動通信網絡接入互聯網；利用移動通信網絡為移動終端設備分配的網絡互連協議IP地址執行所述任務；在執行所述任務的過程中，斷開移動終端設備與移動通信網絡的連接，并重新與移動通信網絡進行連接，以便將由移動通信網絡為移動終端設備分配新的IP地址，利用新的IP地址繼續執行剩余任務，通過該方法可以降低觸發目標站點檢測規則的可能性，提高獲取網絡數據內容的方法的有效性和可持續性。

【技術實現步驟摘要】

本申請涉及網絡數據處理
，特別是涉及網絡數據內容的獲取方法及裝置。
技術介紹
隨著計算機技術的發展以及互聯網的廣泛普及，越來越多的用戶通過互聯網獲取各種信息，使用各種互聯網服務。同時，通過互聯網所能夠提供的信息以及服務已經深入到了人們工作生活的方方面面，在諸多領域為人們提供著各種便利。在某些領域的互聯網服務中，為了掌握一些實時變化的內容，需要及時的對特定的網絡數據內容進行訪問和獲取。例如，對于提供新聞內容的互聯網服務站點，由于對所提供的新聞內容有較高的實時性要求，即需要及時準確地提供發生的新聞內容，基于提高新聞實時性和全面性等目的，一些綜合新聞平臺會訪問其他站點，獲取和引用其他站點提供的實時新聞內容。又如，在價格服務類網站中，需要將同一商品在不同電商平臺的實時價格提供給用戶，方便用戶對同一商品在不同平臺的價格進行比較，這就需要價格服務站點訪問多個電商平臺的目標商品頁面，并對頁面中目標商品的價格進行抓取。由于電商平臺中包含的商品數量眾多且價格常常變化，因此，同一數據需求方經常需要頻繁地對同一站點下的多個頁面進行訪問，才能進行實時數據內容抓取。但是，一些站點出于安全因素的考慮，例如，為了防止DoS攻擊，站點中會預置一定的安全規則來判定和阻止具有特定特征的訪問行為，例如同一源地址的在短時間內過高頻度的訪問行為。一旦被判定為惡意訪問，訪問方對應的源地址可能會被目標站點暫時或永久阻止。在合法訪問目標站點獲取網絡數據內容的過程中，通常在一定的時間周期內，需要獲取多個頁面或者多個業務對象的數據內容，但多數情況下，訪問方并不能預先獲知目標站點的規則設置，什么樣的訪問行為對于目標站點來說是非法的。對于訪問方來說是合法訪問的行為，也可能會觸發目標站點的安全規則而導致訪問方被屏蔽。而一旦被目標站點阻止，則在目標站點進行數據內容獲取的作業就會被中斷，從而影響相應
服務的提供。為了避免對目標站點的合法訪問被屏蔽，現有技術中，可以根據訪問方和受訪問方之間的合作協議，在具有合作關系的目標站點中預置白名單，并將訪問方的地址加入到該白名單中。但對于不具備合作關系的目標站點，合法的訪問仍然可能意外觸發其嚴厲的安全規則而導致被屏蔽。因而，需要本領域技術人員解決的問題就在于，如何降低在目標站點中獲取數據內容的過程中被意外屏蔽的風險，提高網絡數據內容的獲取方法的有效性和可持續性。
技術實現思路
本申請提供了網絡數據內容的獲取方法及裝置，通過該方法，可以在獲取網絡數據內容的過程中，降低觸發目標站點檢測規則的可能性，提高獲取網絡數據內容的方法的有效性和可持續性。本申請提供了如下方案：一種網絡數據內容的獲取方法，包括：客戶端接收任務系統下發的獲取網絡數據內容的任務；所述任務中包括多個目標網頁的目標網址；所述客戶端預置于移動終端設備中，所述移動終端設備通過移動通信網絡接入互聯網；利用所述移動通信網絡為所述移動終端設備分配的網絡互連協議IP地址執行所述任務；在執行所述任務的過程中，斷開所述移動終端設備與所述移動通信網絡的連接，并重新與所述移動通信網絡進行連接，以便將由所述移動通信網絡為所述移動終端設備分配新的IP地址，利用新的IP地址繼續執行剩余任務。一種網絡數據內容的獲取方法，包括：任務系統服務器向各個客戶端下發獲取網絡數據內容的任務，所述任務中包括多個目標網頁的目標網址；所述客戶端預置于移動終端設備中，所述移動終端設備通過移動通信網絡接入互聯網，以便所述客戶端在收到所述任務后，
利用所述移動通信網絡為所述移動終端設備分配的網絡互連協議IP地址執行所述任務，并在執行所述任務的過程中，斷開所述移動終端設備與所述移動通信網絡的連接，并重新與所述移動通信網絡進行連接，以便將由所述移動通信網絡為所述移動終端設備分配新的IP地址，利用新的IP地址繼續執行剩余任務；接收所述客戶端返回的抓取結果。一種網絡數據內容的獲取裝置，包括：任務接收單元，用于收任務系統下發的獲取網絡數據內容的任務；所述任務中包括多個目標網頁的目標網址；所述客戶端預置于移動終端設備中，所述移動終端設備通過移動通信網絡接入互聯網；任務執行單元，用于利用所述移動通信網絡為所述移動終端設備分配的網絡互連協議IP地址執行所述任務；移動網絡連接控制單元，用于在執行所述任務的過程中，斷開所述移動終端設備與所述移動通信網絡的連接，并重新與所述移動通信網絡進行連接，以便將由所述移動通信網絡為所述移動終端設備分配新的IP地址，利用新的IP地址繼續執行剩余任務。一種網絡數據內容的獲取裝置，包括：任務下發單元，用于向各個客戶端下發獲取網絡數據內容的任務，所述任務中包括多個目標網頁的目標網址；所述客戶端預置于移動終端設備中，所述移動終端設備通過移動通信網絡接入互聯網，以便所述客戶端在收到所述任務后，利用所述移動通信網絡為所述移動終端設備分配的網絡互連協議IP地址執行所述任務，并在執行所述任務的過程中，斷開所述移動終端設備與所述移動通信網絡的連接，并重新與所述移動通信網絡進行連接，以便將由所述移動通信網絡為所述移動終端設備分配新的IP地址，利用新的IP地址繼續執行剩余任務；抓取結果接收單元，用于接收所述客戶端返回的抓取結果。根據本申請提供的具體實施例，本申請公開了以下技術效果：通過本申請，可以在客戶端接收任務系統下發的獲取網絡數據內容的任務后，通過移動通信網絡對目標網頁的網絡數據內容的抓取，在抓取的過程中，可以斷開并重新連接移動終端設備的移動通信網絡連接，以便移動終端設備快速地重新在移動通信網絡中獲取新的IP地址，實現了相對快速的動態IP地址的切換，進而使用重新獲取的IP地址，通過移動通信網絡繼續剩余任務，從而降低了同一IP地址訪問目標站點的頻率，在獲取網絡數據內容的過程中，降低意外觸發目標站點檢測規則的可能性，降低被目標站點意外屏蔽的風險，提高獲取網絡數據內容的方法的有效性和可持續性。當然，實施本申請的任一產品并不一定需要同時達到以上所述的所有優點。附圖說明為了更清楚地說明本申請實施例或現有技術中的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1是本申請實施例提供的網絡數據內容的獲取方法的流程圖；圖2是本申請實施例提供的另一網絡數據內容的獲取方法的流程圖；圖3是本申請實施例提供的網絡數據內容的獲取裝置的示意圖；圖4是本申請實施例提供的另一網絡數據內容的獲取裝置的示意圖。具體實施方式下面將結合本申請實施例中的附圖，對本申請實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本申請一部分實施例，而不是全部的實施例。基于本申請中的實施例，本領域普通技術人員所獲得的所有其他實施例，都屬于本申請保護的范圍。實施例一為了獲取網絡數據內容，特別是頻繁變化的實時數據內容，更好的滿足大
量用戶的信息查詢、閱覽等需求，抓取作業需要頻繁的訪問特定站點，而部分合法的訪問可能會觸發某些站點的安全規則，而導致訪問被暫時甚至永久禁止，一旦訪問被屏蔽或禁止，則相應的信息服務的提供就會受到影響。為了避免或降低在目標站點中獲取數據內容的過本文檔來自技高網...

【技術保護點】
一種網絡數據內容的獲取方法，其特征在于，包括：客戶端接收任務系統下發的獲取網絡數據內容的任務；所述任務中包括多個目標網頁的目標網址；所述客戶端預置于移動終端設備中，所述移動終端設備通過移動通信網絡接入互聯網；利用所述移動通信網絡為所述移動終端設備分配的網絡互連協議IP地址執行所述任務；在執行所述任務的過程中，斷開所述移動終端設備與所述移動通信網絡的連接，并重新與所述移動通信網絡進行連接，以便將由所述移動通信網絡為所述移動終端設備分配新的IP地址，利用新的IP地址繼續執行剩余任務。

【技術特征摘要】
1.一種網絡數據內容的獲取方法，其特征在于，包括：客戶端接收任務系統下發的獲取網絡數據內容的任務；所述任務中包括多個目標網頁的目標網址；所述客戶端預置于移動終端設備中，所述移動終端設備通過移動通信網絡接入互聯網；利用所述移動通信網絡為所述移動終端設備分配的網絡互連協議IP地址執行所述任務；在執行所述任務的過程中，斷開所述移動終端設備與所述移動通信網絡的連接，并重新與所述移動通信網絡進行連接，以便將由所述移動通信網絡為所述移動終端設備分配新的IP地址，利用新的IP地址繼續執行剩余任務。2.根據權利要求1所述的方法，其特征在于，所述斷開所述移動終端設備與所述移動通信網絡的連接之前，還包括：對預置的觸發事件進行檢測；當檢測到所述觸發事件發生時，觸發執行所述斷開所述移動終端設備與所述移動通信網絡的連接及其后續操作。3.根據權利要求2所述的方法，其特征在于，所述對預置的觸發事件進行檢測，包括：對使用同一IP地址訪問的目標網址數量進行統計；判斷所述目標網址數量是否達到預置的第一閾值，如果是，則確定發生所述觸發事件。4.根據權利要求2所述的方法，其特征在于，所述對預置的觸發事件進行檢測，包括：對使用同一IP地址訪問的各個目標網址中，屬于同一站點的目標網址的數量進行統計；判斷所述屬于同一站點的目標網址的數量是否達到預置的第二閾值，如果是，則確定發生所述觸發事件。5.根據權利要求1所述的方法，其特征在于，還包括：在接收到所述任務后，檢測所述終端設備的網絡接入方式；若同時存在包括移動通信網絡接入的多種接入方式，則關閉其他接入方式而僅保留通過移動通信網絡接入的方式。6.根據權利要求1所述的方法，其特征在于，還包括：在重新接入移動通信網絡后，檢測重新被分配的IP地址是否與上一次相同；如果相同，則再次斷開與所述移動通信網絡的連接，并重新與所述移動通信網絡進行連接，直至在接入后被分配了與上一次接入時相異的IP地址。7.根據權利要求1所述的方法，其特征在于，還包括：將所抓取到的目標數據內容，回傳給所述任務系統，以便所述任務系統對所抓取到的目標數據內容進行調用。8.根據權利要求7所述的方法，其特征在于，所述將所抓取到的目標數據內容，回傳給所述任務系統，包括：通過所述移動通信網絡，將所抓取到的目標數據內容，同步或異步地回傳給所述任務系統。9.根據權利要求7所述的方法，其特征在于，所述將所抓取到的目標數據內容，回傳給所述任務系統，包括：在所述移動終端設備通過無線保真Wi-Fi方式連接到互聯網的情況下，將所抓取到的目標數據內容，異步地回傳給所述任務系統。10.根據權利要求7所述的方法，其特征在于，所述將所抓取到的目標數據內容，回傳給所述任務系統，包括：在所述移動終端設備與所述任務系統所在的設備通過有線的方式連接的情況下，將所抓取到的目標數據內容，通過移動終端設備與所述任務系統宿主機之間的有線連接，同步或異步地回傳給所述任務系統。11.一種網絡數據內容的獲取方法，其特征在于，包括：任務系統服務器向各個客戶端下發獲取網絡數據內容的任務，所述任務中
\t包括多個目標網頁的目標網址；所述客戶端預置于移動終端設備中，所述移動終端設備通過移動通信網絡接入互聯網，以便所述客戶端在收到所述任務后，利用所述移動通信網絡為所述移動終端設備分配的網絡互連協議IP地址執行所述任務，并在執行所述任務的過程中，斷開所述移動終端設備與所述移動通信網絡的連接，并重新與所述移動通信網絡進行連接，以便將由所述移動通信網絡為所述移動終端設備分配新的IP地址，利用新的IP地址繼續執行剩余任務；接收所述客戶端返回的抓取結果。12.一種網絡數據內容的獲取裝置，其特征在于，包括：任務接收單元，用于收任務系統下發的獲取網絡數據內容的任務；所述任務中包括多個目標網頁的目標網址；所述客戶端預置...

【專利技術屬性】
技術研發人員：蔡文凱，
申請(專利權)人：阿里巴巴集團控股有限公司，
類型：發明
國別省市：開曼群島;KY