基于大數據的網頁抓取方法及系統技術方案

本發明專利技術提供了一種基于大數據的網頁抓取方法及系統，所述方法包括如下步驟：接收用戶的網頁請求；將大數據按網頁關鍵字的分類進行分類；將該網頁請求對應分類的網頁發送給用戶。本發明專利技術提供的技術方案具有網頁抓取方便的優點。

【技術實現步驟摘要】
【國外來華專利技術】
本專利技術涉及通信及物聯網領域，尤其涉及一種基于大數據的網頁抓取方法及系統。
技術介紹
大數據與云計算的未來發展趨勢和前景已經極其廣闊,未來的互聯網就是大數據和云計算的天下,大數據和云計算將成為每一個IT人員必須會的技術了。大數據中，網頁數據為大數據的主要來源，而如何對網頁數據進行抓取成為大數據處理中的重要技術。
技術實現思路
提供一種基于大數據的網頁抓取方法，其解決了現有技術的對網頁數據抓取不方便的缺點。一方面，提供一種基于大數據的網頁抓取方法，所述方法包括如下步驟：接收用戶的網頁請求；將大數據按網頁關鍵字的分類進行分類；將該網頁請求對應分類的網頁發送給用戶。可選的，所述方法還包括：如用戶退回該分類的網頁，將向用戶發送相似分類的網頁。可選的，所述方法還包括：如用戶接收該分類的網頁，則將該網頁的分類保存。另一方面，提供一種基于大數據的網頁抓取系統，所述系統包括：接收單元，用于接收用戶的網頁請求；分類單元，用于將大數據按網頁關鍵字的分類進行分類；發送單元，用于將該網頁請求對應分類的網頁發送給用戶。可選的，所述系統還包括：退回單元，用于如用戶退回該分類的網頁，將向用戶發送相似分類的網頁。可選的，所述系統還包括：保存單元，用于如用戶接收該分類的網頁，則將該網頁的分類保存。本專利技術具體實施方式提供的技術方案接收用戶的網頁請求，將大數據按網頁關鍵字的分類進行分類，將該網頁請求對應分類的網頁發送給用戶，所以其具有網頁數據抓取方便的優點。附圖說明為了更清楚地說明本專利技術實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本專利技術提供的一種基于大數據的網頁抓取方法的流程圖；圖2為本專利技術提供的一種基于大數據的網頁抓取系統的結構圖。具體實施方式下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本專利技術一部分實施例，而不是全部的實施例。基于本專利技術中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。參閱圖1，圖1為本專利技術第一較佳實施方式提供的一種基于大數據的網頁抓取方法的流程圖，該方法由智能終端來完成，該方法如圖1所示，包括如下步驟：步驟S101、接收用戶的網頁請求；步驟S102、將大數據按網頁關鍵字的分類進行分類；步驟S103、將該網頁請求對應分類的網頁發送給用戶。本專利技術具體實施方式提供的技術方案接收用戶的網頁請求，將大數據按網頁關鍵字的分類進行分類，將該網頁請求對應分類的網頁發送給用戶，所以其具有網頁數據抓取方便的優點。可選的，上述方法在步驟S103之后還可以包括：如用戶退回該分類的網頁，將向用戶發送相似分類的網頁。可選的，上述方法在步驟S103之后還可以包括：如用戶接收該分類的網頁，則將該網頁的分類保存。參閱圖2，圖2為本專利技術第二較佳實施方式提供的一種基于大數據的網頁抓取系統，該系統包括：接收單元201，用于接收用戶的網頁請求；分類單元202，用于將大數據按網頁關鍵字的分類進行分類；發送單元203，用于將該網頁請求對應分類的網頁發送給用戶。本專利技術具體實施方式提供的技術方案接收用戶的網頁請求，將大數據按網頁關鍵字的分類進行分類，將該網頁請求對應分類的網頁發送給用戶，所以其具有網頁數據抓取方便的優點。可選的，上述系統還可以包括：退回單元204，用于如用戶退回該分類的網頁，將向用戶發送相似分類的網頁。可選的，上述系統還可以包括：保存單元205，用于如用戶接收該分類的網頁，則將該網頁的分類保存。需要說明的是，對于前述的各方法實施方式或實施例，為了簡單描述，故將其都表述為一系列的動作組合，但是本領域技術人員應該知悉，本專利技術并不受所描述的動作順序的限制，因為根據本專利技術，某些步驟可以采用其他順序或者同時進行。其次，本領域技術人員也應該知悉，說明書中所描述實施方式或實施例均屬于優選實施例，所涉及的動作和單元并不一定是本專利技術所必須的。在上述實施例中，對各個實施例的描述都各有側重，某個實施例中沒有詳述的部分，可以參見其他實施例的相關描述。本專利技術實施例方法中的步驟可以根據實際需要進行順序調整、合并和刪減。本專利技術實施例裝置中的單元可以根據實際需要進行合并、劃分和刪減。本領域的技術人員可以將本說明書中描述的不同實施例以及不同實施例的特征進行結合或組合。通過以上的實施方式的描述，所屬領域的技術人員可以清楚地了解到本發明可以用硬件實現，或固件實現，或它們的組合方式來實現。當使用軟件實現時，可以將上述功能存儲在計算機可讀介質中或作為計算機可讀介質上的一個或多個指令或代碼進行傳輸。計算機可讀介質包括計算機存儲介質和通信介質，其中通信介質包括便于從一個地方向另一個地方傳送計算機程序的任何介質。存儲介質可以是計算機能夠存取的任何可用介質。以此為例但不限于：計算機可讀介質可以包括隨機存取存儲器(RandomAccessMemory，RAM)、只讀存儲器(Read-OnlyMemory，ROM)、電可擦可編程只讀存儲器(ElectricallyErasableProgrammableRead-OnlyMemory，EEPROM)、只讀光盤(CompactDiscRead-OnlyMemory，CD-ROM)或其他光盤存儲、磁盤存儲介質或者其他磁存儲設備、或者能夠用于攜帶或存儲具有指令或數據結構形式的期望的程序代碼并能夠由計算機存取的任何其他介質。此外。任何連接可以適當的成為計算機可讀介質。例如，如果軟件是使用同軸電纜、光纖光纜、雙絞線、數字用戶線(DigitalSubscriberLine，DSL)或者諸如紅外線、無線電和微波之類的無線技術從網站、服務器或者其他遠程源傳輸的，那么同軸電纜、光纖光纜、雙絞線、DSL或者諸如紅外線、無線和微波之類的無線技術包括在所屬介質的定影中。如本專利技術所使用的，盤(Disk)和碟(disc)包括壓縮光碟(CD)、激光碟、光碟、數字通用光碟(DVD)、軟盤和藍光光碟，其中盤通常磁性的復制數據，而碟則用激光來光學的復制數據。上面的組合也應當包括在計算機可讀介質的保護范圍之內本文檔來自技高網...

【技術保護點】
一種基于大數據的網頁抓取方法，其特征在于，所述方法包括如下步驟：接收用戶的網頁請求；將大數據按網頁關鍵字的分類進行分類；將該網頁請求對應分類的網頁發送給用戶。

【技術特征摘要】
【國外來華專利技術】1.一種基于大數據的網頁抓取方法，其特征在于，所述方法包括如下步驟：
接收用戶的網頁請求；
將大數據按網頁關鍵字的分類進行分類；
將該網頁請求對應分類的網頁發送給用戶。
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
如用戶退回該分類的網頁，將向用戶發送相似分類的網頁。
3.根據權利要求1所述的方法，其特征在于，所述方法還包括：
如用戶接收該分類的網頁，則將該網頁的分類保存。
4.一種基于大數據的網頁抓取系...

【專利技術屬性】
技術研發人員：馬巖，
申請(專利權)人：深圳市博信諾達經貿咨詢有限公司，
類型：發明
國別省市：廣東;44