數據處理系統、方法、服務節點和存儲介質技術方案

本申請公開了一種數據處理系統、方法、服務節點和存儲介質。其中，數據處理系統包括：第一處理層、第二處理層及第三處理層；第一處理層，用于獲取對日志數據的第一處理請求，根據所述第一處理請求從第二處理層包含的至少一個服務節點中選擇一個服務節點，向選擇的服務節點發送第一處理請求；服務節點，用于確定所述日志數據的索引并根據所述日志數據的索引對所述日志數據進行處理；存儲節點，用于存儲日志數據和/或第二信息。本申請提供的方案，采用日志數據的三級索引進行查詢，能夠提高日志數據的查詢效率。數據的查詢效率。數據的查詢效率。

【技術實現步驟摘要】
數據處理系統、方法、服務節點和存儲介質


[0001]本申請涉及大數據
，尤其涉及一種數據處理系統、方法、服務節點和存儲介質。

技術介紹

[0002]日志搜索技術基于全文搜索引擎，能夠實現日志查詢和分析，在互聯網技術(IT，Internet Technology)運維、互聯網和云計算等場景中具有廣泛應用。隨著大數據和互聯網平臺的快速發展，面向大規模的海量日志數據搜索(比如百億級)和分析的需求擴張到各個生產領域。
[0003]然而，相關技術中，針對海量日志數據進行日志數據查詢時，存在查詢效率低的問題。

技術實現思路

[0004]為解決相關技術問題，本申請實施例提供一種數據處理系統、方法、服務節點和存儲介質。
[0005]本申請實施例的技術方案是這樣實現的：
[0006]本申請實施例提供了一種數據處理系統，包括：第一處理層、第二處理層及第三處理層；其中，
[0007]所述第一處理層，用于獲取對日志數據的第一處理請求；根據所述第一處理請求從所述第二處理層包含的至少一個服務節點中選擇一個服務節點；向選擇的服務節點發送所述第一處理請求；
[0008]所述第二處理層包含至少一個服務節點，所述服務節點，用于確定所述日志數據的索引并根據所述日志數據的索引對所述日志數據進行處理；其中，所述日志數據的索引包含第一信息、第二信息和第三信息，所述第一信息用于指示所述第二信息的存儲節點，所述第二信息用于指示所述日志數據在文檔中的索引，所述第三信息用于指示所述文檔的存儲節點；
[0009]所述第三處理層包含至少一個存儲節點，所述存儲節點，用于存儲日志數據和/或所述第二信息。
[0010]本申請實施例還提供了一種數據處理方法，應用于數據處理系統的第二處理層的服務節點，包括：
[0011]接收所述數據處理系統的第一處理層發送的對日志數據的第一處理請求；
[0012]確定所述日志數據的索引并根據所述日志數據的索引對所述日志數據進行處理；其中，所述日志數據的索引包含第一信息、第二信息和第三信息，所述第一信息用于指示所述第二信息的存儲節點，所述第二信息用于指示所述日志數據在文檔中的索引，所述第三信息用于指示所述文檔的存儲節點，所述存儲節點用于存儲日志數據和/或所述第二信息。
[0013]本申請實施例還提供一種服務節點，包括：處理器和用于存儲能夠在處理器上運
行的計算機程序的存儲器，
[0014]其中，所述處理器用于運行所述計算機程序時實現任一所述數據處理方法的步驟。
[0015]本申請實施例還提供一種存儲介質，其上存儲有計算機程序，所述計算機程序被處理器執行時實現任一所述數據處理方法的步驟。
[0016]本申請實施例提供的數據處理系統、方法、服務節點和存儲介質，第一處理層獲取對日志數據的第一處理請求；根據所述第一處理請求從所述第二處理層包含的至少一個服務節點中選擇一個服務節點，向選擇的服務節點發送所述第一處理請求；服務節點確定所述日志數據的索引并根據所述日志數據的索引對所述日志數據進行處理；其中，所述日志數據的索引包含第一信息、第二信息和第三信息，所述第一信息用于指示所述第二信息的存儲節點，所述第二信息用于指示所述日志數據在文檔中的索引，所述第三信息用于指示所述文檔的存儲節點；所述存儲節點存儲日志數據和/或所述第二信息，所述第三處理層包含至少一個存儲節點。本申請實施例提供的方案，在日志數據寫入的過程中，第二處理層的服務節點能夠為日志數據生成三種類型的索引信息(包括第一信息、第二信息和第三信息)，并建立三級索引的映射關系，這樣，在日志數據查詢的過程中，服務節點能夠基于三級索引的映射關系逐級確定待查詢的日志數據在第三處理層的存儲位置，而不需要通過遍歷日志數據的所有索引信息來進行查詢，如此，能夠提高日志數據的查詢效率。
附圖說明
[0017]圖1為本申請實施例數據處理系統的結構示意圖；
[0018]圖2為本申請實施例第二信息的結構示意圖；
[0019]圖3為本申請實施例生成第一信息的結構示意圖；
[0020]圖4為本申請實施例生成第三信息的結構示意圖；
[0021]圖5為本申請實施例讀取日志數據方法的流程示意圖；
[0022]圖6為本申請實施例增容操作的結構示意圖；
[0023]圖7為本申請實施例分析日志數據方法的流程示意圖；
[0024]圖8為本申請應用示例日志系統的結構示意圖；
[0025]圖9為本申請應用示例處理讀請求和寫請求方法的流程示意圖；
[0026]圖10為本申請應用示例分析日志數據方法的流程示意圖；
[0027]圖11為本申請應用示例第一種分析日志數據的結構示意圖；
[0028]圖12為本申請應用示例第二種分析日志數據的結構示意圖；
[0029]圖13為本申請實施例數據處理的方法流程示意圖；
[0030]圖14為本申請實施例服務節點結構示意圖。
具體實施方式
[0031]下面通過附圖及具體實施例對本申請作進一步的詳細說明。
[0032]相關技術中，提出了一種基于Lucene的搜索引擎(比如ElasticSearch或Solr)對海量日志進行查詢的方案。具體地，當采用ElasticSearch搜索引擎時，通過建立全文索引能夠實現針對海量日志的搜索以及對搜索結果進行聚合計算。然而，上述方案中，盡管考慮
Redirect)和訪問接口層(英文可以表達為Access API)；其中，所述訪問接口層用于接收用戶發送的所述第一處理請求，所述請求分片模塊用于從所述第二處理層102包含的至少一個服務節點中選擇一個服務節點。
[0043]示例性地，請求分片模塊通過訪問接口層接收到用戶發送的所述第一處理請求后，基于所述第一處理請求中的用戶信息(比如用戶標識或網際互聯協議(IP，Internet Protocol)地址)對所述第二處理層102包含的服務節點的數量取模，能夠得到一個服務節點的標識(英文可以表達為BrokerID)。然后，請求分片模塊可以將所述第一處理請求發送至標識對應的服務節點，使得服務節點能夠響應所述第一處理請求。這樣，實現了通過特定的服務節點來響應同一個用戶發送的所述第一處理請求。
[0044]這里，實際應用時，所述服務節點對所述日志數據進行處理可以包含對所述日志數據的寫入以及對所述日志數據的查詢。
[0045]具體地，在一實施例中，所述第一處理請求用于請求寫入所述日志數據或者用于請求讀取所述日志數據；
[0046]在所述第一處理請求用于請求寫入所述日志數據的情況下，所述服務節點，用于生成所述日志數據的索引；存儲所述日志數據的索引以及至少將所述日志數據存儲至所述第三處理層的存儲節點；
[0047]在所述第一處理請求用于請求讀取日志數據的情況下，所述服務節點，用于根據所述第一處理請求確定所述日志數據的索引；根據所述日志數據的索引確定所述日志數據的存儲節點；從所述日志本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種數據處理系統，其特征在于，包括：第一處理層、第二處理層及第三處理層；其中，所述第一處理層，用于獲取對日志數據的第一處理請求；根據所述第一處理請求從所述第二處理層包含的至少一個服務節點中選擇一個服務節點；向選擇的服務節點發送所述第一處理請求；所述第二處理層包含至少一個服務節點，所述服務節點，用于確定所述日志數據的索引并根據所述日志數據的索引對所述日志數據進行處理；其中，所述日志數據的索引包含第一信息、第二信息和第三信息，所述第一信息用于指示所述第二信息的存儲節點，所述第二信息用于指示所述日志數據在文檔中的索引，所述第三信息用于指示所述文檔的存儲節點；所述第三處理層包含至少一個存儲節點，所述存儲節點，用于存儲日志數據和/或所述第二信息。2.根據權利要求1所述的系統，其特征在于，所述第一處理請求用于請求寫入所述日志數據或者用于請求讀取所述日志數據；在所述第一處理請求用于請求寫入所述日志數據的情況下，所述服務節點，用于生成所述日志數據的索引；存儲所述日志數據的索引以及至少將所述日志數據存儲至所述第三處理層的存儲節點；在所述第一處理請求用于請求讀取日志數據的情況下，所述服務節點，用于根據所述第一處理請求確定所述日志數據的索引；根據所述日志數據的索引確定所述日志數據的存儲節點；從所述日志數據的存儲節點讀取所述日志數據。3.根據權利要求2所述的系統，其特征在于，在所述第一處理請求用于請求寫入所述日志數據的情況下，所述第二處理層還包含第一服務器；所述服務節點，用于根據所述日志數據生成所述文檔，并根據所述文檔生成所述日志數據的索引，以及將所述第一信息和所述第三信息存儲至所述第一服務器，將所述第二信息和所述日志數據存儲至所述第一信息和所述第三信息對應的存儲節點。4.根據權利要求2所述的系統，其特征在于，在所述第一處理請求用于讀取所述日志數據的情況下，所述第一處理請求包含關鍵詞信息，所述第二處理層還包含第一服務器；所述服務節點，用于根據所述關鍵詞信息從所述第一服務器獲取所述第一信息；根據所述第一信息，確定用于存儲所述第二信息的第一存儲節點和所述第二信息在所述第一存儲節點的第一位置信息；將所述第一位置信息發送至所述第一存儲節點；接收所述第一存儲節點發送的所述第二信息；根據所述第二信息確定所述日志數據在文檔中的索引，并根據所述日志數據在所述文檔的索引，確定用于存儲所述文檔的第二存儲節點和所述文檔在所述第二存儲節點的第二位置信息；將所述第二位置信息發送至所述第二存儲節點；以及接收所述第二存儲節點發送的所述文檔；所述第一存儲節點，用于接收所述服務節點發送的所述第一位置信息；向所述服務節點發送所...

【專利技術屬性】
技術研發人員：王保坡，
申請(專利權)人：中國移動通信集團有限公司，
類型：發明
國別省市：