一種基于容器云系統的日志處理方法、裝置及其系統制造方法及圖紙

本發明專利技術公開了一種基于容器云系統的日志處理方法，用于容器云系統的主節點，包括發送收集請求至相應的子節點，供接收到收集請求的子節點收集自身包含的各個容器的日志并發送至主節點；對接收到的日志進行數據過濾處理；對過濾后的日志進行存儲并發送至顯示界面進行顯示。本發明專利技術不需要在各個子節點內進行日志過濾等操作，對各個子節點的資源占用率低。本發明專利技術還公開了一種采用上述方法的基于容器云系統的日志處理的裝置及系統，在此不再贅述。

Log processing method, device and system based on container cloud system

The invention discloses a log processing method for container cloud system based on master node for container cloud system, including sending request to collect the corresponding sub node for the received node collection request collection of each container contains the log and sent to the master node; data filtering on the received log for storage; and sent to the display interface to display the filtered log. The invention does not need to perform the log filtering operation in each sub node, and the resource occupation rate of each sub node is low. The invention also discloses a device and a system for logging processing based on the container cloud system adopting the above method, which is not repeated here.

【技術實現步驟摘要】
一種基于容器云系統的日志處理方法、裝置及其系統
本專利技術涉及容器日志
，特別是涉及一種基于容器云系統的日志處理方法、裝置及其系統。
技術介紹
近年來，隨著互聯網的快速發展，以docker(一個開源的應用容器引擎)為主的容器技術受到了越來越多大型公司的使用，容器內封裝有相應的業務及應用，不同容器之間相互獨立。目前，Docker容器技術的日志處理機制多采用ELK(elasticsearch、logstash、kibana)來對容器云系統(即面向容器的云操作系統，這里簡稱容器云系統)中的容器的日志進行收集、搜索及展示。其中，容器云系統包括主節點以及多個子節點，每個子節點內包括若干個容器；Elasticsearch是一個基于Lucene的搜索服務器，Logstash是一款輕量級的日志搜索處理框架，Kibana是一個基于瀏覽器頁面的Elasticsearch前端展示工具。但是，采用ELK技術對容器云系統進行日志處理時，在采集每個子節點內的容器日志的過程中，會將采集到的日志先進行過濾處理，之后才會發送至主節點，即需要在每個子節點均進行采集和過濾等處理，運行占用子節點的CPU和內存高，消耗子節點的資源較大。因此，如何提供一種能夠減少對子節點的資源占用率的基于容器云系統的日志處理方法、裝置及其系統是本領域技術人員目前需要解決的問題。
技術實現思路
本專利技術的目的是提供一種基于容器云系統的日志處理方法、裝置及其系統，不需要在各個子節點內進行日志過濾等操作，對各個子節點的資源占用率低。為解決上述技術問題，本專利技術提供了一種基于容器云系統的日志處理方法，用于容器云系統的主節點，包括：發送收集請求至相應的子節點，供接收到所述收集請求的子節點收集自身包含的各個容器的日志并發送至所述主節點；對接收到的日志進行數據過濾處理；對過濾后的日志進行存儲并發送至顯示界面進行顯示。優選地，將所述過濾后的日志發送至顯示界面進行顯示的過程具體為：對所述過濾后的日志進行日志挖掘操作，得到挖掘結果；將所述挖掘結果發送至所述顯示界面進行顯示。優選地，所述對所述過濾后的日志進行日志挖掘操作，得到挖掘結果的過程具體包括：按照預設的挖掘標準對所述過濾后的日志進行數據預處理，得到結構化日志數據；對所述結構化日志數據按照預設算法進行分析處理，得到所述挖掘結果。為解決上述技術問題，本專利技術還提供了一種基于容器云系統的日志處理裝置，用于容器云系統的主節點，包括：收集層，用于發送收集請求至相應的子節點，供接收到所述收集請求的子節點收集自身包含的各個容器的日志并發送至所述主節點；過濾層，用于對接收到的日志進行數據過濾處理；存儲層，用于對過濾后的日志進行存儲；顯示層，用于將所述過濾后的日志發送至顯示界面進行顯示。優選地，所述顯示層具體包括：數據挖掘單元，用于對所述過濾后的日志進行日志挖掘操作，得到挖掘結果；數據顯示單元，用于將所述挖掘結果發送至所述顯示界面進行顯示。優選地，所述數據挖掘單元具體用于：按照預設的挖掘標準對所述過濾后的日志進行數據預處理，得到結構化日志數據；對所述結構化日志數據按照預設算法進行分析處理，得到所述挖掘結果。為解決上述技術問題，本專利技術還提供了一種基于容器云系統的日志處理系統，包括如以上任一項所述的日志處理裝置，以及分別位于所述容器云系統的各個子節點內的若干個前置采集層；所述前置采集層，用于接收到主節點發送的收集請求后，收集自身所在的子節點包含的各個容器的日志并發送至所述主節點。優選地，所述前置采集層還包括：緩存單元，用于緩存自身所在的子節點內的前置采集層收集的日志。本專利技術提供了一種基于容器云系統的日志處理方法、裝置及其系統，采集各個子節點的容器的日志后，先將這些日志發送至主節點，然后再在主節點內對這些日志進行后續的過濾處理。即本專利技術不需要在各個子節點內進行日志過濾等操作，減少了對各個子節點的CPU和內存等資源的占用，降低了對各個子節點的資源占用率。附圖說明為了更清楚地說明本專利技術實施例中的技術方案，下面將對現有技術和實施例中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本專利技術的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。圖1為本專利技術提供的一種基于容器云系統的日志處理方法的過程的流程圖；圖2為本專利技術提供的另一種基于容器云系統的日志處理方法的過程的流程圖；圖3為本專利技術提供的一種基于容器云系統的日志處理系統的結構示意圖。具體實施方式本專利技術的核心是提供一種基于容器云系統的日志處理方法、裝置及其系統，不需要在各個子節點內進行日志過濾等操作，對各個子節點的資源占用率低。為使本專利技術實施例的目的、技術方案和優點更加清楚，下面將結合本專利技術實施例中的附圖，對本專利技術實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本專利技術一部分實施例，而不是全部的實施例?；诒緦＠夹g中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本專利技術保護的范圍。實施例一本專利技術提供了一種基于容器云系統的日志處理方法，用于容器云系統的主節點，參見圖1所示，圖1為本專利技術提供的一種基于容器云系統的日志處理方法的過程的流程圖；該方法包括：步驟s101：發送收集請求至相應的子節點，供接收到收集請求的子節點收集自身包含的各個容器的日志并發送至主節點；步驟s102：對接收到的日志進行數據過濾處理；其中，這里的過濾處理是為了濾除一些無用的日志數據，使得數據更有價值。步驟s103：對過濾后的日志進行存儲并發送至顯示界面進行顯示?？梢岳斫獾氖?，過濾操作僅運行在主節點，能夠降低子節點的運行負載，降低子節點因負載過高而出現運行故障的風險。本專利技術提供了一種基于容器云系統的日志處理方法，采集各個子節點的容器的日志后，先將這些日志發送至主節點，然后再在主節點內對這些日志進行后續的過濾處理。即本專利技術不需要在各個子節點內進行日志過濾等操作，減少了對各個子節點的CPU和內存等資源的占用，降低了對各個子節點的資源占用率。實施例二基于實施例一的基礎上，本專利技術還提供了另一種基于容器云系統的日志處理方法。其中，步驟s103的過程具體為：對過濾后的日志進行日志挖掘操作，得到挖掘結果；將挖掘結果發送至顯示界面進行顯示?？梢岳斫獾氖?，目前的ELK方法沒有對日志進行深層挖掘，用戶想要得到的一些信息不能夠直接得到，用戶體驗較差；而通過上述日志挖掘操作，能夠將用戶想要看到的一些處理結果展示出來，提高了用戶體驗。具體的，對過濾后的日志進行日志挖掘操作，得到挖掘結果的過程具體包括：按照預設的挖掘標準對過濾后的日志進行數據預處理，得到結構化日志數據；對結構化日志數據按照預設算法進行分析處理，得到挖掘結果。其中，這里的挖掘標準可由用戶進行自定義設置。這里的預設算法包括聚類算法、分類算法、關聯分析算法中的一種或多種，當然，預設算法也可以為其他算法，本專利技術對此不作特別限定。參見圖2所示，圖2為本專利技術提供的另一種基于容器云系統的日志處理方法的過程的流程圖。與實施例一相比，本實施例增加了數據挖掘的操作，能夠根據用戶需要進行不同類型的數據挖掘，并將挖掘結果進行展示，盡可能滿足了用戶需求，提高了用戶體驗。本專利技術還提供了一種基于容器云系統的日志處理裝本文檔來自技高網...

【技術保護點】
一種基于容器云系統的日志處理方法，用于容器云系統的主節點，其特征在于，包括：發送收集請求至相應的子節點，供接收到所述收集請求的子節點收集自身包含的各個容器的日志并發送至所述主節點；對接收到的日志進行數據過濾處理；對過濾后的日志進行存儲并發送至顯示界面進行顯示。

【技術特征摘要】
1.一種基于容器云系統的日志處理方法，用于容器云系統的主節點，其特征在于，包括：發送收集請求至相應的子節點，供接收到所述收集請求的子節點收集自身包含的各個容器的日志并發送至所述主節點；對接收到的日志進行數據過濾處理；對過濾后的日志進行存儲并發送至顯示界面進行顯示。2.根據權利要求1所述的方法，其特征在于，將所述過濾后的日志發送至顯示界面進行顯示的過程具體為：對所述過濾后的日志進行日志挖掘操作，得到挖掘結果；將所述挖掘結果發送至所述顯示界面進行顯示。3.根據權利要求2所述的方法，其特征在于，所述對所述過濾后的日志進行日志挖掘操作，得到挖掘結果的過程具體包括：按照預設的挖掘標準對所述過濾后的日志進行數據預處理，得到結構化日志數據；對所述結構化日志數據按照預設算法進行分析處理，得到所述挖掘結果。4.一種基于容器云系統的日志處理裝置，用于容器云系統的主節點，其特征在于，包括：收集層，用于發送收集請求至相應的子節點，供接收到所述收集請求的子節點收集自身包含的各個容器的日志并發送至所述主節點；過濾層，用于...

【專利技術屬性】
技術研發人員：鐘德財，
申請(專利權)人：深圳市深信服電子科技有限公司，
類型：發明
國別省市：廣東,44