一種基于自動化實現集中式日志管理系統和方法技術方案

本申請涉及一種基于自動化實現集中式日志管理系統和方法，該系統包括：部署域，用于建立部署域、代理域和管理域之間的可信任連接，創建管理域中每個模塊組的主機角色配置文件，以及分別添加管理域和代理域中其各個模塊組的部署代碼；代理域，用于采集代理模塊組中所有主機的日志數據信息并將所有主機的日志數據信息發送至管理域；管理域，用于存儲代理域采集的日志數據信息并至少提供WebUI圖形化接口、日志數據信息查詢、日志數據信息檢索和日志數據信息展示。本申請提供的技術方案，只需要簡單修改主機列表清單和部署參數就可以重復部署該系統，具有可復用性功能；解決了使用人員訪問權限受限的問題，提高了解決問題的效率。

【技術實現步驟摘要】
一種基于自動化實現集中式日志管理系統和方法
本申請屬于自動化部署和日志管理
，具體涉及一種基于自動化實現集中式日志管理系統和方法。
技術介紹
日志通常是我們在定位系統或應用程序出現錯誤時，通過查閱日志信息分析錯誤發生的原因來解決問題最直接有效的方法，但是隨著大數據時代的迅猛發展，業務的快速擴張，各種服務和組件也隨著增加或擴容，那么服務器的數量也隨之增加，由原來的幾臺服務器快速增長到幾十、幾百甚至上千臺的服務器，而日志往往會分布在不同的服務器上，如果要查閱某個應用系統的日志，這將會是工作量非常大的一件事情，并且因為有安全防護的需求，除了運維人員有權限登錄生產環境服務器查閱相應的日志，開發人員是沒有登錄生產環境服務器查閱日志的權限，因此在問題排查上增加了難度，需要通過運維人員來協助處理排查問題，這樣不僅給運維人員帶來了更多的工作量而且處理問題的效率會降低很多。相關技術中的Rsyslog日志管理系統，沒有檢索、統計和分析功能，功能上比較單一，也不具有WebUI圖形化展示功能，需要配合第三方應用才可以實現所需要的功能，配置比較繁瑣，容易出錯，已經不能滿足運維和開發人員的工作需求。
技術實現思路
為至少在一定程度上克服相關技術中存在的問題，本申請提供一種基于自動化實現集中式日志管理的系統和方法，已解決相關技術中的日志管理系統存在功能上比較單一，不具有WebUI展示功能，配置比較繁瑣，容易出錯等的問題。根據本申請實施例的第一方面，提供一種基于自動化實現集中式日志管理系統，所述系統包括：部署域，以及分別與部署域連接的代理域和管理域；所述部署域，用于分別建立與代理域和管理域之間的可信任連接，創建管理域中每個模塊組的主機角色配置文件，以及分別添加管理域和代理域中其各個模塊組的部署代碼；所述代理域，用于采集代理模塊組中所有主機的日志數據信息并將所有主機的日志數據信息發送至管理域；所述管理域包括：高可用集群模塊組、數據庫集群模塊組、存儲集群模塊組和Graylog應用集群模塊組，用于存儲代理域采集的日志數據信息并至少提供WebUI圖形化接口、日志數據信息查詢、日志數據信息檢索和日志數據信息展示。優選的，所述部署域中設置有部署模塊，所述部署模塊上安裝有自動化管理軟件Ansible；所述部署域通過自動化管理軟件Ansible的劇本模塊執行劇本任務，以實現對管理域和代理域的自動化部署。優選的，管理域中每個模塊組至少包括3個主機節點。根據本申請實施例的第二方面，提供一種基于自動化實現集中式日志管理方法，所述方法包括：部署域分別建立與代理域和管理域之間的可信任連接；部署域創建管理域中每個模塊組的主機角色配置文件；部署域分別添加管理域和代理域中其各個模塊組的部署代碼；代理域采集代理模塊組中所有主機的日志數據信息并將所有主機的日志數據信息發送至管理域；管理域存儲代理域采集的日志數據信息并至少提供WebUI圖形化接口、日志數據信息查詢、日志數據信息檢索和日志數據信息展示。優選的，所述部署域分別建立與代理域和管理域之間的可信任連接，包括：在部署域的部署模塊上安裝自動化管理軟件Ansible；利用部署模塊建立部署域、代理域和管理域之間的可信任連接，以滿足在執行部署任務時所需要的讀寫權限。優選的，所述部署域創建管理域中每個模塊組的主機角色配置文件，包括：利用部署模塊創建并定義高可用集群模塊組、數據庫集群模塊組、存儲集群模塊組和Graylog應用集群模塊組的主機角色配置文件。優選的，所述部署域創建管理域中每個模塊組的主機角色配置文件之后，還包括：利用部署模塊初始化配置環境代碼，用于初始化系統環境，所述系統環境至少包括：主機名稱、防火墻設置、軟件倉庫和系統參數優化；利用部署模塊創建Graylog安裝軟件包文件夾，上傳部署管理域和代理域所需要的軟件包，用于為系統提供安裝軟件。優選的，所述管理域和代理域分別加載其各個模塊組的部署代碼，包括：添加管理域中存儲集群模塊組部署代碼，用于創建存儲集群模塊組部署文件，存儲代理域采集的日志數據信息；添加管理域中高可用集群模塊組部署代碼，用于創建高可用集群模塊組部署文件，提供高可用訪問功能；添加管理域中數據庫集群模塊組部署代碼，用于創建數據庫集群模塊組部署文件，存儲系統的配置信息；添加管理域中Graylog應用集群模塊組，用于創建Graylog應用集群模塊組部署文件，至少提供WebUI圖形化接口、日志數據信息查詢、日志數據信息檢索和日志數據信息展示；添加代理域中代理模塊組部署代碼，用于創建代理模塊組部署文件，采集代理模塊組中所有主機的日志數據信息并將所有主機的日志數據信息發送至管理域。優選的，所述部署文件至少包括：部署主配置文件、變量配置文件和模板文件。優選的，所述部署域分別添加管理域和代理域中其各個模塊組的部署代碼之后，還包括：部署域中的部署模塊通過自動化管理軟件Ansible的劇本模塊執行劇本任務，以執行管理域和代理域中的組件。本申請的實施例提供的技術方案可以包括以下有益效果：本申請提供的技術方案，實現了自動化執行部署，從而減少了人工部署出錯的幾率，提高了工作效率，降低了部署成本；而且只需要簡單修改主機列表清單和部署參數就可以重復部署該系統，所以具有可復用性功能；本申請提供的技術方案采用多節點高可用方案部署，所以解決了訪問時出現的單點故障問題；本申請提供的技術方案不需要登錄主機操作系統就可以通過WebUI查詢、檢索、展示日志信息，從而保證了系統的安全性、可靠性、完整性、不可篡改性，解決了使用人員訪問權限受限的問題，提高了解決問題的效率。應當理解的是，以上的一般描述和后文的細節描述僅是示例性和解釋性的，并不能限制本申請。附圖說明此處的附圖被并入說明書中并構成本說明書的一部分，示出了符合本申請的實施例，并與說明書一起用于解釋本申請的原理。圖1是根據一示例性實施例示出的一種基于自動化實現集中式日志管理系統的示意圖；圖2是根據一示例性實施例示出的一種基于自動化實現集中式日志管理系統自動部署實施后的效果圖；圖3是根據一示例性實施例示出的一種基于自動化實現集中式日志管理方法的流程圖；圖4是根據一示例性實施例示出的另一種基于自動化實現集中式日志管理方法的流程圖。具體實施方式這里將詳細地對示例性實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數字表示相同或相似的要素。以下示例性實施例中所描述的實施方式并不代表與本申請相一致的所有實施方式。相反，它們僅是與如所附權利要求書中所詳述的、本申請的一些方面相一致的裝置和方法的例子。圖1是根據一示例性實施例示出的一種基于自動化實現集中式日志管理系統的示意圖，如圖1所示，該系統包括：部署域，以及分別與部署域連接的代理域和管理域；<本文檔來自技高網...

【技術保護點】
1.一種基于自動化實現集中式日志管理系統，其特征在于，所述系統包括：部署域，以及分別與部署域連接的代理域和管理域；/n所述部署域，用于分別建立與代理域和管理域之間的可信任連接，創建管理域中每個模塊組的主機角色配置文件，以及分別添加管理域和代理域中其各個模塊組的部署代碼；/n所述代理域，用于采集代理模塊組中所有主機的日志數據信息并將所有主機的日志數據信息發送至管理域；/n所述管理域包括：高可用集群模塊組、數據庫集群模塊組、存儲集群模塊組和Graylog應用集群模塊組，用于存儲代理域采集的日志數據信息并至少提供WebUI圖形化接口、日志數據信息查詢、日志數據信息檢索和日志數據信息展示。/n

【技術特征摘要】
1.一種基于自動化實現集中式日志管理系統，其特征在于，所述系統包括：部署域，以及分別與部署域連接的代理域和管理域；
所述部署域，用于分別建立與代理域和管理域之間的可信任連接，創建管理域中每個模塊組的主機角色配置文件，以及分別添加管理域和代理域中其各個模塊組的部署代碼；
所述代理域，用于采集代理模塊組中所有主機的日志數據信息并將所有主機的日志數據信息發送至管理域；
所述管理域包括：高可用集群模塊組、數據庫集群模塊組、存儲集群模塊組和Graylog應用集群模塊組，用于存儲代理域采集的日志數據信息并至少提供WebUI圖形化接口、日志數據信息查詢、日志數據信息檢索和日志數據信息展示。


2.根據權利要求1所述的系統，其特征在于，所述部署域中設置有部署模塊，所述部署模塊上安裝有自動化管理軟件Ansible；
所述部署域通過自動化管理軟件Ansible的劇本模塊執行劇本任務，以實現對管理域和代理域的自動化部署。


3.根據權利要求1所述的系統，其特征在于，管理域中每個模塊組至少包括3個主機節點。


4.一種基于自動化實現集中式日志管理方法，其特征在于，所述方法包括：
部署域分別建立與代理域和管理域之間的可信任連接；
部署域創建管理域中每個模塊組的主機角色配置文件；
部署域分別添加管理域和代理域中其各個模塊組的部署代碼；
代理域采集代理模塊組中所有主機的日志數據信息并將所有主機的日志數據信息發送至管理域；
管理域存儲代理域采集的日志數據信息并至少提供WebUI圖形化接口、日志數據信息查詢、日志數據信息檢索和日志數據信息展示。


5.根據權利要求4所述的方法，其特征在于，所述部署域分別建立與代理域和管理域之間的可信任連接，包括：
在部署域的部署模塊上安裝自動化管理軟件Ansible；
利用部署模塊建立部署域、代理域和管理域之間的可信任連接，以滿足在執行部署任務時所需要的讀寫權限。

【專利技術屬性】
技術研發人員：高銘，鄭永成，
申請(專利權)人：北京中數智匯科技股份有限公司，
類型：發明
國別省市：北京;11