【技術實現步驟摘要】
本申請實施例涉及計算機領域，具體而言，涉及一種服務器日志文檔的處理方法及裝置。
技術介紹
1、隨著服務器技術和產業的不斷發展，使用搜索引擎實現對服務器日志數據的存儲和分析功能的方法越來越為人們所關注。當前，搜索引擎為了滿足多種應用場景，在數據存儲方面設計了三種數據存儲結構，針對搜索引擎的不同的功能，不同的數據存儲結構存儲的服務器日志數據的方式有所不同，但是這種存儲設計會導致在日志數據存儲的過程中存在一定的數據冗余，服務器日志文檔的存儲效率較低。
技術實現思路
1、本申請實施例提供了一種服務器日志文檔的處理方法及裝置，以至少解決相關技術中服務器日志文檔的存儲效率較低的問題。
2、根據本申請的一個實施例，提供了一種服務器日志文檔的處理方法，應用于服務器上部署的搜索引擎，所述搜索引擎用于為所述服務器存儲服務器日志的日志文檔，所述搜索引擎所支持的數據存儲結構包括行存儲和列存儲，在所述搜索引擎中所述列存儲的數據存儲結構被啟用，所述行存儲的數據存儲結構被禁用，所述方法包括：接收所述服務器發起的日志寫入請求，其中，所述日志寫入請求用于請求將目標日志文檔寫入所述搜索引擎中，所述目標日志文檔是所述服務器上所生成的目標服務器日志所對應的日志文檔；響應所述日志寫入請求，根據所述目標日志文檔的屬性信息從所述目標日志文檔中分別提取非文本類型的數據和文本類型的數據，其中，所述屬性信息用于指示所述目標日志文檔中所包括的文檔數據的數據類型；在提取到所述非文本類型的第一數據的情況下，將所述第一數據中所包
3、在一個示例性實施例中，所述根據所述目標日志文檔的屬性信息從所述目標日志文檔中分別提取非文本類型的數據和文本類型的數據，包括：從所述搜索引擎中提取所述目標日志文檔對應的映射配置作為所述屬性信息，其中，所述映射配置用于指示所述搜索引擎待存儲的文檔中各個字段的字段屬性；使用所述映射配置將所述目標日志文檔所包括的目標字段劃分為屬于所述非文本類型的第一字段和屬于所述文本類型的第二字段；從所述目標日志文檔中所述第一字段的位置上提取所述第一數據，并從所述目標日志文檔中所述第二字段的位置上提取所述第二數據。
4、在一個示例性實施例中，所述搜索引擎包括第一協調節點和一個或者多個分片節點，所述接收所述服務器發起的日志寫入請求，包括：由所述第一協調節點從服務器的傳輸端口接收所述日志寫入請求；由所述第一協調節點生成所述目標日志文檔的文檔名；由所述第一協調節點根據所述文檔名和所述搜索引擎的存儲設置從所述多個分片節點中查找所述目標日志文檔的主分片節點，其中，所述存儲設置用于指示所述搜索引擎中存儲服務器日志的存儲情況，所述主分片節點用于存儲所述目標日志文檔；由所述第一協調節點將所述日志寫入請求發送至所述主分片節點；由所述主分片節點接收所述日志寫入請求。
5、在一個示例性實施例中，在將所述第二數據中所包括的第二數據字段寫入所述列存儲的數據存儲結構中、存儲所述目標日志文檔與所述第二數據字段之間的第二映射關系并存儲所述目標數據索引之后，所述方法還包括：接收所述服務器發起的日志查詢請求，其中，所述日志查詢請求用于請求從所述目標日志文檔中查找滿足查詢條件的文檔數據；從所述查詢條件中提取目標關鍵詞和結果需求類型，其中，所述結果需求類型用于指示所述日志查詢請求請求獲取的文檔數據的字段情況；根據所述目標關鍵詞、所述結果需求類型、所述第一映射關系、所述第二映射關系和所述目標數據索引查找并返回滿足所述查詢條件的目標文檔數據。
6、在一個示例性實施例中，所述根據所述目標關鍵詞、所述結果需求類型、所述第一映射關系、所述第二映射關系和所述目標數據索引查找并返回所述目標文檔數據，包括：根據所述目標數據索引從所述目標日志文檔中查找與所述目標關鍵詞匹配的參考日志文檔；根據所述參考日志文檔所對應的所述第一映射關系從所述列存儲的數據存儲結構中提取所述參考日志文檔對應的第一數據字段并根據所述參考日志文檔所對應的所述第二映射關系從所述列存儲的數據存儲結構中提取所述參考日志文檔對應的第二數據字段；在所述結果需求類型用于指示所述日志查詢請求請求獲取文檔數據的全部字段的情況下，整合提取到的所述參考日志文檔對應的第一數據字段和提取到的所述參考日志文檔對應的第二數據字段，得到滿足所述查詢條件的第三數據，并將所述第三數據發送給所述服務器，其中，所述目標文檔數據包括所述第三數據；在所述結果需求類型用于指示所述日志查詢請求請求獲取文檔數據的部分字段的情況下，檢測所述查詢條件中的目標字段屬性，從提取到的所述參考日志文檔對應的第一數據字段和提取到的所述參考日志文檔對應的第二數據字段中篩選出字段屬性與所述目標字段屬性匹配的數據字段，得到滿足所述查詢條件的第四數據，并將所述第四數據發送給所述服務器，其中，所述目標文檔數據包括所述第四數據。
7、在一個示例性實施例中，所述方法還包括：在所述搜索引擎的分詞規則發生變更的情況下，創建與所述目標數據索引具有相同索引屬性的參考數據索引，其中，所述分詞規則用于指示所述搜索引擎將文檔數據轉換成一個或者多個關鍵詞的方式，所述索引屬性用于指示所述目標數據索引的索引設置；根據所述第二數據字段、所述第二映射關系和變更后的分詞規則更新所述參考數據索引，其中，所述參考數據索引用于指示所述第二數據字段經過分詞后得到的各個關鍵詞與所述目標日志文檔之間的映射關系；在所述參考數據索引更新完成的情況下，刪除所述目標數據索引。
8、在一個示例性實施例中，所述根據所述第二數據字段、所述第二映射關系和變更后的分詞規則更新所述參考數據索引，包括：創建所述目標數據索引的索引別名并將所述目標數據索引的讀寫狀態設置為只讀狀態，其中，所述索引別名用于在創建了參考數據索引后獲取所述目標數據索引；參照變更后的分詞規則從所述第二數據字段中提取各個參考關鍵詞并記錄各個所述參考關鍵詞與所述第二數據字段的第三映射關系；根據所述第二映射關系和所述第三映射關系更新所述參考數據索引。
9、根據本申請的另一個實施例，提供了一種服務器日志文檔的處理裝置，應用于服務器上部署的搜索引擎，所述搜索引擎用于為所述服務器存儲服務器日志的日志文檔，所述搜索引擎所支持的數據存儲結構包括行存儲和列存儲，在所述搜索引擎中所述列存儲的數據存儲結構被啟用，所述行存儲的數據存儲結構被禁用，所述裝置包括：第一接收模塊，用于接收所述服務器發起的日志寫入請求，其中，所述日志寫入請求用于請求將目標日志文檔寫入所述搜索引擎中，所述目標日志文檔是所述服務器上所生成的目標服務器本文檔來自技高網...
【技術保護點】
1.一種服務器日志文檔的處理方法，其特征在于，
2.根據權利要求1所述的方法，其特征在于，
3.根據權利要求1所述的方法，其特征在于，
4.根據權利要求1所述的方法，其特征在于，
5.根據權利要求4所述的方法，其特征在于，
6.根據權利要求1所述的方法，其特征在于，
7.根據權利要求6所述的方法，其特征在于，
8.一種服務器日志文檔的處理裝置，其特征在于，
9.一種計算機可讀存儲介質，其特征在于，
10.一種電子設備，包括存儲器、處理器以及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，
【技術特征摘要】
1.一種服務器日志文檔的處理方法，其特征在于，
2.根據權利要求1所述的方法，其特征在于，
3.根據權利要求1所述的方法，其特征在于，
4.根據權利要求1所述的方法，其特征在于，
5.根據權利要求4所述的方法，其特征在于，
6.根據權利要求1所述的方...
【專利技術屬性】
技術研發人員：陳春風，
申請(專利權)人：蘇州元腦智能科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。