【技術實現步驟摘要】
本專利技術涉及日志處理，具體而言，涉及一種插件化的融合cdn日志文件處理方法及系統。
技術介紹
1、cdn(content?delivery?network，內容分發網絡)是一種用于加速互聯網內容傳輸的基礎網絡設施，相比傳統cdn網絡加速，融合cdn使用統一的技術支持接口協調國內外主流cdn服務商，選擇最優的cdn節點服務客戶，并通過統一管理、監控和運維管理門戶，實現統一計費模型、費用結算和統一的服務質量保證。融合cdn的核心是同時使用多個cdn服務廠商，通過全局智能調度系統將用戶請求調度到最優的服務節點，從而實現更好的網絡加速效果。
2、然而，不同的cdn服務廠商通常會采用完全不同的用戶訪問日志，如何快速高效靈活地處理各個cdn服務廠商的海量日志文件，這對日志系統的可靠性、可擴展性具有非常大的挑戰。傳統的處理方法通常是按照每個cdn廠商的固定的方式來解析日志文件內容，缺乏靈活的擴展能力，難以應對業務需求的快速調整和升級。
技術實現思路
1、為了克服上述問題或者至少部分地解決上述問題，本專利技術提供一種插件化的融合cdn日志文件處理方法及系統，基于插件化的方式對不同的cdn服務廠商進行處理，可在配置文件中配置每個服務廠商的日志格式解析和處理流程，允許用戶根據實際需求自由擴展和定制日志內容，提高系統的靈活性和可維護性。
2、為解決上述技術問題，本專利技術采用的技術方案為：
3、第一方面，本專利技術提供一種插件化的融合cdn日志文件處理方法，包括以下
4、配置多個不同cdn服務廠商的日志輸入源信息、日志格式解析規則和處理流程以及日志存儲信息，生成并管理配置文件；
5、根據配置文件中的日志輸入源信息從對應的日志輸入源獲取日志文件；
6、根據配置文件中的日志格式解析規則，對日志文件進行字段提取和數據轉換，以得到解析后的日志文件；
7、根據配置的日志存儲信息將解析后的日志文件存儲至對應的不同的存儲系統中。
8、本專利技術基于插件化的方式對不同的cdn服務廠商進行處理，可在配置文件中配置每個服務廠商的日志格式解析和處理流程，允許用戶根據實際需求自由擴展和定制日志內容，提高系統的靈活性和可維護性。
9、基于第一方面，進一步地，上述管理配置文件的方法包括以下步驟：
10、采用yaml文件格式對配置文件進行管理，程序啟動時，讀取并驗證配置文件的內容；
11、驗證通過后，程序啟動成功，并啟動日志輸入線程、日志解析線程以及日志輸出線程；
12、當檢測到配置文件發生改動時，停止日志解析，重新讀取配置文件。
13、基于第一方面，進一步地，上述根據配置文件中的日志輸入源信息從對應的日志輸入源獲取日志文件的方法包括以下步驟：
14、根據配置文件中的日志輸入源信息初始化數據源網絡連接信息；
15、利用多線程從對應的日志輸入源采集日志文件；
16、對日志文件進行進行預處理和過濾，并將處理后的日志文件存儲在內存緩沖區，以等待后續對日志文件進行解析。
17、基于第一方面，進一步地，該插件化的融合cdn日志文件處理方法還包括以下步驟：
18、根據配置文件中的日志文件格式，采用不同的日志文件數據讀取方法對日志文件進行讀取；
19、若日志文件讀取到文件最后，則該文件讀取結束，繼續讀取其他日志文件。
20、基于第一方面，進一步地，該插件化的融合cdn日志文件處理方法還包括以下步驟：
21、若日志文件讀取未結束，則判斷內存緩沖區是否已滿，若已滿，則等待直至內存緩沖區有空間，將日志文件存儲到內存緩沖區中；若未滿，則直接將日志文件存儲到內存緩存去中。
22、基于第一方面，進一步地，采用分批讀取的方式對日志文件進行讀取。
23、基于第一方面，進一步地，上述根據配置文件中的日志格式解析規則，對日志文件進行字段提取和數據轉換的方法包括以下步驟：
24、根據配置文件初始化解析環境，將對應的日志解析插件加載到內存中；
25、讀取日志文件，根據配置文件中的日志格式解析規則對日志文件進行格式識別、字段提取和數據轉換，以得到并輸出解析后的日志文件。
26、基于第一方面，進一步地，上述根據配置文件中的日志格式解析規則對日志文件進行格式識別、字段提取和數據轉換的方法包括以下步驟：
27、根據配置文件中的日志格式解析規則依次解析日志文件中的每個字段；
28、判斷日志文件是否滿足解析規則，若滿足，則循環遍歷程序日志的字段轉換插件列表，判斷日志行字段是否需要轉換，若需要，則根據配置文件中的日志輸出規則，重新生成新的日志行內容；若不滿足，則跳過該日志行，重新讀取下一行日志文件；
29、將新的日志行內容輸出至日志輸出內存緩沖區。
30、基于第一方面，進一步地，該插件化的融合cdn日志文件處理方法還包括以下步驟：
31、判斷日志輸出內存緩沖區是否已滿，若已滿，則等待直至日志輸出內存緩沖區有空間，將新的日志行內容存儲到日志輸出內存緩沖區中；若未滿，則直接將新的日志行內容存儲到日志輸出內存緩沖區中。
32、第二方面，本專利技術提供一種插件化的融合cdn日志文件處理系統，包括：配置管理模塊、日志輸入模塊、日志解析模塊以及日志存儲模塊，其中：
33、配置管理模塊，用于配置多個不同cdn服務廠商的日志輸入源信息、日志格式解析規則和處理流程以及日志存儲信息，生成并管理配置文件；
34、日志輸入模塊，用于根據配置文件中的日志輸入源信息從對應的日志輸入源獲取日志文件；
35、日志解析模塊，用于根據配置文件中的日志格式解析規則，對日志文件進行字段提取和數據轉換，以得到解析后的日志文件；
36、日志存儲模塊，用于根據配置的日志存儲信息將解析后的日志文件存儲至對應的不同的存儲系統中。
37、本系統通過配置管理模塊、日志輸入模塊、日志解析模塊以及日志存儲模塊等多個模塊的配合，基于插件化的方式對不同的cdn服務廠商進行處理，可在配置文件中配置每個服務廠商的日志格式解析和處理流程，允許用戶根據實際需求自由擴展和定制日志內容，提高系統的靈活性和可維護性。
38、本專利技術至少具有如下優點或有益效果：
39、1、支持多種存儲系統：系統采用插件化架構設計，靈活支持多種日志文件的輸入和輸出存儲系統。
40、2、支持多種文件格式：它能夠迅速解析和定制各種不同格式的日志，包括但不限于json、、csv和文本格式等。用戶可以根據具體需求，通過配置文件輕松適配新的日志格式，從而實現高效的數據解析和處理。這樣的設計不僅提升了系統的可維護性，還確保了在應對不斷變化的業務需求時，系統能夠迅速響應并做出調整。
41、3、支持配置化管理：用戶可以通過簡單的配置文件輕松管理整個日志解析本文檔來自技高網...
【技術保護點】
1.一種插件化的融合CDN日志文件處理方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種插件化的融合CDN日志文件處理方法，其特征在于，所述管理配置文件的方法包括以下步驟：
3.根據權利要求1所述的一種插件化的融合CDN日志文件處理方法，其特征在于，所述根據配置文件中的日志輸入源信息從對應的日志輸入源獲取日志文件的方法包括以下步驟：
4.根據權利要求3所述的一種插件化的融合CDN日志文件處理方法，其特征在于，還包括以下步驟：
5.根據權利要求4所述的一種插件化的融合CDN日志文件處理方法，其特征在于，還包括以下步驟：
6.根據權利要求4所述的一種插件化的融合CDN日志文件處理方法，其特征在于，采用分批讀取的方式對日志文件進行讀取。
7.根據權利要求1所述的一種插件化的融合CDN日志文件處理方法，其特征在于，所述根據配置文件中的日志格式解析規則，對日志文件進行字段提取和數據轉換的方法包括以下步驟：
8.根據權利要求7所述的一種插件化的融合CDN日志文件處理方法，其特征在于，所述根據配置文
9.根據權利要求8所述的一種插件化的融合CDN日志文件處理方法，其特征在于，還包括以下步驟：
10.一種插件化的融合CDN日志文件處理系統，其特征在于，包括：配置管理模塊、日志輸入模塊、日志解析模塊以及日志存儲模塊，其中：
...【技術特征摘要】
1.一種插件化的融合cdn日志文件處理方法，其特征在于，包括以下步驟：
2.根據權利要求1所述的一種插件化的融合cdn日志文件處理方法，其特征在于，所述管理配置文件的方法包括以下步驟：
3.根據權利要求1所述的一種插件化的融合cdn日志文件處理方法，其特征在于，所述根據配置文件中的日志輸入源信息從對應的日志輸入源獲取日志文件的方法包括以下步驟：
4.根據權利要求3所述的一種插件化的融合cdn日志文件處理方法，其特征在于，還包括以下步驟：
5.根據權利要求4所述的一種插件化的融合cdn日志文件處理方法，其特征在于，還包括以下步驟：
6.根據權利要求4所述的一種插件化的融合cdn日志文件處理方法，其特...
【專利技術屬性】
技術研發人員：陳連波，余杰，蔡輝翔，林佳樂，史憬燁，王聲楚，吳成龍，吳劍林，張德成，
申請(專利權)人：廈門市安杰云網絡有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。