【技術實現步驟摘要】
本專利技術涉及系統運維，尤其涉及一種基于linux系統的數據抓取裝置、方法、設備及存儲介質。
技術介紹
1、在高流量網絡中，抓包數據量龐大，處理和存儲這些數據需要大量磁盤空間和高效的數據分析能力，若存儲不足可能導致關鍵數據丟失，影響問題診斷。同時，實時抓包可能對系統性能產生影響，尤其在高負載情況下，可能無法捕獲所有數據包，從而遺漏重要信息。
2、在嵌入式系統中，內存和存儲資源有限，使用dmesg命令查看內核日志時，日志緩沖區可能無法保存所有歷史信息，導致關鍵日志被新日志覆蓋，影響問題追溯。長時間運行的系統在遇到問題時，可能發現重要日志信息已被覆蓋，喪失歷史數據。此外，日志滾動機制雖可防止日志文件過大，但不當的管理策略可能導致關鍵信息的丟失。
3、綜上所述，現有技術中存在的問題亟需得到解決。
技術實現思路
1、本專利技術提供一種基于linux系統的數據抓取裝置、方法、設備及存儲介質，用以解決現有技術中的缺陷，實現對待采集設備的數據抓取。
2、本專利技術提供一種基于linux系統的數據抓取裝置，包括：
3、空間監控模塊、日志記錄模塊和數據抓取模塊；
4、所述空間監控模塊用于監控內存空間使用率，當所述內存空間使用率大于預設閾值時，進行數據清理操作；
5、所述日志記錄模塊用于記錄內核日志信息；
6、所述數據抓取模塊用于監測待采集設備的工作狀態，當所述待采集設備處于運行狀態時，在預設時間內抓取所述待采集設備的
7、根據本專利技術提供的一種基于linux系統的數據抓取裝置，所述數據清理操作包括：
8、刪除存儲路徑下最舊的狀態數據；
9、以及
10、刪除存儲路徑下所有的狀態數據。
11、根據本專利技術提供的一種基于linux系統的數據抓取裝置，所述日志記錄模塊，具體包括：內核查看單元，信息比對單元和日志生成單元；
12、所述內核查看單元用于查看內核環緩沖區的內核信息；
13、所述信息比對單元用于將所述內核信息，與上一次記錄的內核信息的結束部分進行比對，以確定新的內核信息，并將新的內核信息發送至所述日志生成單元；
14、所述日志生成單元用于根據所述內核查看單元獲取到的信息生成內核日志信息。
15、根據本專利技術提供的一種基于linux系統的數據抓取裝置，所述信息比對單元包含第一數據庫和第二數據庫，所述第一數據庫用于存儲所述內核查看單元獲取到的信息，所述第二數據庫用于存儲所述內核查看單元獲取到的信息的結束部分。
16、根據本專利技術提供的一種基于linux系統的數據抓取裝置，所述數據抓取模塊包括：抓包狀態判斷單元、設備監測單元和抓包單元；
17、抓包狀態判斷單元用于檢查抓包狀態，當所述抓包狀態為可進行抓包狀態時，檢查后臺是否有抓包程序正在運行，若無抓包程序正在運行，則生成抓包指令；
18、設備監測單元用于響應于所述抓包指令，監測待采集設備的工作狀態；
19、抓包單元用于當所述待采集設備處于運行狀態時，在預設時間內抓取所述待采集設備的狀態數據。
20、根據本專利技術提供的一種基于linux系統的數據抓取裝置，所述抓包單元還用于當所述待采集設備處于運行狀態時，將所述抓包狀態設置為不可進行抓包狀態，并在所述預設時間后，將所述抓包狀態設置為可進行抓包狀態。
21、根據本專利技術提供的一種基于linux系統的數據抓取裝置，所述抓包單元通過tcpdump抓包工具抓取所述待采集設備的狀態數據。
22、本專利技術還提供一種基于linux系統的數據抓取方法，包括：
23、通過空間監控模塊監控內存空間使用率，當所述內存空間使用率大于預設閾值時，進行數據清理操作；
24、通過日志記錄模塊記錄內核日志信息；
25、通過數據抓取模塊監測待采集設備的工作狀態，當所述待采集設備處于運行狀態時，在預設時間內抓取所述待采集設備的狀態數據。
26、本專利技術還提供一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述任一種所述基于linux系統的數據抓取方法。
27、本專利技術還提供一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現如上述任一種所述基于linux系統的數據抓取方法。
28、本專利技術還提供一種計算機程序產品，包括計算機程序，所述計算機程序被處理器執行時實現如上述任一種所述基于linux系統的數據抓取方法。
29、本專利技術提供的基于linux系統的數據抓取裝置、方法、設備及存儲介質，通過空間監控模塊、日志記錄模塊和數據抓取模塊的協同工作，實時記錄內核日志信息，并采用信息比對策略，確保新產生的關鍵日志能夠被有效保存，從而避免因內存限制導致的日志覆蓋問題，并且能夠在設備處于運行狀態時抓取狀態數據，確保在高負載環境下仍然能夠捕獲關鍵信息，提升系統的實時性和可靠性。
本文檔來自技高網...【技術保護點】
1.一種基于linux系統的數據抓取裝置，其特征在于，包括：空間監控模塊、日志記錄模塊和數據抓取模塊；
2.根據權利要求1所述的基于linux系統的數據抓取裝置，其特征在于，所述數據清理操作包括：
3.根據權利要求1所述的基于linux系統的數據抓取裝置，其特征在于，所述日志記錄模塊，具體包括：內核查看單元，信息比對單元和日志生成單元；
4.根據權利要求3所述的基于linux系統的數據抓取裝置，其特征在于，所述信息比對單元包含第一數據庫和第二數據庫，所述第一數據庫用于存儲所述內核信息，所述第二數據庫用于存儲所述內核信息的結束部分。
5.根據權利要求1所述的基于linux系統的數據抓取裝置，其特征在于，所述數據抓取模塊包括：抓包狀態判斷單元、設備監測單元和抓包單元；
6.根據權利要求5所述的基于linux系統的數據抓取裝置，其特征在于，所述抓包單元還用于當所述待采集設備處于運行狀態時，將所述抓包狀態設置為不可進行抓包狀態，并在所述預設時間后，將所述抓包狀態設置為可進行抓包狀態。
7.根據權利要求1所述的基于li
8.一種基于linux系統的數據抓取方法，其特征在于，包括：
9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求8所述基于linux系統的數據抓取方法。
10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求8所述基于linux系統的數據抓取方法。
...【技術特征摘要】
1.一種基于linux系統的數據抓取裝置，其特征在于，包括：空間監控模塊、日志記錄模塊和數據抓取模塊；
2.根據權利要求1所述的基于linux系統的數據抓取裝置，其特征在于，所述數據清理操作包括：
3.根據權利要求1所述的基于linux系統的數據抓取裝置，其特征在于，所述日志記錄模塊，具體包括：內核查看單元，信息比對單元和日志生成單元；
4.根據權利要求3所述的基于linux系統的數據抓取裝置，其特征在于，所述信息比對單元包含第一數據庫和第二數據庫，所述第一數據庫用于存儲所述內核信息，所述第二數據庫用于存儲所述內核信息的結束部分。
5.根據權利要求1所述的基于linux系統的數據抓取裝置，其特征在于，所述數據抓取模塊包括：抓包狀態判斷單元、設備監測單元和抓包單元；
6.根據權利要求5所述的基于lin...
【專利技術屬性】
技術研發人員：陳勝文，張常華，林弟，阮勝林，
申請(專利權)人：廣東保倫電子股份有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。