【技術實現(xiàn)步驟摘要】
本公開涉及計算機信息處理領域，具體而言，涉及一種日志文件的儲存及讀取方法及裝置。
技術介紹
1、在各類網(wǎng)站、平臺和軟件系統(tǒng)中，日志或數(shù)據(jù)記錄的存儲通常依賴于數(shù)據(jù)庫系統(tǒng)。對于中大型系統(tǒng)，常使用如oracle、mysql、postgresql等關系型數(shù)據(jù)庫，當數(shù)據(jù)量巨大時，系統(tǒng)會采用分布式數(shù)據(jù)庫或分布式存儲方式以提高性能和可擴展性。然而，在嵌入式系統(tǒng)中，由于內(nèi)存和cpu資源有限，通常使用sqlite等輕型數(shù)據(jù)庫。sqlite占用資源少，集成方便，適用于處理小規(guī)模數(shù)據(jù)。然而，當數(shù)據(jù)量增大(如超過100萬條日志記錄)時，sqlite的查詢效率會大幅下降，甚至可能導致系統(tǒng)進程崩潰。因此，嵌入式系統(tǒng)對海量日志的存儲與快速查詢提出了更高的要求。
2、在大中型平臺中，通常采用mysql、postgresql、oracle等數(shù)據(jù)庫來存儲和管理日志數(shù)據(jù)。這些數(shù)據(jù)庫在面對海量數(shù)據(jù)時，會使用分布式數(shù)據(jù)庫或分布式存儲方式來保證系統(tǒng)的高效性和可擴展性。然而，這類數(shù)據(jù)庫系統(tǒng)占用大量內(nèi)存和cpu資源，同時依賴于復雜的庫和軟件環(huán)境，對于資源有限的嵌入式系統(tǒng)并不適用。因此，雖然這些數(shù)據(jù)庫在大中型系統(tǒng)中表現(xiàn)出色，但無法在嵌入式應用中高效運作。
3、在嵌入式系統(tǒng)中，由于內(nèi)存和cpu資源有限，常使用輕型數(shù)據(jù)庫sqlite。sqlite易于集成，資源占用少，適合處理小規(guī)模日志數(shù)據(jù)，尤其是在100萬條日志以下時，其存儲和查詢效率相對較高。然而，隨著數(shù)據(jù)量的增加(超過100萬條)，sqlite的查詢速度急劇下降，甚至會導致數(shù)據(jù)庫進程崩潰，無法應對海量日
4、傳統(tǒng)日志文件按行存儲，每行保存一條日志記錄，文件通常以明文形式存在。這種存儲方式雖然簡單，但只能順序讀取，且日志文件沒有壓縮功能，導致占用大量存儲空間。尤其是在處理大量日志時，這種按行存儲的方式不僅存取效率低下，還缺乏有效的檢索機制，無法滿足嵌入式系統(tǒng)中海量日志的快速查詢需求。因此，傳統(tǒng)日志文件存儲方式僅適用于少量日志場景，在大規(guī)模日志處理場景中效率極低。
5、因此，需要一種新的日志文件的儲存及讀取方法及裝置。
6、在所述
技術介紹
部分公開的上述信息僅用于加強對本申請的背景的理解，因此它可以包括不構成對本領域普通技術人員已知的現(xiàn)有技術的信息。
技術實現(xiàn)思路
1、有鑒于此，本申請?zhí)峁┮环N日志文件的儲存及讀取方法及裝置，提供一種適用于資源有限的嵌入式系統(tǒng)的高效日志存儲與讀取機制，通過內(nèi)存緩存優(yōu)化硬盤寫入，既實現(xiàn)了海量日志的快速存取，又保護了硬件設備并確保數(shù)據(jù)的實時性和可靠性。
2、本申請的其他特性和優(yōu)點將通過下面的詳細描述變得顯然，或部分地通過本申請的實踐而習得。
3、根據(jù)本申請的一方面，提出一種日志文件的儲存及讀取方法，該方法包括：獲取系統(tǒng)日常操作數(shù)據(jù)以生成日志數(shù)據(jù)；將所述日志數(shù)據(jù)按照預設格式進行組合以生成日志文件；在緩存中將日志文件按照預設目錄結構進行儲存；生成日志統(tǒng)計信息文件，并將日志統(tǒng)計信息文件中的當天內(nèi)存統(tǒng)計信息文件實時保存在內(nèi)存中；在滿足預設條件時，將緩存中的日志文件保存到硬盤中以便于讀取。
4、在本申請的一種示例性實施例中，還包括：通過版本號、日志數(shù)量、開始時間、結束時間、文件序號、日志類型、索引偏移量數(shù)組生成文件頭格式；通過日志頭、日志內(nèi)容、日志尾生成文件正文格式；通過所述文件頭格式和所述文件正文格式生成所述預設格式。
5、在本申請的一種示例性實施例中，還包括：按月、日結構和特定命名方式生成所述預設目錄結構。
6、在本申請的一種示例性實施例中，獲取系統(tǒng)日常操作數(shù)據(jù)以生成日志數(shù)據(jù)，包括：獲取系統(tǒng)日常操作數(shù)據(jù)；將所述日常操作數(shù)據(jù)進行預處理，生成所述日志數(shù)據(jù)。
7、在本申請的一種示例性實施例中，將所述日志數(shù)據(jù)按照預設格式進行組合以生成日志文件，包括：將所述日志數(shù)據(jù)作為日志內(nèi)容；為所述日志內(nèi)容增加日志頭和日志尾。
8、在本申請的一種示例性實施例中，生成日志統(tǒng)計信息文件，包括：每天生成日統(tǒng)計信息文件；每月生成月統(tǒng)計信息文件；每天實時生成當天內(nèi)存統(tǒng)計信息文件。
9、在本申請的一種示例性實施例中，還包括：每天定時通過當天內(nèi)存統(tǒng)計信息文件更新所述日統(tǒng)計信息文件和所述月統(tǒng)計信息文件。
10、在本申請的一種示例性實施例中，在滿足預設條件時，將緩存中的日志文件保存到硬盤中以便于讀取，包括：在緩存占用數(shù)量超過閾值時，將緩存中的日志文件保存到硬盤中；或定時將緩存中的日志文件保存到硬盤中。
11、在本申請的一種示例性實施例中，還包括：通過索引偏移量數(shù)組定位待訪問的日志文件；通過正向或反向查詢方式讀取所述日志文件。
12、根據(jù)本申請的一方面，提出一種日志文件的儲存及讀取裝置，該裝置包括：數(shù)據(jù)模塊，用于獲取系統(tǒng)日常操作數(shù)據(jù)以生成日志數(shù)據(jù)；文件模塊，用于將所述日志數(shù)據(jù)按照預設格式進行組合以生成日志文件；結構模塊，用于在緩存中將日志文件按照預設目錄結構進行儲存；統(tǒng)計模塊，用于生成日志統(tǒng)計信息文件，并將日志統(tǒng)計信息文件中的當天內(nèi)存統(tǒng)計信息文件實時保存在內(nèi)存中；儲存模塊，用于在滿足預設條件時，將緩存中的日志文件保存到硬盤中以便于讀取。
13、根據(jù)本申請的一方面，提出一種電子設備，該電子設備包括：一個或多個處理器；存儲裝置，用于存儲一個或多個程序；當一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實現(xiàn)如上文的方法。
14、根據(jù)本申請的一方面，提出一種計算機可讀介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如上文中的方法。
15、根據(jù)本申請的日志文件的儲存及讀取方法及裝置，通過獲取系統(tǒng)日常操作數(shù)據(jù)以生成日志數(shù)據(jù)；將所述日志數(shù)據(jù)按照預設格式進行組合以生成日志文件；在緩存中將日志文件按照預設目錄結構進行儲存；生成日志統(tǒng)計信息文件，并將日志統(tǒng)計信息文件中的當天內(nèi)存統(tǒng)計信息文件實時保存在內(nèi)存中；在滿足預設條件時，將緩存中的日志文件保存到硬盤中以便于讀取的方式，提供一種適用于資源有限的嵌入式系統(tǒng)的高效日志存儲與讀取機制，通過內(nèi)存緩存優(yōu)化硬盤寫入，既實現(xiàn)了海量日志的快速存取，又保護了硬件設備并確保數(shù)據(jù)的實時性和可靠性。
16、應當理解的是，以上的一般描述和后文的細節(jié)描述僅是示例性的，并不能限制本申請。
本文檔來自技高網(wǎng)...【技術保護點】
1.一種日志文件的儲存及讀取方法，其特征在于，包括：
2.如權利要求1所述的方法，其特征在于，還包括：
3.如權利要求1所述的方法，其特征在于，還包括：
4.如權利要求1所述的方法，其特征在于，獲取系統(tǒng)日常操作數(shù)據(jù)以生成日志數(shù)據(jù)，包括：
5.如權利要求1所述的方法，其特征在于，將所述日志數(shù)據(jù)按照預設格式進行組合以生成日志文件，包括：
6.如權利要求1所述的方法，其特征在于，生成日志統(tǒng)計信息文件，包括：
7.如權利要求6所述的方法，其特征在于，還包括：
8.如權利要求1所述的方法，其特征在于，在滿足預設條件時，將緩存中的日志文件保存到硬盤中以便于讀取，包括：
9.如權利要求1所述的方法，其特征在于，還包括：
10.一種日志文件的儲存及讀取裝置，其特征在于，包括：
【技術特征摘要】
1.一種日志文件的儲存及讀取方法，其特征在于，包括：
2.如權利要求1所述的方法，其特征在于，還包括：
3.如權利要求1所述的方法，其特征在于，還包括：
4.如權利要求1所述的方法，其特征在于，獲取系統(tǒng)日常操作數(shù)據(jù)以生成日志數(shù)據(jù)，包括：
5.如權利要求1所述的方法，其特征在于，將所述日志數(shù)據(jù)按照預設格式進行組合以生成日志文件，包括：
【專利技術屬性】
技術研發(fā)人員：劉健康，
申請(專利權)人：杭州迪普科技股份有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。