System.ArgumentOutOfRangeException: 索引和長度必須引用該字符串內的位置。 參數名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技術實現步驟摘要】
本公開的實施例涉及計算機,具體涉及一種數據處理方法、裝置、電子設備和計算機可讀介質。
技術介紹
1、數據一般永久存儲在磁盤上,但是磁盤隨機io速度會比較慢,影響用戶體驗,由于內存存取速度快,通常使用內存數據庫的目的就是為了提升數據的查詢效率,但是內存也有數據斷電丟失、價格昂貴的特點,為了避免大幅浪費內存,耗費不必要的成本,所以提升內存的使用效率,節省成本也是需要重點解決的事情。提升內存使用效率的使用的方案一般有兩種,第一種:數據全部加載并且常駐內存。第二種:數據使用時加載進內存,統一加上定長的過期時間,過期時間一到,數據也就刪除了,釋放內存。
2、第一種方案:常駐內存,優點自然是無論使用哪種數據都能快速的存取。但是缺點是在大量數據不用的時候,造成內存的大量浪費,會付出巨大的成本。第二種方案:加上定長的過期時間,相比第一種方案,會在閑暇時釋放一些內存,但是在某些數據經常使用,某些數據某段時間不經常使用的情況下,仍然會有大量時間存在暫時不使用的數據,造成內存的浪費,降低內存使用率。
技術實現思路
1、本公開的內容部分用于以簡要的形式介紹構思,這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征,也不旨在用于限制所要求的保護的技術方案的范圍。
2、本公開的一些實施例提出了一種數據處理方法、裝置、電子設備和計算機可讀介質,來解決以上
技術介紹
部分提到的技術問題。
3、第一方面,本公開的一些實施例提
4、第二方面,本公開的一些實施例提供了一種數據處理裝置,裝置包括:獲取單元,被配置成獲取目標數據庫的訪問信息;構建單元,被配置成根據上述訪問信息構建關于上述目標數據庫的時間輪;確定單元,被配置成根據上述時間輪確定目標數據庫中的目標數據的數據溫度;處理單元,被配置成根據上述目標數據的數據溫度對上述目標數據進行處理。
5、第三方面,本申請實施例提供了一種電子設備,該電子設備包括:一個或多個處理器;存儲裝置,用于存儲一個或多個程序;當一個或多個程序被一個或多個處理器執行,使得一個或多個處理器實現如第一方面中任一實現方式描述的方法。
6、第四方面,本申請實施例提供了一種計算機可讀介質,其上存儲有計算機程序,該計算機程序被處理器執行時實現如第一方面中任一實現方式描述的方法。
7、本公開的上述各個實施例中的一個實施例具有如下有益效果:通過使用環形隊列和hashmap結合的數據結構,能夠在常數時間內查找、更新訪問key的值,使得數據存取和統計的效率得到提升。根據數據的訪問頻率和重要性將其分為冷、溫、熱數據,針對性地縮短或延長數據的過期時間,這種分類處理能夠更好地滿足不同數據類型的存儲需求,提高內存空間的利用率和維護成本。在遇到進程重啟或者斷電停機的情況下,能夠重新加載數據表中持久化的日志信息,自動恢復內存中丟失的緩存key的統計信息,使得系統更加健壯可靠,減少了人工干預的必要性。時間輪數據結構具有很高的靈活性,可以根據實際情況調整時間輪的大小、槽的數量以及槽的偏移量等參數,以適應不同的應用場景和需求。通過給類似時間輪數據結構中的訪問key加1,該方案能夠實時統計緩存數據的訪問頻率和熱度,為后續的緩存管理和優化提供參考依據。緩存數據庫冷熱數據自適應存儲方法可以方便地擴展到更大的系統規模和更復雜的應用場景中,具有較好的可擴展性和適應性。通過針對性地縮短或延長數據的過期時間,該方案能夠減少無效數據的長期存儲和維護成本,同時減輕系統負載和提高性能。通過將緩存鍵的日志記錄持久化到數據表中,該方案能夠確保在緩存數據發生變更或失效時,可以從數據表中進行回溯或審計,提高了數據的安全性和可靠性。
本文檔來自技高網...【技術保護點】
1.一種數據處理方法,包括:
2.根據權利要求1所述的方法,其中,所述訪問信息包括主鍵ID,緩存key,緩存訪問時間,刪除信息。
3.根據權利要求1所述的方法,其中,所述根據所述訪問信息構建關于所述目標數據庫的時間輪,包括:
4.根據權利要求1所述的方法,其中,所述數據溫度包括:冷數據溫度、溫數據溫度和熱數據溫度。
5.根據權利要求1所述的方法,其中,所述根據所述目標數據的數據溫度對所述目標數據進行處理,包括:
6.一種數據處理裝置,包括:
7.一種電子設備,包括:
8.一種計算機可讀介質,其上存儲有計算機程序,其中,所述程序被處理器執行時實現如權利要求1-5中任一所述的方法。
【技術特征摘要】
1.一種數據處理方法,包括:
2.根據權利要求1所述的方法,其中,所述訪問信息包括主鍵id,緩存key,緩存訪問時間,刪除信息。
3.根據權利要求1所述的方法,其中,所述根據所述訪問信息構建關于所述目標數據庫的時間輪,包括:
4.根據權利要求1所述的方法,其中,所述數據溫度包括:冷數據溫度、溫數據...
【專利技術屬性】
技術研發人員:劉浩,
申請(專利權)人:北京正和島信息科技有限公司,
類型:發明
國別省市:
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。