【技術(shù)實(shí)現(xiàn)步驟摘要】
本公開涉及大數(shù)據(jù)，特別是涉及一種緩存數(shù)據(jù)處理方法、相關(guān)裝置和介質(zhì)。
技術(shù)介紹
1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，為了提高各種數(shù)據(jù)的查詢效率，各個(gè)對(duì)象常常會(huì)將各種數(shù)據(jù)存儲(chǔ)在一個(gè)緩存空間里；從而在需要用到某一些數(shù)據(jù)時(shí)，可以直接從緩存空間抓取。但是，緩存空間的存儲(chǔ)內(nèi)存往往是有限的，因此，在緩存空間的可用內(nèi)存不足時(shí)，為了將新的數(shù)據(jù)進(jìn)行緩存，常常需要將緩存空間中不常用的舊數(shù)據(jù)進(jìn)行移除。
2、目前，大多數(shù)的緩存處理方法常常采取既定的緩存淘汰算法來確定應(yīng)當(dāng)從緩存空間中移除哪些數(shù)據(jù)。然而，對(duì)象在不同的時(shí)間、不同的環(huán)境中對(duì)緩存空間的數(shù)據(jù)的需求情況是不同的，上述方式往往無法適應(yīng)于對(duì)象的數(shù)據(jù)讀寫習(xí)慣的變化，可能會(huì)出現(xiàn)將復(fù)用概率高的數(shù)據(jù)錯(cuò)誤移除，將復(fù)用概率低的數(shù)據(jù)長(zhǎng)期保存的情況，不利于提高緩存數(shù)據(jù)的復(fù)用率。
技術(shù)實(shí)現(xiàn)思路
1、本公開實(shí)施例提供了一種緩存數(shù)據(jù)處理方法、相關(guān)裝置和介質(zhì)，它能夠靈活地調(diào)整緩存空間的緩存數(shù)據(jù)，提高緩存數(shù)據(jù)的復(fù)用率。
2、根據(jù)本公開的一方面，提供了一種緩存數(shù)據(jù)處理方法，包括：
3、獲取待存儲(chǔ)的第一緩存數(shù)據(jù)、和所述第一緩存數(shù)據(jù)的環(huán)境上下文數(shù)據(jù)；
4、將所述環(huán)境上下文數(shù)據(jù)輸入預(yù)測(cè)模型，得到所述第一緩存數(shù)據(jù)的第一數(shù)據(jù)復(fù)用概率；其中，所述預(yù)測(cè)模型在預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，通過所述神經(jīng)網(wǎng)絡(luò)模型對(duì)樣本緩存數(shù)據(jù)的復(fù)用預(yù)測(cè)結(jié)果、和所述樣本緩存數(shù)據(jù)的真實(shí)復(fù)用結(jié)果的比對(duì)調(diào)整得到；所述復(fù)用預(yù)測(cè)結(jié)果經(jīng)由所述神經(jīng)網(wǎng)絡(luò)模型根據(jù)所述樣本緩存數(shù)據(jù)的樣本環(huán)境數(shù)據(jù)預(yù)測(cè)得到
5、確定預(yù)設(shè)的緩存空間中多個(gè)第二緩存數(shù)據(jù)的第二數(shù)據(jù)復(fù)用概率；
6、如果確定所述第一緩存數(shù)據(jù)未存儲(chǔ)在所述緩存空間內(nèi)，則基于所述第一數(shù)據(jù)復(fù)用概率與所述第二數(shù)據(jù)復(fù)用概率的比對(duì)，對(duì)所述第一緩存數(shù)據(jù)進(jìn)行緩存處理。
7、根據(jù)本公開的一方面，提供了一種緩存數(shù)據(jù)處理裝置，包括：
8、獲取單元，用于獲取待存儲(chǔ)的第一緩存數(shù)據(jù)、和所述第一緩存數(shù)據(jù)的環(huán)境上下文數(shù)據(jù)；
9、預(yù)測(cè)單元，用于將所述環(huán)境上下文數(shù)據(jù)輸入預(yù)測(cè)模型，得到所述第一緩存數(shù)據(jù)的第一數(shù)據(jù)復(fù)用概率；其中，所述預(yù)測(cè)模型在預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上，通過所述神經(jīng)網(wǎng)絡(luò)模型對(duì)樣本緩存數(shù)據(jù)的復(fù)用預(yù)測(cè)結(jié)果、和所述樣本緩存數(shù)據(jù)的真實(shí)復(fù)用結(jié)果的比對(duì)調(diào)整得到；所述復(fù)用預(yù)測(cè)結(jié)果經(jīng)由所述神經(jīng)網(wǎng)絡(luò)模型根據(jù)所述樣本緩存數(shù)據(jù)的樣本環(huán)境數(shù)據(jù)預(yù)測(cè)得到；
10、確定單元，用于確定預(yù)設(shè)的緩存空間中多個(gè)第二緩存數(shù)據(jù)的第二數(shù)據(jù)復(fù)用概率；
11、處理單元，用于如果確定所述第一緩存數(shù)據(jù)未存儲(chǔ)在所述緩存空間內(nèi)，則基于所述第一數(shù)據(jù)復(fù)用概率與所述第二數(shù)據(jù)復(fù)用概率的比對(duì)，對(duì)所述第一緩存數(shù)據(jù)進(jìn)行緩存處理。
12、可選地，所述處理單元具體包括：
13、存儲(chǔ)單元，用于如果確定所述緩存空間的可存儲(chǔ)數(shù)據(jù)量大于或者等于所述第一緩存數(shù)據(jù)的數(shù)據(jù)量，則直接將所述第一緩存數(shù)據(jù)存儲(chǔ)至所述緩存空間；
14、比對(duì)單元，用于如果確定所述緩存空間的可存儲(chǔ)數(shù)據(jù)量小于所述第一緩存數(shù)據(jù)的數(shù)據(jù)量，則基于所述第一數(shù)據(jù)復(fù)用概率和所述第二數(shù)據(jù)復(fù)用概率的比對(duì)，對(duì)所述第一緩存數(shù)據(jù)進(jìn)行緩存處理。
15、可選地，所述比對(duì)單元，用于：
16、如果所有所述第二數(shù)據(jù)復(fù)用概率均大于所述第一數(shù)據(jù)復(fù)用概率，則放棄將所述第一數(shù)據(jù)復(fù)用概率存儲(chǔ)至所述緩存空間；
17、如果存在所述第二數(shù)據(jù)復(fù)用概率小于所述第一數(shù)據(jù)復(fù)用概率，則將所述緩存空間中所述第二數(shù)據(jù)復(fù)用概率排在后預(yù)定名次的第二緩存數(shù)據(jù)刪除，并將所述第一緩存數(shù)據(jù)存儲(chǔ)至所述緩存空間。
18、可選地，所述緩存數(shù)據(jù)處理裝置還包括更新單元，所述更新單元用于：
19、按照預(yù)設(shè)周期對(duì)所述環(huán)境上下文數(shù)據(jù)進(jìn)行更新，得到更新后環(huán)境上下文數(shù)據(jù)；
20、將所述更新后環(huán)境上下文數(shù)據(jù)輸入所述預(yù)測(cè)模型，得到所述第二緩存數(shù)據(jù)的更新后第二數(shù)據(jù)復(fù)用概率；
21、基于所述更新后第二數(shù)據(jù)復(fù)用概率，更新所述緩存空間的各個(gè)所述第二緩存數(shù)據(jù)的數(shù)據(jù)復(fù)用概率。
22、可選地，所述緩存數(shù)據(jù)處理裝置還包括預(yù)加載單元，所述預(yù)加載單元用于：
23、獲取當(dāng)前設(shè)備負(fù)載；
24、如果確定所述當(dāng)前設(shè)備負(fù)載小于第一閾值，則從多個(gè)所述第二緩存數(shù)據(jù)中篩選所述更新后第二數(shù)據(jù)復(fù)用概率大于第二閾值的第二緩存數(shù)據(jù)，作為目標(biāo)緩存數(shù)據(jù)，以基于所述目標(biāo)緩存數(shù)據(jù)觸發(fā)數(shù)據(jù)預(yù)加載。
25、可選地，所述緩存數(shù)據(jù)處理裝置還包括概率更新單元，所述概率更新單元用于：
26、如果所述緩存空間中存在一個(gè)所述第二緩存數(shù)據(jù)與所述第一緩存數(shù)據(jù)一致，則確定所述第一緩存數(shù)據(jù)已經(jīng)被存儲(chǔ)在所述緩存空間內(nèi)；
27、基于所述第一數(shù)據(jù)復(fù)用概率，更新與所述第一緩存數(shù)據(jù)一致的所述第二緩存數(shù)據(jù)的第二數(shù)據(jù)復(fù)用概率。
28、可選地，所述預(yù)測(cè)模型包括嵌入層、循環(huán)神經(jīng)網(wǎng)絡(luò)、和預(yù)設(shè)函數(shù)；所述預(yù)測(cè)單元具體用于：
29、基于所述嵌入層將所述環(huán)境上下文數(shù)據(jù)轉(zhuǎn)化成環(huán)境上下文張量；
30、基于所述循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)所述環(huán)境上下文張量進(jìn)行全連接計(jì)算，得到所述第一緩存數(shù)據(jù)的緩存序列特征；
31、基于所述緩存序列特征，通過所述預(yù)設(shè)函數(shù)對(duì)所述第一緩存數(shù)據(jù)進(jìn)行復(fù)用概率預(yù)測(cè)，得到所述第一數(shù)據(jù)復(fù)用概率。
32、可選地，所述預(yù)測(cè)模型在所述神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上通過以下方式調(diào)整得到：
33、計(jì)算單元，用于基于多個(gè)所述樣本緩存數(shù)據(jù)的所述復(fù)用預(yù)測(cè)結(jié)果、和所述真實(shí)復(fù)用結(jié)果，計(jì)算目標(biāo)損失函數(shù)；
34、第一調(diào)整單元，用于基于所述目標(biāo)損失函數(shù)對(duì)所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行第一調(diào)整，得到中間模型；
35、第二調(diào)整單元，用于基于測(cè)試樣本數(shù)據(jù)對(duì)所述中間模型進(jìn)行第二調(diào)整，得到所述預(yù)測(cè)模型。
36、可選地，所述計(jì)算單元，具體用于：
37、針對(duì)每個(gè)所述樣本緩存數(shù)據(jù)，計(jì)算所述真實(shí)復(fù)用結(jié)果和所述復(fù)用預(yù)測(cè)結(jié)果的差的平方，并將所述差的平方作為所述樣本緩存數(shù)據(jù)的子損失函數(shù)；
38、將多個(gè)所述樣本緩存數(shù)據(jù)的子損失函數(shù)進(jìn)行求平均，得到所述目標(biāo)損失函數(shù)。
39、可選地，所述測(cè)試樣本數(shù)據(jù)包括各個(gè)測(cè)試緩存數(shù)據(jù)、測(cè)試環(huán)境上下文數(shù)據(jù)、以及各個(gè)測(cè)試緩存數(shù)據(jù)的讀寫數(shù)據(jù)；
40、所述第二調(diào)整單元，具體用于：
41、將所述測(cè)試環(huán)境上下文數(shù)據(jù)輸入至所述中間模型，得到每個(gè)所述測(cè)試緩存數(shù)據(jù)的復(fù)用預(yù)測(cè)概率；
42、基于所述各個(gè)測(cè)試緩存數(shù)據(jù)的讀寫數(shù)據(jù)，計(jì)算每個(gè)所述測(cè)試緩存數(shù)據(jù)的真實(shí)復(fù)用概率；
43、基于所述復(fù)用預(yù)測(cè)概率、和所述真實(shí)復(fù)用概率，計(jì)算模型損失值；
44、基于所述復(fù)用預(yù)測(cè)概率、和所述真實(shí)復(fù)用概率，確定所述復(fù)用預(yù)測(cè)概率和所述真實(shí)復(fù)用概率一致的測(cè)試緩存數(shù)據(jù)的第一數(shù)目；
45、基于所述模型損失值、所述第一數(shù)目、以及所述測(cè)試緩存數(shù)據(jù)的總數(shù)目對(duì)所述中間模型進(jìn)行第二調(diào)整，得到所述預(yù)測(cè)模型。
46、可選地，所述復(fù)用計(jì)本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種緩存數(shù)據(jù)處理方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，所述基于所述第一數(shù)據(jù)復(fù)用概率與所述第二數(shù)據(jù)復(fù)用概率的比對(duì)，對(duì)所述第一緩存數(shù)據(jù)進(jìn)行緩存處理，包括：
3.根據(jù)權(quán)利要求2所述的緩存數(shù)據(jù)處理方法，其特征在于，所述基于所述第一數(shù)據(jù)復(fù)用概率和所述第二數(shù)據(jù)復(fù)用概率的比對(duì)，對(duì)所述第一緩存數(shù)據(jù)進(jìn)行緩存處理，包括：
4.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，在所述對(duì)所述第一緩存數(shù)據(jù)進(jìn)行緩存處理之后，所述方法還包括：
5.根據(jù)權(quán)利要求4所述的緩存數(shù)據(jù)處理方法，其特征在于，所述得到所述第二緩存數(shù)據(jù)的更新后第二數(shù)據(jù)復(fù)用概率之后，所述方法還包括：
6.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，在所述將所述環(huán)境上下文數(shù)據(jù)輸入預(yù)測(cè)模型，得到所述第一緩存數(shù)據(jù)的第一數(shù)據(jù)復(fù)用概率之后，所述方法還包括：
7.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，所述預(yù)測(cè)模型包括嵌入層、循環(huán)神經(jīng)網(wǎng)絡(luò)、和預(yù)設(shè)函數(shù)；
8.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，所述
9.根據(jù)權(quán)利要求8所述的緩存數(shù)據(jù)處理方法，其特征在于，所述基于多個(gè)所述樣本緩存數(shù)據(jù)的所述復(fù)用預(yù)測(cè)結(jié)果、和所述真實(shí)復(fù)用結(jié)果，計(jì)算目標(biāo)損失函數(shù)，包括：
10.根據(jù)權(quán)利要求8所述的緩存數(shù)據(jù)處理方法，其特征在于，所述測(cè)試樣本數(shù)據(jù)包括各個(gè)測(cè)試緩存數(shù)據(jù)、測(cè)試環(huán)境上下文數(shù)據(jù)、以及各個(gè)測(cè)試緩存數(shù)據(jù)的讀寫數(shù)據(jù)；
11.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，所述真實(shí)復(fù)用結(jié)果通過以下方式得到：
12.根據(jù)權(quán)利要求11所述的緩存數(shù)據(jù)處理方法，其特征在于，所述針對(duì)每個(gè)所述樣本緩存數(shù)據(jù)，基于所述讀取次數(shù)、所述寫入次數(shù)、所述緩存讀取總次數(shù)、和所述緩存寫入總次數(shù)，確定所述真實(shí)復(fù)用結(jié)果，包括：
13.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，所述復(fù)用預(yù)測(cè)結(jié)果通過以下方式預(yù)測(cè)得到：
14.根據(jù)權(quán)利要求13所述的緩存數(shù)據(jù)處理方法，其特征在于，所述樣本環(huán)境數(shù)據(jù)包括對(duì)象標(biāo)識(shí)、觸發(fā)事件、日志信息、設(shè)備信息、時(shí)間信息、和附加信息；
15.根據(jù)權(quán)利要求14所述的緩存數(shù)據(jù)處理方法，其特征在于，所述基于預(yù)設(shè)的第四張量將所述設(shè)備信息轉(zhuǎn)換成設(shè)備信息張量，包括：
16.根據(jù)權(quán)利要求14所述的緩存數(shù)據(jù)處理方法，其特征在于，所述基于預(yù)設(shè)的第二張量將所述觸發(fā)事件轉(zhuǎn)換成觸發(fā)事件張量，包括：
17.一種緩存數(shù)據(jù)處理裝置，其特征在于，所述緩存數(shù)據(jù)處理裝置包括：
18.一種電子設(shè)備，包括存儲(chǔ)器和處理器，所述存儲(chǔ)器存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)權(quán)利要求1至16任意一項(xiàng)所述的緩存數(shù)據(jù)處理方法。
19.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)權(quán)利要求1至16任意一項(xiàng)所述的緩存數(shù)據(jù)處理方法。
20.一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被計(jì)算機(jī)設(shè)備的處理器讀取并執(zhí)行，使得該計(jì)算機(jī)設(shè)備執(zhí)行權(quán)利要求1至16任意一項(xiàng)所述的緩存數(shù)據(jù)處理方法。
...【技術(shù)特征摘要】
1.一種緩存數(shù)據(jù)處理方法，其特征在于，包括：
2.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，所述基于所述第一數(shù)據(jù)復(fù)用概率與所述第二數(shù)據(jù)復(fù)用概率的比對(duì)，對(duì)所述第一緩存數(shù)據(jù)進(jìn)行緩存處理，包括：
3.根據(jù)權(quán)利要求2所述的緩存數(shù)據(jù)處理方法，其特征在于，所述基于所述第一數(shù)據(jù)復(fù)用概率和所述第二數(shù)據(jù)復(fù)用概率的比對(duì)，對(duì)所述第一緩存數(shù)據(jù)進(jìn)行緩存處理，包括：
4.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，在所述對(duì)所述第一緩存數(shù)據(jù)進(jìn)行緩存處理之后，所述方法還包括：
5.根據(jù)權(quán)利要求4所述的緩存數(shù)據(jù)處理方法，其特征在于，所述得到所述第二緩存數(shù)據(jù)的更新后第二數(shù)據(jù)復(fù)用概率之后，所述方法還包括：
6.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，在所述將所述環(huán)境上下文數(shù)據(jù)輸入預(yù)測(cè)模型，得到所述第一緩存數(shù)據(jù)的第一數(shù)據(jù)復(fù)用概率之后，所述方法還包括：
7.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，所述預(yù)測(cè)模型包括嵌入層、循環(huán)神經(jīng)網(wǎng)絡(luò)、和預(yù)設(shè)函數(shù)；
8.根據(jù)權(quán)利要求1所述的緩存數(shù)據(jù)處理方法，其特征在于，所述預(yù)測(cè)模型在所述神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)上通過以下方式調(diào)整得到：
9.根據(jù)權(quán)利要求8所述的緩存數(shù)據(jù)處理方法，其特征在于，所述基于多個(gè)所述樣本緩存數(shù)據(jù)的所述復(fù)用預(yù)測(cè)結(jié)果、和所述真實(shí)復(fù)用結(jié)果，計(jì)算目標(biāo)損失函數(shù)，包括：
10.根據(jù)權(quán)利要求8所述的緩存數(shù)據(jù)處理方法，其特征在于，所述測(cè)試樣本數(shù)據(jù)包括各個(gè)測(cè)試緩存數(shù)據(jù)、測(cè)試環(huán)境上下文數(shù)據(jù)、以及各個(gè)測(cè)試緩存數(shù)據(jù)的讀寫數(shù)據(jù)；
11.根據(jù)權(quán)利要求1所述...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：劉一為，王乾，
申請(qǐng)(專利權(quán))人：騰訊科技深圳有限公司，
類型：發(fā)明
國(guó)別省市：
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。