【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及積分領(lǐng)域，特別是涉及一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)lru優(yōu)化的方法。
技術(shù)介紹
1、關(guān)于操作系統(tǒng)的內(nèi)存管理，如何節(jié)省利用容量不大的內(nèi)存為最多的進(jìn)程提供資源，一直是研究的重要方向。而內(nèi)存的虛擬存儲管理，是現(xiàn)在最通用，最成功的方式——在內(nèi)存有限的情況下，擴(kuò)展一部分外存作為虛擬內(nèi)存，真正的內(nèi)存只存儲當(dāng)前運(yùn)行時(shí)所用得到信息。這無疑極大地?cái)U(kuò)充了內(nèi)存的功能，極大地提高了計(jì)算機(jī)的并發(fā)度。虛擬頁式存儲管理，則是將進(jìn)程所需空間劃分為多個(gè)頁面，內(nèi)存中只存放當(dāng)前所需頁面，其余頁面放入外存的管理方式。
2、然而，有利就有弊，虛擬頁式存儲管理減少了進(jìn)程所需的內(nèi)存空間，卻也帶來了運(yùn)行時(shí)間變長這一缺點(diǎn)：進(jìn)程運(yùn)行過程中，不可避免地要把在外存中存放的一些信息和內(nèi)存中已有的進(jìn)行交換，由于外存的低速，這一步驟所花費(fèi)的時(shí)間不可忽略。因而，采取盡量好的算法以減少讀取外存的次數(shù)，顯得非常有必要。lru算法是解決問題的主流算法之一。
3、lru是least?recently?used的縮寫，即最近最少使用，是一種常用的頁面置換算法，選擇最近最久未使用的頁面予以淘汰。該算法賦予每個(gè)頁面一個(gè)訪問字段，用來記錄一個(gè)頁面自上次被訪問以來所經(jīng)歷的時(shí)間?t，當(dāng)須淘汰一個(gè)頁面時(shí)，選擇現(xiàn)有頁面中其?t?值最大的，即最近最少使用的頁面予以淘汰。
4、?lru實(shí)現(xiàn)簡單，在一般情況下能夠表現(xiàn)出很好的命中率，是一個(gè)“性價(jià)比”很高的算法，平時(shí)也很常用。雖然lru對突發(fā)性的稀疏流量（sparse?bursts）表現(xiàn)很好，但同時(shí)也會產(chǎn)生緩存污染，舉例來說
5、所以需要在當(dāng)前時(shí)序緯度的算法基礎(chǔ)上，增加多種業(yè)務(wù)應(yīng)用統(tǒng)計(jì)屬性，并通過應(yīng)用統(tǒng)計(jì)屬性預(yù)測緩存優(yōu)先級，來彌補(bǔ)lru在應(yīng)用中的準(zhǔn)確率缺陷，實(shí)現(xiàn)lru的改進(jìn)和優(yōu)化。本專利技術(shù)專利正是基于此思想來實(shí)現(xiàn)。
技術(shù)實(shí)現(xiàn)思路
1、本專利技術(shù)提供了一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)lru優(yōu)化的方法。在傳統(tǒng)lru算法基礎(chǔ)上，增加基于使用時(shí)間維度+多種業(yè)務(wù)維度的多維度標(biāo)簽，并通過統(tǒng)計(jì)業(yè)務(wù)標(biāo)簽的使用時(shí)間及頻率，來預(yù)測某個(gè)緩存的優(yōu)先級，淘汰優(yōu)先級最低的緩存，實(shí)現(xiàn)lru在應(yīng)用過程中準(zhǔn)確率的優(yōu)化和提升。本專利技術(shù)包括緩存及標(biāo)簽?zāi)Ｐ湍K、緩存標(biāo)簽及歷史數(shù)據(jù)維護(hù)模塊、緩存標(biāo)簽預(yù)測及是使用統(tǒng)計(jì)模塊、緩存優(yōu)先級計(jì)算及使用次數(shù)維護(hù)模塊、緩存優(yōu)先級淘汰模塊、緩存使用模塊。
2、1.?緩存及標(biāo)簽?zāi)Ｐ湍K：
3、(1)每個(gè)緩存在生成的時(shí)候有一個(gè)唯一id，同時(shí)內(nèi)置固定的優(yōu)先級別、最近使用次數(shù)（15分鐘）、最近使用時(shí)間?。另外每個(gè)緩存支持動態(tài)的業(yè)務(wù)標(biāo)簽維護(hù)；
4、(2)每個(gè)標(biāo)簽為一個(gè)全局的標(biāo)簽，包含最近使用時(shí)間、使用時(shí)長、空閑時(shí)長、最近使用次數(shù)、標(biāo)簽id；
5、(3)標(biāo)簽歷史記錄按照時(shí)間進(jìn)行維護(hù)（比如間隔5秒），相同時(shí)段內(nèi)的記錄使用次數(shù)。
6、緩存及標(biāo)簽?zāi)Ｐ瓦壿嬍纠鐖D1所示。
7、2.緩存標(biāo)簽及歷史數(shù)據(jù)維護(hù)模塊：在給一個(gè)緩存通過標(biāo)簽id添加一個(gè)業(yè)務(wù)標(biāo)簽的時(shí)候，如果標(biāo)簽不存在會生成一個(gè)全局的標(biāo)簽信息，標(biāo)簽的下次使用時(shí)間為當(dāng)前時(shí)段。每次緩存命中的時(shí)候，都增加緩存所有標(biāo)簽最新使用歷史記錄，同時(shí)更新相同時(shí)段的歷史記錄增加使用次數(shù)。
8、3.緩存標(biāo)簽預(yù)測及是使用統(tǒng)計(jì)模塊：
9、(1)標(biāo)簽的使用次數(shù)為使用次數(shù)為計(jì)算時(shí)間內(nèi)的所有使用次數(shù)；
10、(2)過濾出最近統(tǒng)計(jì)時(shí)間內(nèi)時(shí)段使用次數(shù)大于閥值的歷史記錄，時(shí)間段連續(xù)的記錄合并為一條記錄，兩條歷史記錄的時(shí)間跨度為歷史記錄的使用時(shí)長。相鄰兩條記錄之間的開始使用時(shí)間之差為記錄空閑時(shí)間。
11、歷史記錄過濾方法如圖2所示。
12、把它們按照從近到遠(yuǎn)權(quán)重遞減分配不同的權(quán)重，最后根據(jù)公式（如圖3）計(jì)算出緩存標(biāo)簽的使用時(shí)長和空閑時(shí)長。其中：
13、ai?某個(gè)時(shí)段百分比權(quán)重；
14、βi?:?某個(gè)時(shí)段使用時(shí)長或者空閑時(shí)長；
15、n?:?合并后的時(shí)段數(shù)。
16、3.緩存優(yōu)先級計(jì)算及使用次數(shù)維護(hù)模塊：
17、(1)如果當(dāng)前時(shí)間在緩存標(biāo)簽最近使用時(shí)間和緩存標(biāo)簽最近使用時(shí)間?+?使用時(shí)長?，表示緩存有效，預(yù)計(jì)使用時(shí)間為立刻；
18、(2)?無效緩沖的當(dāng)前時(shí)間?+?空閑時(shí)長作為緩存標(biāo)簽的預(yù)計(jì)使用時(shí)間；
19、(3)緩存優(yōu)先級最高1級，最低10級?，優(yōu)先級公式=（當(dāng)前時(shí)間?-?緩存預(yù)計(jì)使用時(shí)間）/?優(yōu)先級時(shí)長?+?1，大于10的全部按照10進(jìn)行計(jì)算；
20、(4)取預(yù)計(jì)時(shí)間最近的緩存標(biāo)簽作為緩存的統(tǒng)計(jì)標(biāo)簽來計(jì)算優(yōu)先級，使用記錄為最近緩存標(biāo)簽的使用記錄。
21、4.緩存優(yōu)先級淘汰模塊：定期檢查緩存信息，在發(fā)現(xiàn)緩存記錄大于最大緩存時(shí)啟動緩存淘汰機(jī)制，緩存淘汰優(yōu)先級最高的緩存，如果優(yōu)先級相等淘汰使用次數(shù)最少的緩存。
22、5.緩存使用模塊：一個(gè)業(yè)務(wù)系統(tǒng)在使用緩存之前先對緩存進(jìn)行全局的業(yè)務(wù)標(biāo)簽規(guī)劃，定義要使用的標(biāo)簽規(guī)則，在保存緩存的時(shí)候傳入緩存id、相關(guān)標(biāo)簽id，及緩存的內(nèi)容，在使用過程中也可以動態(tài)的維護(hù)緩存的標(biāo)簽，獲取緩存內(nèi)容的時(shí)候只要傳入緩存id即可。
本文檔來自技高網(wǎng)...【技術(shù)保護(hù)點(diǎn)】
1.一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)LRU優(yōu)化的方法其特征在于：在傳統(tǒng)LRU算法基礎(chǔ)上，增加基于使用時(shí)間維度+多種業(yè)務(wù)維度的多維度標(biāo)簽，并通過統(tǒng)計(jì)業(yè)務(wù)標(biāo)簽的使用時(shí)間及頻率，來預(yù)測某個(gè)緩存的優(yōu)先級，淘汰優(yōu)先級最低的緩存，實(shí)現(xiàn)LRU在應(yīng)用過程中準(zhǔn)確率的優(yōu)化和提升。
2.本專利技術(shù)包括緩存及標(biāo)簽?zāi)Ｐ湍K、緩存標(biāo)簽及歷史數(shù)據(jù)維護(hù)模塊、緩存標(biāo)簽預(yù)測及是使用統(tǒng)計(jì)模塊、緩存優(yōu)先級計(jì)算及使用次數(shù)維護(hù)模塊、緩存優(yōu)先級淘汰模塊、緩存使用模塊。
3.根據(jù)權(quán)利要求1所述的一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)LRU優(yōu)化的方法其特征在于，其特征在于：緩存及標(biāo)簽?zāi)Ｐ湍K：每個(gè)緩存在生成的時(shí)候有一個(gè)唯一ID，同時(shí)內(nèi)置固定的優(yōu)先級別、最近使用次數(shù)（15分鐘）、最近使用時(shí)間；另外每個(gè)緩存支持動態(tài)的業(yè)務(wù)標(biāo)簽維護(hù)；每個(gè)標(biāo)簽為一個(gè)全局的標(biāo)簽，包含最近使用時(shí)間、使用時(shí)長、空閑時(shí)長、最近使用次數(shù)、標(biāo)簽ID；標(biāo)簽歷史記錄按照時(shí)間進(jìn)行維護(hù)（比如間隔5秒），相同時(shí)段內(nèi)的記錄使用次數(shù)。
4.根據(jù)權(quán)利要求1所述的一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)LRU優(yōu)化的方法其特征在于，其特征在于：緩存標(biāo)簽及歷史數(shù)據(jù)維護(hù)模塊
5.根據(jù)權(quán)利要求1所述的一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)LRU優(yōu)化的方法其特征在于，其特征在于：緩存標(biāo)簽預(yù)測及是使用統(tǒng)計(jì)模塊：標(biāo)簽的使用次數(shù)為使用次數(shù)為計(jì)算時(shí)間內(nèi)的所有使用次數(shù)；過濾出最近統(tǒng)計(jì)時(shí)間內(nèi)時(shí)段使用次數(shù)大于閥值的歷史記錄，時(shí)間段連續(xù)的記錄合并為一條記錄，兩條歷史記錄的時(shí)間跨度為歷史記錄的使用時(shí)長；相鄰兩條記錄之間的開始使用時(shí)間之差為記錄空閑時(shí)間；把它們按照從近到遠(yuǎn)權(quán)重遞減分配不同的權(quán)重，最后根據(jù)公式（如圖3）計(jì)算出緩存標(biāo)簽的使用時(shí)長和空閑時(shí)長，其中：ai某個(gè)時(shí)段百分比權(quán)重；βi?:?某個(gè)時(shí)段使用時(shí)長或者空閑時(shí)長；n?:合并后的時(shí)段數(shù)。
6.根據(jù)權(quán)利要求1所述的一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)LRU優(yōu)化的方法其特征在于，其特征在于：緩存優(yōu)先級計(jì)算及使用次數(shù)維護(hù)模塊：如果當(dāng)前時(shí)間在緩存標(biāo)簽最近使用時(shí)間和緩存標(biāo)簽最近使用時(shí)間?+?使用時(shí)長?，表示緩存有效，預(yù)計(jì)使用時(shí)間為立刻；無效緩沖的當(dāng)前時(shí)間?+?空閑時(shí)長作為緩存標(biāo)簽的預(yù)計(jì)使用時(shí)間；緩存優(yōu)先級最高1級，最低10級，優(yōu)先級公式=（當(dāng)前時(shí)間?-?緩存預(yù)計(jì)使用時(shí)間）/?優(yōu)先級時(shí)長?+?1，大于10的全部按照10進(jìn)行計(jì)算；取預(yù)計(jì)時(shí)間最近的緩存標(biāo)簽作為緩存的統(tǒng)計(jì)標(biāo)簽來計(jì)算優(yōu)先級，使用記錄為最近緩存標(biāo)簽的使用記錄。
7.根據(jù)權(quán)利要求1所述的一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)LRU優(yōu)化的方法其特征在于，其特征在于：緩存優(yōu)先級淘汰模塊：定期檢查緩存信息，在發(fā)現(xiàn)緩存記錄大于最大緩存時(shí)啟動緩存淘汰機(jī)制，緩存淘汰優(yōu)先級最高的緩存，如果優(yōu)先級相等淘汰使用次數(shù)最少的緩存。
8.根據(jù)權(quán)利要求1所述的一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)LRU優(yōu)化的方法其特征在于，其特征在于：緩存使用模塊：一個(gè)業(yè)務(wù)系統(tǒng)在使用緩存之前先對緩存進(jìn)行全局的業(yè)務(wù)標(biāo)簽規(guī)劃，定義要使用的標(biāo)簽規(guī)則，在保存緩存的時(shí)候傳入緩存ID、相關(guān)標(biāo)簽ID，及緩存的內(nèi)容，在使用過程中也可以動態(tài)的維護(hù)緩存的標(biāo)簽，獲取緩存內(nèi)容的時(shí)候只要傳入緩存ID即可。
...【技術(shù)特征摘要】
1.一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)lru優(yōu)化的方法其特征在于：在傳統(tǒng)lru算法基礎(chǔ)上，增加基于使用時(shí)間維度+多種業(yè)務(wù)維度的多維度標(biāo)簽，并通過統(tǒng)計(jì)業(yè)務(wù)標(biāo)簽的使用時(shí)間及頻率，來預(yù)測某個(gè)緩存的優(yōu)先級，淘汰優(yōu)先級最低的緩存，實(shí)現(xiàn)lru在應(yīng)用過程中準(zhǔn)確率的優(yōu)化和提升。
2.本發(fā)明包括緩存及標(biāo)簽?zāi)Ｐ湍K、緩存標(biāo)簽及歷史數(shù)據(jù)維護(hù)模塊、緩存標(biāo)簽預(yù)測及是使用統(tǒng)計(jì)模塊、緩存優(yōu)先級計(jì)算及使用次數(shù)維護(hù)模塊、緩存優(yōu)先級淘汰模塊、緩存使用模塊。
3.根據(jù)權(quán)利要求1所述的一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)lru優(yōu)化的方法其特征在于，其特征在于：緩存及標(biāo)簽?zāi)Ｐ湍K：每個(gè)緩存在生成的時(shí)候有一個(gè)唯一id，同時(shí)內(nèi)置固定的優(yōu)先級別、最近使用次數(shù)（15分鐘）、最近使用時(shí)間；另外每個(gè)緩存支持動態(tài)的業(yè)務(wù)標(biāo)簽維護(hù)；每個(gè)標(biāo)簽為一個(gè)全局的標(biāo)簽，包含最近使用時(shí)間、使用時(shí)長、空閑時(shí)長、最近使用次數(shù)、標(biāo)簽id；標(biāo)簽歷史記錄按照時(shí)間進(jìn)行維護(hù)（比如間隔5秒），相同時(shí)段內(nèi)的記錄使用次數(shù)。
4.根據(jù)權(quán)利要求1所述的一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)lru優(yōu)化的方法其特征在于，其特征在于：緩存標(biāo)簽及歷史數(shù)據(jù)維護(hù)模塊：在給一個(gè)緩存通過標(biāo)簽id添加一個(gè)業(yè)務(wù)標(biāo)簽的時(shí)候，如果標(biāo)簽不存在會生成一個(gè)全局的標(biāo)簽信息，標(biāo)簽的下次使用時(shí)間為當(dāng)前時(shí)段；每次緩存命中的時(shí)候，都增加緩存所有標(biāo)簽最新使用歷史記錄，同時(shí)更新相同時(shí)段的歷史記錄增加使用次數(shù)。
5.根據(jù)權(quán)利要求1所述的一種建立緩存優(yōu)先級預(yù)測機(jī)制實(shí)現(xiàn)lru優(yōu)化的方法其特征在于，其特征在于：緩存標(biāo)簽預(yù)測及是使用統(tǒng)計(jì)模塊：標(biāo)簽的使用次數(shù)為使用次數(shù)為計(jì)算時(shí)間內(nèi)的所有使用次數(shù)；過濾出最近統(tǒng)計(jì)時(shí)間內(nèi)時(shí)段使用次數(shù)大于閥值的歷史記錄，...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：蔣敬洪，陶思翰，朱志強(qiáng)，
申請(專利權(quán))人：翼集分上海數(shù)字科技有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。