混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法技術(shù)

本申請(qǐng)涉及一種混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法

【技術(shù)實(shí)現(xiàn)步驟摘要】
混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)


[0001]本申請(qǐng)涉及移動(dòng)端內(nèi)存計(jì)算框架
，特別涉及一種混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法
、
裝置
、
設(shè)備及存儲(chǔ)介質(zhì)
。

技術(shù)介紹

[0002]隨著“大數(shù)據(jù)時(shí)代”數(shù)據(jù)規(guī)模的激增，內(nèi)存計(jì)算框架得到了長(zhǎng)足發(fā)展
。
其中，主流內(nèi)存計(jì)算框架
Apache Spark
通過(guò)使用內(nèi)存來(lái)緩存中間結(jié)果，以大幅度地提升數(shù)據(jù)處理速度：一方面，由于
Spark
中的數(shù)據(jù)計(jì)算集中在內(nèi)存中，因此可減少磁盤(pán)
I/O(Input/Output
，輸入
/
輸出
)
，從而避免了序列化成本并減少了大量
I/O
開(kāi)銷；另一方面，與編程框架
MapReduce
不同，
Spark
可以在內(nèi)存空間中緩存部分中間結(jié)果，下次使用這些中間結(jié)果時(shí)可直接在緩存中訪問(wèn)，進(jìn)而極大地提升了應(yīng)用程序的運(yùn)行性能
。
由此可見(jiàn)，緩存的使用讓
Spark
在迭代式計(jì)算上有巨大優(yōu)勢(shì)，即
Spark
計(jì)算框架的巨大成功來(lái)源于對(duì)內(nèi)存資源的使用
。
[0003]然而，
Spark
中使用的內(nèi)存技術(shù)
DRAM(Dynamic RandomAccess Memory
，動(dòng)態(tài)隨機(jī)存取內(nèi)存
)
已進(jìn)入發(fā)展瓶頸，不僅存儲(chǔ)密度難以增加，且成本也難以降低，而當(dāng)前數(shù)據(jù)大小的增長(zhǎng)速度卻超過(guò)了
DRAM
價(jià)格的下降速度，以致在目前的數(shù)據(jù)分析集群中，內(nèi)存仍然是一種稀缺資源，其在一定程度上阻礙了內(nèi)存計(jì)算規(guī)模的繼續(xù)增長(zhǎng)
。
因此，如何在保證
Spark
讀寫(xiě)性能的同時(shí)降低成本并提升存儲(chǔ)容量是當(dāng)前亟需解決的問(wèn)題
。

技術(shù)實(shí)現(xiàn)思路

[0004]本申請(qǐng)?zhí)峁┮环N混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法
、
裝置
、
設(shè)備及存儲(chǔ)介質(zhì)，以保證
Spark
的讀寫(xiě)性能并降低成本和提升存儲(chǔ)容量
。
[0005]第一方面，提供了一種混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法，包括以下步驟：
[0006]基于彈性分布式數(shù)據(jù)集
RDD
依賴信息為
RDD
對(duì)應(yīng)的每個(gè)緩存塊生成對(duì)應(yīng)的權(quán)重值；
[0007]根據(jù)緩存塊的權(quán)重值與動(dòng)態(tài)隨機(jī)存取內(nèi)存
DRAM
中的最小權(quán)重值間的大小關(guān)系將緩存塊存儲(chǔ)至
DRAM
或非易失性存儲(chǔ)器
NVM
；
[0008]當(dāng)需要從
NVM
中讀取目標(biāo)緩存塊進(jìn)行節(jié)點(diǎn)計(jì)算時(shí)，根據(jù)預(yù)設(shè)的遷移策略判斷是否需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
；
[0009]若是，則將目標(biāo)緩存塊遷移至
DRAM
，以在
DRAM
中讀取目標(biāo)緩存塊進(jìn)行節(jié)點(diǎn)計(jì)算
。
[0010]一些實(shí)施例中，所述根據(jù)緩存塊的權(quán)重值與動(dòng)態(tài)隨機(jī)存取內(nèi)存
DRAM
中的最小權(quán)重值間的大小關(guān)系將緩存塊存儲(chǔ)至
DRAM
或非易失性存儲(chǔ)器
NVM
，包括：
[0011]當(dāng)緩存塊的權(quán)重值大于或等于
DRAM
中的最小權(quán)重值時(shí)，將緩存塊存儲(chǔ)至
DRAM
；
[0012]當(dāng)緩存塊的權(quán)重值小于
DRAM
中的最小權(quán)重值時(shí)，將緩存塊存儲(chǔ)至
NVM。
[0013]一些實(shí)施例中，所述遷移策略包括遷移開(kāi)銷最小策略
、DRAM
內(nèi)存在可利用存儲(chǔ)空間策略以及
DRAM
內(nèi)存在可替換緩存塊策略
。
[0014]一些實(shí)施例中，所述根據(jù)預(yù)設(shè)的遷移策略判斷是否需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
，包括：
[0015]若目標(biāo)緩存塊從
NVM
中遷移至
DRAM
所需的遷移開(kāi)銷大于在
DRAM
中讀寫(xiě)目標(biāo)緩存塊所需的讀寫(xiě)開(kāi)銷，則判定不需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
；
[0016]若目標(biāo)緩存塊從
NVM
中遷移至
DRAM
所需的遷移開(kāi)銷不大于在
DRAM
中讀寫(xiě)目標(biāo)緩存塊所需的讀寫(xiě)開(kāi)銷，則判斷
DRAM
內(nèi)是否存在可利用存儲(chǔ)空間；
[0017]若
DRAM
內(nèi)存在可利用存儲(chǔ)空間，則判定需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
；
[0018]若
DRAM
內(nèi)不存在可利用存儲(chǔ)空間，則判斷
DRAM
內(nèi)是否存在可替換緩存塊；
[0019]若
DRAM
內(nèi)存在可替換緩存塊，則判定需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
；
[0020]若
DRAM
內(nèi)不存在可替換緩存塊，則判定不需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM。
[0021]一些實(shí)施例中，在所述若
DRAM
內(nèi)存在可替換緩存塊，則判定需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
的步驟之后，還包括：
[0022]將
DRAM
內(nèi)的可替換緩存塊遷移至
NVM
，以釋放出用于緩存目標(biāo)緩存塊的目標(biāo)存儲(chǔ)空間
。
[0023]一些實(shí)施例中，基于同一個(gè)邏輯內(nèi)存空間實(shí)現(xiàn)對(duì)
NVM
和
DRAM
的平面混合
。
[0024]一些實(shí)施例中，如權(quán)利要求1所述的混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法，其特征在于：緩存塊對(duì)應(yīng)的集合數(shù)據(jù)結(jié)構(gòu)為樹(shù)集
TreeSet。
[0025]第二方面，提供了一種混合內(nèi)存架構(gòu)的數(shù)據(jù)處理裝置，包括：
[0026]權(quán)重生成單元，其用于基于彈性分布式數(shù)據(jù)集
RDD
依賴信息為
RDD
對(duì)應(yīng)的每個(gè)緩存塊生成對(duì)應(yīng)的權(quán)重值；
[0027]數(shù)據(jù)存儲(chǔ)單元，其用于根據(jù)緩存塊的權(quán)重值與動(dòng)態(tài)隨機(jī)存取內(nèi)存
DRAM
中的最小權(quán)重值間的大小關(guān)系將緩存塊存儲(chǔ)至
DRAM
或非易失性存儲(chǔ)器
NVM
；
[0028]數(shù)據(jù)管理單元，其用于當(dāng)需要從
NVM
中讀取目標(biāo)緩存塊進(jìn)行節(jié)點(diǎn)計(jì)算時(shí)，根據(jù)預(yù)設(shè)的遷移策略判斷是否需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
；若是，則將目標(biāo)緩存塊遷移至
DRAM
，以在
DRAM
...

【技術(shù)保護(hù)點(diǎn)】

【技術(shù)特征摘要】
1.
一種混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法，其特征在于，包括以下步驟：基于彈性分布式數(shù)據(jù)集
RDD
依賴信息為
RDD
對(duì)應(yīng)的每個(gè)緩存塊生成對(duì)應(yīng)的權(quán)重值；根據(jù)緩存塊的權(quán)重值與動(dòng)態(tài)隨機(jī)存取內(nèi)存
DRAM
中的最小權(quán)重值間的大小關(guān)系將緩存塊存儲(chǔ)至
DRAM
或非易失性存儲(chǔ)器
NVM
；當(dāng)需要從
NVM
中讀取目標(biāo)緩存塊進(jìn)行節(jié)點(diǎn)計(jì)算時(shí)，根據(jù)預(yù)設(shè)的遷移策略判斷是否需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
；若是，則將目標(biāo)緩存塊遷移至
DRAM
，以在
DRAM
中讀取目標(biāo)緩存塊進(jìn)行節(jié)點(diǎn)計(jì)算
。2.
如權(quán)利要求1所述的混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)緩存塊的權(quán)重值與動(dòng)態(tài)隨機(jī)存取內(nèi)存
DRAM
中的最小權(quán)重值間的大小關(guān)系將緩存塊存儲(chǔ)至
DRAM
或非易失性存儲(chǔ)器
NVM
，包括：當(dāng)緩存塊的權(quán)重值大于或等于
DRAM
中的最小權(quán)重值時(shí)，將緩存塊存儲(chǔ)至
DRAM
；當(dāng)緩存塊的權(quán)重值小于
DRAM
中的最小權(quán)重值時(shí)，將緩存塊存儲(chǔ)至
NVM。3.
如權(quán)利要求1所述的混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法，其特征在于：所述遷移策略包括遷移開(kāi)銷最小策略
、DRAM
內(nèi)存在可利用存儲(chǔ)空間策略以及
DRAM
內(nèi)存在可替換緩存塊策略
。4.
如權(quán)利要求3所述的混合內(nèi)存架構(gòu)的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)預(yù)設(shè)的遷移策略判斷是否需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
，包括：若目標(biāo)緩存塊從
NVM
中遷移至
DRAM
所需的遷移開(kāi)銷大于在
DRAM
中讀寫(xiě)目標(biāo)緩存塊所需的讀寫(xiě)開(kāi)銷，則判定不需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
；若目標(biāo)緩存塊從
NVM
中遷移至
DRAM
所需的遷移開(kāi)銷不大于在
DRAM
中讀寫(xiě)目標(biāo)緩存塊所需的讀寫(xiě)開(kāi)銷，則判斷
DRAM
內(nèi)是否存在可利用存儲(chǔ)空間；若
DRAM
內(nèi)存在可利用存儲(chǔ)空間，則判定需要將目標(biāo)緩存塊從
NVM
遷移至
DRAM
；若
...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：程大釗，何智力，梁黃黃，胡創(chuàng)，龔奕利，
申請(qǐng)(專利權(quán))人：武漢大學(xué)，
類型：發(fā)明
國(guó)別省市：