本發(fā)明專利技術(shù)提供了一種緩存的讀取、讀取處理方法及裝置，其中，所述讀取方法包括：發(fā)送對(duì)本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀取請求；在判定所述多個(gè)數(shù)據(jù)塊位于所述本地文件系統(tǒng)的緩存中，且所述多個(gè)數(shù)據(jù)塊中的指定數(shù)據(jù)塊的已讀取部分的大小超過所述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，讀取所述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊。采用本發(fā)明專利技術(shù)提供的上述技術(shù)方案，解決了相關(guān)技術(shù)中，由于數(shù)據(jù)塊的訪問方式以順序訪問流的形式而導(dǎo)致的內(nèi)存資源無法合理利用的問題，實(shí)現(xiàn)了異步獲取多個(gè)數(shù)據(jù)塊的過程，進(jìn)而快速提升獲取數(shù)據(jù)塊的速度，合理使用內(nèi)存資源。
【技術(shù)實(shí)現(xiàn)步驟摘要】
本專利技術(shù)涉及通信領(lǐng)域，具體而言，涉及一種緩存的讀取、讀取處理方法及裝置。
技術(shù)介紹
隨著計(jì)算、存儲(chǔ)、通信等技術(shù)的發(fā)展，大規(guī)模流媒體服務(wù)已經(jīng)廣泛的應(yīng)用到娛樂、教育、商業(yè)等各個(gè)領(lǐng)域，如何實(shí)現(xiàn)大規(guī)模流媒體文件的高效存儲(chǔ)，同時(shí)支持高并發(fā)的用戶是一個(gè)非常關(guān)鍵的問題。本專利提出的分布式流媒體服務(wù)中的本地文件用戶態(tài)緩存方法不僅可以很好的提高流媒體文件的存儲(chǔ)效率，同時(shí)也可以很好的應(yīng)用在基于分塊存儲(chǔ)的分布式存儲(chǔ)系統(tǒng)中，例如淘寶文件系統(tǒng)(TaobaoFileSystem，簡稱為TFS)，分布式文件系統(tǒng)(HadoopDistributedFileSystem，簡稱為HDFS)等系統(tǒng)中。由于視頻文件較大，所以存儲(chǔ)系統(tǒng)通常會(huì)將視頻文件切分成固定大小的塊文件(例如，切分成64MB大小的塊文件)存儲(chǔ)在后臺(tái)分布式存儲(chǔ)系統(tǒng)中。傳統(tǒng)的文件系統(tǒng)在塊文件存儲(chǔ)上存在如下問題：傳統(tǒng)的文件系統(tǒng)的緩存采用page_cache(分頁緩存)的方式管理，流媒體文件的熱點(diǎn)數(shù)據(jù)較低，空間局部性較差，數(shù)據(jù)多以順序訪問流的方式訪問，容易出現(xiàn)緩存污染的問題，從而內(nèi)存的資源無法得到合理的利用，并且通用文件系統(tǒng)的預(yù)取粒度并不高。針對(duì)相關(guān)技術(shù)中，由于數(shù)據(jù)塊的訪問方式以順序訪問流的形式而導(dǎo)致的內(nèi)存資源無法合理利用的問題，尚未提出有效的解決方案。
技術(shù)實(shí)現(xiàn)思路
為了解決上述技術(shù)問題，本專利技術(shù)提供了一種存的讀取、讀取處理方法及裝置。根據(jù)本專利技術(shù)的一個(gè)方面，提供了一種緩存的讀取方法，包括：發(fā)送對(duì)本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀取請求；在判定所述多個(gè)數(shù)據(jù)塊位于所述本地文件系統(tǒng)的緩存中，且所述多個(gè)數(shù)據(jù)塊中的指定數(shù)據(jù)塊的已讀取部分的大小超過所述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，讀取所述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊。優(yōu)選地，所述預(yù)設(shè)比例取值為1/2。優(yōu)選地，發(fā)送對(duì)本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀取請求之后，還包括：在所述讀取請求所請求的多個(gè)數(shù)據(jù)塊位于所述本地文件系統(tǒng)的緩存中時(shí)，接收所述本地文件系統(tǒng)中共享內(nèi)存的標(biāo)識(shí)ID；確定所述ID與所述緩存的對(duì)應(yīng)關(guān)系。優(yōu)選地，讀取所述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊，包括：根據(jù)所述對(duì)應(yīng)關(guān)系確定所述緩存所對(duì)應(yīng)的共享內(nèi)存；通過所述共享內(nèi)存中讀取所述下一個(gè)數(shù)據(jù)塊。優(yōu)選地，將所述緩存中指定文件發(fā)生變化后產(chǎn)生的臟數(shù)據(jù)塊同步到硬盤中。優(yōu)選地，將所述緩存中指定文件發(fā)生變化后產(chǎn)生的臟數(shù)據(jù)塊同步到硬盤中之后，包括：對(duì)所述臟數(shù)據(jù)進(jìn)行更新；對(duì)更新后的臟數(shù)據(jù)塊標(biāo)記用于指示所述臟數(shù)據(jù)塊已完成更新的標(biāo)識(shí)。根據(jù)本專利技術(shù)的另一個(gè)方面，還提供了一種緩存的讀取處理方法，包括：獲取本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀取請求；在監(jiān)測到所述多個(gè)數(shù)據(jù)塊位于所述本地文件系統(tǒng)的緩存中，且所述多個(gè)數(shù)據(jù)塊中的指定數(shù)據(jù)塊的已讀取部分的大小超過所述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，發(fā)送所述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊至客戶端。優(yōu)選地，在判斷所述讀取請求所請求的多個(gè)數(shù)據(jù)塊未位于所述本地文件系統(tǒng)的緩存中時(shí)，通過所述緩存從所述本地文件系統(tǒng)的硬盤中獲取所述多個(gè)數(shù)據(jù)塊。根據(jù)本專利技術(shù)的另一個(gè)方面，還提供了一種緩存的讀取裝置，包括：發(fā)送模塊，用于發(fā)送對(duì)本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀取請求；讀取模塊，用于在判定所述多個(gè)數(shù)據(jù)塊位于所述本地文件系統(tǒng)的緩存中，且所述多個(gè)數(shù)據(jù)塊中的指定數(shù)據(jù)塊的已讀取部分的大小超過所述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，讀取所述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊。根據(jù)本專利技術(shù)的另一個(gè)方面，還提供了一種緩存的讀取處理裝置，包括：獲取模塊，用于獲取本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀取請求；發(fā)送模塊，用于在監(jiān)測到所述多個(gè)數(shù)據(jù)塊位于所述本地文件系統(tǒng)的緩存中，且所述多個(gè)數(shù)據(jù)塊中的指定數(shù)據(jù)塊的已讀取部分的大小超過所述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，發(fā)送所述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊至客戶端。通過本專利技術(shù)，采用在多個(gè)數(shù)據(jù)塊中的指定數(shù)據(jù)塊的已讀取部分的大小超過所述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，就執(zhí)行“讀取所述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊”過程的技術(shù)手段，解決了相關(guān)技術(shù)中，由于數(shù)據(jù)塊的訪問方式以順序訪問流的形式而導(dǎo)致的內(nèi)存資源無法合理利用的問題，實(shí)現(xiàn)了異步獲取多個(gè)數(shù)據(jù)塊的過程，進(jìn)而快速提升獲取數(shù)據(jù)塊的速度，合理使用內(nèi)存資源。附圖說明此處所說明的附圖用來提供對(duì)本專利技術(shù)的進(jìn)一步理解，構(gòu)成本申請的一部分，本專利技術(shù)的示意性實(shí)施例及其說明用于解釋本專利技術(shù)，并不構(gòu)成對(duì)本專利技術(shù)的不當(dāng)限定。在附圖中：圖1是根據(jù)本專利技術(shù)實(shí)施例的緩存的讀取方法的流程圖；圖2是根據(jù)本專利技術(shù)實(shí)施例的緩存管理系統(tǒng)的數(shù)據(jù)讀取策略的流程圖；圖3為根據(jù)本專利技術(shù)實(shí)施例的緩存的讀取裝置的結(jié)構(gòu)框圖；圖4為根據(jù)本專利技術(shù)實(shí)施例的緩存的讀取處理方法的流程圖；圖5為根據(jù)本專利技術(shù)實(shí)施例的緩存的讀取處理裝置的結(jié)構(gòu)框圖；圖6為根據(jù)本專利技術(shù)優(yōu)選實(shí)施例的緩存的讀取策略的流程圖；圖7為根據(jù)本專利技術(shù)優(yōu)選實(shí)施例的讀取策略中的數(shù)據(jù)塊狀態(tài)處理流程圖；圖8為根據(jù)本專利技術(shù)優(yōu)選實(shí)施例的緩存寫入策略示意圖。具體實(shí)施方式下文中將參考附圖并結(jié)合實(shí)施例來詳細(xì)說明本專利技術(shù)。需要說明的是，在不沖突的情況下，本申請中的實(shí)施例及實(shí)施例中的特征可以相互組合。本專利技術(shù)的其它特征和優(yōu)點(diǎn)將在隨后的說明書中闡述，并且，部分地從說明書中變得顯而易見，或者通過實(shí)施本專利技術(shù)而了解。本專利技術(shù)的目的和其他優(yōu)點(diǎn)可通過在所寫的說明書、權(quán)利要求書、以及附圖中所特別指出的結(jié)構(gòu)來實(shí)現(xiàn)和獲得。為了使本
的人員更好地理解本專利技術(shù)方案，下面將結(jié)合本專利技術(shù)實(shí)施例中的附圖，對(duì)本專利技術(shù)實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本專利技術(shù)一部分的實(shí)施例，而不是全部的實(shí)施例。基于本專利技術(shù)中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都應(yīng)當(dāng)屬于本專利技術(shù)保護(hù)的范圍。為了解決上述技術(shù)問題，在本實(shí)施例中提供了一種緩存的讀取方法，圖1是根據(jù)本專利技術(shù)實(shí)施例的緩存的讀取方法的流程圖，如圖1所示，包括以下步驟：步驟S102，發(fā)送對(duì)本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀取請求；步驟S104，在判定上述多個(gè)數(shù)據(jù)塊位于上述本地文件系統(tǒng)的緩存中，且上述多個(gè)數(shù)據(jù)塊中的指定數(shù)據(jù)塊的已讀取部分的大小超過上述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，讀取上述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊。通過上述各個(gè)步驟，采用在多個(gè)數(shù)據(jù)塊中的指定數(shù)據(jù)塊的已讀取部分的大小超過上述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，就執(zhí)行“讀取上述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊”過程的技術(shù)手段，解決了相關(guān)技術(shù)中，由于數(shù)據(jù)塊的訪問方式以順序訪問流的形式而導(dǎo)致的內(nèi)存資源無法合理利用的問題，實(shí)現(xiàn)了異步獲取多個(gè)數(shù)據(jù)塊的過程，進(jìn)而快速提升獲取數(shù)據(jù)塊的速度，合本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
一種緩存的讀取方法，其特征在于，包括：發(fā)送對(duì)本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀取請求；在判定所述多個(gè)數(shù)據(jù)塊位于所述本地文件系統(tǒng)的緩存中，且所述多個(gè)數(shù)據(jù)塊中的指定數(shù)據(jù)塊的已讀取部分的大小超過所述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，讀取所述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊。
【技術(shù)特征摘要】
1.一種緩存的讀取方法，其特征在于，包括：
發(fā)送對(duì)本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀取請求；
在判定所述多個(gè)數(shù)據(jù)塊位于所述本地文件系統(tǒng)的緩存中，且所述多個(gè)數(shù)據(jù)塊中
的指定數(shù)據(jù)塊的已讀取部分的大小超過所述指定數(shù)據(jù)塊大小的預(yù)設(shè)比例時(shí)，讀取所
述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)比例取值為1/2。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，發(fā)送對(duì)本地文件系統(tǒng)中多個(gè)數(shù)據(jù)塊的讀
取請求之后，還包括：
在所述讀取請求所請求的多個(gè)數(shù)據(jù)塊位于所述本地文件系統(tǒng)的緩存中時(shí)，接收
所述本地文件系統(tǒng)中共享內(nèi)存的標(biāo)識(shí)ID；
確定所述ID與所述緩存的對(duì)應(yīng)關(guān)系。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，讀取所述多個(gè)數(shù)據(jù)塊中的下一個(gè)數(shù)據(jù)塊，
包括：
根據(jù)所述對(duì)應(yīng)關(guān)系確定所述緩存所對(duì)應(yīng)的共享內(nèi)存；
通過所述共享內(nèi)存中讀取所述下一個(gè)數(shù)據(jù)塊。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，
將所述緩存中指定文件發(fā)生變化后產(chǎn)生的臟數(shù)據(jù)塊同步到硬盤中。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，將所述緩存中指定文件發(fā)生變化后產(chǎn)生
的臟數(shù)據(jù)塊同步到硬盤中之后，包括：
對(duì)所述臟數(shù)據(jù)進(jìn)行更新；對(duì)更新后的臟數(shù)據(jù)塊標(biāo)記用于指示所述臟數(shù)據(jù)塊已完
成更新...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：張廣艷，羅圣美，唐小嵐，沈巖，
申請(專利權(quán))人：中興通訊股份有限公司，
類型：發(fā)明
國別省市：廣東;44
還沒有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。