【技術(shù)實(shí)現(xiàn)步驟摘要】
本申請涉及數(shù)據(jù)庫，具體涉及一種流數(shù)據(jù)分布式存儲方法與裝置。
技術(shù)介紹
1、糾刪碼(erasure?codes，ec)是一種數(shù)據(jù)保護(hù)方法，主要用于數(shù)據(jù)存儲和網(wǎng)絡(luò)傳輸中，以確保數(shù)據(jù)的可靠性和容錯(cuò)性。它通過將數(shù)據(jù)分割成片段，并創(chuàng)建冗余數(shù)據(jù)塊來進(jìn)行編碼，這些編碼后的數(shù)據(jù)片段被存儲在不同的位置，如不同的磁盤、存儲節(jié)點(diǎn)或其他地理位置。糾刪碼的核心技術(shù)包括多項(xiàng)式插值或過采樣，這些技術(shù)使得系統(tǒng)能夠在部分?jǐn)?shù)據(jù)丟失的情況下恢復(fù)原始數(shù)據(jù)。
2、糾刪碼的系統(tǒng)可以表示為“n＝k+m”，其中“k”代表原始數(shù)據(jù)塊的數(shù)量，“m”代表添加的校驗(yàn)塊(冗余數(shù)據(jù)塊)的數(shù)量，“n”則是總的編碼后數(shù)據(jù)塊的數(shù)量。例如，在“ec?10/16”配置中，會有6個(gè)額外的校驗(yàn)塊(m)被添加到10個(gè)原始數(shù)據(jù)塊(k)中，這些編碼后的16個(gè)數(shù)據(jù)片段(n)會被分散存儲在不同的位置。即使有高達(dá)m個(gè)數(shù)據(jù)塊丟失或損壞，原始數(shù)據(jù)仍然可以從剩余的數(shù)據(jù)塊中恢復(fù)。
3、對于流數(shù)據(jù)來講，可能存在由于實(shí)時(shí)寫入的數(shù)據(jù)量可能較小，還不足以通過糾刪碼計(jì)算進(jìn)程存儲的場景。這種場景下相關(guān)技術(shù)中可能采用以下方式解決，不過這些方式都會存在一些技術(shù)問題：
4、第一，先將接收到的流式數(shù)據(jù)緩存，等緩存至足夠大小后，再通過糾刪碼計(jì)算進(jìn)行存儲。這種方式中，需要占用比較多的緩存資源。另外如果緩存在內(nèi)存中，當(dāng)出現(xiàn)掉電等異常情況，還有可能導(dǎo)致數(shù)據(jù)丟失。
5、第二，預(yù)先分配k個(gè)默認(rèn)大小的數(shù)據(jù)塊，并填充缺省數(shù)據(jù)，然后在寫入流數(shù)據(jù)的過程中，逐漸替換缺省數(shù)據(jù)。由于預(yù)先分配了k個(gè)數(shù)據(jù)塊，滿足了通過糾刪
6、第三，在第二種方案的基礎(chǔ)上可以想到減小數(shù)據(jù)塊的默認(rèn)大小的方案。如此操作可以一定程度上緩解存儲資源占用多的問題，但是隨之帶來的是數(shù)據(jù)塊數(shù)量大幅增加，文件目錄數(shù)量過多的問題。
技術(shù)實(shí)現(xiàn)思路
1、有鑒于此，本申請公開一種流數(shù)據(jù)分布式存儲方法。所述方法可以包括：根據(jù)所述流數(shù)據(jù)的寫入速率以及預(yù)設(shè)的參與糾刪碼計(jì)算的數(shù)據(jù)塊的數(shù)量，調(diào)整所述數(shù)據(jù)塊的大??；調(diào)整后的所述數(shù)據(jù)塊的大小大于等于所述寫入速率并且與所述寫入速率之差不大于預(yù)設(shè)值；根據(jù)所述數(shù)據(jù)塊進(jìn)行所述流數(shù)據(jù)的分布式存儲；其中，根據(jù)所述數(shù)據(jù)塊進(jìn)行所述流數(shù)據(jù)的分布式存儲包括重復(fù)執(zhí)行以下步驟：分配所述數(shù)量的調(diào)整大小后的所述數(shù)據(jù)塊寫入所述流數(shù)據(jù)并通過糾刪碼計(jì)算進(jìn)行存儲；響應(yīng)于所述數(shù)量的所述數(shù)據(jù)塊被寫滿，在所述數(shù)據(jù)塊的大小小于默認(rèn)大小的情形下，進(jìn)行合并操作得到合并后數(shù)據(jù)塊，并申請剩余數(shù)量的合并后數(shù)據(jù)塊繼續(xù)寫入所述流數(shù)據(jù)并通過糾刪碼計(jì)算進(jìn)行存儲，所述剩余數(shù)量為所述數(shù)量減1；在申請的所述合并后數(shù)據(jù)塊被寫滿后，若所述合并后數(shù)據(jù)塊的大小仍小于所述默認(rèn)大小，繼續(xù)進(jìn)行合并和申請合并得到的數(shù)據(jù)塊寫入流數(shù)據(jù)并通過糾刪碼計(jì)算進(jìn)行存儲，以此類推，直到合并得到的數(shù)據(jù)塊的大小等于所述默認(rèn)大小，通過糾刪碼計(jì)算進(jìn)行存儲；或者，在所述數(shù)據(jù)塊的大小等于所述默認(rèn)大小的情形下，通過糾刪碼計(jì)算進(jìn)行存儲。
2、在一些實(shí)施例中，所述根據(jù)所述流數(shù)據(jù)的寫入速率以及預(yù)設(shè)的參與糾刪碼計(jì)算的數(shù)據(jù)塊的數(shù)量，調(diào)整所述數(shù)據(jù)塊的大小，包括：周期性獲取所述流數(shù)據(jù)的寫入速率與當(dāng)前分割策略；所述當(dāng)前分割策略用于確定參與糾刪碼計(jì)算的數(shù)據(jù)塊的大小和數(shù)量，包括所述數(shù)量與第一當(dāng)前大??；根據(jù)所述數(shù)量調(diào)整所述第一當(dāng)前大小得到第二當(dāng)前大小；所述第二當(dāng)前大小大于等于所述寫入速率并且與所述寫入速率之差不大于預(yù)設(shè)值。
3、在一些實(shí)施例中，所述根據(jù)所述數(shù)量調(diào)整所述第一當(dāng)前大小得到第二當(dāng)前大小，包括：在所述第一當(dāng)前大小大于等于所述寫入速率并且與所述寫入速率之差不大于預(yù)設(shè)值的情形下，將所述第一當(dāng)前大小確定為所述第二當(dāng)前大??；在所述第一當(dāng)前大小大于等于所述寫入速率并且與所述寫入速率之差大于預(yù)設(shè)值的情形下，按照所述數(shù)量對所述第一當(dāng)前大小進(jìn)行至少一次調(diào)小操作直至調(diào)小后的數(shù)據(jù)塊大小大于等于所述寫入速率并且與所述寫入速率之差不大于預(yù)設(shè)值，將所述調(diào)小后的數(shù)據(jù)塊大小確定為所述第二當(dāng)前大小。
4、在一些實(shí)施例中，根據(jù)所述數(shù)量調(diào)整所述第一當(dāng)前大小得到第二當(dāng)前大小，還包括：在所述第一當(dāng)前大小小于所述寫入速率的情形下，按照所述數(shù)量對所述第一當(dāng)前大小進(jìn)行至少一次調(diào)大操作，直至調(diào)大后的數(shù)據(jù)塊大小大于等于所述寫入速率并且與所述寫入速率之差不大于預(yù)設(shè)值，將所述調(diào)大后的數(shù)據(jù)塊大小確定為所述第二當(dāng)前大小。
5、在一些實(shí)施例中，所述通過糾刪碼計(jì)算進(jìn)行存儲，包括：響應(yīng)于任意目標(biāo)數(shù)據(jù)塊被寫滿，對所述數(shù)量的目標(biāo)數(shù)據(jù)塊進(jìn)行糾刪碼計(jì)算，得到預(yù)設(shè)數(shù)量的糾刪碼塊；所述目標(biāo)數(shù)據(jù)塊包括所述數(shù)據(jù)塊和任意合并后的數(shù)據(jù)塊；存儲所述數(shù)量的所述目標(biāo)數(shù)據(jù)塊以及所述預(yù)設(shè)數(shù)量的糾刪碼塊。
6、在一些實(shí)施例中，數(shù)據(jù)塊的合并操作的方法，包括：在所述數(shù)量的所述數(shù)據(jù)塊的存儲位置連續(xù)的情形下，更新元數(shù)據(jù)節(jié)點(diǎn)信息以使所述元數(shù)據(jù)節(jié)點(diǎn)信息指示合并后數(shù)據(jù)塊的數(shù)據(jù)存儲位置包括所述數(shù)據(jù)塊中的最小存儲位置和最大存儲位置；刪除合并前的數(shù)據(jù)塊的糾刪碼。
7、在一些實(shí)施例中，數(shù)據(jù)塊的合并操作的方法，還包括：在所述數(shù)量的所述數(shù)據(jù)塊的存儲位置不連續(xù)的情形下，根據(jù)合并后數(shù)據(jù)塊的大小申請連續(xù)的存儲位置，以及將所述數(shù)量的所述數(shù)據(jù)塊的內(nèi)容搬移至申請的所述連續(xù)的存儲位置，實(shí)現(xiàn)數(shù)據(jù)塊合并；或者，保留合并前數(shù)據(jù)塊的存儲位置不變，更新合并后的數(shù)據(jù)塊的元數(shù)據(jù)節(jié)點(diǎn)信息以使所述元數(shù)據(jù)節(jié)點(diǎn)信息指示所述合并后數(shù)據(jù)塊的數(shù)據(jù)存儲位置由各所述數(shù)據(jù)塊的存儲位置映射得到；刪除合并前的數(shù)據(jù)塊的糾刪碼。
8、在一些實(shí)施例中，所述流數(shù)據(jù)的寫入速率的獲取方法包括：統(tǒng)計(jì)周期內(nèi)的數(shù)據(jù)量；根據(jù)所述數(shù)據(jù)量與所述周期的時(shí)長得到所述寫入速率。
9、在一些實(shí)施例中，所述流數(shù)據(jù)的寫入速率的獲取方法包括：獲取所述流數(shù)據(jù)在預(yù)設(shè)時(shí)長內(nèi)的歷史寫入速率；將所述歷史寫入速率輸入寫入速率預(yù)測模型，得到所述寫入速率；所述寫入速率預(yù)測模型為經(jīng)過多個(gè)訓(xùn)練樣本訓(xùn)練得到的lstm模型；所述訓(xùn)練樣本包括所述預(yù)設(shè)時(shí)長的寫入速率序列，以及標(biāo)注的寫入速率真值。
10、本申請還提出一種流數(shù)據(jù)分布式存儲裝置。所述裝置包括：調(diào)整模塊，用于根據(jù)所述流數(shù)據(jù)的寫入速率以及預(yù)設(shè)的參與糾刪碼計(jì)算的數(shù)據(jù)塊的數(shù)量，調(diào)整所述數(shù)據(jù)塊的大??；調(diào)整后的所述數(shù)據(jù)塊的大小大于等于所述寫入速率并且與所述寫入速率之差不大于預(yù)設(shè)值；存儲模塊，用于根據(jù)所述數(shù)據(jù)塊進(jìn)行所述流數(shù)據(jù)的分布式存儲；其中，所述存儲模塊，包括：分配模塊，用于分配所述數(shù)量的調(diào)整大小后的所述數(shù)據(jù)塊寫入所述流數(shù)據(jù)并通過糾刪碼計(jì)算進(jìn)行存儲；存儲子模塊，用于響應(yīng)于所述數(shù)量的所述數(shù)據(jù)塊被寫滿，在所述數(shù)據(jù)塊的大小小于默認(rèn)大小的情形下，進(jìn)行合并操作得到合并后數(shù)據(jù)塊，并申請剩余數(shù)量的合并后數(shù)據(jù)塊繼續(xù)寫入所述流數(shù)據(jù)并通過糾刪碼計(jì)算進(jìn)行存儲，所述剩余數(shù)量為所述數(shù)量減1；在申請的所述合并后數(shù)據(jù)塊被寫滿后，若所述合并后數(shù)據(jù)塊的本文檔來自技高網(wǎng)...
【技術(shù)保護(hù)點(diǎn)】
1.一種流數(shù)據(jù)分布式存儲方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的流數(shù)據(jù)分布式存儲方法，其特征在于，所述根據(jù)所述流數(shù)據(jù)的寫入速率以及預(yù)設(shè)的參與糾刪碼計(jì)算的數(shù)據(jù)塊的數(shù)量，調(diào)整所述數(shù)據(jù)塊的大小，包括：
3.根據(jù)權(quán)利要求2所述的流數(shù)據(jù)分布式存儲方法，其特征在于，所述根據(jù)所述數(shù)量調(diào)整所述第一當(dāng)前大小得到第二當(dāng)前大小，包括：
4.根據(jù)權(quán)利要求3所述的流數(shù)據(jù)分布式存儲方法，其特征在于，根據(jù)所述數(shù)量調(diào)整所述第一當(dāng)前大小得到第二當(dāng)前大小，還包括：
5.根據(jù)權(quán)利要求1所述的流數(shù)據(jù)分布式存儲方法，其特征在于，所述通過糾刪碼計(jì)算進(jìn)行存儲，包括：
6.根據(jù)權(quán)利要求1所述的流數(shù)據(jù)分布式存儲方法，其特征在于，數(shù)據(jù)塊的合并操作的方法，包括：
7.根據(jù)權(quán)利要求6所述的流數(shù)據(jù)分布式存儲方法，其特征在于，數(shù)據(jù)塊的合并操作的方法，還包括：
8.根據(jù)權(quán)利要求1所述的流數(shù)據(jù)分布式存儲方法，其特征在于，所述流數(shù)據(jù)的寫入速率的獲取方法包括：
9.根據(jù)權(quán)利要求8所述的流數(shù)據(jù)分布式存儲方法，其特征在于，所述流數(shù)據(jù)的寫入
10.一種流數(shù)據(jù)分布式存儲裝置，其特征在于，所述裝置包括：
...【技術(shù)特征摘要】
1.一種流數(shù)據(jù)分布式存儲方法，其特征在于，所述方法包括：
2.根據(jù)權(quán)利要求1所述的流數(shù)據(jù)分布式存儲方法，其特征在于，所述根據(jù)所述流數(shù)據(jù)的寫入速率以及預(yù)設(shè)的參與糾刪碼計(jì)算的數(shù)據(jù)塊的數(shù)量，調(diào)整所述數(shù)據(jù)塊的大小，包括：
3.根據(jù)權(quán)利要求2所述的流數(shù)據(jù)分布式存儲方法，其特征在于，所述根據(jù)所述數(shù)量調(diào)整所述第一當(dāng)前大小得到第二當(dāng)前大小，包括：
4.根據(jù)權(quán)利要求3所述的流數(shù)據(jù)分布式存儲方法，其特征在于，根據(jù)所述數(shù)量調(diào)整所述第一當(dāng)前大小得到第二當(dāng)前大小，還包括：
5.根據(jù)權(quán)利要求1所述的流數(shù)據(jù)分布式存儲方法...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：吉寧，
申請(專利權(quán))人：靈岫科技深圳有限公司，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。