一種云端大數據存儲管理方法及系統技術方案

本發明專利技術涉及數據管理相關領域，公開了一種云端大數據存儲管理方法及系統，包括數據節點管理模塊、數據分址存儲模塊、數據分址備份模塊以及存儲監測減量模塊；基于云端及與云端連接的終端節點建立存儲網絡，實現對于數據的多地備份與存儲，減少大量數據及數據備份對于云端存儲的空間過量占用，對于由用戶發起的數據內容，可以基于用戶終端節點的獲取情況建立數據備份的索引引導以達成優化數據空間占用的目的，且對于用戶間不斷傳輸轉發的數據內容，可以通過索引鏈接覆蓋的方式避免多個副本在云端的生成，能夠有效的避免數據在重復的復制傳輸中信息丟失問題的發生。傳輸中信息丟失問題的發生。傳輸中信息丟失問題的發生。

【技術實現步驟摘要】
一種云端大數據存儲管理方法及系統


[0001]本專利技術涉及數據管理相關領域，具體是一種云端大數據存儲管理方法及系統。

技術介紹

[0002]隨著信息網絡技術的飛速發展，存儲于網絡之上的數據體量愈發龐大，用戶可以自行的進行數據的上傳與下載，以達到內容的保存、分享及獲取，這也就導致云端對于數據存儲的需求愈發膨脹。
[0003]現有技術中，在用戶對數據進行下載后轉發給其他用戶時，數據會進一步的產生一份副本，導致云端存儲資源的浪費，且云端對于數據的備份需求也進一步的再擠壓剩余云端存儲空間，導致云端存儲資源的有效利用率較低。

技術實現思路

[0004]本專利技術的目的在于提供一種云端大數據存儲管理方法及系統，以解決上述
技術介紹
中提出的問題。
[0005]為實現上述目的，本專利技術提供如下技術方案：一種云端大數據存儲管理系統，包含：數據節點管理模塊，用于通過數據通信網絡獲取與云端連接的終端節點設備列表，并通過歷史連接評估對終端節點設備列表中的終端節點進行篩選，以建立云端存儲網絡，所述云端存儲網絡用于表征多個可實現數據通信的終端節點設備群組；數據分址存儲模塊，用于獲取轉發存儲數據，并對所述轉發存儲數據進行數據源判斷，若為用戶上傳，則將所述轉發存儲數據分割為多個數據段并在所述云端存儲網絡中存儲，并對應生成數據存儲索引表，若所述轉發存儲數據的數據源為云端，則對應獲取所述存儲索引表的索引鏈接并轉發；數據分址備份模塊，用于對所述轉發存儲數據對應的多個數據段分別生成多組備份數據，將所述備份數據在所述云端存儲網絡中分布存儲，并同步更新所述數據存儲索引表；存儲監測減量模塊，用于對用戶上傳的所述轉發存儲數據進行數據匹配，若與云端已存儲的數據內容相匹配，則獲取云端數據對應存儲索引表的索引鏈接，并用以替換用戶上傳的所述轉發存儲數據對應內容。
[0006]作為本專利技術的進一步方案：所述終端節點包括本地節點以及用戶節點，所述本地節點用于表征云端的本地存儲設備，所述用戶節點用于表征與云端接連的用戶端設備，所述數據節點管理模塊包括節點評估單元以及節點篩選單元；所述節點評估單元，用于獲取終端節點設備列表中多個終端節點在歷史多個周期內的云端連接記錄，基于所述云端連接記錄對所述終端節點進行常態連接狀態的評估以獲取終端節點的基礎狀態，所述常態連接狀態的評估包括終端節點在周期內的集中連接時段評估、終端節點在多個連續周期中的在線周期的占比的評估；
所述節點篩選單元，用于基于預設的節點篩選基準對終端節點的基礎狀態進行判斷，若符合，則將所述終端節點用于建立云端存儲網絡。
[0007]作為本專利技術的再進一步方案：還包括網絡節點管理模塊，所述網絡節點管理模塊包括：節點劃分單元，用于基于所述終端節點在周期內的集中連接時段對數個終端節點進行分組，多個所述終端節點分組的集中連接時段覆蓋所述周期的完整時段，并基于分組后的終端節點建立節點訪問索引；節點更新單元，用于獲取節點訪問索引中多個終端節點與云端的連接狀態以及訪問請求狀態并用于更新所述節點訪問索引的實時狀態，所述訪問請求狀態為終端節點當前分配的數據訪問請求數量及所述數據訪問請求數量與可處理總請求數量的比值。
[0008]作為本專利技術的再進一步方案：所述數據分址備份模塊包括：備份節點選擇單元，用于獲取所述節點訪問索引，基于所述節點訪問索引的實時狀態，選取數組占用較低的所述終端節點以用于對多個數據段進行備份，每組所述終端節點用于備份同一數據段，每組所述終端節點的多個終端設備覆蓋周期的完整時段，且位于周期每個時段均對應多個與云端連接的終端節點。
[0009]作為本專利技術的再進一步方案：還包括數據替換模塊；所述數據替換模塊，用于當所述轉發存儲數據與云端已存儲的數據內容部分匹配時，對所述轉發存儲數據的區別部分數據內容進行定位，并獲取已存儲的數據內容相對應的數據段及備份數據，建立新的索引鏈接并替換所述數據段及備份數據。
[0010]本專利技術實施例旨在提供一種云端大數據存儲管理方法，包含步驟：通過數據通信網絡獲取與云端連接的終端節點設備列表，并通過歷史連接評估對終端節點設備列表中的終端節點進行篩選，以建立云端存儲網絡，所述云端存儲網絡用于表征多個可實現數據通信的終端節點設備群組；獲取轉發存儲數據，并對所述轉發存儲數據進行數據源判斷，若為用戶上傳，則將所述轉發存儲數據分割為多個數據段并在所述云端存儲網絡中存儲，并對應生成數據存儲索引表，若所述轉發存儲數據的數據源為云端，則對應獲取所述存儲索引表的索引鏈接并轉發；對所述轉發存儲數據對應的多個數據段分別生成多組備份數據，將所述備份數據在所述云端存儲網絡中分布存儲，并同步更新所述數據存儲索引表；對用戶上傳的所述轉發存儲數據進行數據匹配，若與云端已存儲的數據內容相匹配，則獲取云端數據對應存儲索引表的索引鏈接，并用以替換用戶上傳的所述轉發存儲數據對應內容。
[0011]作為本專利技術的進一步方案：所述終端節點包括本地節點以及用戶節點，所述本地節點用于表征云端的本地存儲設備，所述用戶節點用于表征與云端接連的用戶端設備，所述通過數據通信網絡獲取與云端連接的終端節點設備列表，并通過歷史連接評估對終端節點設備列表中的終端節點進行篩選，以建立云端存儲網絡的步驟具體包括：獲取終端節點設備列表中多個終端節點在歷史多個周期內的云端連接記錄，基于所述云端連接記錄對所述終端節點進行常態連接狀態的評估以獲取終端節點的基礎狀態，所述常態連接狀態的評估包括終端節點在周期內的集中連接時段評估、終端節點在多個連
續周期中的在線周期的占比的評估；基于預設的節點篩選基準對終端節點的基礎狀態進行判斷，若符合，則將所述終端節點用于建立云端存儲網絡。
[0012]作為本專利技術的再進一步方案：還包括步驟：基于所述終端節點在周期內的集中連接時段對數個終端節點進行分組，多個所述終端節點分組的集中連接時段覆蓋所述周期的完整時段，并基于分組后的終端節點建立節點訪問索引；獲取節點訪問索引中多個終端節點與云端的連接狀態以及訪問請求狀態，所述訪問請求狀態為終端節點當前分配的數據訪問請求數量及所述數據訪問請求數量與可處理總請求數量的比值。
[0013]作為本專利技術的再進一步方案：所述對所述轉發存儲數據對應的多個數據段分別生成多組備份數據，將所述備份數據在所述云端存儲網絡中分布存儲的步驟還包括；獲取所述節點訪問索引，基于所述節點訪問索引的實時狀態，選取數組占用較低的所述終端節點以用于對多個數據段進行備份，每組所述終端節點用于備份同一數據段，每組所述終端節點的多個終端設備覆蓋周期的完整時段，且位于周期每個時段均對應多個與云端連接的終端節點。
[0014]作為本專利技術的再進一步方案：還包括步驟：當所述轉發存儲數據與云端已存儲的數據內容部分匹配時，對所述轉發存儲數據的區別部分數據內容進行定位，并獲取已存儲的數據內容相對應的數據段及備份數據，建立新的索引鏈接并替換所述數據段及備份數據。
[0015]與現有技術相比，本專利技術的有益效果是：基于云端及與云端連接的終端節點建立存儲網絡，實現對于數據的多地備份與存儲，減少本文檔來自技高網...

【技術保護點】

【技術特征摘要】
1.一種云端大數據存儲管理系統，其特征在于，包含：數據節點管理模塊，用于通過數據通信網絡獲取與云端連接的終端節點設備列表，并通過歷史連接評估對終端節點設備列表中的終端節點進行篩選，以建立云端存儲網絡，所述云端存儲網絡用于表征多個可實現數據通信的終端節點設備群組；數據分址存儲模塊，用于獲取轉發存儲數據，并對所述轉發存儲數據進行數據源判斷，若為用戶上傳，則將所述轉發存儲數據分割為多個數據段并在所述云端存儲網絡中存儲，并對應生成數據存儲索引表，若所述轉發存儲數據的數據源為云端，則對應獲取所述存儲索引表的索引鏈接并轉發；數據分址備份模塊，用于對所述轉發存儲數據對應的多個數據段分別生成多組備份數據，將所述備份數據在所述云端存儲網絡中分布存儲，并同步更新所述數據存儲索引表；存儲監測減量模塊，用于對用戶上傳的所述轉發存儲數據進行數據匹配，若與云端已存儲的數據內容相匹配，則獲取云端數據對應存儲索引表的索引鏈接，并用以替換用戶上傳的所述轉發存儲數據對應內容。2.根據權利要求1所述的一種云端大數據存儲管理系統，其特征在于，所述終端節點包括本地節點以及用戶節點，所述本地節點用于表征云端的本地存儲設備，所述用戶節點用于表征與云端接連的用戶端設備，所述數據節點管理模塊包括節點評估單元以及節點篩選單元；所述節點評估單元，用于獲取終端節點設備列表中多個終端節點在歷史多個周期內的云端連接記錄，基于所述云端連接記錄對所述終端節點進行常態連接狀態的評估以獲取終端節點的基礎狀態，所述常態連接狀態的評估包括終端節點在周期內的集中連接時段評估、終端節點在多個連續周期中的在線周期的占比的評估；所述節點篩選單元，用于基于預設的節點篩選基準對終端節點的基礎狀態進行判斷，若符合，則將所述終端節點用于建立云端存儲網絡。3.根據權利要求2所述的一種云端大數據存儲管理系統，其特征在于，還包括網絡節點管理模塊，所述網絡節點管理模塊包括：節點劃分單元，用于基于所述終端節點在周期內的集中連接時段對數個終端節點進行分組，多個所述終端節點分組的集中連接時段覆蓋所述周期的完整時段，并基于分組后的終端節點建立節點訪問索引；節點更新單元，用于獲取節點訪問索引中多個終端節點與云端的連接狀態以及訪問請求狀態并用于更新所述節點訪問索引的實時狀態，所述訪問請求狀態為終端節點當前分配的數據訪問請求數量及所述數據訪問請求數量與可處理總請求數量的比值。4.根據權利要求3所述的一種云端大數據存儲管理系統，其特征在于，所述數據分址備份模塊包括：備份節點選擇單元，用于獲取所述節點訪問索引，基于所述節點訪問索引的實時狀態，選取數組占用較低的所述終端節點以用于對多個數據段進行備份，每組所述終端節點用于備份同一數據段，每組所述終端節點的多個終端設備覆蓋周期的完整時段，且位于周期每個時段均對應多個與云端連接的終端節點。5.根據權利要求4所述的一種云端大數據存儲管理系統，其特征在于，還包括數據替換模塊；
所述數據替換模塊，用于當所述轉發存儲數據與云端已存儲的數據內容部分匹配時，對所述轉發存儲數據的區別部分數據內容進行定位，并獲取已存儲的數據內容相對應的數據段及備份數據...

【專利技術屬性】
技術研發人員：姚健康，高占海，汪廣瑞，王雪輝，張靜軒，
申請(專利權)人：北京裝庫創意科技有限公司，
類型：發明
國別省市：