【技術實現步驟摘要】
本專利技術涉及數據存儲，具體為一種基于智能處理的數據存儲系統。
技術介紹
1、過去十幾年一直處于爆發式增長的視頻監控市場正加速萬物互聯的時代的到來，視頻監控技術如今已全面步入ai智能化。視頻監控數據作為一種重要的時序數據，可利用現階段研究火熱的機器學習、深度學習算法來獲取其中豐富的結構化信息，具有極高的研究、存儲價值。伴隨著物聯網時代高清網絡攝像頭的廣泛部署以及視頻監控技術的持續發展，再加上視頻監控數據本身具備的數據量大、時效性高、寫多讀少等特點，使用通用計算機及其存儲設備構建而成的分布式云存儲系統來存儲視頻監控數據已成為趨勢。隨著磁盤技術的發展，雖然存儲密度不斷增加，單位比特的成本也不斷降低，但是受限磁盤的各盤片不可并行訪問以及依賴于磁頭移動尋道的機械特性，導致近幾十年磁盤的性能并沒有得到顯著的提升，仍然是毫秒級的尋道延遲，與存取延遲低至幾十納秒的內存相差了多個數量級。因此，設計效率高及智能管理控制的一種基于智能處理的數據存儲系統是很有必要的。
技術實現思路
1、本專利技術的目的在于提供一種基于智能處理的數據存儲系統，以解決上述
技術介紹
中提出的問題。
2、為了解決上述技術問題，本專利技術提供如下技術方案：一種基于智能處理的數據存儲方法，包括：
3、對數據存儲系統進行字符設備（scdn）的分配釋放管理；
4、進行通信框架設計及消息控制分析處理；
5、進行數據存儲系統的優化分析處理；
6、進行數據存儲系統的備份存儲及采集控制
7、根據上述技術方案，所述對數據存儲系統進行字符設備（scdn）的分配釋放管理包括：
8、控制用戶進程與內核lkm-server通過netlink提供的sendto函數和recvfrom函數來進行通信，當用戶進程需要使用無需陷入內核的存儲模型(non-trap?store?module，ntsm）作為存儲引擎時，向lkm-server發出scdn分配和注冊的請求，lkm-server收到請求后，進行scdn字符設備的分配與注冊。
9、根據上述技術方案，所述進行通信框架設計及消息控制分析處理包括：
10、通過于reactor模式進行數據存儲系統網絡框架優化設計，并一個事件循環僅運行在一個線程內，不同事件循環間的交互通過使用線程同步機制處理；
11、對數據存儲系統的消息格式進行處理，使每條消息都由固定格式長度的消息頭部和變長的消息負載兩部分組成，并使每種消息都有對應的ack消息，用于響應消息的請求處理結果。
12、根據上述技術方案，所述進行數據存儲系統的優化分析處理包括：
13、在接受到來自數據存儲節點的消息時，在消息處理函數中創建一個用于描述數據存儲節點的datanode對象，通過datan?odemanager的adddatanode方法將該對象添加到m_datanodemap成員變量中以納入管理，并在m_status成員變量中記錄其狀態為running，且使每一個datanode對象通過ip地址和端口號來唯一確定，同時對應節點的狀態信息將被記錄在剩余成員變量中；
14、當數據存儲節點完成對新的錄像段的存儲后，通過借助心跳消息向元數據管理節點匯報對應錄像段的一級索引數據，消息處理函數heartbeattask會判斷接收到的消息中是否有攜帶一級索引數據，如果有則通過數據索引管理模塊提供的公有方法來同步更新對應的一級索引數據；
15、在接收到來自客戶端的消息后，通過對應的消息處理函數調用storechannel的create方法，將寫入的錄像段創建存儲上下文信息，并執行資源分配方面的工作。
16、根據上述技術方案，所述進行數據存儲系統的備份存儲及采集控制管理包括：
17、將數據存儲系統的實時存儲數據信息通過區塊鏈進行備份存儲，有效保證數據信息的安全性，避免數據信息被篡改；
18、對數據存儲的運行處理數據信息進行采集，并將其傳輸對應的通過供管人員進行查閱分析。
19、根據上述技術方案，一種基于智能處理的數據存儲系統，包括：
20、分配管理模塊，用于進行數據存儲系統的分配控制管理；
21、分析處理模塊，用于進行數據存儲系統的運行分析處理；
22、存儲采集模塊，用于進行數據信息的存儲采集控制。
23、根據上述技術方案，所述分配管理模塊包括：
24、分配釋放模塊，用于進行數據存儲系統設備的分配釋放管理；
25、通信框架模塊，用于進行數據存儲系統網絡通信框架設計優化；
26、消息控制模塊，用于進行數據存儲系統的消息控制管理。
27、根據上述技術方案，所述分析處理模塊包括：
28、存儲節點模塊，用于進行數據存儲節點的控制管理；
29、索引管理模塊，用于進行數據信息的索引分析處理；
30、緩沖處理模塊，用于進行數據存儲系統的緩沖控制。
31、根據上述技術方案，所述儲采集模塊包括：
32、備份存儲模塊，用于進行數據信息的備份存儲；
33、采集管理模塊，用于進行數據信息的采集控制管理。
34、與現有技術相比，本專利技術所達到的有益效果是：本專利技術，通過設置有分配管理模塊、分析處理模塊與存儲采集模塊，使數據存儲系統的運行處理更加高效準確，提高網絡通信框架處理請求的并行度，并使消息的接收方可以根據該字段準確地區分每一條消息的邊界，有效解決tcp“粘包”問題，同時可根據負載均衡策略來為客戶端選擇一個目標數據存儲節，使數據存儲節點的負載均衡更加高效穩定。
本文檔來自技高網...【技術保護點】
1.一種基于智能處理的數據存儲方法，其特征在于：包括：
2.根據權利要求1所述的一種基于智能處理的數據存儲方法，其特征在于：所述對數據存儲系統進行字符設備（SCDN）的分配釋放管理包括：
3.根據權利要求1所述的一種基于智能處理的數據存儲方法，其特征在于：所述進行通信框架設計及消息控制分析處理包括：
4.根據權利要求1所述的一種基于智能處理的數據存儲方法，其特征在于：所述進行數據存儲系統的優化分析處理包括：
5.根據權利要求1所述的一種基于智能處理的數據存儲方法，其特征在于：所述進行數據存儲系統的備份存儲及采集控制管理包括：
6.一種基于智能處理的數據存儲系統，其特征在于：包括：
7.根據權利要求6所述的一種基于智能處理的數據存儲系統，其特征在于：所述分配管理模塊包括：
8.根據權利要求6所述的一種基于智能處理的數據存儲系統，其特征在于：所述分析處理模塊包括：
9.根據權利要求6所述的一種基于智能處理的數據存儲系統，其特征在于：所述存儲采集模塊包括：
【技術特征摘要】
1.一種基于智能處理的數據存儲方法，其特征在于：包括：
2.根據權利要求1所述的一種基于智能處理的數據存儲方法，其特征在于：所述對數據存儲系統進行字符設備（scdn）的分配釋放管理包括：
3.根據權利要求1所述的一種基于智能處理的數據存儲方法，其特征在于：所述進行通信框架設計及消息控制分析處理包括：
4.根據權利要求1所述的一種基于智能處理的數據存儲方法，其特征在于：所述進行數據存儲系統的優化分析處理包括：
5.根據權利要求1所...
【專利技術屬性】
技術研發人員：閆安，
申請(專利權)人：雅安信達安禾科技有限公司，
類型：發明
國別省市：
還沒有人留言評論。發表了對其他瀏覽者有用的留言會獲得科技券。